CN113538924B - 车辆抓拍方法、装置、电子设备、计算机可读存储介质 - Google Patents

车辆抓拍方法、装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN113538924B
CN113538924B CN202110551928.9A CN202110551928A CN113538924B CN 113538924 B CN113538924 B CN 113538924B CN 202110551928 A CN202110551928 A CN 202110551928A CN 113538924 B CN113538924 B CN 113538924B
Authority
CN
China
Prior art keywords
target vehicle
vehicle
snapshot
time
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110551928.9A
Other languages
English (en)
Other versions
CN113538924A (zh
Inventor
林骏
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110551928.9A priority Critical patent/CN113538924B/zh
Publication of CN113538924A publication Critical patent/CN113538924A/zh
Application granted granted Critical
Publication of CN113538924B publication Critical patent/CN113538924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车辆抓拍方法、装置、电子设备以及计算机可读存储介质,车辆抓拍方法包括:对目标车辆进行监控以检测目标车辆的预设关键点的位置坐标;利用预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车;响应于未停车,对目标车辆进行抓拍留证。该方法能够提高违反交通规则的车辆的捕获率以及证据的准确率。

Description

车辆抓拍方法、装置、电子设备、计算机可读存储介质
技术领域
本发明涉及视频图像处理技术领域,尤其是涉及一种车辆抓拍方法、装置、电子设备、计算机可读存储介质。
背景技术
现有技术中,在判断车辆是否停车时,一般是通过车辆的外接矩形框的位置进行判断的,该方法需要通过前后两帧图像的灰度图像的Sim特征做对比,需要保证两张对比图像目标检测稳定。但是在雨天或者雪天的场景下,两张对比图像目标极易出现抖动,使得被误判为不停车,影响判断结果。
发明内容
本发明提供一种车辆抓拍方法、装置、电子设备、计算机可读存储介质,该方法能够提高违反交通规则的车辆的捕获率以及证据的准确率。
为解决上述技术问题,本发明提供的第一个技术方案为:提供一种车辆抓拍方法,包括:对目标车辆进行监控以检测目标车辆的预设关键点的位置坐标;利用预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车;响应于未停车,对目标车辆进行抓拍留证。
为解决上述技术问题,本发明提供的第二个技术方案为:提供一种车辆抓拍装置,包括:关键点检测模块,用于对目标车辆进行实时监控以检测目标车辆的预设关键点的位置坐标;停车检测模块,用于利用预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车;视频获取模块,用于响应于未停车,对目标车辆进行抓拍留证。
为解决上述技术问题,本发明提供的第三个技术方案为:提供一种电子设备,包括:存储器和处理器,其中,存储器存储有程序指令,处理器从存储器调取程序指令以执行上述任一项的车辆抓拍方法。
为解决上述技术问题,本发明提供的第四个技术方案为:提供一种计算机可读存储介质,存储有程序文件,程序文件能够被执行以实现上述任一项的车辆抓拍方法。
本发明的有益效果,区别于现有技术的情况,本发明通过对目标车辆进行监控以检测目标车辆的预设关键点的位置坐标;利用预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车;响应于未停车,对目标车辆进行抓拍留证。由于目标车辆的预设关键点远小于目标车辆的外接矩形框,以此能够将检测误差控制在较小范围内,该方法能够提高违反交通规定的车辆的捕获率以及证据的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1为本发明车辆抓拍方法的第一实施例的流程示意图;
图2a为现有技术中检测车辆外接矩形框的结构示意图;
图2b为本申请检测预设关键点的结构示意图;
图3为本发明车辆抓拍方法的第二实施例的流程示意图;
图4a以及图4b分别为本发明车辆抓拍方法中第一抓拍时间以及第二抓拍时间抓拍的图像的示意图;
图5为本发明车辆抓拍方法的第三实施例的流程示意图;
图6a以及图6b分别为本发明车辆抓拍方法中第三抓拍时间以及第四抓拍时间抓拍的图像的示意图;
图7为本发明车辆抓拍方法的第四实施例的流程示意图;
图8为本发明车辆抓拍方法的第五实施例的流程示意图;
图9为本发明车辆抓拍方法的第六实施例的流程示意图;
图10为本发明车辆抓拍方法的第七实施例的流程示意图;
图11为本发明车辆抓拍方法的第八实施例的流程示意图;
图12为本发明车辆抓拍装置的一实施例的结构示意图;
图13为本发明电子设备的一实施例的结构示意图;
图14为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,为本发明车辆抓拍方法的第一实施例的流程示意图,具体包括:
步骤S11:对目标车辆进行监控以检测目标车辆的预设关键点的位置坐标。
在目标车辆出现在监控设备可拍摄区域后,对目标车辆进行监控,并检测目标车辆的预设关键点的位置坐标。
步骤S12:利用预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车。
基于预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车。现有技术中,一般是通过连续多帧图像中目标车辆的外接矩形框的位置坐标确定目标车辆在预设位置是否有停车,但是在雨天或者雪天时,会因为天气因素影响,使得目标车辆的外接矩形框的位置坐标检测不准确,往往会将停车结果判断为不停车,误判率较高。具体如图2a所示,目标检测算法会检测出车辆的位置,进而得到车辆的外接矩形框A,在受天气因素影响后,连续多帧图像的外接矩形框会产生浮动,进而在进行是否停车判断时,将停车结果判断为不停车结果。
本申请的车辆抓拍方法,通过目标车辆的预设关键点的位置进行判断,如图2b所示,假设本申请的预设关键点为车辆的后视镜的关键点,也即利用目标检测算法检测出车辆的后视镜的关键点位置B,基于车辆的后视镜的关键点的位置B判断车辆是否停车。具体的,由于车辆的后视镜是一个相对于车辆的车身来说较小的部件,以此即便在天气因素影响后,后视镜的关键点的位置B产生浮动,浮动范围也会控制在一个较小的范围内,不会影响到是否停车的判断结果。通过本实施例的方式,能够提高是否停车的判断率,提高视频证据的准确性。
步骤S13:响应于未停车,对目标车辆进行抓拍留证。
在基于预设关键点判断出车辆未停车时,对车辆进行抓拍留证。
本实施例的车辆抓拍方法,一方面可以应用于交叉路口,用于判断车辆在红灯时是否停车,若基于预设关键点的位置判断出车辆未停车时,则对车辆进行抓拍留证,以证明目标车辆违反交通规则。另一方面,本实施例的车辆抓拍方法可以应用于大型车辆转弯时,交通法规规定,大型车辆在转弯时需要停车两次,以观察视觉盲点处的情况,若不停车,则视为违反交通规则,需要对车辆进行抓拍留证。
在一实施例中,预设关键点的体积小于目标车辆的体积。具体的,预设关键点的体积远小于目标车辆的体积。例如,预设关键点为目标车辆的左后视镜,具体的,预设关键点可以为目标车辆的左后视镜的中心点。
本实施例的车辆抓拍方法,在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,进而提高违反交通规则的车辆的捕获率以及证据的准确率。
请参见图3,为本发明车辆抓拍方法的第二实施例的流程示意图。其中,步骤S31与图1所示的第一实施例的步骤S11相同,区别在于,步骤S12具体包括:
步骤S32:在预设关键点先后到达第一抓拍线、第二抓拍线时,分别对目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间。
具体的,本实施例以大型车辆右转弯的应用场景为例进行说明。具体的,道路上一般沿车辆的行驶方向依次配置有第一抓拍线Q、第二抓拍线S、第三抓拍线W以及第四抓拍线R,具体如图4a所示。
在对目标车辆进行监控的过程中,对目标车辆进行关键点检测,进而得到目标车辆的左后视镜关键点的位置坐标。具体的,在车辆行驶且需要右转时,监控设备能够拍摄到车辆的左后视镜的位置,对左后视镜进行目标检测,进而得到左后视镜关键点的位置坐标。在一具体实施例中,目标检测算法包括但不限于anchor-base算法,例如YOLO、SSD、RCNN系列等或anchor-free算法,例如CenterNet、CornerNet等。本实施例优选使用CenterNet目标检测算法进行关键点检测。
在目标车辆开始进入监控区域时,监控设备首先拍摄得到目标车辆的车头,进而得到目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)。此时若左后视镜关键点的坐标大于第一平均值时,则对目标车辆进行抓拍。第一平均值为第一抓拍线Q的两个端点的坐标的平均值。假设第一抓拍线Q的两个端点为Q1以及Q2,Q1的坐标为(xq1,yq1),Q2的坐标为(xq2,yq2)。由于车辆的行驶方向确定,且车辆的行驶方向定为y方向,判断车辆是否停车,只需要判断关键点的y方向的坐标是否有变化即可。也即若左后视镜关键点的y方向的坐标大于Q1以及Q2的y方向的坐标的平均值例如y1>(yq1+yq2)/2时,即对目标车辆进行抓拍,进而得到第一抓拍时间。在本申请的另一实施例中,若左后视镜关键点的坐标大于第一平均值,且小于一固定值时,对目标车辆进行抓拍,固定值为1/8×OH,OH为监控设备拍摄的图像的高度。也即左后视镜关键点的坐标大于y满足条件(yq1+yq2)/2<y1<1/8×OH时,对目标车辆进行抓拍,记录第一抓拍时间t1,图4a为本次抓拍所得的第一抓拍图像。
需要说明的是,本发明在描述关键点坐标时,从左到右x方向的坐标依次增大,从下到上(也即沿目标车辆行驶方向)y坐标依次增大。
由于监控设备不能直接拍摄到目标车辆的车头位置,也即不能直观的得出目标车辆的车头投影点的位置坐标,本实施例所示的方法中,可以利用目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的车头投影点的位置坐标(x3,y3)。具体的,先利用目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的左上角的位置坐标(x4,y4):
x4=x2-tw/2;
y4=y2-Th/2。
其中,TW为目标车辆的宽,Th为目标车辆的高。
再利用目标车辆的左上角的位置坐标(x4,y4)以及目标车辆的左后视镜关键点的位置坐标(x1,y1)计算得到目标车辆的车头投影点的位置坐标(x3,y3)中的y方向的坐标y3:
d=y1-y4;
y3=y1+2d。
其中,若车头投影点的坐标y3大于第二平均值,则对目标车辆进行抓拍,进而得到第二抓拍时间t2。具体的,第二平均值为第二抓拍线S的两个端点的坐标的平均值。假设第二抓拍线S的两个端点为S1以及S2,S1的坐标为(xs1,ys1),S2的坐标为(xs2,ys2)。也即若车头投影点的y方向的坐标y3大于S1以及S2的y方向的坐标的平均值例如y3>(ys1+ys2)/2时,即对目标车辆进行抓拍,进而得到第二抓拍时间t2,图4b为本次抓拍的第二抓拍图像。
步骤S33:根据第一抓拍时间以及第二抓拍时间判断目标车辆是否实行第一次停车事件。
根据第一抓拍时间t1以及第二抓拍时间t2判断目标车辆是否实行第一次停车事件。具体的,判断第一抓拍时间t1与第二抓拍时间t2的第一时间差△T1是否小于第一预设时间T1。响应于第一时间差△T1小于第一预设时间T1,即△T1<T1,则确定目标车辆未实行第一次停车事件。在一实施例中,第一预设时间为预先设置好的第一停车事件Tn1。在另一实施例中,第一预设时间为预先设置好的第一停车事件Tn1与学习算法得到的第一停车事件Tm1之和。具体的,可以在线统计非红灯时车辆在第二抓拍线S前的第一过车时间和第二抓拍线S至第三抓拍线W的第二过车时间,建立一个数量大于等于200的数据队列,记录这大于等于200个车辆的第一过车时间以及第二过车时间的平均值,进而得到第一停车事件Tm1。
步骤S34:响应于目标车辆未实行第一次停车事件,则对目标车辆进行抓拍留证。
具体的,第一时间差△T1小于第一预设时间T1,即△T1<T1,则确定目标车辆未实行第一次停车事件。此时判定目标车辆违反交通规则,对目标车辆进行抓拍留证。在一实施例中,可以保留第一抓拍图像前10秒至第二抓拍图像后10S的视频作为证据。
本实施例的车辆抓拍方法,在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,进而提高违反交通规定的车辆的捕获率以及证据的准确率。
在一实施例中,若第一时间差△T1不小于第一预设时间T1,即△T1≥T1,则确定目标车辆实行第一次停车事件。也即目标车辆在道路上要求第一次停车的预设位置停车,符合交通法规的规定,不对其进行抓拍留证。但是在目标车辆例如大型车辆右转弯的过程中需要两次停车,则需要进一步判断目标车辆在下一次停车的预设位置是否停车,具体请结合图5,为本发明车辆抓拍方法的第三实施例的流程示意图,其中步骤S51~步骤S53与上述图3所示的步骤S31~步骤S33相同,区别在于方法还包括:
步骤S54:响应于目标车辆实行第一次停车事件,则在预设关键点先后到达第三抓拍线、第四抓拍线时,分别对目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间。
对目标车辆进行关键点检测,进而得到目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)。根据目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的车头投影点的位置坐标(x3,y3)。具体的,先利用目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的左上角的位置坐标(x4,y4):
x4=x2-Tw/2;
y4=y2-Th/2。
其中,TW为目标车辆的宽,Th为目标车辆的高。
再利用目标车辆的左上角的位置坐标(x4,y4)以及目标车辆的左后视镜关键点的位置坐标(x1,y1)计算得到目标车辆的车头投影点的位置坐标(x3,y3)中的y方向的坐标y3:
d=y1-y4;
y3=y1+2d。
若车头投影点的坐标y3大于第三平均值,则对目标车辆进行抓拍,进而得到第三抓拍时间t3。其中,第三平均值为第三抓拍线W的两个端点的坐标的平均值,假设第三抓拍线W的两个端点为W1以及W2,W1的坐标为(xw1,yw1),S2的坐标为(xw2,yw2),则第三平均值为端点W2以及端点W1的y方向的坐标的平均值,如(yw1+yw2)/2。也即若车头投影点的y方向的坐标y3大于W1以及W2的y方向的坐标的平均值例如y3>(yw1+yw2)/2时,即对目标车辆进行抓拍,进而得到第三抓拍时间t3,图6a为本次抓拍的第三抓拍图像。
若车辆中心点到达第四抓拍线R时,则对目标车辆进行抓拍,进而得到第四抓拍时间t4。具体的,判断车辆中心点的位置坐标(x2,y2)第一次超过第四抓拍线R时对目标车辆进行抓拍,进而得到第四抓拍时间t4。具体的,假设第四抓拍线R的两个端点为R1以及R2,其中R1的坐标为(xr1,yr1),R2的坐标为(xr2,yr2)。当车辆中心点的y方向的坐标y2满足条件y2>((xr1-xr2)/(yr1-yr2))×(y2-yr2)+xr2时,对目标车辆进行抓拍,进而得到第四抓拍时间t4,图6b为本次抓拍的第四抓拍图像。
步骤S55:根据第三抓拍时间以及第四抓拍时间判断目标车辆是否实行第二次停车事件。
根据第三抓拍时间t3以及第四抓拍时间t4判断目标车辆是否实行第二次停车事件。具体的,判断第三抓拍时间t3与第四抓拍时间t4的第二时间差△T2是否小于第二预设时间T2。响应于第二时间差△T2小于第二预设时间T2,即△T2<T2,则确定目标车辆未实行第二次停车事件。在一实施例中,第二预设时间为预先设置好的第二停车事件Tn2。在另一实施例中,第二预设时间为预先设置好的第二停车事件Tn2与学习算法得到的第二停车事件Tm2之和。具体的,可以在线统计非红灯时车辆在第三抓拍线W前的第一过车时间和第三抓拍线W至第四抓拍线R的第二过车时间,建立一个数量大于等于200的数据队列,记录这大于等于200个车辆的第一过车时间以及第二过车时间的平均值,进而得到第二停车事件Tm2。
步骤S56:响应于目标车辆未实行第二次停车事件,则对目标车辆进行抓拍留证。
具体的,第二时间差△T2小于第二预设时间T2,即△T2<T2,则确定目标车辆未实行第二次停车事件。此时判定目标车辆违反交通规则,对目标车辆进行抓拍留证。在一实施例中,可以保留第一抓拍图像前10秒至第四抓拍图像后10S的视频作为证据。
本实施例的车辆抓拍方法,在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,进而提高违反交通规定的车辆的捕获率以及证据的准确率。
本实施例的方法,对目标车辆进行两次停车检测,若目标车辆未满足两次停车事件,则判断目标车辆违反交通规定,对目标车辆进行抓拍留证。具体的,本申请采用预设关键点的位置判断方法,其能够在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,进而提高违反交通规定的车辆的捕获率以及证据的准确率。
请参见图7,为本发明车辆抓拍方法的第四实施例的流程示意图,具体包括:
步骤S71:对包含目标车辆的第一组图像进行关键点检测,进而得到第一组图像中目标车辆的关键点的位置坐标。
具体的,利用关键点检测算法对包含目标车辆的第一组图像进行关键点检测,进而得到第一组图像中目标车辆的关键点的位置坐标。在一可行实施例中,在目标车辆进入监控设备的可拍摄区域内后,对目标车辆进行拍摄,进而得到包含目标车辆的第一组图像。在一实施例中,对第一组图像中的每一图像进行关键点检测,进而得到目标车辆中关键点的位置坐标。其中,关键点为第一组图像或第二组图像中目标车辆可见部位的点。关键点包括目标车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点中任意一个或任意组合。例如,若第一组图像中的第一帧图像仅仅拍摄到车辆的车头,则通过关键点检测算法能够检测得到车头左上顶点、车头右上顶点的坐标位置;例如,若第一组图像中的第三帧图像拍摄到车辆的车头和车身,则通过关键点检测算法能够检测得到车头左上顶点、车头右上顶点、左后视镜的关键点、左前车轮点的位置坐标。如上,在拍摄到车辆的各自部位时,可以通过关键点检测算法得到车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点的位置坐标。可选地,关键点数量为12个,则在计算机中建立12个存储队列,其中第一个队列为第一组图像中目标车辆的左后视镜的关键点的位置坐标,第二个队列为第一组图像中目标车辆的车头左上顶点的位置坐标,第三个队列为第一组图像中目标车辆的车头右上顶点的位置坐标,依次类推。
步骤S72:根据第一组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第一次停车事件。
具体的,判断其余帧图像与第一帧图像中关键点的位置差是否小于预设值;响应于位置差不小于预设值,则确定目标车辆未实行第一次停车事件。具体的,关键点的位置差为关键点在行驶方向上的位置差,假设行驶方向为y方向,则在计算关键点的位置差时,只需要计算关键点在不同图像帧中的y方向的坐标值的差值。
具体的,以第一队列为例进行说明,可以计算第一组图像中其余帧图像中的目标车辆的左后视镜的关键点的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的位置坐标的差值进而得到。本文中,差值指绝对值。具体的,计算第一组图像中其余帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第一次停车事件。在另一实施例中,还可以计算第一组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的位置坐标的差值进而得到。具体的,计算第一组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第一次停车事件。需要说明的是12个队列中计算的12个差值,全部满足不小于预设值的条件,即判定目标车辆未实行第一次停车事件。可以理解的,12和队列中计算的12个差值,其中一个满足小于预设值的条件,即判定目标车辆实行第一次停车事件。
需要说明的是,第一组图像为目标车辆经过第一抓拍线以及第二抓拍线时拍摄的图像。
步骤S73:响应于目标车辆未实行第一次停车事件,则对目标车辆进行抓拍留证。
若判断结果为目标车辆未实行第一次停车事件,则对目标车辆进行抓拍留证。
本实施例的车辆抓拍方法,在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,进而提高违反交通规定的车辆的捕获率以及证据的准确率。
请参见图8,为本发明车辆抓拍方法的第五实施例的流程示意图,其中步骤S81以及步骤S82与上述图7所示的第四实施例中的步骤S71以及步骤S72相同,区别在于,本实施例中步骤S82之后还包括:
步骤S83:响应于目标车辆实行第一次停车事件,对包含目标车辆的第二组图像进行关键点检测,进而得到第二组图像中目标车辆的关键点的位置坐标。
在目标车辆实行第一次停车事件后,需要进一步检测目标车辆是否实行第二次停车事件。具体的,利用关键点检测算法对包含目标车辆的第二组图像进行关键点检测,进而得到第二组图像中目标车辆的关键点的位置坐标。在一可行实施例中,对目标车辆进行拍摄,进而得到包含目标车辆的第二组图像。在一实施例中,对第二组图像中的每一图像进行关键点检测,进而得到目标车辆中关键点的位置坐标。其中,关键点为第一组图像或第二组图像中目标车辆可见部位的点。关键点包括目标车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点中任意一个或任意组合。例如,若第一组图像中的第一帧图像仅仅拍摄到车辆的车头,则通过关键点检测算法能够检测得到车头左上顶点、车头右上顶点的坐标位置;例如,若第一组图像中的第三帧图像拍摄到车辆的车头和车身,则通过关键点检测算法能够检测得到车头左上顶点、车头右上顶点、左后视镜的关键点、左前车轮点的位置坐标。如上,在拍摄到车辆的各自部位时,可以通过关键点检测算法得到车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点的位置坐标。可选地,关键点数量为12个,则在计算机中建立12个存储队列,其中第一个队列为第二组图像中目标车辆的左后视镜的关键点的位置坐标,第二个队列为第二组图像中目标车辆的车头左上顶点的位置坐标,第三个队列为第二组图像中目标车辆的车头右上顶点的位置坐标,依次类推。
步骤S84:根据第二组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第二次停车事件。
具体的,判断其余帧图像与第一帧图像中关键点的位置差是否小于预设值;响应于位置差不小于预设值,则确定目标车辆未实行第一次停车事件。
具体的,以第一队列为例进行说明,可以计算第二组图像中其余帧图像中的目标车辆的左后视镜的关键点的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的位置坐标的差值进而得到。本实施例中,差值指绝对值。具体的,计算第二组图像中其余帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第二次停车事件。在另一实施例中,还可以计算第二组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的位置坐标的差值进而得到。具体的,计算第二组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第二次停车事件。需要说明的是12个队列中计算的12个差值,全部满足不小于预设值的条件,即判定目标车辆未实行第二次停车事件。可以理解的,12和队列中计算的12个差值,其中一个满足小于预设值的条件,即判定目标车辆实行第二次停车事件。
步骤S85:响应于目标车辆未实行第二次停车事件,则对目标车辆进行抓拍留证。
若判断结果为目标车辆未实行第二次停车事件,则对目标车辆进行抓拍留证。需要说明的是,第二组图像为目标车辆经过第三抓拍线以及第四抓拍线时拍摄的图像。
请参见图9,为本发明车辆抓拍方法的第六实施例的流程示意图。具体包括:
步骤S91:对目标车辆进行监控以检测目标车辆的预设关键点的位置坐标。
该步骤与图1所示的步骤S11相同,在此不再赘述。
步骤S92:在预设关键点先后到达第一抓拍线、第二抓拍线时,分别对目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间。
具体的,本实施例以大型车辆右转弯的应用场景为例进行说明。具体的,道路上一般沿车辆的行驶方向依次配置有第一抓拍线Q、第二抓拍线S、第三抓拍线W以及第四抓拍线R,具体如图4a所示。
在对目标车辆进行监控的过程中,对目标车辆进行关键点检测,进而得到目标车辆的左后视镜关键点的位置坐标。具体的,在车辆行驶且需要右转时,监控设备能够拍摄到车辆的左后视镜的位置,对左后视镜进行目标检测,进而得到左后视镜关键点的位置坐标。在一具体实施例中,目标检测算法包括但不限于anchor-base算法,例如YOLO、SSD、RCNN系列等或anchor-free算法,例如CenterNet、CornerNet等。本实施例优选使用CenterNet目标检测算法进行关键点检测。
在目标车辆开始进入监控区域时,监控设备首先拍摄得到目标车辆的车头,进而得到目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)。此时若左后视镜关键点的坐标大于第一平均值时,则对目标车辆进行抓拍。第一平均值为第一抓拍线Q的两个端点的坐标的平均值。假设第一抓拍线Q的两个端点为Q1以及Q2,Q1的坐标为(xq1,yq1),Q2的坐标为(xq2,yq2)。则第第一平均值为端点Q2以及端点Q1的y方向的坐标的平均值,如(yq1+yq2)/2。也即若左后视镜关键点的y方向的坐标大于Q1以及Q2的y方向的坐标的平均值例如y1>(yq1+yq2)/2时,即对目标车辆进行抓拍,进而得到第一抓拍时间。在本申请的另一实施例中,若左后视镜关键点的坐标大于第一平均值,且小于一固定值时,对目标车辆进行抓拍,固定值为1/8×OH,OH为监控设备拍摄的图像的高度。也即左后视镜关键点的坐标大于y满足条件(yq1+yq2)/2<y1<1/8×OH时,对目标车辆进行抓拍,记录第一抓拍时间t1,图4a为本次抓拍所得的第一抓拍图像。
由于监控设备不能直接拍摄到目标车辆的车头位置,也即不能直观的得出目标车辆的车头投影点的位置坐标,本实施例所示的方法中,可以利用目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的车头投影点的位置坐标(x3,y3)。具体的,先利用目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的左上角的位置坐标(x4,y4):
x4=x2-Tw/2;
y4=y2-Th/2。
其中,TW为目标车辆的宽,Th为目标车辆的高。
再利用目标车辆的左上角的位置坐标(x4,y4)以及目标车辆的左后视镜关键点的位置坐标(x1,y1)计算得到目标车辆的车头投影点的位置坐标(x3,y3)中的y方向的坐标y3:
d=y1-y4;
y3=y1+2d。
其中,若车头投影点的坐标y3大于第二平均值,则对目标车辆进行抓拍,进而得到第二抓拍时间t2。具体的,第二平均值为第二抓拍线S的两个端点的坐标的平均值。假设第二抓拍线S的两个端点为S1以及S2,S1的坐标为(xs1,ys1),S2的坐标为(xs2,ys2)。若车头投影点的y方向的坐标y3大于S1以及S2的y方向的坐标的平均值例如y3>(ys1+ys2)/2时,即对目标车辆进行抓拍,进而得到第二抓拍时间t2,图4b为本次抓拍的第二抓拍图像。
步骤S93:根据第一抓拍时间以及第二抓拍时间判断目标车辆是否实行第一次停车事件。
根据第一抓拍时间t1以及第二抓拍时间t2判断目标车辆是否实行第一次停车事件。具体的,判断第一抓拍时间t1与第二抓拍时间t2的第一时间差△T1是否小于第一预设时间T1。本文中,时间差均为绝对值。响应于第一时间差△T1小于第一预设时间T1,即△T1<T1,则确定目标车辆未实行第一次停车事件。在一实施例中,第一预设时间为预先设置好的第一停车事件Tn1。在另一实施例中,第一预设时间为预先设置好的第一停车事件Tn1与学习算法得到的第一停车事件Tm1之和。具体的,可以在线统计非红灯时车辆在第二抓拍线S前的第一过车时间和第二抓拍线S至第三抓拍线W的第二过车时间,建立一个数量大于等于200的数据队列,记录这大于等于200个车辆的第一过车时间以及第二过车时间的平均值,进而得到第一停车事件Tm1。
步骤S94:响应于目标车辆未实行第一次停车事件,对包含目标车辆的第一组图像进行关键点检测,进而得到第一组图像中目标车辆的关键点的位置坐标。
具体的,第一时间差△T1小于第一预设时间T1,即△T1<T1,则确定目标车辆未实行第一次停车事件。此时判定目标车辆违反交通规则。本实施例中,为进一步提高检测结果的准确性,进一步对检测结果进行矫正。具体的,利用关键点检测算法对包含目标车辆的第一组图像进行关键点检测,进而得到第一组图像中目标车辆的关键点的位置坐标。在一可行实施例中,在目标车辆进入监控设备的可拍摄区域内后,对目标车辆进行拍摄,进而得到包含目标车辆的第一组图像。在一实施例中,对第一组图像中的每一图像进行关键点检测,进而得到目标车辆中关键点的位置坐标。其中关键点包括但不限于目标车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点。如上,关键点数量为12个,建立12个队列,其中第一个队列为第一组图像中目标车辆的左后视镜的关键点的位置坐标,第二个队列为第一组图像中目标车辆的车头左上顶点的位置坐标,第三个队列为第一组图像中目标车辆的车头右上顶点的位置坐标,依次类推。
步骤S95:根据第一组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第一次停车事件。
具体的,判断其余帧图像与第一帧图像中关键点的位置差是否小于预设值;响应于位置差不小于预设值,则确定目标车辆未实行第一次停车事件。
具体的,以第一队列为例进行说明,可以计算第一组图像中其余帧图像中的目标车辆的左后视镜的关键点的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的位置坐标的差值进而得到。具体的,计算第一组图像中其余帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第一次停车事件。在另一实施例中,还可以计算第一组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的位置坐标的差值进而得到。具体的,计算第一组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第一次停车事件。需要说明的是12和队列中计算的12个差值,全部满足不小于预设值的条件,即判定目标车辆未实行第一次停车事件。可以理解的,12和队列中计算的12个差值,其中一个不满足不小于预设值的条件,即判定目标车辆实行第一次停车事件。
需要说明的是,第一组图像为目标车辆经过第一抓拍线以及第二抓拍线时拍摄的图像。
步骤S96:响应于目标车辆未实行第一次停车事件,则对目标车辆进行抓拍留证。
若判断结果为目标车辆未实行第一次停车事件,则对目标车辆进行抓拍留证。
本实施例的车辆抓拍方法,在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,并且对抓拍结果进行矫正,以进一步提高违反交通规定的车辆的捕获率以及证据的准确率。
请参见图10,为本发明车辆抓拍方法的第七实施例的流程示意图。其中,步骤S101~步骤S103与上述图9所示的第六实施例相同,区别在于,本实施例在步骤S103之后还包括:
步骤S104:响应于目标车辆实行第一次停车事件,则在预设关键点先后到达第三抓拍线、第四抓拍线时,分别对目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间。
对目标车辆进行关键点检测,进而得到目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)。根据目标车辆的左后视镜关键点的位置坐标(x1,y1)以及目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的车头投影点的位置坐标(x3,y3)。具体的,先利用目标车辆的车辆中心点的位置坐标(x2,y2)计算得到目标车辆的左上角的位置坐标(x4,y4):
x4=x2-Tw/2;
y4=y2-Th/2。
其中,TW为目标车辆的宽,Th为目标车辆的高。
再利用目标车辆的左上角的位置坐标(x4,y4)以及目标车辆的左后视镜关键点的位置坐标(x1,y1)计算得到目标车辆的车头投影点的位置坐标(x3,y3)中的y方向的坐标y3:
d=y1-y4;
y3=y1+2d。
若车头投影点的坐标y3大于第三平均值,则对目标车辆进行抓拍,进而得到第三抓拍时间t3。其中,第三平均值为第三抓拍线W的两个端点的坐标的平均值。假设第三抓拍线W的两个端点为W1以及W2,W1的坐标为(xw1,yw1),S2的坐标为(xw2,yw2)。例如则若车头投影点的y方向的坐标y3大于W1以及W2的y方向的坐标的平均值例如y3>(yw1+yw2)/2时,即对目标车辆进行抓拍,进而得到第三抓拍时间t3,图6a为本次抓拍的第三抓拍图像。
若车辆中心点到达第四抓拍线R时,则对目标车辆进行抓拍,进而得到第四抓拍时间t4。具体的,判断车辆中心点的位置坐标(x2,y2)第一次超过第四抓拍线R时对目标车辆进行抓拍,进而得到第四抓拍时间t4。具体的,假设第四抓拍线R的两个端点为R1以及R2,其中R1的坐标为(xr1,yr1),R2的坐标为(xr2,yr2)。当车辆中心点的y方向的坐标y2满足条件y2>((xr1-xr2)/(yr1-yr2))×(y2-yr2)+xr2时,对目标车辆进行抓拍,进而得到第四抓拍时间t4,图6b为本次抓拍的第四抓拍图像。
步骤S105:根据第三抓拍时间以及第四抓拍时间判断目标车辆是否实行第二次停车事件。
根据第三抓拍时间t3以及第四抓拍时间t4判断目标车辆是否实行第二次停车事件。具体的,判断第三抓拍时间t3与第四抓拍时间t4的第二时间差△T2是否小于第二预设时间T2。响应于第二时间差△T2小于第二预设时间T2,即△T2<T2,则确定目标车辆未实行第二次停车事件。在一实施例中,第二预设时间为预先设置好的第二停车事件Tn2。在另一实施例中,第二预设时间为预先设置好的第二停车事件Tn2与学习算法得到的第二停车事件Tm2之和。具体的,可以在线统计非红灯时车辆在第三抓拍线W前的第一过车时间和第三抓拍线W至第四抓拍线R的第二过车时间,建立一个数量大于等于200的数据队列,记录这大于等于200个车辆的第一过车时间以及第二过车时间的平均值,进而得到第二停车事件Tm2。
步骤S106:响应于目标车辆未实行第二次停车事件,对包含目标车辆的第二组图像进行关键点检测,进而得到第二组图像中目标车辆的关键点的位置坐标。
具体的,第二时间差△T2小于第二预设时间T2,即△T2<T2,则确定目标车辆未实行第二次停车事件。此时判定目标车辆违反交通规则。本实施例中,为进一步提高检测结果的准确性,进一步对检测结果进行矫正。具体的,利用关键点检测算法对包含目标车辆的第二组图像进行关键点检测,进而得到第二组图像中目标车辆的关键点的位置坐标。在一可行实施例中,对目标车辆进行拍摄,进而得到包含目标车辆的第二组图像。在一实施例中,对第二组图像中的每一图像进行关键点检测,进而得到目标车辆中关键点的位置坐标。其中关键点包括但不限于目标车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点。如上,关键点数量为12个,建立12个队列,其中第一个队列为第二组图像中目标车辆的左后视镜的关键点的位置坐标,第二个队列为第二组图像中目标车辆的车头左上顶点的位置坐标,第三个队列为第二组图像中目标车辆的车头右上顶点的位置坐标,依次类推。
步骤S107:根据第二组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第二次停车事件。
具体的,判断其余帧图像与第一帧图像中关键点的位置差是否小于预设值;响应于位置差不小于预设值,则确定目标车辆未实行第一次停车事件。
具体的,以第一队列为例进行说明,可以计算第二组图像中其余帧图像中的目标车辆的左后视镜的关键点的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的位置坐标的差值进而得到。具体的,计算第二组图像中其余帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的左后视镜的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第二次停车事件。在另一实施例中,还可以计算第二组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的位置坐标的差值进而得到。具体的,计算第二组图像中其余帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标,与第一帧图像中的目标车辆的车头左上顶点的关键点的y方向的位置坐标的差值,若该差值不小于预设值,则确定目标车辆未实行第二次停车事件。需要说明的是12和队列中计算的12个差值,全部满足不小于预设值的条件,即判定目标车辆未实行第二次停车事件。可以理解的,12和队列中计算的12个差值,其中一个不满足不小于预设值的条件,即判定目标车辆实行第二次停车事件。
步骤S108:响应于目标车辆未实行第二次停车事件,则对目标车辆进行抓拍留证。
若判断结果为目标车辆未实行第二次停车事件,则对目标车辆进行抓拍留证。需要说明的是,第二组图像为目标车辆经过第三抓拍线以及第四抓拍线时拍摄的图像。
本申请所描述的实施例中,第一抓拍线、第二抓拍线、第三抓拍线以及第四抓拍线在道路上沿目标车辆的行驶方向依次设置。其中,第一抓拍线为前置线,第二抓拍线为停止线,第三抓拍线为待行线,第四抓拍线为转弯线。
本实施例的车辆抓拍方法,在环境因素例如雨天、雪天、夜晚时能够保证抓拍位置稳定,并且对抓拍结果进行矫正,以进一步提高违反交通规定的车辆的捕获率以及证据的准确率。
请参见图11,为本发明车辆抓拍方法的第八实施例的流程示意图。其中步骤S113~步骤S115与图1所示的第一实施例中步骤S11以及步骤S13相同,区别在于,本实施例在步骤S113之前,还包括:
步骤S111:对目标车辆进行检测,以判断目标车辆是否为大型车辆。
具体的,在目标车辆进入监控设备可检测区域内,对目标车辆进行目标检测。目标检测算法包括但不限于anchor-base(YOLO、SSD、RCNN系列等)或anchor-free(CenterNet、CornerNet等)方法,示例中用CenterNet进行目标检测。通过该目标检测算法可以得到目标车辆的中心点以及车身框的宽和高。在目标检测之后,可以对目标车辆继续跟踪,目标跟踪算法包括传统的相关滤波(csk、kcf)或深度学习(CenterTrack、SiamRPN系列等)跟踪方法,示例中使用CenterNet检测出的车辆中心点,并利用帧间中心点得到上一次该车辆的位移特征,即预测位移方向特征,使得前后帧同一车辆id保持一致。在锁定目标车辆之后,对目标车辆进行识别,以判断目标车辆的属性,例如判断目标车辆是否为大型车辆。
在一具体实施例中,判断目标车辆的属性包括车牌检测、车型检测。具体的,可以利用车型识别算法对目标车辆进行车型识别,以判断目标车辆是否为大型车辆。车型识别算法例如可以为CNN网络分类方法,其可以识别出目标车辆的类型,例如mpv、suv、出租车、小货车、中货车、大货车、小客车、中客车、大客车、二轮车、公交车、轿车、皮车卡、特殊车辆等。
在另一实施例中,还可以利用车牌识别算法对目标车辆进行车牌识别,以识别目标车辆的车牌颜色,基于目标车辆的车牌颜色确定目标车辆是否为大型车辆。具体的,牌识别算法包括但不限于anchor-base(YOLO、SSD、RCNN系列等)或anchor-free(CenterNet、CornerNet等)方法。利用车牌识别算法识别出车牌的颜色、类型等。例如大型车辆一般为黄色车牌,若识别出车牌颜色为黄色,则判定目标车辆为大型车辆。
步骤S112:响应于目标车辆是大型车辆,则对目标车辆进行实时监控。
在一具体实施例中,本申请的车辆抓拍方法应用于大型车辆右转弯事件,以此在检测之前判断跟踪的目标车辆是否为大型车辆,若是,则对目标车辆进行实时监控,以判断其是否按照交通法规实施右转弯停车策略。
请参加图12,为本发明车辆抓拍装置的一实施例的结构示意图,具体包括:关键点检测模块121、停车检测模块122以及视频获取模块123。
其中,关键点检测模块121用于对目标车辆进行实时监控以检测目标车辆的预设关键点的位置坐标。具体的,关键点检测模块121还用于对目标车辆进行检测,以判断目标车辆是否为大型车辆;响应于目标车辆是大型车辆,则对目标车辆进行实时监控。在一实施例中,关键点检测模块121利用车型识别算法对目标车辆进行车型识别,以判断目标车辆是否为大型车辆;或者利用车牌识别算法对目标车辆进行车牌识别,以识别目标车辆的车牌颜色,基于目标车辆的车牌颜色确定目标车辆是否为大型车辆。
停车检测模块122用于利用预设关键点的位置坐标确定目标车辆在通过道路上预设位置时是否有停车。视频获取模块123用于响应于未停车,对目标车辆进行抓拍留证。
在一实施例中,停车检测模块122用于在预设关键点先后到达第一抓拍线、第二抓拍线时,分别对目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间;根据第一抓拍时间以及第二抓拍时间判断目标车辆是否实行第一次停车事件。在目标车辆未实行第一次停车事件时,视频获取模块123对目标车辆进行抓拍留证。
在一实施例中,在目标车辆实行第一次停车事件时,停车检测模块122用于在预设关键点先后到达第三抓拍线、第四抓拍线时,分别对目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间;根据第三抓拍时间以及第四抓拍时间判断目标车辆是否实行第二次停车事件。在目标车辆未实行第二次停车事件,视频获取模块123对目标车辆进行抓拍留证。
在一实施例中,停车检测模块122用于对包含目标车辆的第一组图像进行关键点检测,进而得到第一组图像中目标车辆的关键点的位置坐标,第一组图像为目标车辆先后到达第一抓拍线以及第二抓拍线时拍摄的图像;根据第一组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第一次停车事件。在目标车辆未实行第一次停车事件时,视频获取模块123对目标车辆进行抓拍留证。
在一实施例中,在目标车辆实行第一次停车事件时,停车检测模块122用于对包含目标车辆的第二组图像进行关键点检测,进而得到第二组图像中目标车辆的关键点的位置坐标,第二组图像为目标车辆先后到达第三抓拍线以及第四抓拍线时拍摄的图像;根据第二组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第二次停车事件。在目标车辆未实行第二次停车事件,视频获取模块123对目标车辆进行抓拍留证。
在一实施例中,停车检测模块122用于在预设关键点先后到达第一抓拍线、第二抓拍线时,分别对目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间;根据第一抓拍时间以及第二抓拍时间判断目标车辆是否实行第一次停车事件。在目标车辆未实行第一次停车事件时,停车检测模块122进一步对包含目标车辆的第一组图像进行关键点检测,进而得到第一组图像中目标车辆的关键点的位置坐标;根据第一组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第一次停车事件。在目标车辆未实行第一次停车事件,视频获取模块123对目标车辆进行抓拍留证。
在一实施例中,在目标车辆实行第一次停车事件时,停车检测模块122用于在预设关键点先后到达第三抓拍线、第四抓拍线时,分别对目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间;根据第三抓拍时间以及第四抓拍时间判断目标车辆是否实行第二次停车事件。在目标车辆未实行第二次停车事件时,停车检测模块122对包含目标车辆的第二组图像进行关键点检测,进而得到第二组图像中目标车辆的关键点的位置坐标;根据第二组图像中其余帧图像与第一帧图像中关键点的位置坐标的差值判断目标车辆是否实行第二次停车事件。在目标车辆未实行第二次停车事件时,视频获取模块123对目标车辆进行抓拍留证。
在一实施例中,停车检测模块122判断第一抓拍时间与第二抓拍时间的第一时间差是否小于第一预设时间;若第一时间差小于第一预设时间,则确定目标车辆未实行第一次停车事件。
在一实施例中,停车检测模块122判断第三抓拍时间与第四抓拍时间的第二时间差是否小于第二预设时间;若第二时间差小于第二预设时间,则确定目标车辆未实行第二次停车事件。
在一实施例中,停车检测模块122判断其余帧图像与第一帧图像中关键点的位置差是否小于预设值;若位置差不小于预设值,则确定目标车辆未实行第一次停车事件。
在一实施例中,停车检测模块122判断其余帧图像与第一帧图像中关键点的位置差是否小于预设值;若位置差不小于预设值,则确定目标车辆未实行第二次停车事件。
在一实施例中,停车检测模块122对目标车辆进行关键点检测,进而得到目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标;根据目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标计算得到目标车辆的车头投影点的位置坐标;若左后视镜关键点的坐标大于第一平均值,则对目标车辆进行抓拍,进而得到第一抓拍时间,其中,第一平均值为第一抓拍线的两个端点的坐标的平均值;若车头投影点的坐标大于第二平均值,则对目标车辆进行抓拍,进而得到第二抓拍时间;其中,第二平均值为第二抓拍线的两个端点的坐标的平均值。
在一实施例中,停车检测模块122对目标车辆进行关键点检测,进而得到目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标;根据目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标计算得到目标车辆的车头投影点的位置坐标;若车头投影点的坐标大于第三平均值,则对目标车辆进行抓拍,进而得到第三抓拍时间;其中,第三平均值为第三抓拍线的两个端点的坐标的平均值;若车辆中心点到达第四抓拍线时,则对目标车辆进行抓拍,进而得到第四抓拍时间。
在一实施例中,关键点至少包括:左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点;其余帧图像与第一帧图像中至少一个关键点的位置差小于预设值,则确定目标车辆实行第一次停车事件或者第二次停车事件。
请参见图13,为本发明电子设备的一实施例的结构示意图,电子设备包括相互连接的存储器202和处理器201。
存储器202用于存储实现上述任意一项的设备的方法的程序指令。
处理器201用于执行存储器202存储的程序指令。
其中,处理器201还可以称为CPU(Central Processing Unit,中央处理单元)。处理器201可能是一种集成电路芯片,具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器202可以为内存条、TF卡等,可以存储设备的电子设备中全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器,电子设备才有记忆功能,才能保证正常工作。电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,系统服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
请参阅图14,为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件203,其中,该程序文件203可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (18)

1.一种车辆抓拍方法,其特征在于,所述车辆包括大型车辆,所述车辆抓拍方法应用于车辆右转弯,所述车辆抓拍方法包括:
对目标车辆进行监控以检测所述目标车辆的预设关键点的位置坐标;
在所述预设关键点先后到达第一抓拍线、第二抓拍线时,分别对所述目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间;
根据所述第一抓拍时间以及所述第二抓拍时间判断所述目标车辆是否实行第一次停车事件;
响应于所述目标车辆实行所述第一次停车事件,则在所述预设关键点先后到达第三抓拍线、第四抓拍线时,分别对所述目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间,所述第一抓拍线、所述第二抓拍线、所述第三抓拍线以及所述第四抓拍线在道路上沿所述目标车辆的行驶方向依次设置;
根据所述第三抓拍时间以及所述第四抓拍时间判断所述目标车辆是否实行第二次停车事件;
响应于所述目标车辆未实行所述第一次停车事件或所述第二次停车事件,对所述目标车辆进行抓拍留证。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一抓拍时间以及所述第二抓拍时间判断所述目标车辆是否实行第一次停车事件的步骤,包括:
判断所述第一抓拍时间与所述第二抓拍时间的第一时间差是否小于第一预设时间;
响应于所述第一时间差小于所述第一预设时间,则确定所述目标车辆未实行所述第一次停车事件。
3.根据权利要求1所述的方法,其特征在于,所述在所述预设关键点先后到达第一抓拍线、第二抓拍线时,分别对所述目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间的步骤,包括:
对所述目标车辆进行关键点检测,进而得到所述目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标;
根据所述目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标计算得到目标车辆的车头投影点的位置坐标;
若所述左后视镜关键点的y坐标大于第一平均值,则对所述目标车辆进行抓拍,进而得到所述第一抓拍时间,其中,从左至右方向,x坐标依次增大,沿所述目标车辆行驶方向,y坐标依次增大,所述第一平均值为所述第一抓拍线的两个端点的y坐标的平均值;
若所述车头投影点的y坐标大于第二平均值,则对所述目标车辆进行抓拍,进而得到所述第二抓拍时间;其中,所述第二平均值为所述第二抓拍线的两个端点的y坐标的平均值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第三抓拍时间以及所述第四抓拍时间判断所述目标车辆是否实行第二次停车事件的步骤,包括:
判断所述第三抓拍时间与所述第四抓拍时间的第二时间差是否小于第二预设时间;
响应于所述第二时间差小于所述第二预设时间,则确定所述目标车辆未实行所述第二次停车事件。
5.根据权利要求1所述的方法,其特征在于,所述在所述预设关键点先后到达第三抓拍线、第四抓拍线时,分别对所述目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间的步骤,包括:
对所述目标车辆进行关键点检测,进而得到所述目标车辆的左后视镜关键点的位置坐标以及所述目标车辆的车辆中心点的位置坐标;
根据所述目标车辆的左后视镜关键点的位置坐标以及目标车辆的车辆中心点的位置坐标计算得到目标车辆的车头投影点的位置坐标;
若所述车头投影点的y坐标大于第三平均值,则对所述目标车辆进行抓拍,进而得到所述第三抓拍时间;其中,从左至右方向,x坐标依次增大,沿所述目标车辆行驶方向,y坐标依次增大,所述第三平均值为所述第三抓拍线的两个端点的y坐标的平均值;
若所述车辆中心点到达第四抓拍线时,则对所述目标车辆进行抓拍,进而得到所述第四抓拍时间。
6.根据权利要求1所述的方法,其特征在于,
所述对目标车辆进行监控以检测所述目标车辆的预设关键点的位置坐标的步骤,包括:
对包含所述目标车辆的第一组图像进行关键点检测,进而得到第一组图像中所述目标车辆的关键点的位置坐标,所述第一组图像为所述目标车辆先后到达第一抓拍线以及第二抓拍线时拍摄的图像;
利用所述预设关键点的位置坐标确定所述目标车辆在通过道路上预设位置时是否有停车的步骤,还包括:
根据第一组图像中第一帧图像中关键点与其余帧图像中关键点的位置坐标的差值判断所述目标车辆是否实行第一次停车事件;
所述响应于未停车,对所述目标车辆进行抓拍留证的步骤,包括:
响应于所述目标车辆未实行所述第一次停车事件,对所述目标车辆进行抓拍留证。
7.根据权利要求6所述的方法,其特征在于,所述根据第一组图像中第一帧图像中关键点与其余帧图像中关键点的位置坐标的差值判断所述目标车辆是否实行第一次停车事件的步骤,包括:
判断第一帧图像中关键点与其余帧图像中关键点的位置差是否小于预设值;
响应于所述位置差不小于所述预设值,则确定所述目标车辆未实行所述第一次停车事件。
8.根据权利要求6所述的方法,其特征在于,
响应于所述目标车辆实行所述第一次停车事件,对包含所述目标车辆的第二组图像进行关键点检测,进而得到第二组图像中所述目标车辆的关键点的位置坐标,所述第二组图像为所述目标车辆先后到达第三抓拍线以及第四抓拍线时拍摄的图像;
根据第二组图像中第一帧图像中关键点与其余帧图像中关键点的位置坐标的差值判断所述目标车辆是否实行第二次停车事件;
响应于所述目标车辆未实行所述第二次停车事件,则对所述目标车辆进行抓拍留证。
9.根据权利要求8所述的方法,其特征在于,所述根据第二组图像中第一帧图像中关键点与其余帧图像中关键点的位置坐标的差值判断所述目标车辆是否实行第二次停车事件的步骤,包括:
判断第一帧图像中关键点与其余帧图像中关键点的位置差是否小于预设值;
响应于所述位置差不小于所述预设值,则确定所述目标车辆未实行所述第二次停车事件。
10.根据权利要求8所述的方法,其特征在于,所述关键点为所述第一组图像或所述第二组图像中的所述目标车辆的可见部位的点。
11.根据权利要求10所述的方法,其特征在于,所述关键点包括:所述目标车辆的左后视镜的关键点、车头左上顶点、车头右上顶点、左前车轮点、左后车轮点、车尾左上顶点、车尾右上顶点、车尾左下顶点、车尾右下顶点、车尾左下挡板点、车尾右下挡板点、车牌中心点中任意一个或任意组合。
12.根据权利要求7或9所述的方法,其特征在于,所述第一组图像或者所述第二组图像中至少一个关键点的位置差小于所述预设值,则确定所述目标车辆实行所述第一次停车事件或者所述第二次停车事件。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标车辆进行检测,以判断所述目标车辆是否为大型车辆;
响应于所述目标车辆是大型车辆,则对所述目标车辆进行实时监控。
14.根据权利要求13所述的方法,其特征在于,所述对所述目标车辆进行检测,以判断所述目标车辆是否为大型车辆的步骤,包括:
利用车型识别算法对所述目标车辆进行车型识别,以判断所述目标车辆是否为大型车辆;或者
利用车牌识别算法对所述目标车辆进行车牌识别,以识别所述目标车辆的车牌颜色,基于所述目标车辆的车牌颜色确定所述目标车辆是否为大型车辆。
15.根据权利要求1所述的方法,其特征在于,所述第一抓拍线为前置线,所述第二抓拍线为停止线,所述第三抓拍线为待行线,所述第四抓拍线为转弯线。
16.一种车辆抓拍装置,其特征在于,所述车辆包括大型车辆,所述车辆抓拍装置应用于车辆右转弯,包括:
关键点检测模块,用于对目标车辆进行实时监控以检测所述目标车辆的预设关键点的位置坐标;
停车检测模块,用于在所述预设关键点先后到达第一抓拍线、第二抓拍线时,分别对所述目标车辆进行抓拍,得到第一抓拍时间以及第二抓拍时间;根据所述第一抓拍时间以及所述第二抓拍时间判断所述目标车辆是否实行第一次停车事件;响应于所述目标车辆实行所述第一次停车事件,则在所述预设关键点先后到达第三抓拍线、第四抓拍线时,分别对所述目标车辆进行抓拍,得到第三抓拍时间以及第四抓拍时间,所述第一抓拍线、所述第二抓拍线、所述第三抓拍线以及所述第四抓拍线在道路上沿所述目标车辆的行驶方向依次设置;根据所述第三抓拍时间以及所述第四抓拍时间判断所述目标车辆是否实行第二次停车事件;
视频获取模块,用于响应于所述目标车辆未实行所述第一次停车事件或所述第二次停车事件,对所述目标车辆进行抓拍留证。
17.一种电子设备,其特征在于,包括:存储器和处理器,其中,所述存储器存储有程序指令,所述处理器从所述存储器调取所述程序指令以执行如权利要求1-15任一项所述的车辆抓拍方法。
18.一种计算机可读存储介质,其特征在于,存储有程序文件,所述程序文件能够被执行以实现如权利要求1-15任一项所述的车辆抓拍方法。
CN202110551928.9A 2021-05-20 2021-05-20 车辆抓拍方法、装置、电子设备、计算机可读存储介质 Active CN113538924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110551928.9A CN113538924B (zh) 2021-05-20 2021-05-20 车辆抓拍方法、装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110551928.9A CN113538924B (zh) 2021-05-20 2021-05-20 车辆抓拍方法、装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113538924A CN113538924A (zh) 2021-10-22
CN113538924B true CN113538924B (zh) 2022-08-09

Family

ID=78094694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110551928.9A Active CN113538924B (zh) 2021-05-20 2021-05-20 车辆抓拍方法、装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113538924B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789486B (zh) * 2024-02-28 2024-05-10 南京莱斯信息技术股份有限公司 一种大型车交叉路口右转必停监管系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258981A (ja) * 2003-02-26 2004-09-16 Hitachi Ltd 車両監視方法およびその装置
CN104574980B (zh) * 2014-12-01 2017-11-17 山东易华录信息技术有限公司 记录路口转弯机动车不停车避让行人违法行为系统和方法
CN111583661B (zh) * 2020-05-27 2023-05-09 毕昇云(武汉)信息技术有限公司 基于枪球联动与dnn的车辆闯红灯检测方法
CN111770268A (zh) * 2020-06-23 2020-10-13 维沃移动通信有限公司 拍照方法、装置及电子设备
CN112580457A (zh) * 2020-12-09 2021-03-30 上海眼控科技股份有限公司 车辆视频的处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113538924A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN111815959B (zh) 一种车辆违章的检测方法、装置以及计算机可读存储介质
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
US20130321630A1 (en) System and method for lane departure warning
US11648877B2 (en) Method for detecting an object via a vehicular vision system
US9965690B2 (en) On-vehicle control device
CN109871732B (zh) 停车格辨识系统及其方法
CN112289070B (zh) 一种车位检测方法、装置、车辆、可读介质
US20160180158A1 (en) Vehicle vision system with pedestrian detection
CN113538924B (zh) 车辆抓拍方法、装置、电子设备、计算机可读存储介质
Kuo et al. Vision-based vehicle detection in the nighttime
CN111583659B (zh) 一种车辆违章判定方法、装置、设备及介质
CN114550142A (zh) 基于4d毫米波雷达和图像识别融合的车位检测方法
CN111931745B (zh) 车辆检测方法、装置、电子设备及存储介质
KR20200133920A (ko) 인공신경망 기반의 투사정보 인식 장치 및 그 방법
CN113822811A (zh) 超车可行性实时判断系统及方法
CN113076851A (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
KR101738025B1 (ko) 블랙박스를 이용한 사고판단시스템 및 그 구동방법
CN113591554A (zh) 压线检测方法以及违章检测方法
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN113112814B (zh) 右转不停车的抓拍方法、抓拍设备及计算机存储介质
CN114973157A (zh) 车辆分离方法、电子设备及计算机可读存储介质
KR101080869B1 (ko) 차량 촬영 시스템 및 그 방법
CN113128264B (zh) 一种车辆区域确定方法、装置及电子设备
Yi et al. A fast and accurate forward vehicle start alarm by tracking moving edges obtained from dashboard camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant