CN104318782A - 一种面向区域重叠的高速公路视频测速方法及系统 - Google Patents

一种面向区域重叠的高速公路视频测速方法及系统 Download PDF

Info

Publication number
CN104318782A
CN104318782A CN201410605646.2A CN201410605646A CN104318782A CN 104318782 A CN104318782 A CN 104318782A CN 201410605646 A CN201410605646 A CN 201410605646A CN 104318782 A CN104318782 A CN 104318782A
Authority
CN
China
Prior art keywords
region
vehicle
specific objective
template
moving vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410605646.2A
Other languages
English (en)
Other versions
CN104318782B (zh
Inventor
陈海江
蓝天翔
詹常青
李艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Li Shi Science And Technology Co Ltd
Original Assignee
Zhejiang Li Shi Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Li Shi Science And Technology Co Ltd filed Critical Zhejiang Li Shi Science And Technology Co Ltd
Priority to CN201410605646.2A priority Critical patent/CN104318782B/zh
Publication of CN104318782A publication Critical patent/CN104318782A/zh
Application granted granted Critical
Publication of CN104318782B publication Critical patent/CN104318782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本发明提供了一种面向区域重叠的高速公路视频测速方法及系统。在车辆提取追踪过程中,本发明针对运动区域采用了对区域重叠的鲁棒性更强的算法进行特征参数提取和模板匹配;从而,视区域重叠的程度不同,在重叠程度未超过一定限度时能够成功在重叠区域中实现特定目标车辆的识别;本发明还根据重叠程度自适应地采用相对应的追踪方式。本发明能够在测速视频画面序列的各帧画面中连续地发现特定目标车辆所在区域,特别是当特定目标车辆处于重叠区域的情况也能够实现识别,从而确定代表该特定目标车辆的像素位置,进而实现视频画面坐标系中的运动速度计算。

Description

一种面向区域重叠的高速公路视频测速方法及系统
技术领域
本发明涉及高速公路测速技术领域,更具体地,涉及一种面向区域重叠的高速公路视频测速方法及系统。
背景技术
传统的高速公路超速监测采用地感线圈测速,激光测速和雷达测速。以上三种测速方法均有各自的不足之处。地感线圈测速是在公路地面预先埋设一对具有车辆通过感应能力的线圈,记录目标车辆相继通过两个线圈的时间,进而根据时间差与线圈间距计算出速。但是地感线圈的安装会破坏高速公路的路面,而且对于沿非直线轨迹行驶的车辆测速精度较低。激光测速利用激光脉冲对驶来车辆多次进行测距,进而计算车速。但激光测速要求仪器正对来车,与车辆行驶方向的偏差角度不能超过10度,安装位置条件比较苛刻,而且对于在测速区内行驶轨迹变化的车辆同样存在测量误差大的问题。雷达测速是利用多普勒原理进行测速,但是与激光测速类似,同样存在与车辆行驶方向的偏差角度要保持在10度以内的问题,给其适用范围带来很大的局限性。
随着高速摄像和图像处理识别技术的进步,可以从高速公路监控摄像机拍摄的各帧视频画面中定位目标车辆,并根据其行驶轨迹以及各帧视频画面的拍摄时间计算车速。基于这一原理的高速公路测速技术被称之为视频测速。相比上面介绍的传统测速技术,视频测速以下几个方面能够表现出明显的优势。首先,只需要具有较高分辨率的高速摄像机即可以实现高速公路及相关车辆画面的拍摄,信号采集过程和设备均得到简化,对高速公路的路面和其它设施没有不利影响,易于改造施工;其次,相比于雷达和激光测速对于偏差角度的敏感性来说,视频测速对于拍摄角度的要求非常宽松;第三,通过对视频测速相关算法的改进,对于车辆行驶轨迹的适应性大大提高,对于车辆变道甚至转弯行驶的情况也能够实现准确测速;第四,不论是地感线圈、激光还是雷达测速,都必须附加摄像以便识别车牌和取证,而视频测速可以将测速、车牌识别、记录取证等步骤集中完成,系统的集成化和反应速度得到了很大提升。
视频测速技术的核心在于对视频画面的处理、识别和分析计算,因此其算法决定了整个系统的精确性和实时性。视频测速算法的基础是视频画面中特定目标车辆的识别抽取,目标是将视频画面中代表特定目标车辆的部分识别抽取出来而区别于视频画面中的其余部分。特定目标车辆识别抽取方法包括光流法、帧间差分法、背景差分法、车灯区域定位法、车牌定位法等。对于所抽取的表示特定目标车辆的部分,还要进行必要的处理而去除阴影等杂质。
在此基础上,对特定目标车辆执行测速的算法可分为虚拟线圈法和定位追踪法两种类型。
虚拟线圈法是将视频画面预定区域设定为虚拟线圈,作为虚拟线圈的画面区域对应高速公路当中的某一位置,当车辆通过高速公路的所述位置时,会引起视频画面中虚拟线圈处的图像信号变化,这被称为触发虚拟线圈。两个虚拟线圈对应的公路位置之间的真实间距L可以通过实地测量或者计算而事先获得。因而,通过所述特定目标车辆触发两个虚拟线圈的时间差△t,可以计算该特定目标车辆的车速v=L/△t;其中,△t通常用确定该特定目标车辆触发各虚拟线圈的前、后两个视频画面的帧间差来表示。虚拟线圈法的算法更为简单、运行速度更快、在实际应用中也更为普遍。不过虚拟线圈法的一个基本前提是假设目标车辆在前、后两个虚拟线圈之间是沿着公路延伸方向直线行驶的,这样才能用所述间距L来代表车辆的行驶距离。而事实上,车辆的行驶路径不可能是直线,甚至存在车辆在两个虚拟线圈之间的区域进行变道的可能,而这种情况下虚拟线圈法的测量准确性就会大大降低。换句话说,虚拟线圈法不适合复杂行驶轨迹下的车辆测速。所述复杂行驶轨迹下的车辆测速还包括面向转弯路段进行测速的情况,因为在转弯路段当中各个车辆的行驶轨迹是非常不一致的,难于设定一个标准的间距L来代表行驶距离。
相比虚拟线圈法,定位追踪法测速对特定目标车辆的追踪过程可以持续更长的时间和距离,而且是面向实际轨迹的测量,其精确度更高,对于复杂行驶轨迹也具有良好的适应性。
定位追踪法在连续若干帧视频画面中识别和定位同一个特定目标车辆区域,在保证摄像机的位置和角度不发生变化的前提下,将该特定目标车辆区域在两帧视频画面所处的位置进行比较,判断二者在视频画面坐标系下的距离(一般以像素数来表示),由于拍摄两帧画面的时间是已知的则能够容易地计算该特定目标车辆在视频画面坐标系中的运动速度,进而换算车辆的实际速度。定位追踪法从大的方面划分,可以分为摄像机标定以及特定目标车辆的提取和追踪两个步骤。摄像机标定是建立视频画面坐标系与现实空间坐标系之间的映射关系,以便进行从视频画面坐标系中的运动速度到现实空间中的实际速度的推算。车辆提取的目标是将视频画面中表示运动车辆区域从背景当中分离出来,并且去掉阴影以及非车辆运动物体等干扰信息。车辆追踪提取运动车辆区域的特征参数,利用特征参数在每一帧画面中识别出特定目标车辆并确定该特定目标车辆的坐标,运动车辆区域的轮廓形状等可以转化为所述特征参数;进而,将视频画面序列的不同帧中同一个特定目标车辆关联起来,得到该特定目标车辆的运动轨迹,跟踪运动轨迹来计算其在视频画面坐标系中的运动速度。
当高速公路的拍摄测速区段中同时存在若干个运动车辆时,相应地,视频画面中则会出现若干个运动车辆区域。由于视频画面是三维现实空间的二维投影,因此在现实空间中并没有接触的车辆,在视频画面中可能会出现区域重叠的情形。例如,如图1所示的测速视频画面序列当中,在图1A的视频画面中轿车对应的运动车辆区域C1与厢式货车对应的运动车辆区域C2彼此分离;而在图1B中二者发生部分重叠,运动车辆区域C1的一部分在视频画面中因与运动车辆区域C2重叠已不可见;在图1C中,运动车辆区域C1的较大部分已经与运动车辆区域C2重叠而不可见,造成其轮廓等外观特征发生明显的改变。
区域重叠会造成车辆目标的错误识别甚至目标丢失,如何克服区域重叠是现有技术中的一个难题。如果单纯以表示轮廓的特征参数进行特定目标车辆的识别和追踪,在图1B和图1C的视频画面中对轿车和厢式货车的识别都会发生问题。现有技术中通过增强识别算法的容错能力,例如采用轮廓信息与车辆颜色和纹理信息相协同的特征识别算法、改进特征匹配判断标准等手段,基本能够在图1B和图1C所示的情况中实现对位于前景的厢式货车的识别追踪。但是,对于图1B和图1C中的轿车,特别面对图1C中运动车辆区域C1的较大部分不可见的严重重叠情况,现有技术则完全无法实现识别追踪,这就会造成对轿车进行轨迹追踪时不得不放弃存在区域重叠的若干个视频帧,所产生的中断会使对轿车测速的误差增大甚至失败。因此,在实际应用中,特别是将采用定位追踪法的视频测速系统应用于繁忙路段时,会因区域重叠情况的频繁发生而显著降低系统的可用性。
发明内容
针对现有技术中的上述缺陷,本发明提供了一种面向区域重叠的高速公路视频测速方法及系统。在车辆提取追踪过程中,本发明针对运动区域采用了对区域重叠的鲁棒性更强的算法进行特征参数提取和模板匹配;从而,视区域重叠的程度不同,在重叠程度未超过一定限度时能够成功在重叠区域中实现特定目标车辆的识别;本发明还根据重叠程度自适应地采用相对应的追踪方式。本发明能够在测速视频画面序列的各帧画面中连续地发现特定目标车辆所在区域,特别是当特定目标车辆处于重叠区域的情况也能够实现识别,从而确定代表该特定目标车辆的像素位置,进而实现视频画面坐标系中的运动速度计算。
本发明所述面向区域重叠的高速公路视频测速方法,其特征在于,包括以下步骤:
摄像机标定步骤,建立视频画面坐标系与现实空间坐标系之间的映射关系,求解在视频画面坐标系与现实空间坐标系之间进行转换的参数矩阵;
运动车辆区域提取步骤,通过拍摄高速公路的检测段获得视频画面序列,将其中每一帧视频画面与背景模型进行差分运算,通过判断像素值变化幅度是否大于阈值提取视频画面中的运动区域,并且利用预定的区域过滤条件去除干扰,获得运动车辆区域;
特定目标车辆识别步骤,识别运动车辆区域的特征参数序列,并且将所述特征参数序列与至少一个表示特定目标车辆的识别模板进行匹配计算;如果该运动车辆区域与其中一个识别模板匹配成功,则确定所述运动车辆区域属于所述识别模板表示的特定目标车辆;在每一帧视频画面中针对至少一个特定目标车辆分别确定属于各特定目标车辆的运动车辆区域;
特定目标车辆追踪步骤,将所述视频画面序列的各帧中属于同一个特定目标车辆的运动车辆区域相关联,获得所述同一个特定目标车辆的运动轨迹;根据运动轨迹计算视频画面坐标系中的运动速度,并根据所述参数矩阵计算实际车速;
其中,在所述特定目标车辆识别步骤中,如果存在至少一个运动车辆区域的特征参数序列与任何一个识别模板均不能匹配成功,则确定该运动车辆区域为重叠区域,并执行面向区域重叠状态的分支处理方法,所述分支处理方法具体包括:
反向预测步骤,调用一帧在先视频画面,并且在该在先视频画面中确定搜索区域,提取位于搜索区域内的运动车辆区域作为备选项,并调用各备选项所属于的特定目标车辆的识别模板,作为备选识别模板;
局部识别步骤,设定比较窗口,利用所述比较窗口从所述重叠区域中选取局部区域,计算该局部区域的特征参数序列;以所述局部区域的特征参数序列与备选识别模板执行匹配计算;在匹配不成功的情况下,通过平移所述比较窗口而选取下一个局部区域并计算其特征参数序列,并继续与备选识别模板执行匹配计算,直至匹配成功;在局部区域与一个备选识别模板匹配成功之后,通过微调所述比较窗口的位置,确定与该备选识别模板最为匹配的局部区域,将最为匹配的局部区域识别为属于与该备选识别模板对应的特定目标车辆;在对全部备选识别模板都执行了局部识别步骤之后,继续执行预测识别步骤;
预测识别步骤,判断经特定目标车辆识别步骤和局部识别步骤之后,对于从在先帧视频画面中识别出来的特定目标车辆,是否均已在当前帧视频画面中识别到了其运动车辆区域或局部区域;如果存在仍未识别出运动车辆区域或局部区域的特定目标车辆,确定在所述在先帧视频画面中属于该特定目标车辆的运动车辆区域的位置坐标,并基于该位置坐标在当前帧视频画面中确定一有效区域;判断在所述有效区域内是否存在重叠区域;如果存在重叠区域,计算重叠区域的面积是否符合预定面积条件;在符合预定面积条件的情况下,将该重叠区域识别为属于所述特定目标车辆。
优选的是,在所述特定目标车辆识别步骤和局部识别步骤中,针对所述运动车辆区域或局部区域按固定像素宽度分割的n个条带,所述运动车辆区域或局部区域在各条带覆盖范围内形成n个运动车辆子区域或局部子区域;分别计算各运动车辆子区域或局部子区域的最小外接矩的面积值,并且分别计算各运动车辆子区域或局部子区域的像素平均亮度值;利用各运动车辆子区域或局部子区域的面积值和像素平均亮度值构成该运动车辆区域或局部子区域的特征参数序列,所述特征参数序列具有分别对应于各运动车辆子区域或局部区域的n个面积值和n个像素平均亮度值;并且
在所述特定目标车辆识别步骤和局部识别步骤中,所述表示特定目标车辆的识别模板是由n个面积值和n个亮度值组成的特征序列;特征参数序列与识别模板的匹配计算为:分别求特征参数序列中第i个面积值与识别模板的第i个面积值之间的面积绝对差值,计算n个面积绝对差值的面积差总和;分别求特征参数序列中第i个像素平均亮度值与识别模板的第i个亮度值之间的亮度绝对差值,计算n个亮度绝对差值的亮度差总和;将所述面积差总和与所述亮度差总和分别乘以权重因数后相加,获得匹配计算结果;如果匹配计算结果大于匹配阈值,则确定匹配成功;其中i=1至n。
优选的是,所述特定目标车辆识别步骤中,将所述运动车辆区域分割为n个条带的步骤具体包括:求运动车辆区域的最小外接矩;从所述最小外接矩的一条边出发,以固定像素宽度分割第1至n-1个条带;将最小外接矩除第1至n-1个条带以外的剩余部分作为第n个条带。
优选的是,在特定目标车辆识别步骤中,如果运动车辆区域与一个识别模板匹配成功,则用该运动车辆区域的特征参数序列更新该识别模板。
优选的是,在特定目标车辆识别步骤中,按照以下方法获得表示特定目标车辆的识别模板:拍摄高速公路的进入区的视频画面序列;提取该视频画面序列的每一帧视频画面中的运动车辆区域,并过滤其中反映完整单个车辆的运动车辆区域;提取反映完整单个车辆的运动车辆区域的特征参数序列;将所述特征参数序列与已建立的识别模板进行匹配计算;如果与一个识别模板匹配成功,利用所述特征参数序列更新该识别模板;如果所述特征参数序列不能与任何一个已建立的识别模板匹配成功,则基于该特征参数序列新建一个识别模板。
优选的是,所述局部识别步骤中,如果一个备选识别模板是由n个面积值和n个亮度值组成的特征序列,并且所述重叠区域以固定像素宽度分割为m个条带;则确定比较窗口为n个条带,选取重叠区域中连续的n个条带作为所述局部区域。
优选的是,所述局部识别步骤中,设置初步匹配阈值;如果局部区域与备选识别模板执行匹配计算的结果值小于或等于所述初步匹配阈值,则认为匹配成功;如果结果值大于所述初步匹配阈值,则将所述比较窗口平移一个条带。
优选的是,所述局部识别步骤中,在局部区域与一个备选识别模板匹配成功之后,将所述比较窗口以每次移动一个像素宽度的幅度进行平移从而提取新的局部区域,每次平移后计算新的局部区域的特征参数序列,并与备选识别模板的特征序列执行匹配计算;取得匹配计算当中最小计算结果的局部区域识别为属于所述备选识别模板对应的特定目标车辆。
优选的是,预测识别步骤中,对于所述有效区域内存在的重叠区域,以该重叠区域的最小外接矩总面积减去该重叠区域的已识别面积,所述已识别面积是该重叠区域中已被识别属于至少一个特定目标车辆的局部区域的最小外接矩面积;如果剩余面积大于阈值,则确定符合预定面积条件。
本发明进而提供一种面向区域重叠的高速公路视频测速系统,其特征在于,包括:
摄像机标定模块,用于建立视频画面坐标系与现实空间坐标系之间的映射关系,求解在视频画面坐标系与现实空间坐标系之间进行转换的参数矩阵;
运动车辆区域提取模块,用于通过拍摄高速公路的检测段获得视频画面序列,将其中每一帧视频画面与背景模型进行差分运算,通过判断像素值变化幅度是否大于阈值提取视频画面中的运动区域,并且利用预定的区域过滤条件去除干扰,获得运动车辆区域;
特定目标车辆识别模块,用于识别运动车辆区域的特征参数序列,并且将所述特征参数序列与至少一个表示特定目标车辆的识别模板进行匹配计算;如果该运动车辆区域与其中一个识别模板匹配成功,则确定所述运动车辆区域属于所述识别模板表示的特定目标车辆;在每一帧视频画面中针对至少一个特定目标车辆分别确定属于各特定目标车辆的运动车辆区域;
特定目标车辆追踪模块,用于将所述视频画面序列的各帧中属于同一个特定目标车辆的运动车辆区域相关联,获得所述同一个特定目标车辆的运动轨迹;根据运动轨迹计算视频画面坐标系中的运动速度,并根据所述参数矩阵计算实际车速;
反向预测模块,用于调用一帧在先视频画面,并且在该在先视频画面中确定搜索区域,提取位于搜索区域内的运动车辆区域作为备选项,并调用各备选项所属于的特定目标车辆的识别模板,作为备选识别模板;
局部识别模块,用于设定比较窗口,利用所述比较窗口从所述重叠区域中选取局部区域,计算该局部区域的特征参数序列;以所述局部区域的特征参数序列与备选识别模板执行匹配计算;在匹配不成功的情况下,通过平移所述比较窗口而选取下一个局部区域并计算其特征参数序列,并继续与备选识别模板执行匹配计算,直至匹配成功;在局部区域与一个备选识别模板匹配成功之后,通过微调所述比较窗口的位置,确定与该备选识别模板最为匹配的局部区域,将最为匹配的局部区域识别为属于与该备选识别模板对应的特定目标车辆;
预测识别模块,用于判断经特定目标车辆识别模块和局部识别模块运算之后,对于从在先帧视频画面中识别出来的特定目标车辆,是否均已在当前帧视频画面中识别到了其运动车辆区域或局部区域;如果存在仍未识别出运动车辆区域或局部区域的特定目标车辆,确定在所述在先帧视频画面中属于该特定目标车辆的运动车辆区域的位置坐标,并基于该位置坐标在当前帧视频画面中确定一有效区域;判断在所述有效区域内是否存在重叠区域;如果存在重叠区域,计算重叠区域的面积是否符合预定面积条件;在符合预定面积条件的情况下,将该重叠区域识别为属于所述特定目标车辆;
其中,所述特定目标车辆识别模块如果发现存在至少一个运动车辆区域的特征参数序列与任何一个识别模板均不能匹配成功,则确定该运动车辆区域为重叠区域,并控制启动所述反向预测模块、局部识别模块和预测识别模块。
本发明所述的高速公路视频测速方法及系统通过摄像机标定、视频画面运动区域提取、特定目标车辆匹配识别、特定目标车辆轨迹追踪和车速计算等过程实现视频测速。其中,针对视频测速过程中区域重叠易发的特点,采用基于条带分割的方法提取运动区域的特征参数序列并实现模板匹配,相比传统算法来说,面向区域重叠的鲁棒性更强。视区域重叠的程度不同,在重叠程度未超过一定限度时能够成功在重叠区域中实现特定目标车辆的识别;根据重叠程度自适应地采用相对应的追踪方式。从而,能够在测速视频画面序列的各帧画面中连续地发现特定目标车辆所在区域,确定代表该特定目标车辆的像素位置,进而实现视频画面坐标系中的运动速度计算。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明:
图1A-1C示出了测速视频画面序列当中的三帧视频画面;
图2是本发明的高速公路视频测速方法的总体流程图;
图3示出了对运动车辆区域C1进行条带分割的示意图;
图4示出了高速公路视频测速路段区域划分的示意图;
图5A-5B示出了对重叠区域C1-C2进行条带分割和确定比较窗口的示意图;
图5C示出了在先帧视频画面中通过搜索区域查找备选识别模板的示意图;
图6是面向区域重叠的分支处理方法的流程图;
图7是本发明的高速公路视频测速系统的总体框架图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,并使本发明的上述目的、特征和优点能够更加明显易懂,下面结合实施例及实施例附图对本发明作进一步详细的说明。
本发明所述的高速公路视频测速方法及系统通过摄像机标定、视频画面运动区域提取、特定目标车辆匹配识别、特定目标车辆轨迹追踪和车速计算等过程实现视频测速。其中,针对视频测速过程中区域重叠易发的特点,采用基于条带分割的方法提取运动区域的特征参数序列并实现模板匹配,相比传统算法来说,面向区域重叠的鲁棒性更强。视区域重叠的程度不同,在重叠程度未超过一定限度时能够成功在重叠区域中实现特定目标车辆的识别;根据重叠程度自适应地采用相对应的追踪方式。从而,能够在测速视频画面序列的各帧画面中连续地发现特定目标车辆所在区域,确定代表该特定目标车辆的像素位置,进而实现视频画面坐标系中的运动速度计算。
图2是本发明所述的高速公路视频测速方法的总体流程图,包括摄像机标定、运动车辆区域提取、特定目标车辆识别以及特定目标车辆追踪等步骤。
摄像机标定建立视频画面坐标系与现实空间坐标系之间的映射关系。视频画面坐标系是一个二维坐标系,而现实空间坐标系是一个三维坐标系;但是,由于车辆都是在路面上运行的,而且绝大多数情况下高速公路测速区的路面高度起伏极小,因而我们可以忽略现实空间坐标系中的车辆高度,将现实空间坐标系简化为一个二维坐标系,因而摄像机标定问题简化为定义两个平面坐标系之间的映射关系。我们可以在视频画面中确定若干个像素点,而在现实空间中找到这些像素点对应的位置点,从而可以求解在视频画面坐标系与现实空间坐标系之间进行转换的参数矩阵。在具体实现过程中,可以在高速公路的路面借助车道线等标志物标定所述位置点,进而在视频画面中获得相应的像素点。另外,用于测速的摄像机其位置、方向等参数均应保持稳定,避免因受到震动或撞击而位移,破坏经摄像机标定获得的映射关系,而且需要定期进行重新标定。
运动车辆区域提取实现视频画面中运动区域和静止背景之间的分离,去掉阴影以及非车辆运动物体等干扰信息后,这些运动区域所代表的即是行驶车辆。运动车辆区域的准确分离对后续步骤具有重要影响。运动区域的分离方法包括光流法、相邻帧差法、背景差分法等。光流是运动物体表面的像素点运动产生的瞬时速度场,可以利用视频的时空微分计算二维速度场,或者通过图像中相似区域的位移矢量来计算光流,基于光流检测独立的运动对象;由于算法实时性不强,光流法目前没有得到广泛的应用。相邻帧差法将视频序列中的两帧相邻画面进行逐像素减法运算,如果某些像素在相邻两帧的差值超过阈值,则认为该像素属于运动区域;相邻帧差法的运算速度快,对各种动态环境的适应性好,但是易于出现误差,检测出来的运动区域位置不准确。因此,本发明优先选用背景差分法。
背景差分法将视频画面与背景模型进行差分运算,通过判断像素值变化幅度的方式检测运动区域,如下式所示:
D ( x , y ) = 1 | f ( x , y ) - B | ( x , y ) | > T 0 f ( x , y ) - B ( x , y ) ≤ T
其中(x,y)是像素坐标,D是差分运算结果,f是视频画面的像素亮度值,B是背景模型值,T是像素值变化幅度阈值。各像素的D值共同构成了差分图像画面,其中D值等于1的像素共同构成了前景像素点集,对点集进行连通处理形成视频画面中的运动区域。然后,针对所述运动区域,利用预定的区域过滤条件(例如通过判断运动区域面积是否在预定区间范围之内,排除不属于车辆的非车辆运动物体;通过结合亮度、色度信息排除阴影等)去除阴影以及非车辆运动物体带来的干扰后,形成最终的运动车辆区域。
背景差分法的关键是建立适合和可靠的背景模型,背景模型的选择直接关系检测的准确性。即使在没有任何车辆通行的情况下,测速路段的背景画面也会发生变化,例如环境光照和阴影变化、背景画面中移除或者增加静止物体等。因而背景模型对上述变化应当具有较快的响应。本发明采用了混合高斯分布背景模型作为背景模型。在该背景模型中,用K个高斯分布模型的加权来表示视频画面中每个像素的背景模型值B,各高斯分布模型具有不同的权重值,并且按照权重值由大到小的顺序排列各个高斯分布模型。将当前视频画面中的像素值与所述K个高斯分布模型按照排列顺序依次进行匹配,如果能够找到匹配的高斯分布模型则认为该像素属于背景像素,否则认为该像素是前景像素。匹配的依据:
|ftt-1|≤n·σ2 t-1
其中ft是第t帧视频画面的像素亮度值,μt-1是某个高斯分布模型面向在先的t-1帧的均值,σ2 t-1表示该高斯分布模型面向在先的t-1帧的方差,n是预设的匹配系数。上述公式表示像素值与该高斯分布模型的均值的差异在差异范围以内,因而属于背景像素的概率很高。混合高斯分布背景模型随着每一帧视频画面而进行更新,以便发生变化的背景画面融入到背景模型当中。更新包括各高斯分布模型的权重值的更新以及各高斯分布模型的均值和方差的更新。对各高斯分布模型的权重值的更新如下式所示:
ωt=(1-α)ωt-1+αMt
其中,ωt表示针对某个高斯分布模型面向第t帧更新后的权重值,ωt-1表示该高斯分布模型更新前的权重值,Mt在第t帧与该高斯分布模型匹配时等于1,如不匹配则等于0,α是学习率。
对各高斯分布模型的均值和方差的更新如下式所示:
μt=(1-λ)μt-1+λft
σ2 t=(1-λ)σ2 t-1+λ(ftt-1)2
其中,ft是第t帧视频画面的像素值,μt-1是某个高斯分布模型面向在先的t-1帧的均值,σ2 t-1表示该高斯分布模型面向在先的t-1帧的方差,μt和σ2 t是针对第t帧视频画面更新后的均值和方差;式中λ=α·p(ftt-12 t-1),α是学习率,p(ftt-12 t-1)是该高斯分布模型的概率密度函数。
对于经过上面的运算从视频画面中分离出来的运动车辆区域,下面要识别出各个运动车辆区域的特征参数。如果在某一帧视频画面当中的某个运动车辆区域的特征参数与表示特定目标车辆的识别模板相匹配,则认为该帧画面中的运动车辆区域属于该特定目标车辆。针对某一个特定目标车辆,通过在各帧画面中利用识别模板发现属于该特定目标车辆的运动车辆区域,就实现了在视频画面序列的不同帧中将同一个特定目标车辆关联起来,得到该特定目标车辆的运动轨迹。并且,当确定了某一个运动车辆区域属于特定目标车辆,该运动车辆区域的特征参数也用于对该特定目标车辆的识别模板进行更新。
在现有技术中,可以计算运动车辆区域的最小外接矩坐标,进而将最小外接矩的面积值、平均亮度值、质心位置等作为所述特征参数。但特定目标车辆在各帧画面中所形成的运动车辆区域的形状和大小可能会发生变化,会影响其与识别模板的匹配。特别是,上述特征参数对区域重叠所引起的区域变化非常敏感,因而很容易在区域重叠状况下无法实现匹配识别。
为此,为了加强识别算法对于区域重叠等情况的鲁棒性,本发明作出了相应的改进,在特定目标车辆识别步骤中采用了条带分割法。如图3所示,将第t帧视频画面中的运动车辆区域C1按固定的像素宽度分割为n个条带;条带的分割方法是首先计算该运动车辆区域C1的最小外接矩,然后从该最小外接矩的一条边出发(图3中从最小外接矩的最左侧边出发),以固定像素宽度(例如每5个像素宽度形成分割出一个条带)将最小外接矩区域分割为n个条带,其中第1至n-1个条带的像素宽度均为该固定像素宽度,而第n个条带的宽度小于或等于该固定像素宽度。分别针对各条带覆盖范围内的运动车辆子区域C11、C12…C1n计算其最小外接矩MBRC11、MBRC12…MBRC1n的面积值SMBRC11、SMBRC12…SMBRC1n,并且计算各条带覆盖范围内的运动车辆子区域C11、C12…C1n的像素平均亮度值将由上述面积值SMBRC11、SMBRC12…SMBRC1n和像素平均亮度值构成的序列作为运动车辆区域C1的特征参数,记作ParaC1=SMBRC11、SMBRC12…SMBRC1n所述识别模板包括对应于特定目标车辆C的n个面积值和n个亮度值组成的特征序列,记作ModC,t=SMBRC1、SMBRC2…SMBRCn对第t帧适用的识别模板ModC,t是在初始赋值的基础上利用在先的第t-1帧视频画面中被确定属于该特定目标车辆的运动车辆区域的特征参数加以更新而获得的。将所述运动车辆区域C1的特征参数ParaC1与所述识别模板ModC,t执行匹配计算,即
| Para C 1 - Mo d C , t | = β · Σ ( | SMBR C 11 - SMBR C 1 | + | SMBR C 12 - SMBR C 2 | . . . + | SMBR C 1 n - SMBR Cn ) + δ · Σ ( | f ‾ C 11 - f ‾ C 1 | + | f ‾ C 12 - f ‾ C 2 | . . . + | f ‾ C 1 n - f ‾ Cn | )
其中,β和δ分别是面积值差和亮度值差的权重因数,可根据实际情况加以设置,例如,取决于拍摄角度和光照条件,车辆在测速区内行驶的整个过程中,有可能其运动区域的形状和大小的变化不大,但区域亮度变化明显,在这种情况下应赋予β更大的权重值;反之,在亮度变化不大的情况下,赋予δ最大的权重值。显然,匹配计算的结果|ParaC1-ModC,t|值越小,则运动车辆区域C1与识别模板的匹配度越高,在高于阈值的情况下则认为运动车辆区域C1属于特定目标车辆C。
如果经匹配计算确定第t帧视频画面中的运动车辆区域C1属于特定目标车辆C,则利用C1的特征参数更新识别模板ModC,t为ModC,t+1,即ModC,t+1=(1-φ)·ModC,t+φ·ParaC1,其中φ为更新率。
在上述将运动车辆区域与识别模板进行匹配计算从而实现特定目标车辆识别的过程中,区域重叠的负面影响是非常明显的。属于特定目标车辆的运动车辆区域如果与其它车辆的运动区域发生重叠,不论该特定目标车辆的运动车辆区域处于前景位置还是处于被覆盖的位置上,都会干扰匹配计算的结果,导致无法识别。如果特定目标车辆的运动车辆区域处于被其它前景图像覆盖的位置,则这一负面影响更为难以克服,因为这时候区域的纹理特征和颜色特征也被覆盖,难以执行基于上述参量的辅助算法。因而,克服区域重叠是特定目标车辆识别过程中需要解决的一个重要问题。本发明将采用下面介绍的方法实现各种区域重叠状况下的特定目标车辆识别。
如图4所示,高速公路的视频测速路段沿着行驶方向依次包括进入区、检测区、离开区三个部分。在进入区,可以提取一帧视频画面中的运动车辆区域,并过滤出其中反映了完整单个车辆的运动车辆区域。可以根据运动车辆区域最小外接矩的面积是否在预定的阈值区间内,来检测该区域是否属于反映了完整单个车辆的运动车辆区域。如果所述运动车辆区域最小外接矩的面积小于最低阈值,说明该车辆可能未完全进入所述进入区,视频画面中所拍摄的只是该车的局部。对于代表完整单个车辆的运动车辆区域,按照上面介绍的方法,基于条带分割的算法提取出该区域的特征参数序列;判断所述特征参数序列是否与已经建立的识别模板相匹配;如果匹配成功的情况下,利用该运动车辆区域的特征参数更新识别模板;如果该运动车辆区域不能与已经建立的任何一个识别模板相匹配,则基于该区域的特征参数序列新建一个识别模板;并且,在接下来的进入区各帧视频画面中,利用匹配该新建的识别模板的运动车辆区域的特征参数序列来更新该识别模板。算法在进入区的目标是为进入测速路段的各个车辆建立合适的识别模板,因而并不需要在每一帧视频画面中均实现针对特定目标车辆的定位,也不执行轨迹关联和测速的运算。例如,在进入区的某帧视频画面中识别出某车辆的运动车辆区域并为其建立或者更新了识别模板,而在接下来的数帧中由于出现了区域重叠,无法再识别出该车辆,这时候并不需要在这些帧中定位该车辆,也不再更新识别模板;直至在区域重叠结束后的帧中再次识别出该车辆对应的运动车辆区域后,则继续更新识别模板。另一种情况,例如某帧视频画面中两辆车辆的运动车辆区域发生区域重叠而形成了一个连通的运动区域,该运动区域一般不能够与两辆车辆中任何一个的识别模板成功匹配,这时候将会为该连通的运动区域新建一个“识别模板”;直至数帧之后两辆车辆的区域重叠结束后,会继续为这两辆车辆分别新建或更新各自的识别模板,而在区域重叠的数帧中建立的“识别模板”则将成为无效的识别模板。这样,当车辆通过进入区而驶入检测区时,本发明已经为其建立了一个相对稳定的识别模板。
运动车辆区域提取、特定目标车辆识别以及特定目标车辆追踪等步骤均针对检测区路段的视频画面执行。在检测区的第t帧视频画面当中,对于通过上述运动车辆区域提取步骤获得的一个运动车辆区域C’,如果经过上述特定目标车辆步骤的计算,发现该区域C’与任何一个特定目标车辆的识别模板均不匹配,则存在以下情况:该运动车辆区域C’所属的车辆是一个在先帧(含进入区的在先帧)中并不存在而在本帧视频画面当中新出现的车辆,或是至少两个特定目标车辆的运动车辆区域在本帧视频画面中发生了区域重叠,导致无法以二者中任何一个的识别模板对该区域C’实现匹配。在检测区凭空出现一辆新的车辆的情况几乎是不可能的,因而可以判断此时运动车辆区域C’是发生了区域重叠的区域。当判定发生区域重叠情况时,本发明将在特定目标车辆识别以及特定目标车辆追踪等步骤中采用面向区域重叠状态的分支算法。
区域重叠是两个或多个特定目标车辆的运动车辆区域从彼此分离的状态转换为一个连通的运动区域,并且该连通的运动区域的形状、面积和亮度信息均发生连续和渐进的变化,直至该运动区域重新分离为各个单独的运动车辆区域的过程。在这一连续渐进的变化过程中,区域重叠的程度发生由低程度重叠至高程度重叠再至低程度重叠的改变(当然也有可能存在整个重叠过程中一直保持低程度重叠的情况)。举例来说,图5A所示的区域重叠状态下的视频画面中,将运动车辆区域C1和运动车辆区域C2区域重叠后连通的运动区域表示了C1-C2,则区域C1-C2属于低程度的重叠;而图5B所示的视频画面中区域C1-C2的区域重叠属于高程度的重叠。区域重叠的程度直接影响了通过上述匹配计算在区域C1-C2当中对特定目标车辆进行成功识别的概率。显然,重叠程度越低,则成功识别的概率越高。而当重叠程度上升到超过一定限度后,则可能完全失去从区域C1-C2当中识别出某一个特定目标车辆的可能性,这时候就不能再依靠与识别模板进行匹配计算的方法来识别和定位特定目标车辆。因而,在本发明的所述分支算法中,运用了匹配计算与预测相结合的识别和追踪方法,并且根据重叠程度的不同而采用了不同的识别和追踪策略。
如图5A所示,区域C1-C2按照上文介绍的方法,先求其最小外接矩,然后以所述固定像素宽度(如5个像素宽度)分割为m个条带;利用上面介绍的方法,计算该区域C1-C2特征参数序列,并且用该特征参数序列与各特定目标车辆的识别模板进行匹配计算;区域C1-C2的条带数可能与各识别模板的条带数不相同,例如在m大于n的情况下,取m个特征参数值中的前n个与识别模板中的n个特征参数值进行减法计算,而剩余的m-n个特征参数值与0值进行减法运算,从而实现所述匹配计算;如果发现其不能与其中的任何一个匹配成功,则确认区域C1-C2是发生了区域重叠的区域,并相应启动所述面向区域重叠状态的分支算法。
如图6所示,在所述分支算法中,首先执行反向预测步骤。假设区域C1-C2是在第t帧视频画面中作为运动车辆区域被提取出来的,则调用在先的第t-1帧的视频画面,如图5C所示;在第t-1帧中确定区域C1-C2的位置坐标(xc1-c2,yc1-c2)(可用区域C1-C2的最小外接矩的质心坐标作为该位置坐标),并且以位置坐标(xc1-c2,yc1-c2)作为参考点,确定一定大小的画面区域作为搜索区域S,提取位于搜索区域S之内的运动车辆区域作为备选项。由于两帧之间的间隔时间极短,形成区域C1-C2的车辆在上一帧中也不可能位于距离该区域太远的位置上,因而只要保证搜索区域S具有合理的大小,就能够将运动车辆区域C1和运动车辆区域C2均确定为所述备选项。当然,如果在搜索区域S中还存在其它的运动车辆区域,也会被作为所述备选项。确定各个备选项分别属于哪个特定目标车辆(这一对应关系在针对第t-1帧的视频画面的特定目标车辆识别步骤中已经获得),并调取相应的识别模板,作为备选识别模板。
进而,执行分支算法中的局部识别步骤。在所述区域C1-C2的重叠程度在高重叠程度以下时,所述局部识别步骤能够执行成功,从而通过该步骤可从所述区域C1-C2当中识别出属于特定目标车辆的局部区域,从而利用该局部区域在第t帧视频画面中实现对特定目标车辆的定位和追踪。如图5A所示的情形,运动车辆区域C1和运动车辆区域C2只有一部分相互重叠,而其它未重叠区域的面积、轮廓和亮度基本保持不变,就能够支持局部识别步骤的成功执行。在局部识别步骤分为初步匹配子步骤和对齐匹配子步骤。在初步匹配子步骤中,如果某个备选识别模板的特征序列包括n个面积值和n个亮度值,则首先取区域C1-C2的m个条带中的前n个条带(即从最左侧开始的n个条带)作为比较窗口,利用该前n个条带的特征参数序列(由n个面积值和n个亮度值组成)与该备选识别模板的特征序列执行上面介绍的匹配计算,判断匹配计算结果是否小于或等于初步匹配阈值;如果小于该阈值,则表明初步匹配成功,将进入对齐匹配子步骤;相反,如果匹配计算的结果大于初步匹配阈值,则将比较窗口右移一个条带,即以第2至第n+1个条带的特征参数序列与该备选识别模板的特征序列再次执行匹配计算,判断匹配计算结果是否小于或等于初步匹配阈值;如果仍然大于初步匹配阈值,则继续右移比较窗口,直至初步匹配成功后进入对齐匹配子步骤;如果在比较窗口已经遍历区域C1-C2的m个条带后仍然未能初步匹配成功,则判定该备选识别模板的局部识别步骤未能执行成功。在所述对齐匹配子步骤中,将所述比较窗口以每次移动一个像素宽度的幅度向左移动5次(5次对应于条带为5个像素宽度),每次移动后计算特征参数序列,并且利用该特征参数序列与备选识别模板的特征序列执行匹配计算;然后,将比较窗口恢复到左移之前的原位,再以每次移动一个像素宽度的幅度向右移动5次,每次移动后计算特征参数序列并与备选识别模板的特征序列执行匹配计算;在这10次匹配计算当中,获得最小计算结果时,被比较窗口所覆盖的区域C1-C2中的局部区域被确定为与所述备选识别模板最为匹配,则将该局部区域识别为属于所述备选识别模板对应的特定目标车辆,从而在第t帧视频画面存在区域重叠的情况下,成功实现了对特定目标车辆的识别。可将所有备选识别模板逐一执行上述局部识别步骤,从而在图5A所示视频画面中,通过上述局部识别步骤可以在区域C1-C2实现对两个特定目标车辆的识别,并确定各自对应的局部区域。需要注意的是,在通过局部识别步骤从区域C1-C2中识别出属于某特定目标车辆的局部区域后,也不利用该局部区域的特征参数对相应的识别模板进行更新。
通过执行分支算法中的局部识别步骤,在重叠程度未超过一定限度时,能够从区域C1-C2中识别出属于某特定目标车辆的局部区域。但是,当重叠程度超过该限度时,尽管区域C1-C2中确实具有属于特定目标车辆的区域,但是由于区域重叠的干扰,造成这些区域的面积、轮廓、亮度与特定目标车辆的识别模板存在较大差别,无法通过局部识别步骤识别出来;因而,有可能出现备选识别模板表示的特定目标车辆确实处于区域C1-C2中,但该模板在局部识别步骤被判定未能执行成功,甚至在严重重叠的情况下,有可能出现全部备选识别模板在局部识别步骤中均未执行成功,如图5B所示的视频画面就有可能出现这样的状况。因而,在这种情况下,在对全部备选识别模板都执行了局部识别步骤之后,还要继续执行分支算法的预测识别步骤。在预测识别步骤中,对于第t-1帧的视频画面的特定目标车辆,确定其中哪些在针对第t帧视频画面先后执行了特定目标车辆识别步骤以及局部识别步骤之后仍未在第t帧中识别到与之对应的区域;则对该特定目标车辆采用如下预测识别:第t-1帧中确定属于该特定目标车辆的运动车辆区域的位置坐标(可用该运动车辆区域的最小外接矩的质心坐标作为该位置坐标),并且以位置坐标作为参考点,确定一定大小的画面区域作为有效区域;结合之前的运算结果,判断在该有效区域内是否具有存在区域重叠的区域;如果存在重叠区域,再计算该重叠区域的剩余面积,该剩余面积是该重叠区域的最小外接矩总面积减去该重叠区域的已识别面积,已识别面积是指在局部识别步骤中被识别属于其它特定目标车辆的局部区域的最小外接矩面积;如果剩余面积大于阈值,则预测该特定目标车辆处于所述重叠区域以内,只是因为重叠程度太高而无法被识别出来,因此将该重叠区域与所述特定目标车辆相关联,实现了在本帧画面中对该特定目标车辆的定位。如果通过预测识别步骤仍然不能发现某特定目标车辆对应的运动车辆区域,则只能认为该目标在本帧画面中丢失,继续对其它帧执行本发明的算法。
实现了在检测区的每一帧视频画面中对属于某特定目标车辆的运动车辆区域进行识别和定位之后;将视频画面序列的不同帧中该特定目标车辆关联起来,得到该特定目标车辆的运动轨迹,跟踪运动轨迹来计算其在视频画面坐标系中的运动速度,进而根据摄像机标定步骤的对应关系计算实际车速,并执行超速判定、车牌提取等后续处理。
本发明所述的高速公路视频测速方法及系统通过摄像机标定、视频画面运动区域提取、特定目标车辆匹配识别、特定目标车辆轨迹追踪和车速计算等过程实现视频测速。其中,针对视频测速过程中区域重叠易发的特点,采用基于条带分割的方法提取运动区域的特征参数序列并实现模板匹配,相比传统算法来说,面向区域重叠的鲁棒性更强。视区域重叠的程度不同,在重叠程度未超过一定限度时能够成功在重叠区域中实现特定目标车辆的识别;根据重叠程度自适应地采用相对应的追踪方式。从而,能够在测速视频画面序列的各帧画面中连续地发现特定目标车辆所在区域,确定代表该特定目标车辆的像素位置,进而实现视频画面坐标系中的运动速度计算。
本发明进而提供一种面向区域重叠的高速公路视频测速系统,如图7所示,包括:
摄像机标定模块,用于建立视频画面坐标系与现实空间坐标系之间的映射关系,求解在视频画面坐标系与现实空间坐标系之间进行转换的参数矩阵;
运动车辆区域提取模块,用于通过拍摄高速公路的检测段获得视频画面序列,将其中每一帧视频画面与背景模型进行差分运算,通过判断像素值变化幅度是否大于阈值提取视频画面中的运动区域,并且利用预定的区域过滤条件去除干扰,获得运动车辆区域;
特定目标车辆识别模块,用于识别运动车辆区域的特征参数序列,并且将所述特征参数序列与至少一个表示特定目标车辆的识别模板进行匹配计算;如果该运动车辆区域与其中一个识别模板匹配成功,则确定所述运动车辆区域属于所述识别模板表示的特定目标车辆;在每一帧视频画面中针对至少一个特定目标车辆分别确定属于各特定目标车辆的运动车辆区域;
特定目标车辆追踪模块,用于将所述视频画面序列的各帧中属于同一个特定目标车辆的运动车辆区域相关联,获得所述同一个特定目标车辆的运动轨迹;根据运动轨迹计算视频画面坐标系中的运动速度,并根据所述参数矩阵计算实际车速;
反向预测模块,用于调用一帧在先视频画面,并且在该在先视频画面中确定搜索区域,提取位于搜索区域内的运动车辆区域作为备选项,并调用各备选项所属于的特定目标车辆的识别模板,作为备选识别模板;
局部识别模块,用于设定比较窗口,利用所述比较窗口从所述重叠区域中选取局部区域,计算该局部区域的特征参数序列;以所述局部区域的特征参数序列与备选识别模板执行匹配计算;在匹配不成功的情况下,通过平移所述比较窗口而选取下一个局部区域并计算其特征参数序列,并继续与备选识别模板执行匹配计算,直至匹配成功;在局部区域与一个备选识别模板匹配成功之后,通过微调所述比较窗口的位置,确定与该备选识别模板最为匹配的局部区域,将最为匹配的局部区域识别为属于与该备选识别模板对应的特定目标车辆;
预测识别模块,用于判断经特定目标车辆识别模块和局部识别模块运算之后,对于从在先帧视频画面中识别出来的特定目标车辆,是否均已在当前帧视频画面中识别到了其运动车辆区域或局部区域;如果存在仍未识别出运动车辆区域或局部区域的特定目标车辆,确定在所述在先帧视频画面中属于该特定目标车辆的运动车辆区域的位置坐标,并基于该位置坐标在当前帧视频画面中确定一有效区域;判断在所述有效区域内是否存在重叠区域;如果存在重叠区域,计算重叠区域的面积是否符合预定面积条件;在符合预定面积条件的情况下,将该重叠区域识别为属于所述特定目标车辆;
其中,所述特定目标车辆识别模块如果发现存在至少一个运动车辆区域的特征参数序列与任何一个识别模板均不能匹配成功,则确定该运动车辆区域为重叠区域,并控制启动所述反向预测模块、局部识别模块和预测识别模块。
以上所述,仅为本发明的具体实施方式,本发明还可以应用在其它设备中;以上描述中的尺寸和数量均仅为参考性的,本领域技术人员可根据实际需要选择适当的应用尺寸,而不脱离本发明的范围。本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (10)

1.一种面向区域重叠的高速公路视频测速方法,其特征在于,包括以下步骤:
摄像机标定步骤,建立视频画面坐标系与现实空间坐标系之间的映射关系,求解在视频画面坐标系与现实空间坐标系之间进行转换的参数矩阵;
运动车辆区域提取步骤,通过拍摄高速公路的检测段获得视频画面序列,将其中每一帧视频画面与背景模型进行差分运算,通过判断像素值变化幅度是否大于阈值提取视频画面中的运动区域,并且利用预定的区域过滤条件去除干扰,获得运动车辆区域;
特定目标车辆识别步骤,识别运动车辆区域的特征参数序列,并且将所述特征参数序列与至少一个表示特定目标车辆的识别模板进行匹配计算;如果该运动车辆区域与其中一个识别模板匹配成功,则确定所述运动车辆区域属于所述识别模板表示的特定目标车辆;在每一帧视频画面中针对至少一个特定目标车辆分别确定属于各特定目标车辆的运动车辆区域;
特定目标车辆追踪步骤,将所述视频画面序列的各帧中属于同一个特定目标车辆的运动车辆区域相关联,获得所述同一个特定目标车辆的运动轨迹;根据运动轨迹计算视频画面坐标系中的运动速度,并根据所述参数矩阵计算实际车速;
其中,在所述特定目标车辆识别步骤中,如果存在至少一个运动车辆区域的特征参数序列与任何一个识别模板均不能匹配成功,则确定该运动车辆区域为重叠区域,并执行面向区域重叠状态的分支处理方法,所述分支处理方法具体包括:
反向预测步骤,调用一帧在先视频画面,并且在该在先视频画面中确定搜索区域,提取位于搜索区域内的运动车辆区域作为备选项,并调用各备选项所属于的特定目标车辆的识别模板,作为备选识别模板;
局部识别步骤,设定比较窗口,利用所述比较窗口从所述重叠区域中选取局部区域,计算该局部区域的特征参数序列;以所述局部区域的特征参数序列与备选识别模板执行匹配计算;在匹配不成功的情况下,通过平移所述比较窗口而选取下一个局部区域并计算其特征参数序列,并继续与备选识别模板执行匹配计算,直至匹配成功;在局部区域与一个备选识别模板匹配成功之后,通过微调所述比较窗口的位置,确定与该备选识别模板最为匹配的局部区域,将最为匹配的局部区域识别为属于与该备选识别模板对应的特定目标车辆;在对全部备选识别模板都执行了局部识别步骤之后,继续执行预测识别步骤;
预测识别步骤,判断经特定目标车辆识别步骤和局部识别步骤之后,对于从在先帧视频画面中识别出来的特定目标车辆,是否均已在当前帧视频画面中识别到了其运动车辆区域或局部区域;如果存在仍未识别出运动车辆区域或局部区域的特定目标车辆,确定在所述在先帧视频画面中属于该特定目标车辆的运动车辆区域的位置坐标,并基于该位置坐标在当前帧视频画面中确定一有效区域;判断在所述有效区域内是否存在重叠区域;如果存在重叠区域,计算重叠区域的面积是否符合预定面积条件;在符合预定面积条件的情况下,将该重叠区域识别为属于所述特定目标车辆。
2.根据权利要求1所述的高速公路视频测速方法,其特征在于,在所述特定目标车辆识别步骤和局部识别步骤中,针对所述运动车辆区域或局部区域按固定像素宽度分割的n个条带,所述运动车辆区域或局部区域在各条带覆盖范围内形成n个运动车辆子区域或局部子区域;分别计算各运动车辆子区域或局部子区域的最小外接矩的面积值,并且分别计算各运动车辆子区域或局部子区域的像素平均亮度值;利用各运动车辆子区域或局部子区域的面积值和像素平均亮度值构成该运动车辆区域或局部子区域的特征参数序列,所述特征参数序列具有分别对应于各运动车辆子区域或局部区域的n个面积值和n个像素平均亮度值;并且
在所述特定目标车辆识别步骤和局部识别步骤中,所述表示特定目标车辆的识别模板是由n个面积值和n个亮度值组成的特征序列;特征参数序列与识别模板的匹配计算为:分别求特征参数序列中第i个面积值与识别模板的第i个面积值之间的面积绝对差值,计算n个面积绝对差值的面积差总和;分别求特征参数序列中第i个像素平均亮度值与识别模板的第i个亮度值之间的亮度绝对差值,计算n个亮度绝对差值的亮度差总和;将所述面积差总和与所述亮度差总和分别乘以权重因数后相加,获得匹配计算结果;如果匹配计算结果大于匹配阈值,则确定匹配成功;其中i=1至n。
3.根据权利要求2所述的高速公路视频测速方法,其特征在于,所述特定目标车辆识别步骤中,将所述运动车辆区域分割为n个条带的步骤具体包括:求运动车辆区域的最小外接矩;从所述最小外接矩的一条边出发,以固定像素宽度分割第1至n-1个条带;将最小外接矩除第1至n-1个条带以外的剩余部分作为第n个条带。
4.根据权利要求3所述的高速公路视频测速方法,其特征在于,在特定目标车辆识别步骤中,如果运动车辆区域与一个识别模板匹配成功,则用该运动车辆区域的特征参数序列更新该识别模板。
5.根据权利要求4所述的高速公路视频测速方法,其特征在于,在特定目标车辆识别步骤中,按照以下方法获得表示特定目标车辆的识别模板:拍摄高速公路的进入区的视频画面序列;提取该视频画面序列的每一帧视频画面中的运动车辆区域,并过滤其中反映完整单个车辆的运动车辆区域;提取反映完整单个车辆的运动车辆区域的特征参数序列;将所述特征参数序列与已建立的识别模板进行匹配计算;如果与一个识别模板匹配成功,利用所述特征参数序列更新该识别模板;如果所述特征参数序列不能与任何一个已建立的识别模板匹配成功,则基于该特征参数序列新建一个识别模板。
6.根据权利要求5所述的高速公路视频测速方法,其特征在于,所述局部识别步骤中,如果一个备选识别模板是由n个面积值和n个亮度值组成的特征序列,并且所述重叠区域以固定像素宽度分割为m个条带;则确定比较窗口为n个条带,选取重叠区域中连续的n个条带作为所述局部区域。
7.根据权利要求6所述的高速公路视频测速方法,其特征在于,所述局部识别步骤中,设置初步匹配阈值;如果局部区域与备选识别模板执行匹配计算的结果值小于或等于所述初步匹配阈值,则认为匹配成功;如果结果值大于所述初步匹配阈值,则将所述比较窗口平移一个条带。
8.根据权利要求7所述的高速公路视频测速方法,其特征在于,所述局部识别步骤中,在局部区域与一个备选识别模板匹配成功之后,将所述比较窗口以每次移动一个像素宽度的幅度进行平移从而提取新的局部区域,每次平移后计算新的局部区域的特征参数序列,并与备选识别模板的特征序列执行匹配计算;取得匹配计算当中最小计算结果的局部区域识别为属于所述备选识别模板对应的特定目标车辆。
9.根据权利要求8所述的高速公路视频测速方法,其特征在于,预测识别步骤中,对于所述有效区域内存在的重叠区域,以该重叠区域的最小外接矩总面积减去该重叠区域的已识别面积,所述已识别面积是该重叠区域中已被识别属于至少一个特定目标车辆的局部区域的最小外接矩面积;如果剩余面积大于阈值,则确定符合预定面积条件。
10.一种面向区域重叠的高速公路视频测速系统,其特征在于,包括:
摄像机标定模块,用于建立视频画面坐标系与现实空间坐标系之间的映射关系,求解在视频画面坐标系与现实空间坐标系之间进行转换的参数矩阵;
运动车辆区域提取模块,用于通过拍摄高速公路的检测段获得视频画面序列,将其中每一帧视频画面与背景模型进行差分运算,通过判断像素值变化幅度是否大于阈值提取视频画面中的运动区域,并且利用预定的区域过滤条件去除干扰,获得运动车辆区域;
特定目标车辆识别模块,用于识别运动车辆区域的特征参数序列,并且将所述特征参数序列与至少一个表示特定目标车辆的识别模板进行匹配计算;如果该运动车辆区域与其中一个识别模板匹配成功,则确定所述运动车辆区域属于所述识别模板表示的特定目标车辆;在每一帧视频画面中针对至少一个特定目标车辆分别确定属于各特定目标车辆的运动车辆区域;
特定目标车辆追踪模块,用于将所述视频画面序列的各帧中属于同一个特定目标车辆的运动车辆区域相关联,获得所述同一个特定目标车辆的运动轨迹;根据运动轨迹计算视频画面坐标系中的运动速度,并根据所述参数矩阵计算实际车速;
反向预测模块,用于调用一帧在先视频画面,并且在该在先视频画面中确定搜索区域,提取位于搜索区域内的运动车辆区域作为备选项,并调用各备选项所属于的特定目标车辆的识别模板,作为备选识别模板;
局部识别模块,用于设定比较窗口,利用所述比较窗口从所述重叠区域中选取局部区域,计算该局部区域的特征参数序列;以所述局部区域的特征参数序列与备选识别模板执行匹配计算;在匹配不成功的情况下,通过平移所述比较窗口而选取下一个局部区域并计算其特征参数序列,并继续与备选识别模板执行匹配计算,直至匹配成功;在局部区域与一个备选识别模板匹配成功之后,通过微调所述比较窗口的位置,确定与该备选识别模板最为匹配的局部区域,将最为匹配的局部区域识别为属于与该备选识别模板对应的特定目标车辆;
预测识别模块,用于判断经特定目标车辆识别模块和局部识别模块运算之后,对于从在先帧视频画面中识别出来的特定目标车辆,是否均已在当前帧视频画面中识别到了其运动车辆区域或局部区域;如果存在仍未识别出运动车辆区域或局部区域的特定目标车辆,确定在所述在先帧视频画面中属于该特定目标车辆的运动车辆区域的位置坐标,并基于该位置坐标在当前帧视频画面中确定一有效区域;判断在所述有效区域内是否存在重叠区域;如果存在重叠区域,计算重叠区域的面积是否符合预定面积条件;在符合预定面积条件的情况下,将该重叠区域识别为属于所述特定目标车辆;
其中,所述特定目标车辆识别模块如果发现存在至少一个运动车辆区域的特征参数序列与任何一个识别模板均不能匹配成功,则确定该运动车辆区域为重叠区域,并控制启动所述反向预测模块、局部识别模块和预测识别模块。
CN201410605646.2A 2014-10-31 2014-10-31 一种面向区域重叠的高速公路视频测速方法及系统 Active CN104318782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410605646.2A CN104318782B (zh) 2014-10-31 2014-10-31 一种面向区域重叠的高速公路视频测速方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410605646.2A CN104318782B (zh) 2014-10-31 2014-10-31 一种面向区域重叠的高速公路视频测速方法及系统

Publications (2)

Publication Number Publication Date
CN104318782A true CN104318782A (zh) 2015-01-28
CN104318782B CN104318782B (zh) 2016-08-17

Family

ID=52374006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410605646.2A Active CN104318782B (zh) 2014-10-31 2014-10-31 一种面向区域重叠的高速公路视频测速方法及系统

Country Status (1)

Country Link
CN (1) CN104318782B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530735A (zh) * 2016-11-21 2017-03-22 北海高创电子信息孵化器有限公司 一种车辆视频采集系统
CN107066929A (zh) * 2017-01-06 2017-08-18 重庆大学 一种融合多种特征的高速公路隧道停车事件分级识别方法
CN107705563A (zh) * 2017-11-28 2018-02-16 苏州大学 基于激光雷达的连续车辆速度检测方法
CN109633662A (zh) * 2018-12-28 2019-04-16 百度在线网络技术(北京)有限公司 障碍物定位方法、装置和终端
CN109640005A (zh) * 2018-12-19 2019-04-16 努比亚技术有限公司 一种视频处理方法、移动终端及计算机可读存储介质
CN109670383A (zh) * 2017-10-16 2019-04-23 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
CN110375715A (zh) * 2019-07-15 2019-10-25 哈尔滨工业大学 一种应用于小卫星的广域重点目标确认方法、装置及计算机存储介质
CN110662106A (zh) * 2019-09-18 2020-01-07 浙江大华技术股份有限公司 一种录像回放的方法及装置
CN110942668A (zh) * 2018-09-21 2020-03-31 丰田自动车株式会社 图像处理系统、图像处理方法和图像处理设备
CN110969864A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 一种车速检测方法、车辆行驶事件检测方法及电子设备
CN111009012A (zh) * 2019-11-29 2020-04-14 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
CN111126457A (zh) * 2019-12-05 2020-05-08 北京奇艺世纪科技有限公司 信息的获取方法和装置、存储介质和电子装置
CN112404384A (zh) * 2020-11-18 2021-02-26 河北凯昌科技有限公司 连铸铸坯移动追踪系统及方法
CN112991723A (zh) * 2021-02-07 2021-06-18 启迪云控(上海)汽车科技有限公司 一种基于地理区域的智能网联计算机任务并行颗粒度的划分方法、系统及终端
CN113409588A (zh) * 2021-06-17 2021-09-17 郑州大学 一种基于视频压缩域的多车测速方法
CN113435237A (zh) * 2020-03-23 2021-09-24 丰田自动车株式会社 物体状态识别装置、识别方法和识别用程序以及控制装置
CN113506449A (zh) * 2021-05-21 2021-10-15 郑州大学 一种基于视频压缩域的高速公路车辆测速方法
CN113687357A (zh) * 2021-09-27 2021-11-23 浙江海康智联科技有限公司 一种多雷达跨区域组网多目标跟踪方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230126957A1 (en) * 2021-10-26 2023-04-27 Ping An Technology (Shenzhen) Co., Ltd. Systems and methods for determining fault for a vehicle accident

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0744726A2 (en) * 1990-04-27 1996-11-27 Hitachi, Ltd. Traffic flow measuring method and apparatus
EP1575014A2 (en) * 2001-06-21 2005-09-14 Fujitsu Limited Method and apparatus for processing pictures of vehicles
CN1725266A (zh) * 2004-07-21 2006-01-25 上海高德威智能交通系统有限公司 基于视频触发和测速的车辆智能监测记录系统和方法
CN101105893A (zh) * 2006-07-14 2008-01-16 沈阳江龙软件开发科技有限公司 一种车辆视频识别测速方法
CN101877174A (zh) * 2009-09-29 2010-11-03 杭州海康威视软件有限公司 车速测量方法、监控机及车速测量系统
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0744726A2 (en) * 1990-04-27 1996-11-27 Hitachi, Ltd. Traffic flow measuring method and apparatus
EP1575014A2 (en) * 2001-06-21 2005-09-14 Fujitsu Limited Method and apparatus for processing pictures of vehicles
CN1725266A (zh) * 2004-07-21 2006-01-25 上海高德威智能交通系统有限公司 基于视频触发和测速的车辆智能监测记录系统和方法
CN101105893A (zh) * 2006-07-14 2008-01-16 沈阳江龙软件开发科技有限公司 一种车辆视频识别测速方法
CN101877174A (zh) * 2009-09-29 2010-11-03 杭州海康威视软件有限公司 车速测量方法、监控机及车速测量系统
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐正 等: "基于交通摄像头视频的车牌识别与测速", 《江西科学》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530735A (zh) * 2016-11-21 2017-03-22 北海高创电子信息孵化器有限公司 一种车辆视频采集系统
CN107066929A (zh) * 2017-01-06 2017-08-18 重庆大学 一种融合多种特征的高速公路隧道停车事件分级识别方法
US11321945B2 (en) 2017-10-16 2022-05-03 Hangzhou Hikvision Digital Technology Co., Ltd. Video blocking region selection method and apparatus, electronic device, and system
CN109670383A (zh) * 2017-10-16 2019-04-23 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
CN109670383B (zh) * 2017-10-16 2021-01-29 杭州海康威视数字技术股份有限公司 视频遮蔽区域选取方法、装置、电子设备及系统
CN107705563A (zh) * 2017-11-28 2018-02-16 苏州大学 基于激光雷达的连续车辆速度检测方法
CN107705563B (zh) * 2017-11-28 2020-01-31 苏州大学 基于激光雷达的连续车辆速度检测方法
CN110942668A (zh) * 2018-09-21 2020-03-31 丰田自动车株式会社 图像处理系统、图像处理方法和图像处理设备
CN110969864A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 一种车速检测方法、车辆行驶事件检测方法及电子设备
CN109640005A (zh) * 2018-12-19 2019-04-16 努比亚技术有限公司 一种视频处理方法、移动终端及计算机可读存储介质
CN109633662A (zh) * 2018-12-28 2019-04-16 百度在线网络技术(北京)有限公司 障碍物定位方法、装置和终端
US11532166B2 (en) 2018-12-28 2022-12-20 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Obstacle positioning method, device and terminal
CN110375715A (zh) * 2019-07-15 2019-10-25 哈尔滨工业大学 一种应用于小卫星的广域重点目标确认方法、装置及计算机存储介质
CN110662106A (zh) * 2019-09-18 2020-01-07 浙江大华技术股份有限公司 一种录像回放的方法及装置
CN110662106B (zh) * 2019-09-18 2021-08-27 浙江大华技术股份有限公司 一种录像回放的方法及装置
CN111009012A (zh) * 2019-11-29 2020-04-14 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
CN111126457A (zh) * 2019-12-05 2020-05-08 北京奇艺世纪科技有限公司 信息的获取方法和装置、存储介质和电子装置
CN113435237B (zh) * 2020-03-23 2023-12-26 丰田自动车株式会社 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
CN113435237A (zh) * 2020-03-23 2021-09-24 丰田自动车株式会社 物体状态识别装置、识别方法和识别用程序以及控制装置
CN112404384A (zh) * 2020-11-18 2021-02-26 河北凯昌科技有限公司 连铸铸坯移动追踪系统及方法
CN112404384B (zh) * 2020-11-18 2022-03-08 河北凯昌科技有限公司 连铸铸坯移动追踪系统及方法
CN112991723A (zh) * 2021-02-07 2021-06-18 启迪云控(上海)汽车科技有限公司 一种基于地理区域的智能网联计算机任务并行颗粒度的划分方法、系统及终端
CN113506449A (zh) * 2021-05-21 2021-10-15 郑州大学 一种基于视频压缩域的高速公路车辆测速方法
CN113506449B (zh) * 2021-05-21 2022-06-21 郑州大学 一种基于视频压缩域的高速公路车辆测速方法
CN113409588B (zh) * 2021-06-17 2022-07-22 郑州大学 一种基于视频压缩域的多车测速方法
CN113409588A (zh) * 2021-06-17 2021-09-17 郑州大学 一种基于视频压缩域的多车测速方法
CN113687357A (zh) * 2021-09-27 2021-11-23 浙江海康智联科技有限公司 一种多雷达跨区域组网多目标跟踪方法
CN113687357B (zh) * 2021-09-27 2023-09-01 浙江海康智联科技有限公司 一种多雷达跨区域组网多目标跟踪方法

Also Published As

Publication number Publication date
CN104318782B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN104318782A (zh) 一种面向区域重叠的高速公路视频测速方法及系统
Asvadi et al. 3D object tracking using RGB and LIDAR data
US11960293B2 (en) Systems and methods for navigating lane merges and lane splits
Xia et al. An automated driving systems data acquisition and analytics platform
Chen et al. Suma++: Efficient lidar-based semantic slam
US11216675B2 (en) Systems and methods for detecting an object
EP3146506A2 (en) Systems and methods for braking a vehicle based on a detected object
CN107193011A (zh) 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
KR20170124299A (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
CN113570629B (zh) 去除动态物体的语义分割方法及系统
Rasib et al. Pixel level segmentation based drivable road region detection and steering angle estimation method for autonomous driving on unstructured roads
CN115923839A (zh) 一种车辆路径规划方法
CN104267209A (zh) 一种基于虚拟线圈的高速公路视频测速方法及系统
Thomas et al. Fast approach for moving vehicle localization and bounding box estimation in highway traffic videos
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
Lu et al. Forward vehicle collision warning based on quick camera calibration
Chen et al. Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles
JP6699728B2 (ja) 車間距離推定方法及び車間距離推定装置
Guo et al. A lane-level localization method via the lateral displacement estimation model on expressway
JP2013020507A (ja) 車両検出装置、車両検出方法及びプログラム
Guo et al. Road environment perception for safe and comfortable driving
Hwang et al. Vehicle detection system design based on stereo vision sensors
Colling et al. HD lane map generation based on trail map aggregation
Dai Semantic Detection of Vehicle Violation Video Based on Computer 3D Vision
CN103838795A (zh) 一种模板相关匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Expressway video speed measuring method and system for zone overlapping

Effective date of registration: 20180525

Granted publication date: 20160817

Pledgee: China Everbright Bank Limited by Share Ltd Hangzhou Yuhang sub branch

Pledgor: Zhejiang Li Shi Science and Technology Co., Ltd.

Registration number: 2018330000127

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20190522

Granted publication date: 20160817

Pledgee: China Everbright Bank Limited by Share Ltd Hangzhou Yuhang sub branch

Pledgor: Zhejiang Li Shi Science and Technology Co., Ltd.

Registration number: 2018330000127

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Expressway video speed measuring method and system for zone overlapping

Effective date of registration: 20190523

Granted publication date: 20160817

Pledgee: China Everbright Bank Limited by Share Ltd Hangzhou Yuhang sub branch

Pledgor: Zhejiang Li Shi Science and Technology Co., Ltd.

Registration number: 2019330000135

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20210407

Granted publication date: 20160817

Pledgee: China Everbright Bank Limited by Share Ltd. Hangzhou Yuhang sub branch

Pledgor: ZHEJIANG LISHI TECHNOLOGY Co.,Ltd.

Registration number: 2019330000135

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system of Expressway video speed measurement for regional overlap

Effective date of registration: 20210408

Granted publication date: 20160817

Pledgee: China Everbright Bank Limited by Share Ltd. Hangzhou Yuhang sub branch

Pledgor: ZHEJIANG LISHI TECHNOLOGY Co.,Ltd.

Registration number: Y2021330000284

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220523

Granted publication date: 20160817

Pledgee: China Everbright Bank Limited by Share Ltd. Hangzhou Yuhang sub branch

Pledgor: ZHEJIANG LISHI TECHNOLOGY CO.,LTD.

Registration number: Y2021330000284

PC01 Cancellation of the registration of the contract for pledge of patent right