CN107256633B - 一种基于单目摄像头三维估计的车型分类方法 - Google Patents
一种基于单目摄像头三维估计的车型分类方法 Download PDFInfo
- Publication number
- CN107256633B CN107256633B CN201710320017.9A CN201710320017A CN107256633B CN 107256633 B CN107256633 B CN 107256633B CN 201710320017 A CN201710320017 A CN 201710320017A CN 107256633 B CN107256633 B CN 107256633B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- straight line
- max
- vertex
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于单目摄像头三维估计的车型分类方法,步骤包括:步骤1、获取背景帧,提取车辆目标的外接矩形框;步骤2、提取车辆目标;步骤3、对车辆目标区域进行填充和贴标签;步骤4、计算车辆的最小外接立方体,以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理;步骤5、对车辆类型进行分类。本发明的方法,在车辆管理系统、公路收费系统、公安侦查系统中自动识别车辆类型,步骤简单,便于实施,计算量小,结果准确性高,给出的结果能够正确对行驶车辆进行分类。
Description
技术领域
本发明属于智能交通监控视频技术领域,涉及一种基于单目摄像头三维估计的车型分类方法。
背景技术
车型识别系统作为智能交通系统应用领域中重要的分支,也是目前相对薄弱的技术环节。基于视频的车型识别系统中,现阶段对车牌、轮廓、车标、及特征匹配方面研究较多,这类方法在特定场景下,识别效果较好,但普遍适用性不强,效果不稳定。
利用车辆三维尺寸进行类型识别的研究较少,如能获得车辆实际三维状态特征,如车辆实际长、宽、高,车鼻高,车尾高以及其最小外界立方体填充度等等,这些特征是不随时间、场景变化而变化的。而且不同车型的三维状态特征具有良好的可分性。虽然双目摄像头三维重建算法成熟,但现有监控系统中已经安装了大量的摄像头,如果每一项监控指标都增加2~3个摄像头,那么整个监控系统就会变得庞大且拥堵,也不易维护。
发明内容
本发明的目的是提供一种基于单目摄像头三维估计的车型分类方法,解决现有技术中对车辆进行分类时,应用二维特征分类识别方法普适性不强且效果不稳定;而采用三维状态特征作为分类标准,双目三维重建方法时间滞后且成本高昂的问题。
本发明所采用的技术方案是,一种基于单目摄像头三维估计的车型分类方法,按照以下步骤实施:
步骤1、获取背景帧,提取车辆目标的外接矩形框
设采用混合高斯背景建模方法得到大小为h行、w列的背景帧[b(i,j)]h×w,设当前帧为[f(i,j)]h×w,对当前帧进行背景差分计算,得到的目标二值图像设为[e(i,j)]h×w,对[e(i,j)]h×w中的每个连通域,用外接矩形框描述,获得初提取的车辆目标的外接矩形框集合,设为其中,是第t个车辆的外接矩形框左上角坐标,是第t个车辆的外接矩形框右下角坐标,n是当前帧中出现的车辆个数;
步骤2、提取车辆目标
采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰,实现对车辆目标区域的提取;
步骤3、对车辆目标区域进行填充和贴标签
3.1)目标边缘提取,利用Canny算法对二值图进行边缘提取,再进行闭运算处理;
3.2)断裂轮廓闭合,将二值图与闭运算处理的图叠加,叠加的方法是,对该两个图中所有对应相同位置上的像素点,至少在该两个图中,有一个是白色的点,则结果图相应位置上的点也为白色,使得原本车辆轮廓断裂部分能够闭合;
3.3)运动目标区域填充,对闭合轮廓区域的空洞进行填充;
3.4)贴标签,对经过区域填充后的所有连通域进行贴标签处理;
步骤4、计算车辆的最小外接立方体
以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理;
步骤5、对车辆类型进行分类。
本发明的有益效果是,在车辆管理系统、公路收费系统、公安侦查系统中自动识别车辆类型,步骤简单,便于实施,计算量小,结果准确性高,给出的结果能够正确对行驶车辆进行分类。
附图说明
图1是本发明方法中的背景差分图获得的运动目标,其中,(a)是原始视频帧,(b)是运动车辆目标及其外接矩形框;
图2是本发明方法中的单个车辆的外接矩形框内的目标区域;
图3是本发明方法中的单个车辆的外接矩形框内的灰度图;
图4是本发明方法中的车辆目标提取结果;
图5是本发明方法中的目标区域填充,其中,(a)是目标轮廓的提取结果,(b)是轮廓线与图4的叠加结果,(c)是连通域填充结果;
图6是本发明方法中的贴标签处理结果;
图7是本发明方法中的车辆连通域的最小外接立方体;
图8是本发明方法中车头向左前方倾斜的车辆4最小外接立方体计算示意图;
图9是本发明方法中车头向左后方倾斜的车辆6最小外接立方体计算示意图;
图10是本发明方法中车头朝向正前方的车辆7最小外接立方体计算示意图;
图11是本发明方法中同一尺寸不同类型车辆立方体填充度示意图,其中,(a)卡车,(b)公交车。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于单目摄像头三维估计的车型分类方法,按照以下步骤实施:
步骤1、获取背景帧,提取车辆目标的外接矩形框
根据目标运动、背景静止的原理,采用背景差分法来提取出运动目标。
设采用混合高斯背景建模方法(该背景建模方法为现有技术)得到大小为h行、w列的背景帧[b(i,j)]h×w,设当前帧为[f(i,j)]h×w,对当前帧进行背景差分计算,得到的目标二值图像设为[e(i,j)]h×w,对[e(i,j)]h×w中的每个连通域,用外接矩形框描述,获得初提取的车辆目标的外接矩形框集合,设为其中,是第t个车辆的外接矩形框左上角坐标,是第t个车辆的外接矩形框右下角坐标,n是当前帧中出现的车辆个数。例如,对图1(a)的视频原图进行背景差分后,得到目标二值图像如图1(b)所示,保存所有被外接矩形框框住的车辆目标区域,例如图2是图1(b)中一个车辆的外接矩形框区域,其中的白色点(像素值为255)是车辆目标点,黑色点(像素值为0)是背景点。
以下以图2所示的车辆局部区域为例,对车辆目标提取的后续步骤进行说明。
步骤2、提取车辆目标
考虑到车辆目标外接矩形框内背景的单一性以及与前景的相似性,采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰,实现对车辆目标区域的提取。
首先获取(图2)车辆目标所对应的灰度图如图3所示,再进行背景区域生长(背景区域生长法为现有技术),具体过程如下:
2.1)令图3所示的灰度图最左上点为中心,构造一个3×3的领域,中心点为种子点,对其8邻域的像素进行区域生长;
2.2)判断是否满足生长条件:判断步骤2.1)的中心点的8邻域像素域中心点相比,像素值的差异满足容差条件,容差优选为3~5,则(图2)相应位置上的值令其为0;
2.3)按照从左到右,从上到下的顺序,选出步骤2.2)的8邻域中一个满足容差条件的点,为下一次种子点,转回步骤2.2)重新执行,直到8邻域中没有符合容差条件的点,则生长结束。
整幅图像中车辆目标提取的结果如图4所示。
步骤3、对车辆目标区域进行填充和贴标签
对步骤2得到的车辆目标区域的空缺部分进行填充,具体步骤如下:
3.1)目标边缘提取,利用Canny算法对图4的二值图进行边缘提取,得到结果再进行闭运算处理,闭运算处理结果如图5(a)所示;
3.2)断裂轮廓闭合,将图4的二值图与图5(a)闭运算处理的图叠加,叠加的方法是,对所有图4和图5(a)对应相同位置上的像素点,至少在图4或者图5(a)中,有一个是白色的点,则结果图相应位置上的点也为白色,使得原本车辆轮廓断裂部分能够闭合,效果如图5(b)所示;
3.3)运动目标区域填充,对闭合轮廓区域的空洞进行填充,填充后如图5(c)所示。
3.4)贴标签,对经过区域填充后的所有连通域进行贴标签处理(贴标签处理方法为现有技术),例如对图5进行贴标签处理之后得到如图6所示的贴标签图像。
步骤4、计算车辆的最小外接立方体
分别以图6所示贴标签图像中车头向左前方倾斜的车辆4,车头向左后方倾斜的车辆6以及车头朝向正前方的车辆7为例(该三个姿态是最具有代表性的),对求取车辆最小外接立方体的步骤分别进行说明,示意图如图7所示。
4.1)对车头向左前方倾斜的车辆(以图7中的车辆4为例)最小外接立方体按照如下步骤进行求取,效果图如图8所示,坐标系的方向见图8:
4.1.1)对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,考虑到消除噪声的影响,给出上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.1.2)同理,对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.1.3)上方的水平直线yup和右侧的垂直直线xright的交点为①,得到坐标为(x1,y1),x1=xright,y1=yup,即确定了水平直线①④的右侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和左侧垂直直线xleft的交点为⑦,坐标为(x7,y7),x7=xleft,y7=ydown,由此确定了水平直线⑥⑦的左侧端点、以及垂直直线③⑦的下方端点;
4.1.4)根据以上得到的顶点⑦,向其右侧延伸至下方水平直线ydown上最右侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x6-x7;
4.1.5)根据以上得到的顶点⑦,向其上方延伸至左侧垂直直线xleft上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=xleft得到立方体的另一条边长为h=y7-y3;
4.1.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向右延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3+l,y2=y3;由顶点①水平向左延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1-l,y4=y1;
4.1.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),其中,x5=x1,y5=y1+h;
4.1.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体。
4.2)对车头向左后方倾斜的车辆(以图7中的车辆6为例)最小外接立方体按照以下步骤进行求取,效果图如图9所示,坐标系的方向见图9:
4.2.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方的水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方的水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.2.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.2.3)上方水平直线yup和左侧垂直直线xleft的交点为①,坐标为(x1,y1),x1=xleft,y1=yup,由此确定了水平直线①④的左侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和右侧垂直直线xright的交点为⑦,坐标为(x7,y7),其中,x7=xright,y7=ydown,由此确定了水平直线⑥⑦的右侧端点、以及垂直直线③⑦的下方端点;
4.2.4)根据以上得到的顶点⑦,向其左侧延伸至直线ydown上最左侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x7-x6;
4.2.5)根据以上得到的顶点⑦,向其上方延伸至直线xright上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=x7,得到立方体的另一条边长为h=y7-y3;
4.2.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向左延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3-l,y2=y3;由顶点①水平向右延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1+l,y4=y1;
4.2.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),x5=x1,y5=y1+h;
4.2.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体;
4.3)对车头正向的车辆(以图7中的车辆7为例)最小外接立方体按照如下步骤进行求取,效果图如图10所示,坐标系的方向见图10:
4.3.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.3.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.3.3)下方水平直线ydown和左侧垂直直线xleft的交点为⑤,坐标为(x5,y5),x5=xleft,y5=ydown,由此确定了水平直线⑤⑥的左侧端点、以及垂直直线④⑤的下方端点;同时,下方水平直线ydown和右侧垂直直线xright的交点为⑥,坐标为(x6,y6),x6=xright,y6=ydown,由此确定了水平直线⑤⑥的右侧端点、以及垂直直线③⑥的下方端点;
4.3.4)依据以上得到的顶点⑤,向其上方延伸至直线xleft上连续线段的最上方白点处,即为y4的坐标值,获得顶点④,坐标为(x4,y4),x4=x5得到立方体的一条边长为h=y5-y4;
4.3.5)依据线段④⑤和线段③⑥平行且长度相同的准则,由以上得到的顶点⑥,沿着xright向上方延伸长度h,获得顶点③,坐标为(x3,y3),x3=x6,y3=y6-h;
4.3.6)沿着上方水平直线yup在x∈[xleft,xright]范围内搜索最左端的白点和最右边的白点,最左端的白点处为x1的坐标值,即为直线的左端点①,坐标为(x1,y1),x1∈(xleft,xright),y1=yup,最右端的白点处为x2的坐标值,右端点②,坐标为(x2,y2),x2∈(xleft,xright),x2>x1,y2=yup;
4.3.7)至此,顶点①②③④⑤⑥分别确定,连接端点①②,②③,①④,④⑤,③⑥,③④,⑤⑥,便得到了该车辆目标的最小外接立方体。
步骤5、对车辆类型进行分类
将分类的车辆类型划分为六类:即小型客车(包括小汽车与小型面包车)、小型卡车、中型客车(包括公交车与中型大巴车)、中型卡车、大型客车、大型卡车;
再按照车辆尺寸大小划分为三类:即小型车(小型客车与小型卡车)、中型车(中型客车与中型卡车)、大型车(大型客车与大型卡车)。根据上述步骤4求得车辆最小外接立方体尺寸后,按照下表的标准确定属于哪一类:
车型 | 小型车 | 中型车 | 大型车 |
体积(长×宽×高)(单位:m<sup>3</sup>) | 15~40 | 40~90 | 90~120 |
同一尺寸类型的车辆中,卡车与客车的二维投影面积S与其最小外界立方体二维投影面积SV的比值Fd称为该目标车辆的立方体填充度,Fd=S/SV,该比值Fd作为分类的最后标准,设阈值T∈[0.75~0.85],当Fd>T时,车辆类型即判定为客车,反之则为卡车,判定结果如图11所示,其中的图11(a)为卡车,图11(b)为公交车;
至此,完成车辆目标所属的车型分类。
Claims (3)
1.一种基于单目摄像头三维估计的车型分类方法,其特征在于,按照以下步骤实施:
步骤1、获取背景帧,提取车辆目标的外接矩形框
设采用混合高斯背景建模方法得到大小为h行、w列的背景帧[b(i,j)]h×w,设当前帧为[f(i,j)]h×w,对当前帧进行背景差分计算,得到的目标二值图像设为[e(i,j)]h×w,对[e(i,j)]h×w中的每个连通域,用外接矩形框描述,获得初提取的车辆目标的外接矩形框集合,设为 其中,是第t个车辆的外接矩形框左上角坐标,是第t个车辆的外接矩形框右下角坐标,n是当前帧中出现的车辆个数;
步骤2、提取车辆目标
采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰,实现对车辆目标区域的提取;
步骤3、对车辆目标区域进行填充和贴标签
3.1)目标边缘提取,利用Canny算法对二值图进行边缘提取,再进行闭运算处理;
3.2)断裂轮廓闭合,将二值图与闭运算处理的图叠加,叠加的方法是,对该两个图中所有对应相同位置上的像素点,至少在该两个图中,有一个是白色的点,则结果图相应位置上的点也为白色,使得原本车辆轮廓断裂部分能够闭合;
3.3)运动目标区域填充,对闭合轮廓区域的空洞进行填充;
3.4)贴标签,对经过区域填充后的所有连通域进行贴标签处理;
步骤4、计算车辆的最小外接立方体
以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理;
4.1)车头向左前方倾斜的车辆最小外接立方体,按照如下步骤进行求取:
4.1.1)对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.1.2)同理,对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.1.3)上方的水平直线yup和右侧的垂直直线xright的交点为①,得到坐标为(x1,y1),x1=xright,y1=yup,即确定了水平直线①④的右侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和左侧垂直直线xleft的交点为⑦,坐标为(x7,y7),x7=xleft,y7=ydown,由此确定了水平直线⑥⑦的左侧端点、以及垂直直线③⑦的下方端点;
4.1.4)根据以上得到的顶点⑦,向其右侧延伸至下方水平直线ydown上最右侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x6-x7;
4.1.5)根据以上得到的顶点⑦,向其上方延伸至左侧垂直直线xleft上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=xleft得到立方体的另一条边长为h=y7-y3;
4.1.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向右延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3+l,y2=y3;由顶点①水平向左延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1-l,y4=y1;
4.1.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),其中,x5=x1,y5=y1+h;
4.1.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体;
4.2)车头向左后方倾斜的车辆最小外接立方体,按照以下步骤进行求取:
4.2.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方的水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方的水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.2.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.2.3)上方水平直线yup和左侧垂直直线xleft的交点为①,坐标为(x1,y1),x1=xleft,y1=yup,由此确定了水平直线①④的左侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和右侧垂直直线xright的交点为⑦,坐标为(x7,y7),其中,x7=xright,y7=ydown,由此确定了水平直线⑥⑦的右侧端点、以及垂直直线③⑦的下方端点;
4.2.4)根据以上得到的顶点⑦,向其左侧延伸至直线ydown上最左侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x7-x6;
4.2.5)根据以上得到的顶点⑦,向其上方延伸至直线xright上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=x7,得到立方体的另一条边长为h=y7-y3;
4.2.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向左延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3-l,y2=y3;由顶点①水平向右延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1+l,y4=y1;
4.2.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),x5=x1,y5=y1+h;
4.2.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体;
4.3)车头正向的车辆最小外接立方体,按照如下步骤进行求取:
4.3.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.3.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.3.3)下方水平直线ydown和左侧垂直直线xleft的交点为⑤,坐标为(x5,y5),x5=xleft,y5=ydown,由此确定了水平直线⑤⑥的左侧端点、以及垂直直线④⑤的下方端点;同时,下方水平直线ydown和右侧垂直直线xright的交点为⑥,坐标为(x6,y6),x6=xright,y6=ydown,由此确定了水平直线⑤⑥的右侧端点、以及垂直直线③⑥的下方端点;
4.3.4)依据以上得到的顶点⑤,向其上方延伸至直线xleft上连续线段的最上方白点处,即为y4的坐标值,获得顶点④,坐标为(x4,y4),x4=x5得到立方体的一条边长为h=y5-y4;
4.3.5)依据线段④⑤和线段③⑥平行且长度相同的准则,由以上得到的顶点⑥,沿着xright向上方延伸长度h,获得顶点③,坐标为(x3,y3),x3=x6,y3=y6-h;
4.3.6)沿着上方水平直线yup在x∈[xleft,xright]范围内搜索最左端的白点和最右边的白点,最左端的白点处为x1的坐标值,即为直线的左端点①,坐标为(x1,y1),x1∈(xleft,xright),y1=yup,最右端的白点处为x2的坐标值,右端点②,坐标为(x2,y2),x2∈(xleft,xright),x2>x1,y2=yup;
4.3.7)至此,顶点①②③④⑤⑥分别确定,连接端点①②,②③,①④,④⑤,③⑥,③④,⑤⑥,便得到了该车辆目标的最小外接立方体;
步骤5、对车辆类型进行分类。
2.根据权利要求1所述的基于单目摄像头三维估计的车型分类方法,其特征在于:所述的步骤2中,首先获取车辆目标所对应的灰度图,再进行背景区域生长,具体过程如下:
2.1)令灰度图最左上点为中心,构造一个3×3的领域,中心点为种子点,对其8邻域的像素进行区域生长;
2.2)判断是否满足生长条件:判断步骤2.1)的中心点的8邻域像素与中心点相比,像素值的差异满足容差条件,容差为3~5,则车辆目标图像相应位置上的值令其为0;
2.3)按照从左到右,从上到下的顺序,选出步骤2.2)的8邻域中一个满足容差条件的点,为下一次种子点,转回步骤2.2)重新执行,直到8邻域中没有符合容差条件的点,则生长结束。
3.根据权利要求1所述的基于单目摄像头三维估计的车型分类方法,其特征在于,所述的步骤5中,具体过程如下:
将分类的车辆类型划分为六类:即小型客车包括小汽车与小型面包车、小型卡车、中型客车包括公交车与中型大巴车、中型卡车、大型客车、大型卡车;
再按照车辆尺寸大小划分为三类:即小型车包括小型客车与小型卡车、中型车包括中型客车与中型卡车、大型车包括大型客车与大型卡车,根据上述步骤4求得车辆最小外接立方体尺寸后,按照下表的标准确定属于哪一类:
同一尺寸类型的车辆中,卡车与客车的二维投影面积S与其最小外接立方体二维投影面积SV的比值Fd称为该目标车辆的立方体填充度,Fd=S/SV,该比值Fd作为分类的最后标准,设阈值T∈[0.75~0.85],当Fd>T时,车辆类型即判定为客车,反之则为卡车;至此,完成车辆目标所属的车型分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710320017.9A CN107256633B (zh) | 2017-05-09 | 2017-05-09 | 一种基于单目摄像头三维估计的车型分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710320017.9A CN107256633B (zh) | 2017-05-09 | 2017-05-09 | 一种基于单目摄像头三维估计的车型分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107256633A CN107256633A (zh) | 2017-10-17 |
CN107256633B true CN107256633B (zh) | 2020-03-31 |
Family
ID=60028030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710320017.9A Expired - Fee Related CN107256633B (zh) | 2017-05-09 | 2017-05-09 | 一种基于单目摄像头三维估计的车型分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107256633B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108645625B (zh) * | 2018-03-21 | 2022-02-18 | 北京纵目安驰智能科技有限公司 | 尾端与侧面结合的3d车辆检测方法、系统、终端和存储介质 |
CN109389064B (zh) | 2018-09-27 | 2021-02-23 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆特征获取方法及装置 |
CN109635429B (zh) * | 2018-12-11 | 2023-01-03 | 湖南三一智能控制设备有限公司 | 路面机械设备及其施工区域提取方法、系统和存储介质 |
CN110517349A (zh) * | 2019-07-26 | 2019-11-29 | 电子科技大学 | 一种基于单目视觉和几何约束的3d车辆目标检测方法 |
CN111160402B (zh) * | 2019-12-09 | 2022-05-17 | 武汉光庭信息技术股份有限公司 | 一种车辆2.5d图像标注方法和装置 |
CN111160370B (zh) * | 2019-12-27 | 2024-02-27 | 佑驾创新(北京)技术有限公司 | 车头位置估计方法、装置、计算机设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100470581C (zh) * | 2005-12-29 | 2009-03-18 | 电子科技大学 | 基于轮廓的车型识别方法 |
CN100485710C (zh) * | 2006-12-22 | 2009-05-06 | 四川川大智胜软件股份有限公司 | 利用数字图像处理技术识别车辆类型的方法 |
CN101783076B (zh) * | 2010-02-04 | 2012-06-13 | 西安理工大学 | 一种视频监控模式下的快速车型识别方法 |
US9665802B2 (en) * | 2014-11-13 | 2017-05-30 | Nec Corporation | Object-centric fine-grained image classification |
GB201503855D0 (en) * | 2015-03-06 | 2015-04-22 | Q Free Asa | Vehicle detection |
CN106156752B (zh) * | 2016-07-25 | 2019-05-14 | 长安大学 | 一种基于逆投影三视图的车型识别方法 |
KR101688536B1 (ko) * | 2016-08-09 | 2016-12-21 | 한국정보기술 주식회사 | 도로 교통 정보를 수집하기 위한 교통량 조사 장치 및 그 방법 |
-
2017
- 2017-05-09 CN CN201710320017.9A patent/CN107256633B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN107256633A (zh) | 2017-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107256633B (zh) | 一种基于单目摄像头三维估计的车型分类方法 | |
CN108052880B (zh) | 交通监控场景虚实车道线检测方法 | |
CN107330376B (zh) | 一种车道线识别方法及系统 | |
CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
WO2019196130A1 (zh) | 面向车载热成像行人检测的分类器训练方法和装置 | |
WO2019196131A1 (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
CN103927526B (zh) | 一种基于高斯差分多尺度边缘融合的车辆检测方法 | |
CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
CN105206109B (zh) | 一种基于红外ccd的车辆雾天识别预警系统及方法 | |
CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
Cui et al. | Vehicle localisation using a single camera | |
Yan et al. | A method of lane edge detection based on Canny algorithm | |
CN102915544B (zh) | 基于纹理检测和颜色分割的视频图像运动目标提取方法 | |
CN103593981B (zh) | 一种基于视频的车型识别方法 | |
CN104299008A (zh) | 基于多特征融合的车型分类方法 | |
CN104299009A (zh) | 基于多特征融合的车牌字符识别方法 | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
Rabiu | Vehicle detection and classification for cluttered urban intersection | |
Dubuisson et al. | Object contour extraction using color and motion | |
CN110443142B (zh) | 一种基于路面提取与分割的深度学习车辆计数方法 | |
CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
Sushmitha et al. | Multiple car detection, recognition and tracking in traffic | |
CN107944350B (zh) | 一种基于外观和几何信息融合的单目视觉道路识别方法 | |
Huang | Research on license plate image segmentation and intelligent character recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200331 |