CN107256633B - 一种基于单目摄像头三维估计的车型分类方法 - Google Patents

一种基于单目摄像头三维估计的车型分类方法 Download PDF

Info

Publication number
CN107256633B
CN107256633B CN201710320017.9A CN201710320017A CN107256633B CN 107256633 B CN107256633 B CN 107256633B CN 201710320017 A CN201710320017 A CN 201710320017A CN 107256633 B CN107256633 B CN 107256633B
Authority
CN
China
Prior art keywords
vehicle
straight line
max
vertex
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710320017.9A
Other languages
English (en)
Other versions
CN107256633A (zh
Inventor
朱虹
张岩
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201710320017.9A priority Critical patent/CN107256633B/zh
Publication of CN107256633A publication Critical patent/CN107256633A/zh
Application granted granted Critical
Publication of CN107256633B publication Critical patent/CN107256633B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/015Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于单目摄像头三维估计的车型分类方法,步骤包括:步骤1、获取背景帧,提取车辆目标的外接矩形框;步骤2、提取车辆目标;步骤3、对车辆目标区域进行填充和贴标签;步骤4、计算车辆的最小外接立方体,以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理;步骤5、对车辆类型进行分类。本发明的方法,在车辆管理系统、公路收费系统、公安侦查系统中自动识别车辆类型,步骤简单,便于实施,计算量小,结果准确性高,给出的结果能够正确对行驶车辆进行分类。

Description

一种基于单目摄像头三维估计的车型分类方法
技术领域
本发明属于智能交通监控视频技术领域,涉及一种基于单目摄像头三维估计的车型分类方法。
背景技术
车型识别系统作为智能交通系统应用领域中重要的分支,也是目前相对薄弱的技术环节。基于视频的车型识别系统中,现阶段对车牌、轮廓、车标、及特征匹配方面研究较多,这类方法在特定场景下,识别效果较好,但普遍适用性不强,效果不稳定。
利用车辆三维尺寸进行类型识别的研究较少,如能获得车辆实际三维状态特征,如车辆实际长、宽、高,车鼻高,车尾高以及其最小外界立方体填充度等等,这些特征是不随时间、场景变化而变化的。而且不同车型的三维状态特征具有良好的可分性。虽然双目摄像头三维重建算法成熟,但现有监控系统中已经安装了大量的摄像头,如果每一项监控指标都增加2~3个摄像头,那么整个监控系统就会变得庞大且拥堵,也不易维护。
发明内容
本发明的目的是提供一种基于单目摄像头三维估计的车型分类方法,解决现有技术中对车辆进行分类时,应用二维特征分类识别方法普适性不强且效果不稳定;而采用三维状态特征作为分类标准,双目三维重建方法时间滞后且成本高昂的问题。
本发明所采用的技术方案是,一种基于单目摄像头三维估计的车型分类方法,按照以下步骤实施:
步骤1、获取背景帧,提取车辆目标的外接矩形框
设采用混合高斯背景建模方法得到大小为h行、w列的背景帧[b(i,j)]h×w,设当前帧为[f(i,j)]h×w,对当前帧进行背景差分计算,得到的目标二值图像设为[e(i,j)]h×w,对[e(i,j)]h×w中的每个连通域,用外接矩形框描述,获得初提取的车辆目标的外接矩形框集合,设为
Figure GDA0002241006100000021
其中,
Figure GDA0002241006100000022
是第t个车辆的外接矩形框左上角坐标,
Figure GDA0002241006100000023
是第t个车辆的外接矩形框右下角坐标,n是当前帧中出现的车辆个数;
步骤2、提取车辆目标
采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰,实现对车辆目标区域的提取;
步骤3、对车辆目标区域进行填充和贴标签
3.1)目标边缘提取,利用Canny算法对二值图进行边缘提取,再进行闭运算处理;
3.2)断裂轮廓闭合,将二值图与闭运算处理的图叠加,叠加的方法是,对该两个图中所有对应相同位置上的像素点,至少在该两个图中,有一个是白色的点,则结果图相应位置上的点也为白色,使得原本车辆轮廓断裂部分能够闭合;
3.3)运动目标区域填充,对闭合轮廓区域的空洞进行填充;
3.4)贴标签,对经过区域填充后的所有连通域进行贴标签处理;
步骤4、计算车辆的最小外接立方体
以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理;
步骤5、对车辆类型进行分类。
本发明的有益效果是,在车辆管理系统、公路收费系统、公安侦查系统中自动识别车辆类型,步骤简单,便于实施,计算量小,结果准确性高,给出的结果能够正确对行驶车辆进行分类。
附图说明
图1是本发明方法中的背景差分图获得的运动目标,其中,(a)是原始视频帧,(b)是运动车辆目标及其外接矩形框;
图2是本发明方法中的单个车辆的外接矩形框内的目标区域;
图3是本发明方法中的单个车辆的外接矩形框内的灰度图;
图4是本发明方法中的车辆目标提取结果;
图5是本发明方法中的目标区域填充,其中,(a)是目标轮廓的提取结果,(b)是轮廓线与图4的叠加结果,(c)是连通域填充结果;
图6是本发明方法中的贴标签处理结果;
图7是本发明方法中的车辆连通域的最小外接立方体;
图8是本发明方法中车头向左前方倾斜的车辆4最小外接立方体计算示意图;
图9是本发明方法中车头向左后方倾斜的车辆6最小外接立方体计算示意图;
图10是本发明方法中车头朝向正前方的车辆7最小外接立方体计算示意图;
图11是本发明方法中同一尺寸不同类型车辆立方体填充度示意图,其中,(a)卡车,(b)公交车。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于单目摄像头三维估计的车型分类方法,按照以下步骤实施:
步骤1、获取背景帧,提取车辆目标的外接矩形框
根据目标运动、背景静止的原理,采用背景差分法来提取出运动目标。
设采用混合高斯背景建模方法(该背景建模方法为现有技术)得到大小为h行、w列的背景帧[b(i,j)]h×w,设当前帧为[f(i,j)]h×w,对当前帧进行背景差分计算,得到的目标二值图像设为[e(i,j)]h×w,对[e(i,j)]h×w中的每个连通域,用外接矩形框描述,获得初提取的车辆目标的外接矩形框集合,设为
Figure GDA0002241006100000041
其中,
Figure GDA0002241006100000042
是第t个车辆的外接矩形框左上角坐标,
Figure GDA0002241006100000043
是第t个车辆的外接矩形框右下角坐标,n是当前帧中出现的车辆个数。例如,对图1(a)的视频原图进行背景差分后,得到目标二值图像如图1(b)所示,保存所有被外接矩形框框住的车辆目标区域,例如图2是图1(b)中一个车辆的外接矩形框区域,其中的白色点(像素值为255)是车辆目标点,黑色点(像素值为0)是背景点。
以下以图2所示的车辆局部区域为例,对车辆目标提取的后续步骤进行说明。
步骤2、提取车辆目标
考虑到车辆目标外接矩形框内背景的单一性以及与前景的相似性,采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰,实现对车辆目标区域的提取。
首先获取(图2)车辆目标所对应的灰度图如图3所示,再进行背景区域生长(背景区域生长法为现有技术),具体过程如下:
2.1)令图3所示的灰度图最左上点为中心,构造一个3×3的领域,中心点为种子点,对其8邻域的像素进行区域生长;
2.2)判断是否满足生长条件:判断步骤2.1)的中心点的8邻域像素域中心点相比,像素值的差异满足容差条件,容差优选为3~5,则(图2)相应位置上的值令其为0;
2.3)按照从左到右,从上到下的顺序,选出步骤2.2)的8邻域中一个满足容差条件的点,为下一次种子点,转回步骤2.2)重新执行,直到8邻域中没有符合容差条件的点,则生长结束。
整幅图像中车辆目标提取的结果如图4所示。
步骤3、对车辆目标区域进行填充和贴标签
对步骤2得到的车辆目标区域的空缺部分进行填充,具体步骤如下:
3.1)目标边缘提取,利用Canny算法对图4的二值图进行边缘提取,得到结果再进行闭运算处理,闭运算处理结果如图5(a)所示;
3.2)断裂轮廓闭合,将图4的二值图与图5(a)闭运算处理的图叠加,叠加的方法是,对所有图4和图5(a)对应相同位置上的像素点,至少在图4或者图5(a)中,有一个是白色的点,则结果图相应位置上的点也为白色,使得原本车辆轮廓断裂部分能够闭合,效果如图5(b)所示;
3.3)运动目标区域填充,对闭合轮廓区域的空洞进行填充,填充后如图5(c)所示。
3.4)贴标签,对经过区域填充后的所有连通域进行贴标签处理(贴标签处理方法为现有技术),例如对图5进行贴标签处理之后得到如图6所示的贴标签图像。
步骤4、计算车辆的最小外接立方体
分别以图6所示贴标签图像中车头向左前方倾斜的车辆4,车头向左后方倾斜的车辆6以及车头朝向正前方的车辆7为例(该三个姿态是最具有代表性的),对求取车辆最小外接立方体的步骤分别进行说明,示意图如图7所示。
4.1)对车头向左前方倾斜的车辆(以图7中的车辆4为例)最小外接立方体按照如下步骤进行求取,效果图如图8所示,坐标系的方向见图8:
4.1.1)对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,考虑到消除噪声的影响,给出上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.1.2)同理,对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.1.3)上方的水平直线yup和右侧的垂直直线xright的交点为①,得到坐标为(x1,y1),x1=xright,y1=yup,即确定了水平直线①④的右侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和左侧垂直直线xleft的交点为⑦,坐标为(x7,y7),x7=xleft,y7=ydown,由此确定了水平直线⑥⑦的左侧端点、以及垂直直线③⑦的下方端点;
4.1.4)根据以上得到的顶点⑦,向其右侧延伸至下方水平直线ydown上最右侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x6-x7
4.1.5)根据以上得到的顶点⑦,向其上方延伸至左侧垂直直线xleft上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=xleft得到立方体的另一条边长为h=y7-y3
4.1.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向右延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3+l,y2=y3;由顶点①水平向左延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1-l,y4=y1
4.1.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),其中,x5=x1,y5=y1+h;
4.1.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体。
4.2)对车头向左后方倾斜的车辆(以图7中的车辆6为例)最小外接立方体按照以下步骤进行求取,效果图如图9所示,坐标系的方向见图9:
4.2.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方的水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方的水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.2.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.2.3)上方水平直线yup和左侧垂直直线xleft的交点为①,坐标为(x1,y1),x1=xleft,y1=yup,由此确定了水平直线①④的左侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和右侧垂直直线xright的交点为⑦,坐标为(x7,y7),其中,x7=xright,y7=ydown,由此确定了水平直线⑥⑦的右侧端点、以及垂直直线③⑦的下方端点;
4.2.4)根据以上得到的顶点⑦,向其左侧延伸至直线ydown上最左侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x7-x6
4.2.5)根据以上得到的顶点⑦,向其上方延伸至直线xright上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=x7,得到立方体的另一条边长为h=y7-y3
4.2.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向左延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3-l,y2=y3;由顶点①水平向右延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1+l,y4=y1
4.2.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),x5=x1,y5=y1+h;
4.2.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体;
4.3)对车头正向的车辆(以图7中的车辆7为例)最小外接立方体按照如下步骤进行求取,效果图如图10所示,坐标系的方向见图10:
4.3.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.3.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.3.3)下方水平直线ydown和左侧垂直直线xleft的交点为⑤,坐标为(x5,y5),x5=xleft,y5=ydown,由此确定了水平直线⑤⑥的左侧端点、以及垂直直线④⑤的下方端点;同时,下方水平直线ydown和右侧垂直直线xright的交点为⑥,坐标为(x6,y6),x6=xright,y6=ydown,由此确定了水平直线⑤⑥的右侧端点、以及垂直直线③⑥的下方端点;
4.3.4)依据以上得到的顶点⑤,向其上方延伸至直线xleft上连续线段的最上方白点处,即为y4的坐标值,获得顶点④,坐标为(x4,y4),x4=x5得到立方体的一条边长为h=y5-y4
4.3.5)依据线段④⑤和线段③⑥平行且长度相同的准则,由以上得到的顶点⑥,沿着xright向上方延伸长度h,获得顶点③,坐标为(x3,y3),x3=x6,y3=y6-h;
4.3.6)沿着上方水平直线yup在x∈[xleft,xright]范围内搜索最左端的白点和最右边的白点,最左端的白点处为x1的坐标值,即为直线的左端点①,坐标为(x1,y1),x1∈(xleft,xright),y1=yup,最右端的白点处为x2的坐标值,右端点②,坐标为(x2,y2),x2∈(xleft,xright),x2>x1,y2=yup
4.3.7)至此,顶点①②③④⑤⑥分别确定,连接端点①②,②③,①④,④⑤,③⑥,③④,⑤⑥,便得到了该车辆目标的最小外接立方体。
步骤5、对车辆类型进行分类
将分类的车辆类型划分为六类:即小型客车(包括小汽车与小型面包车)、小型卡车、中型客车(包括公交车与中型大巴车)、中型卡车、大型客车、大型卡车;
再按照车辆尺寸大小划分为三类:即小型车(小型客车与小型卡车)、中型车(中型客车与中型卡车)、大型车(大型客车与大型卡车)。根据上述步骤4求得车辆最小外接立方体尺寸后,按照下表的标准确定属于哪一类:
车型 小型车 中型车 大型车
体积(长×宽×高)(单位:m<sup>3</sup>) 15~40 40~90 90~120
同一尺寸类型的车辆中,卡车与客车的二维投影面积S与其最小外界立方体二维投影面积SV的比值Fd称为该目标车辆的立方体填充度,Fd=S/SV,该比值Fd作为分类的最后标准,设阈值T∈[0.75~0.85],当Fd>T时,车辆类型即判定为客车,反之则为卡车,判定结果如图11所示,其中的图11(a)为卡车,图11(b)为公交车;
至此,完成车辆目标所属的车型分类。

Claims (3)

1.一种基于单目摄像头三维估计的车型分类方法,其特征在于,按照以下步骤实施:
步骤1、获取背景帧,提取车辆目标的外接矩形框
设采用混合高斯背景建模方法得到大小为h行、w列的背景帧[b(i,j)]h×w,设当前帧为[f(i,j)]h×w,对当前帧进行背景差分计算,得到的目标二值图像设为[e(i,j)]h×w,对[e(i,j)]h×w中的每个连通域,用外接矩形框描述,获得初提取的车辆目标的外接矩形框集合,设为
Figure FDA0002317280180000011
Figure FDA0002317280180000014
其中,
Figure FDA0002317280180000012
是第t个车辆的外接矩形框左上角坐标,
Figure FDA0002317280180000013
是第t个车辆的外接矩形框右下角坐标,n是当前帧中出现的车辆个数;
步骤2、提取车辆目标
采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰,实现对车辆目标区域的提取;
步骤3、对车辆目标区域进行填充和贴标签
3.1)目标边缘提取,利用Canny算法对二值图进行边缘提取,再进行闭运算处理;
3.2)断裂轮廓闭合,将二值图与闭运算处理的图叠加,叠加的方法是,对该两个图中所有对应相同位置上的像素点,至少在该两个图中,有一个是白色的点,则结果图相应位置上的点也为白色,使得原本车辆轮廓断裂部分能够闭合;
3.3)运动目标区域填充,对闭合轮廓区域的空洞进行填充;
3.4)贴标签,对经过区域填充后的所有连通域进行贴标签处理;
步骤4、计算车辆的最小外接立方体
以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理;
4.1)车头向左前方倾斜的车辆最小外接立方体,按照如下步骤进行求取:
4.1.1)对车辆目标连通域做水平方向投影,能够得到投影值大于零的起始坐标ymin与终止坐标ymax,上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.1.2)同理,对车辆目标连通域做垂直方向的投影,能够得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.1.3)上方的水平直线yup和右侧的垂直直线xright的交点为①,得到坐标为(x1,y1),x1=xright,y1=yup,即确定了水平直线①④的右侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和左侧垂直直线xleft的交点为⑦,坐标为(x7,y7),x7=xleft,y7=ydown,由此确定了水平直线⑥⑦的左侧端点、以及垂直直线③⑦的下方端点;
4.1.4)根据以上得到的顶点⑦,向其右侧延伸至下方水平直线ydown上最右侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x6-x7
4.1.5)根据以上得到的顶点⑦,向其上方延伸至左侧垂直直线xleft上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=xleft得到立方体的另一条边长为h=y7-y3
4.1.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向右延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3+l,y2=y3;由顶点①水平向左延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1-l,y4=y1
4.1.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),其中,x5=x1,y5=y1+h;
4.1.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体;
4.2)车头向左后方倾斜的车辆最小外接立方体,按照以下步骤进行求取:
4.2.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方的水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方的水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.2.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧的垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.2.3)上方水平直线yup和左侧垂直直线xleft的交点为①,坐标为(x1,y1),x1=xleft,y1=yup,由此确定了水平直线①④的左侧端点、以及垂直直线①⑤的上方端点;同理,下方水平直线ydown和右侧垂直直线xright的交点为⑦,坐标为(x7,y7),其中,x7=xright,y7=ydown,由此确定了水平直线⑥⑦的右侧端点、以及垂直直线③⑦的下方端点;
4.2.4)根据以上得到的顶点⑦,向其左侧延伸至直线ydown上最左侧的白点处,即为x6的坐标值,获得顶点⑥,坐标为(x6,y6),y6=ydown,得到立方体的一条边长为l=x7-x6
4.2.5)根据以上得到的顶点⑦,向其上方延伸至直线xright上连续线段的最上方白点处,即为y3的坐标值,获得顶点③,坐标为(x3,y3),x3=x7,得到立方体的另一条边长为h=y7-y3
4.2.6)依据立方体中,线段⑥⑦与线段②③、线段①④长度相等,且三条线平行的原则,由顶点③水平向左延伸长度l后得到顶点②,其坐标为(x2,y2),x2=x3-l,y2=y3;由顶点①水平向右延伸长度l后得到顶点④,其坐标为(x4,y4),x4=x1+l,y4=y1
4.2.7)依据立方体中,线段③⑦与线段②⑥、线段①⑤长度相等,且三条线平行的原则,由顶点①垂直向下延伸长度h后得到顶点⑤,其坐标为(x5,y5),x5=x1,y5=y1+h;
4.2.8)至此,顶点①②③④⑤⑥⑦分别确定,连接端点①②,①④,①⑤,②③,②⑥,③④,③⑦,⑤⑥,⑥⑦,便得到了该车辆目标的最小外接立方体;
4.3)车头正向的车辆最小外接立方体,按照如下步骤进行求取:
4.3.1)同步骤4.1.1),对车辆目标连通域做水平方向投影,得到投影值大于零的起始坐标ymin与终止坐标ymax,则上方水平直线表达式为yup=ymin+0.1·(ymax-ymin),下方水平直线表达式为ydown=ymax-0.1·(ymax-ymin);
4.3.2)同步骤4.1.2),对车辆目标连通域做垂直方向的投影,得到投影值大于零的起始坐标xmin与xmax,则左侧的垂直直线表达式为xleft=xmin+0.1·(xmax-xmin),右侧垂直直线表达式为xright=xmax-0.1·(xmax-xmin);
4.3.3)下方水平直线ydown和左侧垂直直线xleft的交点为⑤,坐标为(x5,y5),x5=xleft,y5=ydown,由此确定了水平直线⑤⑥的左侧端点、以及垂直直线④⑤的下方端点;同时,下方水平直线ydown和右侧垂直直线xright的交点为⑥,坐标为(x6,y6),x6=xright,y6=ydown,由此确定了水平直线⑤⑥的右侧端点、以及垂直直线③⑥的下方端点;
4.3.4)依据以上得到的顶点⑤,向其上方延伸至直线xleft上连续线段的最上方白点处,即为y4的坐标值,获得顶点④,坐标为(x4,y4),x4=x5得到立方体的一条边长为h=y5-y4
4.3.5)依据线段④⑤和线段③⑥平行且长度相同的准则,由以上得到的顶点⑥,沿着xright向上方延伸长度h,获得顶点③,坐标为(x3,y3),x3=x6,y3=y6-h;
4.3.6)沿着上方水平直线yup在x∈[xleft,xright]范围内搜索最左端的白点和最右边的白点,最左端的白点处为x1的坐标值,即为直线的左端点①,坐标为(x1,y1),x1∈(xleft,xright),y1=yup,最右端的白点处为x2的坐标值,右端点②,坐标为(x2,y2),x2∈(xleft,xright),x2>x1,y2=yup
4.3.7)至此,顶点①②③④⑤⑥分别确定,连接端点①②,②③,①④,④⑤,③⑥,③④,⑤⑥,便得到了该车辆目标的最小外接立方体;
步骤5、对车辆类型进行分类。
2.根据权利要求1所述的基于单目摄像头三维估计的车型分类方法,其特征在于:所述的步骤2中,首先获取车辆目标所对应的灰度图,再进行背景区域生长,具体过程如下:
2.1)令灰度图最左上点为中心,构造一个3×3的领域,中心点为种子点,对其8邻域的像素进行区域生长;
2.2)判断是否满足生长条件:判断步骤2.1)的中心点的8邻域像素与中心点相比,像素值的差异满足容差条件,容差为3~5,则车辆目标图像相应位置上的值令其为0;
2.3)按照从左到右,从上到下的顺序,选出步骤2.2)的8邻域中一个满足容差条件的点,为下一次种子点,转回步骤2.2)重新执行,直到8邻域中没有符合容差条件的点,则生长结束。
3.根据权利要求1所述的基于单目摄像头三维估计的车型分类方法,其特征在于,所述的步骤5中,具体过程如下:
将分类的车辆类型划分为六类:即小型客车包括小汽车与小型面包车、小型卡车、中型客车包括公交车与中型大巴车、中型卡车、大型客车、大型卡车;
再按照车辆尺寸大小划分为三类:即小型车包括小型客车与小型卡车、中型车包括中型客车与中型卡车、大型车包括大型客车与大型卡车,根据上述步骤4求得车辆最小外接立方体尺寸后,按照下表的标准确定属于哪一类:
车型 小型车 中型车 大型车 体积(长×宽×高)(单位:m<sup>3</sup>) 15~40 40~90 90~120
同一尺寸类型的车辆中,卡车与客车的二维投影面积S与其最小外接立方体二维投影面积SV的比值Fd称为该目标车辆的立方体填充度,Fd=S/SV,该比值Fd作为分类的最后标准,设阈值T∈[0.75~0.85],当Fd>T时,车辆类型即判定为客车,反之则为卡车;至此,完成车辆目标所属的车型分类。
CN201710320017.9A 2017-05-09 2017-05-09 一种基于单目摄像头三维估计的车型分类方法 Expired - Fee Related CN107256633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710320017.9A CN107256633B (zh) 2017-05-09 2017-05-09 一种基于单目摄像头三维估计的车型分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710320017.9A CN107256633B (zh) 2017-05-09 2017-05-09 一种基于单目摄像头三维估计的车型分类方法

Publications (2)

Publication Number Publication Date
CN107256633A CN107256633A (zh) 2017-10-17
CN107256633B true CN107256633B (zh) 2020-03-31

Family

ID=60028030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710320017.9A Expired - Fee Related CN107256633B (zh) 2017-05-09 2017-05-09 一种基于单目摄像头三维估计的车型分类方法

Country Status (1)

Country Link
CN (1) CN107256633B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108645625B (zh) * 2018-03-21 2022-02-18 北京纵目安驰智能科技有限公司 尾端与侧面结合的3d车辆检测方法、系统、终端和存储介质
CN109389064B (zh) 2018-09-27 2021-02-23 东软睿驰汽车技术(沈阳)有限公司 一种车辆特征获取方法及装置
CN109635429B (zh) * 2018-12-11 2023-01-03 湖南三一智能控制设备有限公司 路面机械设备及其施工区域提取方法、系统和存储介质
CN110517349A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN111160402B (zh) * 2019-12-09 2022-05-17 武汉光庭信息技术股份有限公司 一种车辆2.5d图像标注方法和装置
CN111160370B (zh) * 2019-12-27 2024-02-27 佑驾创新(北京)技术有限公司 车头位置估计方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100470581C (zh) * 2005-12-29 2009-03-18 电子科技大学 基于轮廓的车型识别方法
CN100485710C (zh) * 2006-12-22 2009-05-06 四川川大智胜软件股份有限公司 利用数字图像处理技术识别车辆类型的方法
CN101783076B (zh) * 2010-02-04 2012-06-13 西安理工大学 一种视频监控模式下的快速车型识别方法
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
GB201503855D0 (en) * 2015-03-06 2015-04-22 Q Free Asa Vehicle detection
CN106156752B (zh) * 2016-07-25 2019-05-14 长安大学 一种基于逆投影三视图的车型识别方法
KR101688536B1 (ko) * 2016-08-09 2016-12-21 한국정보기술 주식회사 도로 교통 정보를 수집하기 위한 교통량 조사 장치 및 그 방법

Also Published As

Publication number Publication date
CN107256633A (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
CN107256633B (zh) 一种基于单目摄像头三维估计的车型分类方法
CN108052880B (zh) 交通监控场景虚实车道线检测方法
CN107330376B (zh) 一种车道线识别方法及系统
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
WO2019196130A1 (zh) 面向车载热成像行人检测的分类器训练方法和装置
WO2019196131A1 (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN103927526B (zh) 一种基于高斯差分多尺度边缘融合的车辆检测方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
Cui et al. Vehicle localisation using a single camera
Yan et al. A method of lane edge detection based on Canny algorithm
CN102915544B (zh) 基于纹理检测和颜色分割的视频图像运动目标提取方法
CN103593981B (zh) 一种基于视频的车型识别方法
CN104299008A (zh) 基于多特征融合的车型分类方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
Rabiu Vehicle detection and classification for cluttered urban intersection
Dubuisson et al. Object contour extraction using color and motion
CN110443142B (zh) 一种基于路面提取与分割的深度学习车辆计数方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
Sushmitha et al. Multiple car detection, recognition and tracking in traffic
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
Huang Research on license plate image segmentation and intelligent character recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200331