CN106156752A - 一种基于逆投影三视图的车型识别方法 - Google Patents
一种基于逆投影三视图的车型识别方法 Download PDFInfo
- Publication number
- CN106156752A CN106156752A CN201610590924.0A CN201610590924A CN106156752A CN 106156752 A CN106156752 A CN 106156752A CN 201610590924 A CN201610590924 A CN 201610590924A CN 106156752 A CN106156752 A CN 106156752A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- projection
- view
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010586 diagram Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于逆投影三视图的车型识别方法,基于逆投影三视图的车型识别与车辆建模方法,不受硬件环境限制,能够提取出被检测车辆的三维结构信息及真实尺寸数据,可以很准确的确定出被检测车辆的车型类别,还可以根据逆投影三视图匹配提取的车辆结构建立车辆三维线框模型。此外,这种方法不受车辆影子的影响,可以通过被检测车辆的三维结构很准确很稳定的识别出车型,具有广阔的应用前景。
Description
技术领域
本发明属于视频检测领域,具体涉及基于逆投影三视图的车型识别方法。
背景技术
车型的自动识别技术是ITS(Intelligence Transportation System,智能交通系统)系统构成的关键技术之一,主要通过车型识别系统采集车辆原始图像,运用相应的图像处理算法分析、处理并获取车辆的相关信息,最后进行相应的智能化数据管理。无论在交通路况的实时监控领域,还是机场、车站、收费站的车辆自动收费领域,车型识别技术都具有广泛地应用。
传统的车型识别方法主要有地感线圈检测法、红外线探测法和动态压电检测法,这些方法准确率高、实时性好,但都存在着硬件装置成本高、使用寿命短、安装和维护复杂等缺点。随着计算机技术的发展,基于视频图像检测的车型识别方法开始涌现出来,相关研究人员主要从两个角度进行研究,一是从车牌信息匹配的角度出发,使用车牌检测法,通过捕获汽车正面车牌照片,识别出车牌照片中的字母、数字和颜色等信息,然后将此类信息拿到数据库中与已建立的车牌号信息进行匹配,最终识别出车辆类型。但是伴随着车牌掩盖、遮蔽、替换等手段的出现,车牌检测法的使用有很大的局限性。二是从车辆特征匹配的角度出发,先提取出能反映不同车型的特征量,如边缘轮廓、纹理信息、车窗车高、车轮位置等,再通过模式识别的方法实现车型分类。这类方法的识别不仅取决于样本训练阶段特征的选取以及训练方法和训练结果的区分度,还依赖于图像检测阶段特征提取的精度。此外,这类方法在车型识别中无法获取被检测车辆的真实数据。
发明内容
针对上述现有技术中存在的问题或缺陷,本发明的目的在于,提供一种基于逆投影三视图的车型识别方法,本发明的方法从车体三维结构匹配的角度出发,通过车辆检测建立车辆逆投影三视图,再通过三视图匹配提取车体三维线框结构并获取车辆的真实数据,然后与车型数据库的真实数据进行匹配,从而实现车辆分类识别。
为了实现上述目的,本发明采用如下技术方案:
一种基于逆投影三视图的车型识别方法,包括以下步骤:
步骤一:利用摄像机对道路进行拍摄,得到包含有待检测车辆的道路原始图像;确定道路原始图像中待检测车辆的外接矩形框,根据外接矩形框确定待检测车辆的三维立体框;
步骤二:针对道路原始图像进行Canny边缘提取得到边缘图;针对边缘图构建三维立体框的底面的逆投影图;获取三维立体框的底面的逆投影图中所有的横向直线段和纵向直线段,在所有的横向直线段中选取车辆正面底盘线,在所有的纵向直线段中选取车辆侧面底盘线;
步骤三:根据步骤二得到的车辆正面底盘线和车辆侧面底盘线,得到车辆正面底盘线及车辆侧面底盘线在道路原始图像上的直线方程,计算得到两个直线方程的交点的图像坐标,利用交点的图像坐标获取交点的世界坐标P(X0,Y0,0);
步骤四:计算车辆正面底盘线在道路原始图像中的直线方程与三维立体框的两个底面边界线之间的交点的图像坐标,利用交点的图像坐标获取交点的世界坐标P1(X1,Y0,0),P2(X2,Y0,0);建立Y=Y0,X:X1→X2,Z:0→h的车辆逆投影正视图;其中,X1,X2分别为构建的车辆逆投影正视图在世界坐标系下的左边界及右边界,h表示构建的车辆逆投影正视图的高度;
计算车辆侧面底盘线在道路原始图像中的直线方程与三维立体框的两个底面边界线之间的交点的图像坐标,利用交点的图像坐标获取交点的世界坐标P3(X0,Y1,0),P4(X0,Y2,0);建立X=X0,Y:Y1→Y2,Z:0→h的车辆逆投影左视图;其中,Y1,Y2分别为构建的车辆逆投影左视图在世界坐标系下的上边界及下边界,h表示构建的车辆逆投影左视图的高度;
步骤五:在步骤四得到的车辆逆投影左视图上提取横向直线段,并计算最高处横向直线段的高度,即车辆相对底盘的真实高度,设为Z=Z0;
步骤六:通过步骤五得出的车辆相对底盘的真实高度,构建Z=Z0,X:X1→X2,Y:Y1→Y2的车辆逆投影俯视图;提取车辆逆投影俯视图中所有的横向直线段和纵向直线段;其中,X1,X2分别为构建的车辆逆投影俯视图在世界坐标系下的左边界及右边界,Y1,Y2分别为构建的车辆逆投影俯视图在世界坐标系下的上边界及下边界;
步骤七:根据车辆逆投影三视图长对正、高平齐、宽相等的匹配规则对逆投影三视图进行匹配,获取车辆在三维空间中的关键点位置,画出车辆的三维线框结构图;
步骤八:根据车辆的三维线框结构图,计算车辆在真实世界坐标系下的长宽高数据,将长宽高数据与真实车辆的长宽高数据进行比较,识别出被检测车辆的车型。
具体地,所述步骤二中,针对边缘图构建三维立体框的底面的逆投影图,包括以下步骤:
设置逆投影图的大小为(m+1)*(n+1),用(m,n)表示像素点的位置,逆投影图上各个像素点位置所对应的世界坐标如下:
其中,X1,X2分别为构建的逆投影图在世界坐标系下的左边界及右边界,Y1,Y2分别为构建的逆投影图在世界坐标系下的下边界及上边界;
其中,
世界坐标系中的一点PW(X,Y,Z)在图像坐标系上的投影坐标为pI(u,v),世界坐标到图像坐标的投影关系可表示为:
根据上式得到逆投影图中每个像素点在边缘图中的图像坐标,再把图像坐标对应的像素值填充到逆投影图中对应的像素点位置,得到逆投影图。
具体地,所述步骤二中,在所有的横向直线段中选取车辆正面底盘线,包括以下步骤:
从所有的横向直线段中选出长度大于h1的横向直线段,计算出h1的实际长度在逆投影图上的像素间距,具体计算公式为:
其中,x为相邻像素点在横轴的实际单位距离,单位为:米/像素,D为h1所代表的横向像素间距;
在选取的大于h1的所有横向直线段中除去像素距离小于D的横向直线段,在剩余的符合长度条件的横向直线段中,选取距离三维立体框底面的横向底边最近的直线段,即车辆正面底盘线。
具体地,所述步骤二中,在所有的纵向直线段中选取车辆侧面底盘线,包括以下步骤:
从所有的纵向直线段中选出长度大于h2的纵向直线段,并计算出h2在逆投影图上纵向的像素间距,具体计算方法为:
其中,y为相邻像素点在纵轴的实际单位距离,单位为:米/像素,E为h2所代表的纵向像素间距;
在选取的大于h2的所有纵向直线段中除去像素距离小于E的纵向直线段,在剩余的符合长度条件的纵向直线段中,选取距离三维立体框底面的纵向底边最近的直线段,即为车辆侧面底盘线。
与现有技术相比,本发明具有以下技术效果:
本发明是基于逆投影三视图的车型识别与车辆建模方法,不受硬件环境限制,能够提取出被检测车辆的三维结构信息及真实尺寸数据,可以很准确的确定出被检测车辆的车型类别,还可以根据逆投影三视图匹配提取的车辆结构建立车辆三维线框模型。此外,这种方法不受车辆影子的影响,可以通过被检测车辆的三维结构很准确很稳定的识别出车型,具有广阔的应用前景。
下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。
附图说明
图1为道路原始图像;其中,(a)表示待检测车辆外接矩形框,(b)表示待检测车辆三维立体框;
图2为三维立体框检测到的车辆正面底盘线和车辆侧面底盘线;
图3为车辆正面逆投影图;
图4为车辆侧面逆投影图;
图5为车辆正面逆投影图中的车辆轮廓线检测图;
图6为车辆侧面逆投影图中的车辆轮廓线检测图;
图7为根据车辆侧面逆投影确定车辆高度,设定车辆俯视逆投影框的位置图;
图8为车辆俯视逆投影图;
图9为车辆俯视逆投影图中的车辆轮廓检测图;
图10为车辆的逆投影三视图中的车辆轮廓线匹配图,其中,(a)为车辆正面逆投影图,(b)为车辆侧面逆投影图,(c)为车辆俯视逆投影图;
图11为匹配得到的三维线框结构图;
图12为图像轮廓编码示例图。
具体实施方式
本发明的基于逆投影三视图的车型识别方法,通过检测车辆底盘线和车顶轮廓线设置被检测车辆逆投影三视图,然后利用三视图的匹配关系提取车辆的三维结构数据,从而实现车型识别,也可作为车辆结构模型数据,具体包括以下步骤:
步骤一:利用摄像机对道路进行拍摄,得到包括待检测车辆的道路原始图像;确定道路原始图像中待检测车辆的外接矩形框,根据外接矩形框确定待检测车辆的三维立体框。
将摄像机架设在道路旁,高于待检测车辆的车顶的位置,保证摄像机能够拍摄到待检测车辆的三个面,以车辆的行驶方向为正方向,摄像机高于车顶5-10米,偏向车辆检测区域45-75度角;利用摄像机对待检测车辆拍摄,得到包含待检测车辆的图像;采用车辆检测方法,如前景目标连通域标记法,确定图像中待检测车辆的外接矩形框,车辆完全在外接矩形之内,并且外接矩形只能包含一个车辆目标,根据场景不同,可以选择的方法有前景运动目标连通域标记法、高斯混合模型法、模板匹配法等。根据外接矩形框确定待检测车辆的三维立体框;如图1所示。
三维立体框的长为外接矩形框在世界坐标系下的实际长度,宽为外接矩形框在世界坐标系下的实际宽度的1/2,高为200cm,上述长、宽和高的设置可根据实际情况进行选择设置,仅需保证待检测车辆位于三维立体框内即可。
步骤二:针对道路原始图像进行Canny边缘提取得到边缘图;针对边缘图构建三维立体框的底面(Z=0)的逆投影图;针对三维立体框底面的逆投影图,通过直线段提取的方法获得逆投影图中所有的横向直线段及纵向直线段,在所有的横向直线段中选取车辆正面底盘线,同理,在所有的纵向直线段中选取车辆侧面底盘线,如图2所示。
其中,针对边缘图构建三维立体框的底面(Z=0)的逆投影图的方法如下:
从三维世界到二维图像的转换称之为投影,反之,从二维图像到三维世界的恢复称之为逆投影;其中,投影变换是一对一的关系,而逆投影却是一对多的关系,但在确定图像坐标在三维坐标中任意一个维度的值时,逆投影也就变为一一对应的关系。例如要构建Z=0,X:X1→X2;Y:Y1→Y2的逆投影面,设置逆投影图的大小为(m+1)*(n+1),则逆投影图上相邻像素点在横轴及纵轴上的实际单位距离分别为:
其中,X1,X2分别为构建的逆投影图在世界坐标系下的左边界及右边界,Y1,Y2分别为构建的逆投影图在世界坐标系下的下边界及上边界。
逆投影图上各个像素点位置所对应的世界坐标如下:
设世界坐标系中的一点PW(X,Y,Z)在图像坐标系上的投影坐标为pI(u,v),世界坐标到图像坐标的投影关系可表示为:
其中,K是相机内参数,R,T为相机外参数;
为了下文更简洁清晰的表述,将公式(3)简记为:
pI=F·PW (4)
其中,用符号“F·”简要表达从世界坐标转化为图像坐标的关系;而根据公式(4),若已知图像坐标pI(u,v)及其在世界坐标系中的高度Z,也可唯一确定该图像坐标所对应的世界坐标PW(X,Y,Z),该过程简要表达为:
其中,用符号“F-1·”简要表达从图像坐标转换为世界坐标的关系,用符号表示已知图像坐标及其在世界坐标系中的高度。
在已知世界坐标和高度Z的情况下,根据公式(4)能够得到逆投影图每个像素点在边缘图中的图像坐标,再把图像坐标对应的像素值填充到逆投影图中对应的像素点位置,从而得到逆投影图。
其中,针对三维立体框底面的逆投影图,通过直线段提取的方法获得逆投影图中所有的横向直线段及纵向直线段。一条直线段根据该直线段的起点和终点坐标即可求得该直线段的直线方程。
为实现逆投影三视图的匹配,在车辆逆投影三视图中的车辆轮廓线提取至关重要,而现代车辆制造工艺的光滑性设计使得车辆轮廓上原本棱角分明的直线段变得光滑且不明显,即提取的车辆轮廓直线边缘经常出现断裂、折角处小曲率弯曲,传统的直线提取方法无法不具有局部边缘断裂连接及小曲率弯曲的包容性,因此本文设计了一种图像边缘编码的方法,在图像边缘上编码为1,非图像边缘上编码为-1,计算要提取直线的方向上累加和最长的线段。如图12所示,为图像轮廓编码示例图。
如图1所示,边缘部分出现了断裂及小曲率弯曲情况。为了针对车辆轮廓线在逆投影图像中存在的这种问题,本文定义一条线端的数据结构为:
struct Line{
Point startPoint;
Point endPoint;
int length;
}
以检测逆投影图像的中的车辆横向轮廓线为例,算法伪代码为:
在所有的横向直线段中选取车辆正面底盘线,采用的方法如下:
从所有的横向直线段中选出长度大于h1,h1=1米的横向直线段,一般来说,车辆宽度>1.4米,车顶略窄,并计算出1米的实际长度在逆投影图上的像素间距,具体计算方法为:
其中,x为相邻像素点在横轴的实际单位距离,单位为:米/像素,D为1米所代表的横向像素间距。
在选取的大于1米的所有横向直线段中除去像素距离小于D的横向直线段,在剩余的符合长度条件的横向直线段中,选取距离三维立体框底面的横向底边最近的直线段,即为车辆与地面的交线,即车辆正面底盘线。
在所有的纵向直线段中选取车辆侧面底盘线,采用的方法如下:
从所有的纵向直线段中选出长度大于h2,本发明设为3米的纵向直线段,并计算出3米在逆投影图上纵向的像素间距,具体计算方法为:
其中,y为相邻像素点在纵轴的实际单位距离,单位为:米/像素,E为3米所代表的纵向像素间距。
在选取的大于3米的所有纵向直线段中除去像素距离小于E的纵向直线段,在剩余的符合长度条件的纵向直线段中,选取距离三维立体框底面的纵向底边最近的直线段,即为车辆与地面的交线,即车辆侧面底盘线。
步骤三:以车辆正面底盘线和车辆侧面底盘线的高度等于零作为参考标准,设道路原始图像的车辆正面底盘线和车辆侧面底盘线的交点为P(X,Y,Z=0),其中,根据步骤二得到的车辆正面底盘线和车辆侧面底盘线的检测结果,可分别得到车辆正面底盘线及车辆侧面底盘线在道路原始图像上的直线方程,从而可以计算出两个直线方程交点的图像坐标,利用图像坐标根据公式(5)可求得X,Y的具体值,例X=X0,Y=Y0,即得到交点的世界坐标P(X0,Y0,0);
步骤四:计算车辆正面底盘线在道路原始图像中的直线方程与三维立体框的两个底面边界线之间的交点的图像坐标,利用交点的图像坐标利用公式(5)获取交点的世界坐标P1(X1,Y0,0),P2(X2,Y0,0);建立Y=Y0,X:X1→X2,Z:0→2m的车辆逆投影正视图,建立方法与步骤二中的构建三维立体框的底面(Z=0)的逆投影图的方法相同;如图3所示。
若建立Y=Y0,X:X1→X2,Z:Z1→Z2的车辆逆投影正视图,设置车辆逆投影正视图的大小为(m+1)*(n+1),用(m,n)表示像素点的位置,车辆逆投影正视图各个像素点位置所对应的世界坐标如下:
其中,X1+m*x=X2,Z1+n*z=Z2。
计算车辆侧面底盘线在道路原始图像中的直线方程与三维立体框的两个底面边界线之间的交点的图像坐标,利用交点的图像坐标根据公式(5)获取交点的世界坐标P3(X0,Y1,0),P4(X0,Y2,0);建立X=X0,Y:Y1→Y2,Z:0→2m的车辆逆投影左视图,建立方法与步骤二中的构建三维立体框的底面(Z=0)的逆投影图的方法相同;如图5所示。
若建立X=X0,Y:Y1→Y2,Z:Z1→Z2的车辆逆投影正视图,设置车辆逆投影正视图的大小为(m+1)*(n+1),用(m,n)表示像素点的位置,车辆逆投影正视图各个像素点位置所对应的世界坐标如下:
其中,Y1+m*y=Y2,Z1+n*z=Z2。
高度选择等于2m是因为大部分车量高度不超过该尺寸,如果检测车型中有公交、集装箱式货车等高度超出该高度的大型车辆,则此处的高度需要设个更大的值。
步骤五:在步骤四得到的车辆逆投影左视图上提取横向直线段,并计算最高处横向直线段的高度,即车辆相对底盘的真实高度,设为Z=Z0,如图6所示。
步骤六:通过步骤五得出的车辆相对底盘的真实高度,构建Z=Z0,X:X1→X2,Y:Y1→Y2的车辆逆投影俯视图,建立方法与步骤二中的构建三维立体框的底面(Z=0)的逆投影图的方法相同,如图7为逆投影三视图在二维图像上的边界框,图8为车辆的逆投影俯视图;提取车辆逆投影俯视图中所有的横向直线段和纵向直线段,如图9。
本发明引入车辆侧面及尾部的底盘线作为车辆0高度的标准,以此为先验知识,从而构建出车辆逆投影三视图中的主视图及左视图,再由逆投影左视图中车辆高度的图像测量结果构建出车辆俯视图,从而实现车辆逆投影三视图的完整构建。之所以将车底盘线,而不是车轮最低点作为车辆0高度标准,是因为车底盘线容易提取,且准确度高,可靠性好。
步骤七:根据车辆逆投影三视图长对正、高平齐、宽相等的匹配规则对逆投影三视图进行匹配,并获取车辆在三维空间中的关键点位置,并以此画出车辆的三维线框结构图,如图11所示;本发明采用16个关键点进行车辆模型的描述,包括车顶4个关键点,车底4个关键点,车身8个关键点;
步骤八:根据车辆的三维线框结构图,可直接计算出车辆在真实世界坐标系下的长宽高数据,将长宽高数据与真实车辆的长宽高数据进行比较,可识别出被检测车辆的车型。
此外,被检测车辆的三维线框结构不仅可用作车型识别,它也是一类车型的结构模型,因此,该方法也可作为简单的车辆建模方法。
实施例
参照图1,该图是西安市某路段的实时路况视频图像,该视频的采样频率是25帧每秒,图像大小为1280*720,相机架设高度为8米,车辆检测区为左边第一条车道,相机标定以相机在地面的垂心为坐标原点,以车辆行驶方向为Y轴正方向。图1中的(a)中矩形框标出的是被检测车辆,相应的图1中的(b)中为被检测车辆的三维线框,其中三维线框的左边界:-7.9m,右边界:-4.9,下边界:12.3m,上边界:19.31m。图2为车底盘轮廓线检测图;图3为车辆正面及侧面逆投影图;图4为车辆正面及侧面逆投影车辆轮廓线检测,并确定出从车辆底盘到车顶共179cm;图5被检测车辆的三个逆投影框;图6被检测车辆俯视逆投影图及其轮廓线检测;图7被检测车辆的逆投影三视图及车辆轮廓线在三视图上的匹配;图8为车辆逆投影三视图匹配得出的车辆三维线框结构图,或三维线框模型图,其中被检测车辆的车尾宽179cm,车侧面长432cm,车高179cm。
Claims (4)
1.一种基于逆投影三视图的车型识别方法,其特征在于,包括以下步骤:
步骤一:利用摄像机对道路进行拍摄,得到包含有待检测车辆的道路原始图像;确定道路原始图像中待检测车辆的外接矩形框,根据外接矩形框确定待检测车辆的三维立体框;
步骤二:针对道路原始图像进行Canny边缘提取得到边缘图;针对边缘图构建三维立体框的底面的逆投影图;获取三维立体框的底面的逆投影图中所有的横向直线段和纵向直线段,在所有的横向直线段中选取车辆正面底盘线,在所有的纵向直线段中选取车辆侧面底盘线;
步骤三:根据步骤二得到的车辆正面底盘线和车辆侧面底盘线,得到车辆正面底盘线及车辆侧面底盘线在道路原始图像上的直线方程,计算得到两个直线方程的交点的图像坐标,利用交点的图像坐标获取交点的世界坐标P(X0,Y0,0);
步骤四:计算车辆正面底盘线在道路原始图像中的直线方程与三维立体框的两个底面边界线之间的交点的图像坐标,利用交点的图像坐标获取交点的世界坐标P1(X1,Y0,0),P2(X2,Y0,0);建立Y=Y0,X:X1→X2,Z:0→h的车辆逆投影正视图;其中,X1,X2分别为构建的车辆逆投影正视图在世界坐标系下的左边界及右边界,h表示构建的车辆逆投影正视图的高度;
计算车辆侧面底盘线在道路原始图像中的直线方程与三维立体框的两个底面边界线之间的交点的图像坐标,利用交点的图像坐标获取交点的世界坐标P3(X0,Y1,0),P4(X0,Y2,0);建立X=X0,Y:Y1→Y2,Z:0→h的车辆逆投影左视图;其中,Y1,Y2分别为构建的车辆逆投影左视图在世界坐标系下的上边界及下边界,h表示构建的车辆逆投影左视图的高度;
步骤五:在步骤四得到的车辆逆投影左视图上提取横向直线段,并计算最高处横向直线段的高度,即车辆相对底盘的真实高度,设为Z=Z0;
步骤六:通过步骤五得出的车辆相对底盘的真实高度,构建Z=Z0,X:X1→X2,Y:Y1→Y2的车辆逆投影俯视图;提取车辆逆投影俯视图中所有的横向直线段和纵向直线段;其中,X1,X2分别为构建的车辆逆投影俯视图在世界坐标系下的左边界及右边界,Y1,Y2分别为构建的车辆逆投影俯视图在世界坐标系下的上边界及下边界;
步骤七:根据车辆逆投影三视图长对正、高平齐、宽相等的匹配规则对逆投影三视图进行匹配,获取车辆在三维空间中的关键点位置,画出车辆的三维线框结构图;
步骤八:根据车辆的三维线框结构图,计算车辆在真实世界坐标系下的长宽高数据,将长宽高数据与真实车辆的长宽高数据进行比较,识别出被检测车辆的车型。
2.如权利要求1所述的基于逆投影三视图的车型识别方法,其特征在于,所述步骤二中,针对边缘图构建三维立体框的底面的逆投影图,包括以下步骤:
设置逆投影图的大小为(m+1)*(n+1),用(m,n)表示像素点的位置,逆投影图上各个像素点位置所对应的世界坐标如下:
其中,X1,X2分别为构建的逆投影图在世界坐标系下的左边界及右边界,Y1,Y2分别为构建的逆投影图在世界坐标系下的下边界及上边界;
其中,
世界坐标系中的一点PW(X,Y,Z)在图像坐标系上的投影坐标为pI(u,v),世界坐标到图像坐标的投影关系可表示为:
根据上式得到逆投影图中每个像素点在边缘图中的图像坐标,再把图像坐标对应的像素值填充到逆投影图中对应的像素点位置,得到逆投影图。
3.如权利要求1所述的基于逆投影三视图的车型识别方法,其特征在于,所述步骤二中,在所有的横向直线段中选取车辆正面底盘线,包括以下步骤:
从所有的横向直线段中选出长度大于h1的横向直线段,计算出h1的实际长度在逆投影图上的像素间距,具体计算公式为:
其中,x为相邻像素点在横轴的实际单位距离,单位为:米/像素,D为h1所代表的横向像素间距;
在选取的大于h1的所有横向直线段中除去像素距离小于D的横向直线段,在剩余的符合长度条件的横向直线段中,选取距离三维立体框底面的横向底边最近的直线段,即车辆正面底盘线。
4.如权利要求1所述的基于逆投影三视图的车型识别方法,其特征在于,所述步骤二中,在所有的纵向直线段中选取车辆侧面底盘线,包括以下步骤:
从所有的纵向直线段中选出长度大于h2的纵向直线段,并计算出h2在逆投影图上纵向的像素间距,具体计算方法为:
其中,y为相邻像素点在纵轴的实际单位距离,单位为:米/像素,E为h2所代表的纵向像素间距;
在选取的大于h2的所有纵向直线段中除去像素距离小于E的纵向直线段,在剩余的符合长度条件的纵向直线段中,选取距离三维立体框底面的纵向底边最近的直线段,即为车辆侧面底盘线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610590924.0A CN106156752B (zh) | 2016-07-25 | 2016-07-25 | 一种基于逆投影三视图的车型识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610590924.0A CN106156752B (zh) | 2016-07-25 | 2016-07-25 | 一种基于逆投影三视图的车型识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106156752A true CN106156752A (zh) | 2016-11-23 |
CN106156752B CN106156752B (zh) | 2019-05-14 |
Family
ID=58060637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610590924.0A Expired - Fee Related CN106156752B (zh) | 2016-07-25 | 2016-07-25 | 一种基于逆投影三视图的车型识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106156752B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256633A (zh) * | 2017-05-09 | 2017-10-17 | 西安理工大学 | 一种基于单目摄像头三维估计的车型分类方法 |
CN108550143A (zh) * | 2018-04-03 | 2018-09-18 | 长安大学 | 一种基于rgb-d相机的车辆长宽高尺寸的测量方法 |
CN108961785A (zh) * | 2018-07-10 | 2018-12-07 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的系统及方法 |
CN109829447A (zh) * | 2019-03-06 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 用于确定车辆三维框架的方法和装置 |
CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
CN110853036A (zh) * | 2018-08-21 | 2020-02-28 | 三星电子株式会社 | 用于训练对象检测模型的方法及设备 |
CN110928291A (zh) * | 2018-08-30 | 2020-03-27 | 佳能株式会社 | 信息处理装置、信息处理方法、信息处理系统和存储介质 |
CN111354070A (zh) * | 2018-12-24 | 2020-06-30 | 上海仁静信息技术有限公司 | 一种立体图形生成方法、装置、电子设备及存储介质 |
CN113146636A (zh) * | 2021-04-27 | 2021-07-23 | 深圳市一诺维奇教育科技有限公司 | 一种物体抓取方法、装置及柔性机器人 |
US11989029B2 (en) | 2018-08-30 | 2024-05-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1532091A (zh) * | 2003-03-18 | 2004-09-29 | 西北工业大学 | 基于图像处理的车辆外形尺寸检测系统 |
EP2161677A1 (fr) * | 2008-08-29 | 2010-03-10 | Valeo Vision | Procédé de détection d'un objet cible pour véhicule automobile |
CN104504912A (zh) * | 2014-12-31 | 2015-04-08 | 长安大学 | 一种基于三维水平逆投影面的车速检测方法 |
CN105718923A (zh) * | 2016-03-07 | 2016-06-29 | 长安大学 | 一种基于逆投影图的夜间车辆检测与计数方法 |
-
2016
- 2016-07-25 CN CN201610590924.0A patent/CN106156752B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1532091A (zh) * | 2003-03-18 | 2004-09-29 | 西北工业大学 | 基于图像处理的车辆外形尺寸检测系统 |
EP2161677A1 (fr) * | 2008-08-29 | 2010-03-10 | Valeo Vision | Procédé de détection d'un objet cible pour véhicule automobile |
CN104504912A (zh) * | 2014-12-31 | 2015-04-08 | 长安大学 | 一种基于三维水平逆投影面的车速检测方法 |
CN105718923A (zh) * | 2016-03-07 | 2016-06-29 | 长安大学 | 一种基于逆投影图的夜间车辆检测与计数方法 |
Non-Patent Citations (1)
Title |
---|
徐晓娟 等: ""基于单目序列图像的车辆三维信息的获取"", 《电子设计工程》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256633A (zh) * | 2017-05-09 | 2017-10-17 | 西安理工大学 | 一种基于单目摄像头三维估计的车型分类方法 |
CN108550143A (zh) * | 2018-04-03 | 2018-09-18 | 长安大学 | 一种基于rgb-d相机的车辆长宽高尺寸的测量方法 |
CN108961785A (zh) * | 2018-07-10 | 2018-12-07 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的系统及方法 |
CN108961785B (zh) * | 2018-07-10 | 2020-10-02 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的系统及方法 |
CN110853036A (zh) * | 2018-08-21 | 2020-02-28 | 三星电子株式会社 | 用于训练对象检测模型的方法及设备 |
US11989029B2 (en) | 2018-08-30 | 2024-05-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and storage medium |
CN110928291A (zh) * | 2018-08-30 | 2020-03-27 | 佳能株式会社 | 信息处理装置、信息处理方法、信息处理系统和存储介质 |
CN110928291B (zh) * | 2018-08-30 | 2023-10-13 | 佳能株式会社 | 信息处理装置、信息处理方法、信息处理系统和存储介质 |
CN111354070B (zh) * | 2018-12-24 | 2023-06-27 | 上海仁静信息技术有限公司 | 一种立体图形生成方法、装置、电子设备及存储介质 |
CN111354070A (zh) * | 2018-12-24 | 2020-06-30 | 上海仁静信息技术有限公司 | 一种立体图形生成方法、装置、电子设备及存储介质 |
CN109829447A (zh) * | 2019-03-06 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 用于确定车辆三维框架的方法和装置 |
CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
CN113146636A (zh) * | 2021-04-27 | 2021-07-23 | 深圳市一诺维奇教育科技有限公司 | 一种物体抓取方法、装置及柔性机器人 |
CN113146636B (zh) * | 2021-04-27 | 2024-07-02 | 国网湖北省电力有限公司荆州供电公司 | 一种物体抓取方法、装置及柔性机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN106156752B (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106156752B (zh) | 一种基于逆投影三视图的车型识别方法 | |
CN111815776B (zh) | 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法 | |
US11989951B2 (en) | Parking detection method, system, processing device and storage medium | |
US20220244740A1 (en) | Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform | |
Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
CN103413308B (zh) | 一种障碍物检测方法和装置 | |
CN104217427B (zh) | 一种交通监控视频中车道线定位方法 | |
CN109598794B (zh) | 三维gis动态模型的构建方法 | |
US8433099B2 (en) | Vehicle discrimination apparatus, method, and computer readable medium storing program thereof | |
CN103729853B (zh) | 三维gis辅助下的高分遥感影像建筑物倒损检测方法 | |
Wang et al. | Window detection from mobile LiDAR data | |
CN105005771A (zh) | 一种基于光流点轨迹统计的车道线实线的检测方法 | |
CN103324920A (zh) | 基于车辆正面图像与模板匹配的车型自动识别方法 | |
CN101901343A (zh) | 基于立体约束的遥感影像道路提取方法 | |
CN104881661A (zh) | 基于结构相似度的车辆检测方法 | |
Wang et al. | A method for detecting windows from mobile LiDAR data | |
CN117949942A (zh) | 基于雷达数据和视频数据融合的目标跟踪方法及系统 | |
CN105761507A (zh) | 一种基于三维轨迹聚类的车辆计数方法 | |
CN115588047A (zh) | 一种基于场景编码的三维目标检测方法 | |
CN105160324B (zh) | 一种基于部件空间关系的车辆检测方法 | |
Awrangjeb et al. | Automatic reconstruction of building roofs through effective integration of LiDAR and multispectral imagery | |
CN115457780A (zh) | 一种基于先验知识集合的车流量流速自动测算方法及系统 | |
Börcs et al. | A marked point process model for vehicle detection in aerial LiDAR point clouds | |
CN104268509A (zh) | 泥头车车牌检测的方法及系统 | |
CN103295003A (zh) | 一种基于多特征融合的车辆检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190514 |