CN102136140A - 一种基于矩形图样的视频图像距离检测方法 - Google Patents
一种基于矩形图样的视频图像距离检测方法 Download PDFInfo
- Publication number
- CN102136140A CN102136140A CN 201010605192 CN201010605192A CN102136140A CN 102136140 A CN102136140 A CN 102136140A CN 201010605192 CN201010605192 CN 201010605192 CN 201010605192 A CN201010605192 A CN 201010605192A CN 102136140 A CN102136140 A CN 102136140A
- Authority
- CN
- China
- Prior art keywords
- single image
- straight line
- designated
- actual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
一种基于矩形图样的视频图像距离检测方法,主要步骤:第一步,初始化;第二步,建立实际直角坐标系XOY;第三步,测量矩形图样实际边长;第四步,建立图像直角坐标系;第五步,计算单幅图像中心点Q′坐标;第六步,计算点Q1′、点Q2′坐标;第七步,计算摄像机尺度因子;第八步,计算摄像机安装高度、角度;第九步,计算距离检测模型参数;第十步,实现单幅图像距离检测;第十一步,实现实际距离坐标转换为图像坐标。本发明是一种基于矩形图样的视频图像距离检测方法,首次直接利用实际中矩形图样的相对边长信息及其在单幅图像中对应的坐标信息,进行摄像机标定和距离检测模型的建立,解决了视频图像距离检测的问题。
Description
技术领域
本发明涉及计算机视觉、摄像机标定和交通视频检测领域,是一种基于矩形图样的视频图像距离检测方法,主要应用于摄像机现场标定和视频图像距离检测模型的建立。
背景技术
摄像机标定作为计算机视觉中的重要的一个环节,目前已经有较广泛的研究。摄像机标定起源于摄影测量学。摄像机标定模型中,一般来说,线形模型计算方便,运算速度快,能得到解析解,但很难完整表达镜头的像差与摄像机复杂的成像过程;而非线性模型能更好模拟和补偿各种像差,提高模型的精度,但计算量大,往往需要采用非线性优化,鲁棒性降低。1966年,B.Hallert发表了他在镜头与相机标定的研究成果,首次将最小二乘法用于对镜头标定多余观察数据的处理,并将其应用在野外立体坐标测量仪上,得到了高精度的测量结果。R.YTsai综合上述方法,于1986年建立了经典的Tsai摄像机模型,提出了两步标定法,其中大部分参数采用线性直接求解,少数参数采用迭代方法求解,因而迭代少,计算速度较快。但该模型畸变模型较简单,不能较好地解决图像畸变问题。另外,Tsai的方法对标定设备要求较高,不能满足方便快捷的要求。
八十年代,随着计算机视觉学科的发展,现场标定(on-the-job calibration)的概念被提出来,一般是将标定控制点混合布置在工作区域或其周围,从而能在现场做出标定调整。而在有些工作场合,摄像机参数可能有变化,却又没有标定物时,就需要摄像机能直接面对环境景物做出标定,于是在20世纪90年代初,Faugeras、Hartley等人提出了摄像机自标定(self calibration)的概念,使得在场景位置和摄像机任意运动的一般情形下成为可能。随着桌面视觉系统进入大众消费领域,对方便、灵活、简单、精度较好的摄像机标定程序需求增加,以满足拥有DVS的用户偶尔用在计算机视觉方面的应用,微软研究院的张正友在1999年前后对此做了大量研究工作,提出了基于移动平面模板的方便灵活的摄像机标定方法,较好地解决了这一问题。
此类的标定方法大都需要特定的标定模板,并使用多幅图像来检测摄像机内参数,具体世界坐标却仍然需要实际测量。同时,这种利用模板的方法在许多摄像机现场标定中难以实现。而且按照传统标定模型,如果摄像机改变位置,在已知摄像机内参数的情况下,需要再测得摄像机新的安装角度或者高度等外参数,才能实际距离的检测。但是摄像机的安装角度等外参数,在实际中较难获取,如直接进行测量,结果易造成较大误差。
因此,寻找一个简易可行的方法,通过实际中较易获取的相对距离信息,以及与之对应的单幅图像中的坐标信息进行摄像机标定,在避免对拍摄角度等参数直接测量的同时,又能建立较高精度的距离检测模型,是非常具有实际意义的。
发明内容
本发明是一种基于矩形图样的视频图像距离检测方法,首次直接利用矩形图样实际中的相对边长信息和对应在单幅图像中的坐标信息,进行摄像机标定和距离检测,实现了图像坐标和实际距离坐标的相互转换,解决了实际道路交通中利用单幅图像实现距离检测的问题。
本发明采用如下技术方案:
步骤1、初始化设备,通过摄像机拍摄视频图像,获取单幅图像;
步骤2、记摄像机光心为点O0,记点O0在道路平面中的投影点为点O,在摄像机拍摄范围内的道路平面中,选取一个矩形图样,顺时针记矩形图样的四个顶点为A、B、C、D,记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′,其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角,则直线A′B′与直线C′D′相交于一点,记为Q1′,直线A′D′与直线B′C′相交于一点,记为Q2′,过点O作Y轴,使得Y轴与向量在实际中对应的方向平行,过点O作X轴,使得X轴与在实际中对应的方向平行,建立道路平面中的实际直角坐标系XOY,以与道路平面竖直向上为Z轴,建立实际的三维空间坐标系;
步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长,即线段AB和AD的长度,记测量结果为s1、s2;
步骤4、对于拍摄获取的单幅图像,以单幅图像左上角为原点O1′,横向向右为X1′轴,垂直向下为Y1′轴,并以一个像素点数目为单位长度,建立图像直角坐标系X1′O1′Y1′,记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标,记为点A′(x1,y1),点B′(x2,y2),点C′(x3,y3),点D′(x4,y4);
步骤6、在单幅图像中,分别求出点Q1′和点Q2′的图像坐标,点Q1′、点Q2′即是单幅图像上,分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点,其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点:
6.1)在单幅图像中,分别求出直线A′B′和直线C′D′的方程,分别记为a1x+b1y+c1=0,a2x+b2y+c2=0,
6.3)在单幅图像中,分别求出直线A′D′和直线B′D′的方程,分别记为a3x+b3y+c3=0,a4x+b4y+c4=0,
步骤7、求出摄像机焦距和像素点物理长度的比值,此比值即为摄像机尺度因子df,其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同:
7.1)在单幅图像中,求出点Q′和点Q1′之间的像素点数目L1=((u1-u)2+(v1-v)2)1/2,求出点Q′和点Q2′之间的像素点数目L2=((u2-u)2+(v2-v)2)1/2,求出点Q1′和点Q2′之间的像素点数目L3=((u2-u1)2+(v2-v1)2)1/2,
7.2)求出摄像机尺度因子df=((L3 2-L1 2-L2 2)/2)1/2;
步骤8、求出摄像机安装角度:
8.2)在实际三维坐标系中,求出在ZOX平面内的投影方向相对于X轴的下倾角β1,求出在ZOY平面内的投影方向相对于Y轴方向的下倾角β2,求出在XOY平面内的投影方向与X轴方向的夹角γ1、与Y轴方向的夹角γ2:
β1=arccos((df 4/(L1 2+df 2)/(df 2-df 4/(L2 2+df 2)))1/2),
β2=arccos((df 4/(L2 2+df 2)/(df 2-df 4/(L1 2+df 2)))1/2),
;
γ1=arctan((L2 2+df 2)1/2/(L1 2+df 2)1/2),
γ2=arctan((L1 2+df 2)1/2/(L2 2+df 2)1/2)
步骤9、计算距离检测模型中的系数和摄像机安装高度:
9.1)在单幅图像中,分别求出直线Q′Q1′和直线Q′Q2′的方程,分别记为a01x+b01y+c01=0,a02x+b02y+c02=0,
9.2)解方程组得到的解即为单幅图像中直线A′B′和直线Q′Q2′的交点坐标,记为点A02′(x5,y5),解方程组得到的解即为单幅图像中直线C′D′和直线Q′Q2′的交点坐标,记为点C02′(x6,y6),
9.3)解方程组得到的解即为单幅图像中直线A′D′和直线Q′Q1′的交点坐标,记为点A01′(x7,y7),解方程组得到的解即为单幅图像中直线B′C′和直线Q′Q1′的交点坐标,记为点C01′(x8,y8),
9.5)在单幅图像中,求出点A01、点C01到点Q1′的像素点数目t1、t2,求出点A02、点C02到点Q2′的像素点数目t3、t4:
t1=((u1-x7)2+(v1-y7)2)1/2,
t2=((u1-x8)2+(v1-y8)2)1/2,
,
t3=((u2-x5)2+(v2-y5)2)1/2,
t4=((u2-x6)2+(v2-y6)2)1/2
9.6)求出距离检测模型中的系数k21、k22,公式如下:
k21=s1t1t2/|t1-t2|,
,
k22=s2t3t4/|t3-t4|
9.7)求出摄像机安装高度h:
h=(k22L2sin(β1)/df/|t3-t4|+k21L1sin(β2)/df/|t1-t2|)/2,
9.8)求出距离检测模型中的系数k11,k12,公式如下:
k11=-k21L1tan(α1)/df/|t1-t2|,
;
k12=-k22L2tan(α2)/af/|t3-t4|
步骤10、对于单幅图像中的道路平面内一点P′(x11,y11),将其转换为实际直角坐标系XOY中对应的实际点P(p1,p2),检测实际中点P与点O之间的距离lp:
10.1)在单幅图像中,分别求出直线P′Q1′和直线P′Q2′的方程,分别记为a11x+b11y+c11=0,a12x+b12y+c12=0,
10.4)在单幅图像中,求出点P1′到点Q1′的像素点数目t11,求出点P2′到点W2′的像素点数目t12,公式如下:
t11=((u1-x13)2+(v1-y13)2)1/2,
,
t12=((u2-x12)2+(v2-y12)2)1/2
10.5)求出实际中点P的实际距离坐标P(p1,p2),公式如下:
p1=k11+k21/t11,
,
p2=k12+k22/t12
则实际中点P与点O之间的距离为l1=(p1 2+p2 2)1/2;
步骤11、对于实际直角坐标系XOY中对应的实际点G(g1,g2),将其转换为单幅图像中的点G′(x21,y21):
11.1)在单幅图像中,设直线G′Q1′与直线Q′Q2′交点为点G2′(x22,y22),直线G′Q2′与直线Q′Q1′交点为点G1′(x23,y23),设点G1′到点Q1′的像素点数目为t21,点G2′到点Q2′的像素点数目为t22,并由公式t21=k21/(g1-k11),t22=k22/(g2-k12),求出t21、t22,
11.2)由于点G1′位于线段Q′Q1′上,点G2′位于线段Q′Q2′上,通过t21、t22和点G2′(x22,y22)、点G1′(x23,y23)之间的关系t21=((u1-x23)2+(v1-y23)2)1/2,t22=((u2-x22)2+(v2-y22)2)1/2,反求出点G1′和点G2′的图像坐标,
11.3)在单幅图像中,分别求出直线G2′Q1′和直线G1′Q2′的方程,分别记为a22x+b22y+c22=0,a21x+b21y+c21=0,
本发明的优点在于:
1、方法简便,成本低廉,适用范围广。相比于传统方法,本方法不需要固定的模板,不需要实际中的世界坐标,只需要单幅图像,和矩形图样的相对边长,同时也无需对摄像机安装角度等较难获取的参数进行测量,在普通情况下就可以实现摄像机标定和距离检测;
2、功能全面。本方法在实现摄像机标定的同时,就可以建立起图像中坐标和实际距离的转换关系,从而实现实际距离检测;
3、在实际情形中便于实现。由于外部参数中,只需要得知实际的矩形图样的边长,因此实际情形中十分便于实现,尤其对于道路图像中有交通标示线的路段,直接利用地面的交通标示线长度信息,就可以进行摄像机标定,并实现距离检测;
4、结果准确率高,效果理想。实例中分别使用近距离和远距离拍摄的图像进行距离检测,检测结果误差在2.7%以内,平均误差为1%左右,效果理想。
实际中道路或者其他平面内的矩形图样,在经过摄像机拍摄,映射到图像上时,符合小孔成像原理和射影空间原理,本方法主要是基于基本的成像原理,通过标识出图像中的矩形图样顶点,在得知该矩形图样在实际中的相对边长信息后,实现摄像机标定,并在标定的同时,实现距离检测模型的建立,从而使得图像坐标和实际距离坐标能相互转换。
实例中使用了一幅近距离图像和一幅远距离图像,其中近距离图像中是利用一个较近距离的矩形图样进行摄像机标定和距离检测模型的建立,然后去检测另一个矩形图样的边长;远距离图像中首先利用道路交通标识线构建出一个矩形图样,然后进行摄像机标定并建立距离检测模型,最后对单幅图像中坐标点进行实际距离检测。距离检测得到结果的误差在2.7%以内,平均误差为1%左右,检测效果理想。
附图说明:
图1是摄像机进行拍摄时的模型示意图。
图2是实际中的矩形图样和及其在单幅图像中的对应关系示意图。
图3是实际中的点和单幅图像中的坐标点之间的对应关系示意图。
图4是建立距离检测模型的流程图。
图5是实现视频图像距离检测的具体流程图。
图6是实际距离坐标转换为图像坐标的具体流程图。
具体实施方案
本发明是一种基于矩形图样的视频图像距离检测方法,具体步骤如下:
步骤1、初始化设备,通过摄像机拍摄视频图像,获取单幅图像;
步骤2、记摄像机光心为点O0,记点O0在道路平面中的投影点为点O,在摄像机拍摄范围内的道路平面中,选取一个矩形图样,顺时针记矩形图样的四个顶点为A、B、C、D,记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′,其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角,则直线A′B′与直线C′D′相交于一点,记为Q1′,直线A′D′与直线B′C′相交于一点,记为Q2′,过点O作Y轴,使得Y轴与向量在实际中对应的方向平行,过点O作X轴,使得X轴与在实际中对应的方向平行,建立道路平面中的实际直角坐标系XOY,以与道路平面竖直向上为Z轴,建立实际的三维空间坐标系;
步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长,即线段AB和AD的长度,记测量结果为s1、s2;
步骤4、对于拍摄获取的单幅图像,以单幅图像左上角为原点O1′,横向向右为X1′轴,垂直向下为Y1′轴,并以一个像素点数目为单位长度,建立图像直角坐标系X1′O1′Y1′,记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标,记为点A′(x1,y1),点B′(x2,y2),点C′(x3,y3),点D′(x4,y4);
步骤5、利用得到的单幅图像,求出单幅图像的大小,记为m*n,记下单幅图像中心点Q′的图像坐标(u,v),其中u=n/2,v=m/2,记直线O0Q′和道路平面的交点为点Q,则即为摄像机拍摄的方向,例如在matlab中具体步骤为,[m,n,r]=size(f);u=n/2,v=m/2;其中f为读入的图像;
步骤6、在单幅图像中,分别求出点Q1′和点Q2′的图像坐标,点Q1′、点Q2′即是单幅图像上,分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点,其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点:
6.1)在单幅图像中,分别求出直线A′B′和直线C′D′的方程,分别记为a1x+b1y+c1=0,a2x+b2y+c2=0,
6.3)在单幅图像中,分别求出直线A′D′和直线B′D′的方程,分别记为a3x+b3y+c3=0,a4x+b4y+c4=0,
6.4)解方程组方程组的解记为(u2,v2),此即点Q2′的坐标;
步骤7、求出摄像机焦距和像素点物理长度的比值,此比值即为摄像机尺度因子df,其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同:
7.1)在单幅图像中,求出点Q′和点Q1′之间的像素点数目L1=((u1-u)2+(v1-v)2)1/2,求出点Q′和点Q2′之间的像素点数目L2=((u2-u)2+(v2-v)2)1/2,求出点Q1′和点Q2′之间的像素点数目L3=((u2-u1)2+(v2-v1)2)1/2,
7.2)求出摄像机尺度因子df=((L3 2-L1 2-L2 2)/2)1/2;
步骤8、求出摄像机安装角度:
8.2)在实际三维坐标系中,求出在ZOX平面内的投影方向相对于X轴的下倾角β1,求出在ZOY平面内的投影方向相对于Y轴方向的下倾角β2,求出在XOY平面内的投影方向与X轴方向的夹角γ1、与Y轴方向的夹角γ2:
β1=arccos((df 4/(L1 2+df 2)/(df 2-df 4/(L2 2+df 2)))1/2),
β2=arccos((df 4/(L2 2+df 2)/(df 2-df 4/(L1 2+df 2)))1/2),
;
γ1=arctan((L2 2+df 2)1/2/(L1 2+df 2)1/2),
γ2=arctan((L1 2+df 2)1/2/(L2 2+df 2)1/2)
步骤9、计算距离检测模型中的系数和摄像机安装高度:
9.1)在单幅图像中,分别求出直线Q′Q1′和直线Q′Q2′的方程,分别记为a01x+b01y+c01=0,a02x+b02y+c02=0,
9.2)解方程组得到的解即为单幅图像中直线A′B′和直线Q′Q2′的交点坐标,记为点A02′(x5,y5),解方程组得到的解即为单幅图像中直线C′D′和直线Q′Q2′的交点坐标,记为点C02′(x6,y6),
9.3)解方程组得到的解即为单幅图像中直线A′D′和直线Q′Q1′的交点坐标,记为点A01′(x7,y7),解方程组得到的解即为单幅图像中直线B′C′和直线Q′Q1′的交点坐标,记为点C01′(x8,y8),
9.5)在单幅图像中,求出点A01、点C01到点Q1′的像素点数目t1、t2,求出点A02、点C02到点Q2′的像素点数目t3、t4:
t1=((u1-x7)2+(v1-y7)2)1/2,
t2=((u1-x8)2+(v1-y8)2)1/2,
,
t3=((u2-x5)2+(v2-y5)2)1/2,
t4=((u2-x6)2+(v2-y6)2)1/2
9.6)求出距离检测模型中的系数k21、k22,公式如下:
k21=s1t1t2/|t1-t2|,
,
k22=s2t3t4/|t3-t4|
9.7)求出摄像机安装高度h:
h=(k22L2sin(β1)/df/|t3-t4|+k21K1sin(β2)/df/|t1-t2|)/2,
9.8)求出距离检测模型中的系数k11,k12,公式如下:
k11=-k21L1tan(α1)/df/|t1-t2|,
;
k12=-k22L2tan(α2)/df/|t3-t4|
步骤10、对于单幅图像中的道路平面内一点P′(x11,y11),将其转换为实际直角坐标系XOY中对应的实际点P(p1,p2),检测实际中点P与点O之间的距离lp:
10.1)在单幅图像中,分别求出直线P′Q1′和直线P′Q2′的方程,分别记为a11x+b11y+c11=0,a12x+b12y+c12=0,
10.2)解方程组得到的解即为单幅图像中直线P′Q1′和直线Q′Q2′的交点坐标,记为P2′(x12,y12),
10.4)在单幅图像中,求出点P1′到点Q1′的像素点数目t11,求出点P2′到点Q2′的像素点数目t12,公式如下:
t11=((u1-x13)2+(v1-y13)2)1/2,
,
t12=((u2-x12)2+(v2-y12)2)1/2
10.5)求出实际中点P的实际距离坐标P(p1,p2),公式如下:
p1=k11+k21/t11,
,
p2=k12+k22/t12
则实际中点P与点O之间的距离为l1=(p1 2+p2 2)1/2;
步骤11、对于实际直角坐标系XOY中对应的实际点G(g1,g2),将其转换为单幅图像中的点G′(x21,y21):
11.1)在单幅图像中,设直线G′Q1′与直线Q′Q2′交点为点G2′(x22,y22),直线G′Q2′与直线Q′Q1′交点为点G1′(x23,y23),设点G1′到点Q1′的像素点数目为t21,点G2′到点Q2′的像素点数目为t22,并由公式t21=k21/(g1-k11),t22=k22/(g2-k12),求出t21、t22,
11.2)由于点G1′位于线段Q′Q1′上,点G2′位于线段Q′Q2′上,通过t21、t22和点G2′(x22,y22)、点G1′(x23,y23)之间的关系t21=((u1-x23)2+(v1-y23)2)1/2,t22=((u2-x22)2+(v2-y22)2)1/2,反求出点G1′和点G2′的图像坐标,
11.3)在单幅图像中,分别求出直线G2′Q1′和直线G1′Q2′的方程,分别记为a22x+b22y+c22=0,a21x+b21y+c21=0,
具体流程如图1、图2、图3所示:
步骤1、初始化设备,通过摄像机拍摄视频图像,获取单幅图像;
步骤2、记摄像机光心为点O0,记点O0在道路平面中的投影点为点O,在摄像机拍摄范围内的道路平面中,选取一个矩形图样,顺时针记矩形图样的四个顶点为A、B、C、D,记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′,其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角,则直线A′B′与直线C′D′相交于一点,记为Q1′,直线A′D′与直线B′C′相交于一点,记为Q2′,过点O作Y轴,使得Y轴与向量在实际中对应的方向平行,过点O作X轴,使得X轴与在实际中对应的方向平行,建立道路平面中的实际直角坐标系XOY,以与道路平面竖直向上为Z轴,建立实际的三维空间坐标系;
步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长,即线段AB和AD的长度,记测量结果为s1、s2,本实例中,按交通标识线选定矩形图样,并推出矩形边长s1=3,s2=20;
步骤4、对于拍摄获取的单幅图像,以单幅图像左上角为原点O1′,横向向右为X1′轴,垂直向下为Y1′轴,并以一个像素点数目为单位长度,建立图像直角坐标系X1′O2′Y1′,记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标,记为点A′(x1,y1),点B′(x2,y2),点C′(x3,y3),点D′(x4,y4),在本实例中,xa=937,ya=641,xb=1044,yb=642,xc=1119,yc=820,xd=945,yd=819;
步骤5、利用得到的单幅图像,求出单幅图像的大小,记为m*n,记下单幅图像中心点Q′的图像坐标(u,v),其中u=n/2,v=m/2,记直线O0Q′和道路平面的交点为点Q,则即为摄像机拍摄的方向,本实例中得出u=1024,v=768;
步骤6、在单幅图像中,分别求出点Q1′和点Q2′的图像坐标,点Q1′、点Q2′即是单幅图像上,分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点,其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点:
6.1)在单幅图像中,分别求出直线A′B′和直线C′D′的方程,分别记为a1x+b1y+c1=0,a2x+b2y+c2=0,
6.3)在单幅图像中,分别求出直线A′D′和直线B′D′的方程,分别记为a3x+b3y+c3=0,a4x+b4y+c4=0,
步骤7、求出摄像机焦距和像素点物理长度的比值,此比值即为摄像机尺度因子df,其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同:
7.1)在单幅图像中,求出点Q′和点Q1′之间的像素点数目L1=((u1-u)2+(v1-v)2)1/2,求出点Q′和点Q2′之间的像素点数目L2=((u2-u)2+(v2-v)2)1/2,求出点Q1′和点Q2′之间的像素点数目L3=((u2-u1)2+(v2-v1)2)1/2,
7.2)求出摄像机尺度因子df=((L3 2-L1 2-L2 2)/2)1/2;
步骤8、求出摄像机安装角度:
8.2)在实际三维坐标系中,求出在ZOX平面内的投影方向相对于X轴的下倾角β1,求出在ZOY平面内的投影方向相对于Y轴方向的下倾角β2,求出在XOY平面内的投影方向与X轴方向的夹角γ1、与Y轴方向的夹角γ2:
β1=arccos((df 4/(L1 2+df 2)/(df 2-df 4/(L2 2+df 2)))1/2),
β2=arccos((df 4/(L2 2+df 2)/(df 2-df 4/(L1 2+df 2)))1/2),
;
γ1=arctan((L2 2+df 2)1/2/(L1 2+df 2)1/2),
γ2=arctan((L1 2+df 2)1/2/(L2 2+df 2)1/2)
步骤9、计算距离检测模型中的系数和摄像机安装高度:
9.1)在单幅图像中,分别求出直线Q′Q1′和直线Q′Q2′的方程,分别记为a01x+b01y+c01=0,a02x+b02y+c02=0,
9.2)解方程组得到的解即为单幅图像中直线A′B′和直线Q′Q2′的交点坐标,记为点A02′(x5,y5),解方程组得到的解即为单幅图像中直线C′D′和直线Q′Q2′的交点坐标,记为点C02′(x6,y6),
9.3)解方程组得到的解即为单幅图像中直线A′D′和直线Q′Q1′的交点坐标,记为点A01′(x7,y7),解方程组得到的解即为单幅图像中直线B′C′和直线Q′Q1′的交点坐标,记为点C01′(g8,y8),
9.5)在单幅图像中,求出点A01、点C01到点Q1′的像素点数目t1、t2,求出点A02、点C02到点Q2′的像素点数目t3、t4:
t1=((u1-x7)2+(v1-y7)2)1/2,
t2=((u1-x8)2+(v1-y8)2)1/2,
,
t3=((u2-x5)2+(v2-y5)2)1/2,
t4=((u2-x6)2+(v2-y6)2)1/2
9.6)求出距离检测模型中的系数k21、k22,公式如下:
k21=s1t1t2/|t1-t2|,
,
k22=s2t3t4/|t3-t4|
9.7)求出摄像机安装高度h:
h=(k22L2sin(β1)/df/|t3-d4|+k21L1sin(β2)/df/|t1-t2|)/2,
9.8)求出距离检测模型中的系数k11,k12,公式如下:
k11=-k21L1tan(α1)/df/|t1-t2|,
;
k12=-k22L2tan(α2)/af/|t3-t4|
步骤10、对于单幅图像中的道路平面内一点P′(x11,y11),将其转换为实际直角坐标系XOY中对应的实际点P(p1,p2),检测实际中点P与点O之间的距离lp,本实例中,xp=926,yp=443:
10.1)在单幅图像中,分别求出直线P′Q1′和直线P′Q2′的方程,分别记为a11x+b11y+c11=0,a12x+b12y+c12=0,
10.4)在单幅图像中,求出点P1′到点Q1′的像素点数目t11,求出点P2′到点Q2′的像素点数目t12,公式如下:
t11=((u1-x13)2+(v1-y13)2)1/2,
,
t12=((u2-x12)2+(v2-y12)2)1/2
10.5)求出实际中点P的实际距离坐标P(p1,p2),公式如下:
p1=k11+k21/t11,
,
p2=k12+k22/t12
则实际中点P与点O之间的距离为l1=(p1 2+p2 2)1/2,本实例中,px=0.21418,py=171.0823,计算得到相距lp=171.0824(m),实际相距为170.5(m),误差为0.34%;
步骤11、对于实际直角坐标系XOY中对应的实际点G(g1,g2),将其转换为单幅图像中的点G′(x21,y21),本实例中,选取实际点坐标px=0.3,py=40.5:
11.1)在单幅图像中,设直线G′Q1′与直线Q′Q2′交点为点G2′(x22,y22),直线G′Q2′与直线Q′Q1′交点为点G1′(x23,y23),设点G1′到点Q1′的像素点数目为t21,点G2′到点Q2′的像素点数目为t22,并由公式t21=k21/(g1-k11),t22=k22/(g2-k12),求出t21、t22,
11.2)由于点G1′位于线段Q′Q1′上,点G2′位于线段Q′Q2′上,通过t21、t22和点G2′(x22,y22)、点G1′(x23,y23)之间的关系t21=((u1-x23)2+(v1-y23)2)1/2,t22=((u2-x22)2+(v2-y22)2)1/2,反求出点G1′和点G2′的图像坐标,
11.3)在单幅图像中,分别求出直线G2′Q1′和直线G1′Q2′的方程,分别记为a22x+b22y+c22=0,a21x+b21y+c21=0,
实例中使用了一幅近距离图像和一幅远距离图像,其中近距离图像中是利用一个较近距离的矩形图样进行摄像机标定和距离检测模型的建立,然后去检测另一个矩形图样的边长;远距离图像中首先利用道路交通标识线构建出一个矩形图样,然后进行摄像机标定并建立距离检测模型,最后对单幅图像中坐标点进行实际距离检测。本方法实现距离检测的效果理想,具体结果如表1、表2所示,距离检测得到结果的误差在2.7%以内,平均误差为1%左右。
表1:
表2:
Claims (1)
1.一种基于矩形图样的视频图像距离检测方法,其特点在于,按照以下步骤实施:
步骤1、初始化设备,通过摄像机拍摄视频图像,获取单幅图像;
步骤2、记摄像机光心为点O0,记点O0在道路平面中的投影点为点O,在摄像机拍摄范围内的道路平面中,选取一个矩形图样,顺时针记矩形图样的四个顶点为A、B、C、D,记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′,其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角,则直线A′B′与直线C′D′相交于一点,记为Q1′,直线A′D′与直线B′C′相交于一点,记为Q2′,过点O作Y轴,使得Y轴与向量在实际中对应的方向平行,过点O作X轴,使得X轴与在实际中对应的方向平行,建立道路平面中的实际直角坐标系XOY,以与道路平面竖直向上为Z轴,建立实际的三维空间坐标系;
步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长,即线段AB和AD的长度,记测量结果为s1、s2;
步骤4、对于拍摄获取的单幅图像,以单幅图像左上角为原点O1′,横向向右为X1′轴,垂直向下为Y1′轴,并以一个像素点数目为单位长度,建立图像直角坐标系X1′O1′Y1,记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标,记为点A′(x1,y2),点B′(x2,y2),点C′(x3,y3),点D′(x4,y4);
步骤6、在单幅图像中,分别求出点Q1′和点Q2′的图像坐标,点Q1′、点Q2′即是单幅图像上,分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点,其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点:
6.1)在单幅图像中,分别求出直线A′B′和直线C′D′的方程,分别记为a1x+b1y+c1=0,a2x+b2y+c2=0,
6.2)解方程组方程组的解记为(u1,v1),此即点O1′的坐标,
6.3)在单幅图像中,分别求出直线A′D′和直线B′D′的方程,分别记为a3x+b3y+c3=0,a4x+b4y+c4=0,
步骤7、求出摄像机焦距和像素点物理长度的比值,此比值即为摄像机尺度因子df,其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同:
7.1)在单幅图像中,求出点Q′和点Q1′之间的像素点数目L1=((u1-u)2+(v1-v)2)1/2,求出点Q′和点Q2′之间的像素点数目L2=((u2-u)2+(v2-v)2)1/2,求出点Q1′和点Q2′之间的像素点数目L3=((u2-u1)2+(v2-v1)2)1/2,
7.2)求出摄像机尺度因子df=((L3 2-L1 2-L2 2)/2)1/2;
步骤8、求出摄像机安装角度:
8.2)在实际三维坐标系中,求出在ZOX平面内的投影方向相对于X轴的下倾角β1,求出在ZOY平面内的投影方向相对于Y轴方向的下倾角β2,求出在XOY平面内的投影方向与X轴方向的夹角γ1、与Y轴方向的夹角γ2:
β1=arccos((df 4/(L1 2+df 2)/(df 2-df 4/(L2 2+df 2)))1/2),
β2=arccos((df 4/(L2 2+df 2)/(df 2-df 4/(L1 2+df 2)))1/2),
;
γ1=arctan((L2 2+df 2)1/2/(L1 2+df 2)1/2),
γ2=arctan((L1 2+df 2)1/2/(L2 2+df 2)1/2)
步骤9、计算距离检测模型中的系数和摄像机安装高度:
9.1)在单幅图像中,分别求出直线Q′Q1′和直线Q′Q2′的方程,分别记为a01x+b01y+c01=0,a02x+b02y+c02=0,
9.2)解方程组得到的解即为单幅图像中直线A′B′和直线Q′Q2′的交点坐标,记为点A02′(x5,y5),解方程组得到的解即为单幅图像中直线C′D′和直线Q′Q2′的交点坐标,记为点C02′(x6,y6),
9.3)解方程组得到的解即为单幅图像中直线A′D′和直线Q′Q1′的交点坐标,记为点A01′(x7,y7),解方程组得到的解即为单幅图像中直线B′C′和直线Q′Q1′的交点坐标,记为点C01′(x8,y8),
9.5)在单幅图像中,求出点A01、点C01到点Q1′的像素点数目t1、t2,求出点A02、点C02到点Q2′的像素点数目t3、t4:
t1=((u1-x7)2+(v1-y7)2)1/2,
t2=((u1-x8)2+(v1-y8)2)1/2,
,
t3=((u2-x5)2+(v2-y5)2)1/2,
t4=((u2-x6)2+(v2-y6)2)1/2
9.6)求出距离检测模型中的系数k21、k22,公式如下:
k21=s1t1t2/|t1-t2|,
,
k22=s2t3t4/|t3-t4|
9.7)求出摄像机安装高度h:
h=(k22L2sin(β1)/df/|t3-t4|+k21L1sin(β2)/df/|t1-t2|)/2,
9.8)求出距离检测模型中的系数k11,k12,公式如下:
k11=-k21L1tan(α1)/df/|t1-t2|,
;
k12=-k22L2tan(α2)/df/|t3-t4|
步骤10、对于单幅图像中的道路平面内一点P′(x11,y11),将其转换为实际直角坐标系XOY中对应的实际点P(p1,p2),检测实际中点P与点O之间的距离lp:
10.1)在单幅图像中,分别求出直线P′Q1′和直线P′Q2′的方程,分别记为a11x+b11y+c11=0,a12x+b12y+c12=0,
10.4)在单幅图像中,求出点P1′到点Q1′的像素点数目t11,求出点P2′到点Q2′的像素点数目t12,公式如下:
t11=((u1-x13)2+(v1-y13)2)1/2,
,
t12=((u2-x12)2+(v2-y12)2)1/2
10.5)求出实际中点P的实际距离坐标P(p1,p2),公式如下:
p1=k11+t21/t11,
,
p2=k12+k22/t12
则实际中点P与点O之间的距离为l1=(p1 2+p2 2)1/2;
步骤11、对于实际直角坐标系XOY中对应的实际点G(g1,g2),将其转换为单幅图像中的点G′(x21,y21):
11.1)在单幅图像中,设直线G′Q1′与直线Q′Q2′交点为点G2′(x22,y22),直线G′Q2′与直线Q′Q1′交点为点G1′(x23,y23),设点G1′到点Q1′的像素点数目为t21,点G2′到点Q2′的像素点数目为t22,并由公式t21=k21/(g1-k11),t22=k22/(g2-k12),求出t21、t22,
11.2)由于点G1′位于线段Q′Q1′上,点G2′位于线段Q′Q2′上,通过t21、t22和点G2′(x22,y22)、点G1′(x23,y23)之间的关系t21=((u1-x23)2+(v1-y23)2)1/2,t22=((u2-x22)2+(v2-y22)2)1/2,反求出点G1′和点G2′的图像坐标,
11.3)在单幅图像中,分别求出直线G2′Q1′和直线G1′Q2′的方程,分别记为a22x+b22y+c22=0,a21x+b21y+c21=0,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010106051920A CN102136140B (zh) | 2010-12-24 | 2010-12-24 | 一种基于矩形图样的视频图像距离检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010106051920A CN102136140B (zh) | 2010-12-24 | 2010-12-24 | 一种基于矩形图样的视频图像距离检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102136140A true CN102136140A (zh) | 2011-07-27 |
CN102136140B CN102136140B (zh) | 2012-07-18 |
Family
ID=44295915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010106051920A Expired - Fee Related CN102136140B (zh) | 2010-12-24 | 2010-12-24 | 一种基于矩形图样的视频图像距离检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102136140B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592282A (zh) * | 2012-01-18 | 2012-07-18 | 衡彦儒 | 交通视频中道路实际距离与相应像素距离关系的标定方法 |
CN103927748A (zh) * | 2014-04-09 | 2014-07-16 | 东南大学 | 一种基于多矩形图像距离转换模型的坐标标定方法 |
CN104952062A (zh) * | 2014-03-25 | 2015-09-30 | 福特全球技术公司 | 相机标定 |
CN106097297A (zh) * | 2016-05-12 | 2016-11-09 | 惠州市德赛西威汽车电子股份有限公司 | 一种摄像头遮挡范围计算方法 |
CN106570906A (zh) * | 2016-11-09 | 2017-04-19 | 东南大学 | 一种摄像机角度偏移条件下基于矩形图样的距离检测方法 |
CN110322513A (zh) * | 2018-03-30 | 2019-10-11 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
CN112669382A (zh) * | 2020-12-30 | 2021-04-16 | 联想未来通信科技(重庆)有限公司 | 一种基于图像的距离确定方法及装置 |
CN113310420A (zh) * | 2021-04-22 | 2021-08-27 | 中国工程物理研究院上海激光等离子体研究所 | 一种通过图像测量两个目标之间距离的方法 |
CN113380035A (zh) * | 2021-06-16 | 2021-09-10 | 山东省交通规划设计院集团有限公司 | 一种道路交叉口交通量分析方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003078811A (ja) * | 2001-09-04 | 2003-03-14 | Nippon Hoso Kyokai <Nhk> | マーカ座標対応付け方法とカメラパラメータ取得方法とカメラパラメータ取得システムとキャリブレーションパターン |
CN101271575A (zh) * | 2008-04-09 | 2008-09-24 | 东华大学 | 用于工业近景摄影中测量图像的正投影化校正方法 |
CN101727671A (zh) * | 2009-12-01 | 2010-06-09 | 湖南大学 | 基于路面共线三点及其平行线的单摄像机标定方法 |
-
2010
- 2010-12-24 CN CN2010106051920A patent/CN102136140B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003078811A (ja) * | 2001-09-04 | 2003-03-14 | Nippon Hoso Kyokai <Nhk> | マーカ座標対応付け方法とカメラパラメータ取得方法とカメラパラメータ取得システムとキャリブレーションパターン |
CN101271575A (zh) * | 2008-04-09 | 2008-09-24 | 东华大学 | 用于工业近景摄影中测量图像的正投影化校正方法 |
CN101727671A (zh) * | 2009-12-01 | 2010-06-09 | 湖南大学 | 基于路面共线三点及其平行线的单摄像机标定方法 |
Non-Patent Citations (2)
Title |
---|
《IEEE SENSORS JOURNAL》 20060430 Ming-Chih Lu,et al. Image-based distance and area measuring systems 495-503 1 第6卷, 第2期 * |
《Pattern Recognition》 19891231 Robert M. Haralick Determining camera parameters from the perspective projection of a rectangle 225-230 1 第22卷, 第3期 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592282B (zh) * | 2012-01-18 | 2014-06-18 | 衡彦儒 | 交通视频中道路实际距离与相应像素距离关系的标定方法 |
CN102592282A (zh) * | 2012-01-18 | 2012-07-18 | 衡彦儒 | 交通视频中道路实际距离与相应像素距离关系的标定方法 |
CN104952062B (zh) * | 2014-03-25 | 2019-06-11 | 福特全球技术公司 | 相机标定 |
CN104952062A (zh) * | 2014-03-25 | 2015-09-30 | 福特全球技术公司 | 相机标定 |
CN103927748A (zh) * | 2014-04-09 | 2014-07-16 | 东南大学 | 一种基于多矩形图像距离转换模型的坐标标定方法 |
CN103927748B (zh) * | 2014-04-09 | 2016-08-17 | 东南大学 | 一种基于多矩形图像距离转换模型的坐标标定方法 |
CN106097297A (zh) * | 2016-05-12 | 2016-11-09 | 惠州市德赛西威汽车电子股份有限公司 | 一种摄像头遮挡范围计算方法 |
CN106097297B (zh) * | 2016-05-12 | 2019-02-19 | 惠州市德赛西威汽车电子股份有限公司 | 一种摄像头遮挡范围计算方法 |
CN106570906A (zh) * | 2016-11-09 | 2017-04-19 | 东南大学 | 一种摄像机角度偏移条件下基于矩形图样的距离检测方法 |
CN110322513A (zh) * | 2018-03-30 | 2019-10-11 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
CN110322513B (zh) * | 2018-03-30 | 2022-03-04 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
CN112669382A (zh) * | 2020-12-30 | 2021-04-16 | 联想未来通信科技(重庆)有限公司 | 一种基于图像的距离确定方法及装置 |
CN113310420A (zh) * | 2021-04-22 | 2021-08-27 | 中国工程物理研究院上海激光等离子体研究所 | 一种通过图像测量两个目标之间距离的方法 |
CN113380035A (zh) * | 2021-06-16 | 2021-09-10 | 山东省交通规划设计院集团有限公司 | 一种道路交叉口交通量分析方法及系统 |
CN113380035B (zh) * | 2021-06-16 | 2022-11-11 | 山东省交通规划设计院集团有限公司 | 一种道路交叉口交通量分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102136140B (zh) | 2012-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102136140B (zh) | 一种基于矩形图样的视频图像距离检测方法 | |
CN102364299B (zh) | 一种多个结构光投影三维型面测量头的标定技术 | |
CN102376089B (zh) | 一种标靶校正方法及系统 | |
CN109242915A (zh) | 基于多面立体靶标的多相机系统标定方法 | |
CN109764858B (zh) | 一种基于单目相机的摄影测量方法及系统 | |
CN107256568B (zh) | 一种高精度机械臂手眼相机标定方法及标定系统 | |
CN109163657B (zh) | 一种基于双目视觉三维重建的圆形目标位姿检测方法 | |
CN102927917B (zh) | 多目铁塔视觉测量方法 | |
CN103106661B (zh) | 空间二条相交直线线性求解抛物折反射摄像机内参数 | |
CN102982551B (zh) | 空间三条不平行直线线性求解抛物折反射摄像机内参数 | |
CN101526338B (zh) | 线结构光视觉传感系统结构参数的现场标定方法 | |
CN104034269A (zh) | 一种单目视觉测量方法与装置 | |
CN102930548B (zh) | 利用两个相同的相交椭圆线性求解摄像机内参数 | |
CN102661717A (zh) | 铁塔单目视觉测量方法 | |
CN109141226A (zh) | 单相机多角度的空间点坐标测量方法 | |
CN103714571A (zh) | 一种基于摄影测量的单像机三维重建方法 | |
CN104279960A (zh) | 用移动设备进行物体尺寸测量的方法 | |
CN103903260A (zh) | 一种摄像机内参数快速标定的靶标方法 | |
CN106600654A (zh) | 一种大视角的深度相机拼接装置及拼接方法 | |
JP5079547B2 (ja) | カメラキャリブレーション装置およびカメラキャリブレーション方法 | |
CN107886547A (zh) | 一种鱼眼相机标定方法及系统 | |
CN106483330A (zh) | 一种基于反光丝线姿态角视觉识别二维风速风向测试方法 | |
CN109544628A (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
CN109827526A (zh) | 一种基于摄影测量平面平整度检测方法及其数据处理流程 | |
CN103035007B (zh) | 利用正六棱台求解摄像机内参数 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C53 | Correction of patent for invention or patent application | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Changjun Inventor after: Lu Xiaobo Inventor after: Jiang Liangwei Inventor after: Liu Yang Inventor before: Lu Xiaobo Inventor before: Liu Yang |
|
COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: LU XIAOBO LIU YANG TO: WANG ZHANGJUN LU XIAOBO JIANG LIANGWEI LIU YANG |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120718 Termination date: 20151224 |
|
EXPY | Termination of patent right or utility model |