CN104778716B - 基于单幅图像的卡车车厢体积测量方法 - Google Patents
基于单幅图像的卡车车厢体积测量方法 Download PDFInfo
- Publication number
- CN104778716B CN104778716B CN201510223811.2A CN201510223811A CN104778716B CN 104778716 B CN104778716 B CN 104778716B CN 201510223811 A CN201510223811 A CN 201510223811A CN 104778716 B CN104778716 B CN 104778716B
- Authority
- CN
- China
- Prior art keywords
- plane
- camera
- wheel
- carriage
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 4
- 230000017105 transposition Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 6
- 230000005622 photoelectricity Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于单幅图像的卡车车厢体积测量方法，主要解决现有的光电体积测量系统只能应用于位置固定的检测通道，且需要多个激光器、摄像机和传感器的缺点。其实现过程是：1.输入卡车图像并利用卡车图像中三正交方向的消失点标定出相机的内参矩阵；2.结合内参矩阵与卡车车轮提供的椭圆方程计算车轮法向量与车轮圆心坐标，得到车厢平面方程；3.利用消失点与车轮圆心坐标计算出相机的外参数；4.结合车厢平面方程与相机矩阵运算方程求出车厢各顶点的空间坐标，进而求出车厢体积。本发明可实现卡车车厢体积的快速精确测量，自动化程度较高，可用于高速公路收费站的计费系统。
Description
技术领域
本发明属于图像信息处理领域，具体的说是一种卡车车厢体积的测量方法，可用于高速公路收费站的计费系统。
背景技术
对于载货卡车，高速公路收费站的计费系统要分别对不同的卡车车厢体积进行测量，根据车厢体积的不同对应着不同的费用。传统的卡车体积测量大都采用光电体积测量系统，需要同时使用激光器、摄像机和传感器等设备，其中通用的方法为检测通道顶端和两侧的激光器发射垂直于检测通道的条状激光，照射货车表面形成光学轮廓图像，通过利用同样位于通道顶端和侧面的CCD相机采集的激光图像实现卡车三维轮廓数据的提取，测出卡车的体积。这种方法由于需要多个激光器、摄像机和传感器，其实施方法复杂，成本较高，且只能应用于位置固定的检测通道。
随着计算机技术的发展，利用基于图像建模和绘制技术进行物体体积测量得到了越来越多的研究。基于图像的建模就是利用相机拍摄的场景的图片来建立真实场景中的几何模型，传统的图像的三维重建是基于图像明暗、纹理、焦距等线索的基础上完成的,但这些方法通常对场景的光源、纹理规则、反射属性有严格的要求，对于不同环境下的卡车车厢体积测量其通用性较低，有待于更深入的研究。Henry P等人利用深度图像可以较为精确的建立物体三维模型见Henry P,Krainin M,Herbst E,et al.Using Kinect-style depthcameras for dense 3D modeling of indoor environments[J].The InternationalJournal of Robotics Research,2012,31(5):647-663，深度图像不仅包含了颜色的信息还包含了各像素点的深度信息，但成本很高、操作不便、不能进行实时测量，使该方法的应用范围受到了限制。Kholgade等利用虚拟现实技术通过对已有同类物体3D模型的变换，实现模型与单幅未标定图片的3D匹配，可以从单幅图像中恢复物体的三维模型见Kholgade,Natasha,et al.3D object manipulation in a single photograph using stock 3Dmodels[J].ACM Transaction on Graphics(TOG),2014,33(4):127，然而，由于图片未经过标定使得模型存在尺度上的模糊，只能用于3D场景的漫游，不适用于物体体积的测量。考虑到卡车车轮可以提供单个空间圆特征，基于单目视觉的单圆特征定位可以提供车轮的平面信息，对车厢体积的求取有重要意义，Zheng等对单圆定位问题进行了理论推导ZhengYinqiang,Ma Wenjuan,Liu Yuncai.Another way of looking at monocular circlepose estimation[C].Proceedings of International Conference on ImageProcessing,2008:86-92，从几何意义上给出了空间圆位姿有两个解的完备解释，但没有给出剔除虚假解的方案。
发明内容
本发明的目的在于针对上述已有技术的问题，提出一种基于单幅图像的卡车车厢体积测量方法，以在车轮半径已知的条件下利用消失点剔除圆位姿虚假解并实现对卡车车厢体积的测量。
为了实现上述目的，本发明的技术方案包括如下步骤：
(1)输入卡车单幅图像，通过卡车图像中三正交方向的消失点Vx,Vy,Vz标定出相机的内参矩阵K；
(2)确定相机坐标系下车轮平面方程：
(2a)提取卡车图像中车轮形状的椭圆方程，利用车轮形状的椭圆方程与车轮半径对相机坐标系下车轮平面法向量和车轮圆心坐标OC进行求解，此处有真实和虚假两个解；
(2b)利用与车轮平面垂直的车厢平面提供的消失点，剔除车轮平面法向量的虚假解，得到车轮平面的真实法向量
(2c)利用真实平面法向量和圆心坐标OC求出相机坐标系下车轮平面方程；
(3)根据三正交方向的消失点Vx,Vy,Vz计算相机旋转矩阵R，利用车轮圆心坐标OC解算出相机的平移向量G，得出相机的外参矩阵
(4)计算卡车车厢体积：
(4a)根据相机内参矩阵K和外参矩阵S求出相机成像的矩阵运算方程；
(4b)将空间坐标系下车轮平面方程与相机成像的矩阵运算方程联立，计算车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点空间坐标E1,E2,E3，其中车厢平面Ⅰ为空间中与卡车车轮在同一面的车厢平面；
(4c)利用车厢平面Ⅰ上车厢顶点空间坐标E1,E3计算出车厢平面Ⅱ的平面方程，联立车厢平面方程与相机成像的矩阵运算方程，求出车厢平面Ⅱ上车厢顶点的空间坐标E4，其中车厢平面Ⅱ为正交于卡车车轮平面的车厢平面；
(4d)根据车厢顶点的空间坐标E1,E2,E3,E4，计算出卡车车厢的体积。
本发明具有如下优点：
1)本发明由于利用与车轮平面垂直的车厢平面提供的消失点，剔除了车轮平面法向量的虚假解，可求出车轮平面的真实法向量
2)本发明由于将空间坐标系的原点建立在车轮圆心处，可以快速的解算出相机的平移向量G，省去了复杂的相机标定过程；
3)本发明由于通过联立相机成像的矩阵运算方程与车厢平面方程计算出卡车图像中车厢顶点对应的三维坐标，不需要知道每个车厢顶点的深度信息，降低了计算量；
4)本发明由于通过单幅卡车图像计算出卡车车厢的体积，克服了传统的光电体积测量系统只能应用于位置固定的检测通道且需要多个激光器、摄像机和传感器的缺点。
附图说明
图1是本发明的卡车车厢体积测量流程图；
图2是卡车图像中三正交方向消失点Vx,Vy,Vz示意图；
图3是卡车图像中三正交方向消失点Vx,Vy,Vz的检测结果；
图4是本发明中相机坐标系下空间圆成像几何关系图；
图5是本发明中空间坐标系的建立和旋转角α，β，γ的示意图；
图6是卡车车厢平面成像过程的几何关系图；
图7是不同实例卡车图像的消失点检测结果和卡车图像中车厢顶点像素坐标的选取结果示意图。
具体实施方式
参照图1，本发明的车厢体积测量步骤如下：
步骤1,相机内参标定。
(1.1)根据卡车图像检测三正交方向消失点：
消失点是空间中任何一束不平行于成像平面的平行线，经过透视投影变换以后在成像平面上相交的有限远的一点。本发明中卡车车厢的几何形状为立方体，在经过透视投影变换以后，车厢中三正交方向上相互平行的直线分别相交与消失点Vx,Vy,Vz，如图2所示。
本发明中利用卡车所在空间中同一方向上的n条平行线的投影线段计算此方向上的消失点V(u，v)，n≥2，卡车图像中n条投影线段的端点为(xi1,yi1)和(xi2,yi2),利用各投影线段的端点求出图像平面中各投影线段所在的直线方程为aixi+biyi+ci＝0，其中ai,bi,ci可表示为：
令Ai＝(ai,bi,ci)，利用Ai构造矩阵：其中
对矩阵A进行特征值和特征向量分解，其最小特征值对应的特征向量(x,y,t)T即为所求消失点V的齐次坐标，由特征向量(x,y,t)T得出图像平面上消失点V的非齐次坐标为：V(u,v)＝(x/t,y/t)T，其中T表示向量的转置向量；
根据消失点V的求解方法，利用卡车图像中不同车厢平面上各平行线的投影线段所在的直线方程：aixi+biyi+ci＝0，检测出卡车图像中三正交方向上消失点的坐标Vx(ux,vx),Vy(uy,vy),Vz(uz,vz)，结果如图3所示；
(1.2)计算相机内参矩阵相机内参矩阵表征着成像平面的像素单位与相机空间中的毫米单位之间的线性关系，其中f为相机的焦距，(u0,v0)为成像平面的主点坐标；
具体计算方法如下：
(1.2a)将卡车图像中三正交方向的消失点Vx,Vy,Vz代入正交消失点与绝对二次曲线矩阵ω的关系式：中，即用Vx,Vy,Vz分别代替正交消失点V1,V2，解出二次曲线矩阵ω，其中
(1.2b)对矩阵ω进行Cholesky分解可求出对应的相机内参矩阵
步骤2，求解卡车车轮平面方程。
(2.1)计算车轮平面法向量与车轮圆心坐标：
本发明中使用的相机模型为针孔相机模型，如图4所示，图4给出了相机针孔模型下三维空间中的一个圆和它所对应的成像平面的一个椭圆之间的几何关系，O点为相机光心的中点，f为相机焦距。
本发明中车轮的外轮廓为相机空间中的一个圆，相机空间中任何一个不与相机光心轴垂直的圆经过透视投影后在成像平面中的像为一个椭圆。
本步骤的具体计算如下：
(2.1a)根据卡车图像上车轮边沿5个以上的点的像素坐标，利用最小二乘法求出卡车车轮在成像平面的椭圆方程：
其中xf,yf表示椭圆方程在像平面中的像素坐标，a′为椭圆方程像素横坐标的二次项系数，b′为椭圆方程像素纵坐标的二次项系数，c′为椭圆方程像素横纵坐标乘积的系数，d′为椭圆方程像素横坐标的一次项系数，e′为椭圆方程像素纵坐标的一次项系数，h′为椭圆方程常数项系数；
(2.1b)将相机坐标系到图像坐标系之间的转换关系：
代入到式<2>中，得到相机坐标系下相机光心点和成像椭圆所组成的椭圆锥面方程：
其中， 表示相机坐标系下一点的三维坐标；
(2.1c)利用下式对Q矩阵进行相似对角化：
P-1QP＝diag(λ1 λ2 λ3)
并调整P矩阵的列向量使λ1>λ2，λ3为负值，其中P为Q的特征向量矩阵，λ1，λ2，λ3为Q的三个特征值；
(2.1d)由于在相机坐标系下进行计算过于复杂，将相机坐标系通过式：转换到过渡坐标系下，此时相机坐标系下的椭圆锥面方程<3>转化为过渡坐标系下的椭圆锥面方程：
其中，表示过渡坐标系下一点的三维坐标；
(2.1e)将过渡坐标系下以(l,m,n)为法向量的车轮平面与椭圆锥面方程<4>相交，其交线是一个半径为D的圆，根据该圆得出过渡坐标系下车轮平面的法向量(l,m,n)和车轮圆心坐标(XT,YT,ZT)为：
其中D为车轮的半径；
(2.2)将车轮平面法向量(l,m,n)从过渡坐标系转换到相机坐标系下，求出相机坐标系下车轮平面法向量为：
(2.3)将法向量(l,m,n)代入式<8>中得到相机坐标系下车轮平面的法向量根据式<6>知过渡坐标系下车轮平面法向量(l,m,n)有两个解可知，车轮平面的法向量存在的真实和虚假两个解；
(2.4)利用卡车图像中与车轮平面正交的车厢平面所形成的消失点Vp(up,vp)，求出垂直于车轮平面的直线方向向量：选择法向量中与方向向量相等或近似相等的向量作为相机坐标系下车轮法向量的真实解
(2.5)根据相机坐标系到过渡坐标系的转换关系，将车轮圆心坐标从过渡坐标系转换到相机坐标系下，圆心坐标OC可表示为：
(2.6)利用车轮平面法向量真实解与圆心坐标OC,求出相机坐标系下车轮平面方程为：
其中表示相机坐标系下一点的三维坐标。
步骤3，计算相机外参数。
相机的外参数表征着空间坐标系和相机坐标系之间的旋转和平移关系，本发明中以车轮的圆心为原点、以空间中生成消失点Vx,Vy,Vz的直线方向为XW,YW,ZW的轴建立空间坐标系，如图5所示。
参照图5，本步骤计算相机外参数的步骤如下：
(3.1)计算相机旋转矩阵R：
(3.1a)旋转矩阵R描述了空间坐标系各坐标轴与相机坐标系对应坐标轴之间的旋转角度，可以由旋转角α-β-γ表示，其中α为绕空间坐标系XW轴的旋转角，β为绕YW轴的旋转角，γ为相机坐标系绕世界坐标系ZW轴的旋转角，旋转角α-β-γ可以分别由卡车图像中三正交方向消失点Vx(ux,vx),Vy(uy,vy),Vz(uz,vz)表示为：
(3.1b)根据旋转角α-β-γ得到相机的外参矩阵R为：
(3.2)计算相机平移向量G：
平移向量G表征了空间坐标系原点和相机坐标系原点之间的平移关系，本步骤具体计算方法如下：
(3.2a)根据空间坐标系的原点在车轮的圆心处，得到车轮圆心在空间坐标系下的坐标为OW＝(0,0,0)；
(3.2b)将相机坐标系下车轮圆心坐标OC与空间坐标系下车轮圆心坐标OW代入空间坐标系到相机坐标系的转换关系式：中，即用OC代替相机坐标系下一点的三维坐标用OW代替空间坐标系下一点的三维坐标得出相机平移向量：
其中
(3.2)根据相机的旋转矩阵R与平移向量G,得到相机的外参矩阵S表示为：
步骤4，车厢体积的计算
本发明中卡车车厢的成像原理如图6所示，其中车厢平面Ⅰ为空间中与卡车车轮在同一面的车厢平面，车厢平面Ⅱ为正交于卡车车轮平面的车厢平面，e1,e2,e3和E1,E2,E3分别对应车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点的图像像素坐标与空间坐标，e4和E4分别对应车厢平面Ⅱ上车厢顶点的图像像素坐标与空间坐标，利用图6的参数计算车厢体积步骤如下：
(4.1)根据相机内参矩阵K和外参矩阵S求出相机成像的矩阵运算方程表示为：
其中(u，v)为卡车图像中像素点坐标，mij为投影矩阵的第i行第j列的元素，1≤i≤3,1≤j≤4；
(4.2)计算车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点的空间坐标E1,E2,E3：
(4.2a)分别选取车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点的像素坐标e1(u1,v1)、e2(u2,v2)，e3(u3,v3)，其中(u,v)分别表示卡车图像中像素点的横纵坐标；
(4.2b)根据空间坐标系到相机坐标系之间的转换关系，将相机坐标系下车轮平面方程转换成空间坐标系下的车轮平面方程为：
由于空间中卡车车轮与车厢平面Ⅰ在同一平面内，即车厢平面Ⅰ也可用式<10>表示；
(4.2c)将车厢平面Ⅰ的平面方程式<10>与相机成像的矩阵运算方程式<9>联立，得到如下矩阵方程：
(4.2d)分别将点e1(u1,v1)、e2(u2,v2)，e3(u3,v3)代入矩阵方程式<11>中，计算出车厢平面Ⅰ上车厢顶点的空间坐标：
(4.3)计算车厢平面Ⅱ上车厢顶点的空间坐标E4：
(4.3a)利用车厢平面Ⅰ上车厢顶点的空间坐标E1,E3求出空间坐标系下车厢平面Ⅱ的平面方程为：
(4.3b)将车厢平面Ⅱ的平面方程式<12>与相机成像的矩阵运算方程式<9>联立，得到如下矩阵方程：
(4.3c)选取车厢平面方程Ⅱ上车厢顶点的像素坐标e4(u4,v4)，并将像素坐标e4(u4,v4)代入矩阵方程式<13>中，计算出车厢平面Ⅱ上车厢顶点的空间坐标
(4.4)根据车厢顶点的空间坐标E1,E2,E3,E4，计算出卡车车厢的长宽高，得到卡车车厢的体积，其中车厢长宽高的长度单位与卡车车轮半径的长度单位相同。
本发明的效果可以通过以下实验进一步说明。
本发明分别对轻型卡车图7(a)和重型卡车图7(d)进行了实验验证。
实验1，用本发明对重型卡车图7(a)进行图像中三正交方向消失点Vx,Vy,Vz的检测，结果如图7(b)所示；
实验2，用本发明对轻型卡车图7(a)中的车厢顶点像素坐标进行选取，结果如图7(c)所示；
实验3，用本发明对重型卡车图7(d)进行图像中三正交方向消失点Vx,Vy,Vz的检测，结果如图7(e)所示；
实验4，用本发明对轻型卡车图7(d)中的车厢顶点像素坐标进行选取，结果如图7(f)所示。
利用图7(b)和图7(e)中三正交方向消失点Vx,Vy,Vz与卡车车轮在像平面中的椭圆方程，分别计算出轻型卡车和重型卡车图像的相机内外参数和车轮平面的法向量与车轮圆心坐标，如表1所示：
表1相机参数和车轮位姿信息
利用表1中所求的信息，根据图7(c)和图7(f)中车厢顶点对应的图像平面像素坐标分别计算出轻型卡车与重型卡车车厢的长宽高与体积，测量值与真实值的对比如表2所示：
表2测量值与真实值的对比
| 重卡(轻卡) | 测量值 | 真实值 | 相对误差(％) |
| 长度(m) | 10.65(4.59) | 11(4.3) | 3.1(6.7) |
| 宽度(m) | 2.57(1.97) | 2.5(2.05) | 2.8(3.9) |
| 高度(m) | 2.73(2.13) | 2.8(2.1) | 2.5(1.42) |
| 体积(m3) | 74.72(19.26) | 77(18.51) | 2.96(4.10) |
由表2所示的实验结果可以看出，在卡车车轮半径D的已知情况下，只通过单幅卡车图像，可以较精确的求出卡车车厢的体积。
Claims (8)
1.基于单幅图像的卡车车厢体积测量方法，包括如下步骤：
(1)输入卡车单幅图像，通过卡车图像中三正交方向的消失点Vx,Vy,Vz标定出相机的内参矩阵K；
(2)确定相机坐标系下车轮平面方程：
(2a)提取卡车图像中车轮形状的椭圆方程，利用车轮形状的椭圆方程与车轮半径对相机坐标系下车轮平面法向量和车轮圆心坐标OC进行求解，此处有真实和虚假两个解；
(2b)利用与车轮平面垂直的车厢平面提供的消失点，剔除车轮平面法向量的虚假解，得到车轮平面的真实法向量
(2c)利用真实平面法向量和圆心坐标OC求出相机坐标系下车轮平面方程；
(3)根据三正交方向的消失点Vx,Vy,Vz计算相机旋转矩阵R，利用车轮圆心坐标OC解算出相机的平移向量G，得出相机的外参矩阵
(4)计算卡车车厢体积：
(4a)根据相机内参矩阵K和外参矩阵S求出相机成像的矩阵运算方程；
(4b)将空间坐标系下车轮平面方程与相机成像的矩阵运算方程联立，计算车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点空间坐标E1,E2,E3，其中车厢平面Ⅰ为空间中与卡车车轮在同一面的车厢平面；
(4c)利用车厢平面Ⅰ上车厢顶点空间坐标E1,E3计算出车厢平面Ⅱ的平面方程，联立车厢Ⅱ的平面方程与相机成像的矩阵运算方程，求出车厢平面Ⅱ上车厢顶点的空间坐标E4，其中车厢平面Ⅱ为正交于卡车车轮平面的车厢平面；
(4d)根据车厢顶点的空间坐标E1,E2,E3,E4，计算出卡车车厢的体积。
2.根据权利要求1所述的体积测量方法，其中所述步骤(1)中标定相机的内参矩阵K，按如下步骤进行：
(1a)将卡车图像中三正交方向的消失点Vx,Vy,Vz代入正交消失点与绝对二次曲线矩阵ω的关系式：中，即用Vx,Vy,Vz分别代替正交消失点V1,V2，解出二次曲线矩阵ω，其中T表示向量的转置；
(1b)对二次曲线矩阵ω进行Cholesky分解，得到相机内参矩阵其中f为相机的焦距，(u0,v0)为成像平面主点坐标。
3.根据权利要求1所述的体积测量方法，其中所述步骤(2)中剔除车轮平面虚假解，按如下步骤进行：
(2a)根据卡车图像中车轮形状的椭圆方程求出相机坐标系下车轮平面法向量该向量有真实和虚假两个解；
(2b)根据消失点的性质，连接相机光心点与成像平面消失点，使其与消失点在空间中生成的直线平行，利用卡车图像中与车轮平面正交的车厢平面所形成的消失点Vp(x∞,y∞)，求出垂直于车轮平面直线的方向向量：其中f为相机的焦距，(u0,v0)为成像平面主点坐标；
(2c)选择法向量中与方向向量相等或近似相等的向量作为相机坐标系下车轮法向量的真实解
4.根据权利要求1所述的体积测量方法，其中所述步骤(2)求相机坐标系下车轮平面方程，按如下步骤进行：
(2a)利用卡车图像中车轮形状的椭圆方程与车轮半径求出相机坐标系下车轮圆心的坐标OC＝(xoC,yoC,zoC)T；
(2b)根据法向量真实解与圆心坐标OC，求出相机坐标系下车轮平面方程为：
<mrow>
<mover>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>~</mo>
</mover>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mover>
<msub>
<mi>X</mi>
<mi>C</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>C</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
</mrow>
其中表示相机坐标系下一点的三维坐标。
5.根据权利要求1所述的车厢体积测量方法，其中所述步骤(3)中利用卡车图像三正交方向消失点计算相机旋转矩阵R，按如下步骤进行：
(3a)以车轮的圆心为原点、以空间中生成消失点Vx,Vy,Vz的直线方向为XW,YW,ZW轴建立空间坐标系，得到车轮圆心在空间坐标系下的坐标为：OW＝(0,0,0)T；
(3b)利用卡车图像中三正交方向的消失点Vx,Vy,Vz计算出相机坐标系各坐标轴与空间坐标系对应坐标轴之间的旋转角度α，β，γ；
(3c)根据相机坐标系各坐标轴与空间坐标系对应坐标轴之间的旋转角度α，β，γ，求出相机的旋转矩阵R为：
<mrow>
<mi>R</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&gamma;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&gamma;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&gamma;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&gamma;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>sin</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&beta;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&beta;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&beta;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&beta;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
6.根据权利要求1所述的车厢体积测量方法，其中所述步骤(3)中利用车轮圆心坐标OC解算出相机的平移向量G，是将相机坐标系下车轮圆心坐标OC与空间坐标系下车轮圆心坐标OW代入空间坐标系到相机坐标系的转换关系式：中，即用OC代替相机坐标系下一点的三维坐标用OW代替空间坐标系下一点的三维坐标得出相机平移向量：
<mrow>
<mi>G</mi>
<mo>=</mo>
<msub>
<mi>O</mi>
<mi>C</mi>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mrow>
<mi>o</mi>
<mi>C</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mrow>
<mi>o</mi>
<mi>C</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mrow>
<mi>o</mi>
<mi>C</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中
7.根据权利要求1所述的体积测量方法，其中所述步骤(4)中计算车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点空间坐标E1,E2,E3，按如下步骤进行：
(4a)分别选取车厢平面Ⅰ中位置在上前方、下前方和后上方的车厢顶点的像素坐标e1(u1,v1)、e2(u2,v2)，e3(u3,v3)，其中(u,v)分别表示卡车图像中像素点的横纵坐标；
(4b)根据空间坐标系到相机坐标系之间的转换关系，将相机坐标系下车轮平面方程转换成空间坐标系下的车轮平面方程，可表示为：
<mrow>
<mover>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>~</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
<mo>&CenterDot;</mo>
<mover>
<msub>
<mi>X</mi>
<mi>W</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mn>0</mn>
</mrow>
由于空间中卡车车轮与车厢平面Ⅰ在同一平面内，即车厢平面Ⅰ也可用车轮平面方程表示，其中表示空间坐标系下一点的三维坐标；
(4c)将车厢平面Ⅰ的平面方程与相机成像的矩阵运算方程联立，得到如下矩阵方程：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<msub>
<mi>um</mi>
<mn>31</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
<mo>)</mo>
<msub>
<mi>X</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>um</mi>
<mn>32</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>um</mi>
<mn>33</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>31</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
<mo>=</mo>
<msub>
<mi>m</mi>
<mn>14</mn>
</msub>
<mo>-</mo>
<msub>
<mi>um</mi>
<mn>34</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<msub>
<mi>vm</mi>
<mn>31</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>21</mn>
</msub>
<mo>)</mo>
<msub>
<mi>X</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>vm</mi>
<mn>32</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>22</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>vm</mi>
<mn>33</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>23</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
<mo>=</mo>
<msub>
<mi>m</mi>
<mn>24</mn>
</msub>
<mo>-</mo>
<msub>
<mi>vm</mi>
<mn>34</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mover>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>~</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
<mo>&CenterDot;</mo>
<mover>
<msub>
<mi>X</mi>
<mi>W</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中XW,YW,ZW分别为空间中生成消失点Vx,Vy,Vz的直线方向；
(4d)分别将点e1(u1,v1)、e2(u2,v2)，e3(u3,v3)代入步骤(4c)所得出的矩阵方程，计算出车厢平面Ⅰ上车厢顶点的空间坐标E1,E2,E3，其中(u,v)为卡车图像中像素点坐标，mij为投影矩阵的第i行第j列的元素，1≤i≤3,1≤j≤4。
8.根据权利要求1所述的体积测量方法，其中所述步骤(4)中求出车厢平面Ⅱ上车厢顶点的空间坐标E4，按如下步骤进行：
(4a)利用车厢平面Ⅰ上车厢顶点的空间坐标E1,E3求出空间坐标系下车厢平面Ⅱ的平面方程为：
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>E</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>E</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mover>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<msub>
<mi>E</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
</mrow>
其中表示空间坐标系下一点的三维坐标；
(4b)将车厢平面Ⅱ的平面方程与相机成像的矩阵运算方程联立，得到如下矩阵方程：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<msub>
<mi>um</mi>
<mn>31</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
<mo>)</mo>
<msub>
<mi>X</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>um</mi>
<mn>32</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>um</mi>
<mn>33</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>31</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
<mo>=</mo>
<msub>
<mi>m</mi>
<mn>14</mn>
</msub>
<mo>-</mo>
<msub>
<mi>um</mi>
<mn>34</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<msub>
<mi>vm</mi>
<mn>31</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>21</mn>
</msub>
<mo>)</mo>
<msub>
<mi>X</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>vm</mi>
<mn>32</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>22</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
<mo>+</mo>
<mo>(</mo>
<msub>
<mi>vm</mi>
<mn>33</mn>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mn>23</mn>
</msub>
<mo>)</mo>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
<mo>=</mo>
<msub>
<mi>m</mi>
<mn>24</mn>
</msub>
<mo>-</mo>
<msub>
<mi>vm</mi>
<mn>34</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>E</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>E</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mover>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<msub>
<mi>E</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中XW,YW,ZW分别为空间中生成消失点Vx,Vy,Vz的直线方向；(u,v)为卡车图像中像素点坐标，mij为投影矩阵的第i行第j列的元素，1≤i≤3,1≤j≤4；
(4c)选取车厢平面方程Ⅱ上车厢顶点的像素坐标e4(u4,v4)，并将像素坐标e4(u4,v4)代入步骤(4b)所得出的矩阵方程，计算出车厢平面Ⅱ上车厢顶点的空间坐标E4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510223811.2A CN104778716B (zh) | 2015-05-05 | 2015-05-05 | 基于单幅图像的卡车车厢体积测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510223811.2A CN104778716B (zh) | 2015-05-05 | 2015-05-05 | 基于单幅图像的卡车车厢体积测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104778716A CN104778716A (zh) | 2015-07-15 |
| CN104778716B true CN104778716B (zh) | 2018-03-13 |
Family
ID=53620162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510223811.2A Active CN104778716B (zh) | 2015-05-05 | 2015-05-05 | 基于单幅图像的卡车车厢体积测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104778716B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109405835B (zh) * | 2017-08-31 | 2020-11-13 | 北京航空航天大学 | 基于非合作目标直线与圆单目图像的相对位姿测量方法 |
| CN108627092A (zh) * | 2018-04-17 | 2018-10-09 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
| CN109448045B (zh) * | 2018-10-23 | 2021-02-12 | 南京华捷艾米软件科技有限公司 | 基于slam的平面多边形物体测量方法及机器可读存储介质 |
| CN109886961B (zh) * | 2019-03-27 | 2023-04-11 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
| CN110033492B (zh) * | 2019-04-17 | 2021-05-11 | 深圳金三立视频科技股份有限公司 | 摄像机标定方法及终端 |
| CN110555407B (zh) * | 2019-09-02 | 2022-03-08 | 东风汽车有限公司 | 路面车辆空间识别方法及电子设备 |
| CN113554689B (zh) * | 2021-07-19 | 2023-09-22 | 广州市杜格科技有限公司 | 车厢载货体积的测量方法及装置、设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101629805A (zh) * | 2008-07-16 | 2010-01-20 | 中国科学院沈阳自动化研究所 | 一种基于计算机视觉的铁路罐车容积测量方法 |
| CN102288250A (zh) * | 2011-08-04 | 2011-12-21 | 西北工业大学 | 一种罐体容积测量方法 |
| CN102980531A (zh) * | 2012-12-07 | 2013-03-20 | 中国铁道科学研究院 | 一种基于三维激光扫描的容积测量方法及装置 |
| CN103076060A (zh) * | 2012-12-19 | 2013-05-01 | 北京金旗华瑞科技发展有限公司 | 一种油罐车容积测量系统及方法 |
| CN103308017A (zh) * | 2013-06-17 | 2013-09-18 | 西北工业大学 | 复杂内空间容器容积测量方法 |
-
2015
- 2015-05-05 CN CN201510223811.2A patent/CN104778716B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101629805A (zh) * | 2008-07-16 | 2010-01-20 | 中国科学院沈阳自动化研究所 | 一种基于计算机视觉的铁路罐车容积测量方法 |
| CN102288250A (zh) * | 2011-08-04 | 2011-12-21 | 西北工业大学 | 一种罐体容积测量方法 |
| CN102980531A (zh) * | 2012-12-07 | 2013-03-20 | 中国铁道科学研究院 | 一种基于三维激光扫描的容积测量方法及装置 |
| CN103076060A (zh) * | 2012-12-19 | 2013-05-01 | 北京金旗华瑞科技发展有限公司 | 一种油罐车容积测量系统及方法 |
| CN103308017A (zh) * | 2013-06-17 | 2013-09-18 | 西北工业大学 | 复杂内空间容器容积测量方法 |
Non-Patent Citations (5)
| Title |
|---|
| 3D Object Manipulation in a Single Photograph using Stock 3D Models;Natasha Kholgade 等;《ACM Transactions on Graphics》;20140727;第127:1-127:13页 * |
| ANOTHER WAY OF LOOKING AT MONOCULAR CIRCLE POSE ESTIMATION;Yinqiang Zheng 等;《Image Processing》;20081015;第861-864页 * |
| RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments;Peter Henry 等;《Robotics Research》;20120210;第647-663页 * |
| 利用激光三角法测量货车车厢体积;邢冀川，罗小红;《红外与激光工程》;20121125;第3083-3087页 * |
| 基于机器视觉的体积测量系统研究;闫霞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110915;第I138-1186页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104778716A (zh) | 2015-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104778716B (zh) | 基于单幅图像的卡车车厢体积测量方法 | |
| CN107945220B (zh) | 一种基于双目视觉的重建方法 | |
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| CN105300316B (zh) | 基于灰度重心法的光条中心快速提取方法 | |
| CN103278138B (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN101581569B (zh) | 双目视觉传感系统结构参数的标定方法 | |
| Abraham et al. | Fish-eye-stereo calibration and epipolar rectification | |
| Luo et al. | A simple calibration procedure for structured light system | |
| JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
| CN106780590A (zh) | 一种深度图的获取方法及系统 | |
| CN106705849B (zh) | 线结构光传感器标定方法 | |
| Remondino | 3-D reconstruction of static human body shape from image sequence | |
| CN111667536A (zh) | 一种基于变焦相机深度估计的参数标定方法 | |
| CN107977996B (zh) | 基于靶标标定定位模型的空间目标定位方法 | |
| Zhou et al. | A novel way of understanding for calibrating stereo vision sensor constructed by a single camera and mirrors | |
| CN108917640A (zh) | 一种激光盲孔深度检测方法及其系统 | |
| CN107590444A (zh) | 静态障碍物的检测方法、装置及存储介质 | |
| Perdigoto et al. | Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems | |
| CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
| CN111649694A (zh) | 一种隐式相位-视差映射的双目测量缺失点云插补方法 | |
| CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| Real-Moreno et al. | Camera calibration method through multivariate quadratic regression for depth estimation on a stereo vision system | |
| CN113643427A (zh) | 一种双目测距及三维重建方法 | |
| Chai et al. | Single-image calibration method for multiple virtual binocular vision system | |
| Feng et al. | A camera calibration method based on plane mirror and vanishing point constraint |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |