CN101124454A - 非接触式车辆测量方法及系统 - Google Patents
非接触式车辆测量方法及系统 Download PDFInfo
- Publication number
- CN101124454A CN101124454A CNA2005800474153A CN200580047415A CN101124454A CN 101124454 A CN101124454 A CN 101124454A CN A2005800474153 A CNA2005800474153 A CN A2005800474153A CN 200580047415 A CN200580047415 A CN 200580047415A CN 101124454 A CN101124454 A CN 101124454A
- Authority
- CN
- China
- Prior art keywords
- image
- capturing apparatus
- calibration
- wheel
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
- G01B11/275—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing wheel alignment
- G01B11/2755—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing wheel alignment using photoelectric detection means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/10—Wheel alignment
- G01B2210/14—One or more cameras or other optical devices capable of acquiring a two-dimensional image
- G01B2210/143—One or more cameras on each side of a vehicle in the main embodiment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/10—Wheel alignment
- G01B2210/14—One or more cameras or other optical devices capable of acquiring a two-dimensional image
- G01B2210/146—Two or more cameras imaging the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/10—Wheel alignment
- G01B2210/30—Reference markings, reflector, scale or other passive device
- G01B2210/303—Reference markings, reflector, scale or other passive device fixed to the ground or to the measuring station
Abstract
一种基于图像的非接触式测量方法和系统,用于确定所测量物体的空间特征和参数。使用图像捕捉设备如相机来从不同观察角度捕捉所测量物体的图像。数据处理系统基于捕捉到的图像来执行所述所测量物体的空间特征的计算。
Description
相关申请
本申请要求了提交于2005年12月30日的美国临时专利申请No.60/640,060的优先权,其全部公开通过引用结合于此。
技术领域
本公开总体上涉及一种非接触式测量方法及系统,更具体地说,涉及一种用于确定与车辆相关的位置特征如轮子对准参数的方法和系统。
背景技术
定位系统如机器视觉测量系统在许多应用中使用。例如,机动车辆的轮子可以使用计算机辅助三维机器视觉对准装置及相关对准方法来对准。在标题为“Method and apparatus for determining the alignment of motor vehiclewheels”的美国专利No.5,724,743以及标题为“Method and apparatus fordetermining the alignment of motor vehicle wheels”的美国专利No.5,535,522中描述了3D对准的例子,这两个专利共同转让给本公开的受让人并且为了引用而整体结合于此。
为了确定车轮的对准状态,一些对准器使用方向传感器如相机来观察附着于轮子的对准目标,以确定对准目标相对于对准相机的位置。这些类型的对准器需要具有已知目标模式的一个或多个目标以已知的位置关系附着于测试主体。对准相机捕捉目标的图像。当车辆或轮子的空间位置被改变时,可以根据这些图像来确定轮子的空间位置。然后基于所捕获的目标图像来确定与车身或轮子相关的特征。
虽然这些类型的对准系统提供了令人满意的测量结果,但是将目标附着到测试主体需要向技术人员引入了额外的工作负荷并增大了系统成本。此外,为了将目标附着到测试车辆。对于不同的车型需要不同的附着装置,这进一步增大了系统成本以及库存管理的复杂度。
因此,需要一种用于在不使用目标的情况下获得与车辆相关的特征的非接触式车辆服务系统。还需要将同一非接触式车辆服务系统应用于不同的测量目的,如对准测量或碰撞测量。
发明内容
本公开描述了用于确定诸如车轮的物体的空间特征的非接触式测量系统的实施例。
一种示例性测量系统包括:至少一个图像捕捉设备,被配置成从不同观察角度产生物体的至少两个图像;以及数据处理系统,被配置成基于从该至少两个图像得到的数据确定该物体的空间特征。
该至少一个图像捕捉设备可以包括多个图像捕捉设备。该多个图像捕捉设备中的每一个对应于车辆的一个轮子,并且被配置成从不同观察角度产生该轮子的至少两个图像。该示例性系统进一步包括用于产生表示多个图像捕捉设备之间的相对位置关系的信息的校准装置。数据处理系统被配置成基于由多个图像捕捉设备产生的图像以及表示多个图像捕捉设备之间的相对位置关系的信息来确定车辆的轮子的空间特征。
一方面,校准装置包括至少一个校准相机和至少一个校准目标的组合。该至少一个校准相机和该至少一个校准目标中的每一个以已知的位置关系附着到多个图像捕捉设备中的一个。该至少一个校准相机中的每一个被配置成产生该至少一个校准目标中的一个的图像。另一方面,校准装置包括由公共校准相机观察的、附着到多个图像捕捉设备中的每一个的校准目标。
根据一个实施例,表示多个图像捕捉设备之间的相对位置关系的信息是基于多个校准目标的图像产生的。多个校准目标之间的位置关系是已知的。多个校准目标中的每一个的图像由该至少一个图像捕捉设备或至少一个校准相机中的一个来捕捉。该至少一个校准相机中的每一个以已知的位置关系附着到至少一个图像捕捉设备中的一个。
根据本公开的另一实例,该测量系统进一步包括平台,该平台用于在该平台上的预定位置支撑车辆。多个系泊站(docking station)被设置在相对于平台的预定位置。多个系泊站之间的位置关系是已知的。多个图像捕捉设备中的每一个被配置成安装在多个系泊站中的一个上以便捕捉车辆的轮子的图像,并且数据处理系统被配置成基于多个系泊站之间的位置关系以及由多个图像捕捉设备产生的图像来确定车辆的轮子的空间特征。
本公开的一种示例性测量方法从两个不同角度获得车辆的至少一个轮子的图像,并且基于与所获得图像相关的数据来确定车辆的至少一个轮子的空间特征。在一个实施例中,该示例性方法提供了多个图像捕捉设备。多个图像捕捉设备中的每一个对应于车辆的至少一个轮子中的一个,并且被配置成从两个不同角度产生对应车轮的图像。产生表示多个图像捕捉设备之间的关系的校准信息。基于由多个图像捕捉设备产生的图像以及表示图像捕捉设备之间的相对位置关系的信息,来确定车辆的至少一个轮子的空间特征。
一方面,校准信息由包括至少一个校准相机和至少一个校准目标的组合的校准装置所产生。该至少一个校准相机和该至少一个校准目标中的每一个以已知的位置关系附着到多个图像捕捉设备中的一个。该至少一个校准相机中的每一个被配置成产生该至少一个校准目标中的一个的图像。
另一方面,校准信息由包括附着到每个相应图像捕捉设备的校准目标的校准装置所产生。每个校准目标由公共校准相机观察。
根据本公开的实施例,校准信息是基于多个校准目标的图像来产生的。校准目标之间的位置关系是已知的。多个校准目标中的每一个的图像由该至少一个图像捕捉设备或至少一个校准相机中的一个来捕捉。该至少一个校准相机中的每一个以已知的位置关系附着到该至少一个图像捕捉设备中的一个。
根据另一实施例,车辆被平台支撑在该平台上的预定位置。校准信息由包括被设置在相对于该平台的预定位置的多个系泊站的校准装置所产生。多个系泊站之间的位置关系是已知的。每个相应图像捕捉设备被配置成安装在多个系泊站中的一个上以便捕捉车辆的对应轮子的图像。基于系泊站之间的位置关系以及由图像捕捉设备产生的图像,来确定车辆的至少一个轮子的空间特征。
从下面的详细描述中,本公开的其它优点将对于本领域的技术人员而言显而易见,其中,仅通过说明所设想的最佳模式来仅示出和描述说明性的实施例。应认识到,本公开能够实现其它的和不同的实施例,并且其若干细节能够在各个明显方面进行修改,而都不背离本公开。因此,附图和描述在本质上应视为说明性的而非限制性的。
附图说明
结合附图,本公开通过例子而不是通过限制来说明,在附图中,同样的标号指代类似的元件。
图1示出了由本公开的示例性非接触式测量系统中使用的相机观察的轮子。
图2A-2B示出了由图1所示的相机捕捉到的样本图像。
图3示出了由具有已知的相互位置关系的两个相机捕捉到的图像。
图4示出了确定所测量物体的近似的过程。
图5为根据本公开的一个示例性非接触式测量系统。
图6示出了供车辆测量使用的示例性自校准非接触式测量系统。
图7示出了根据本公开的示例性自校准非接触式测量系统的另一实施例。
图8示出了具有千斤顶和系泊站的示例性非接触式测量系统。
图9和10示出了将根据本公开的非接触式测量系统用于碰撞修理。
图11A和11B示出了由图9所示的测量模块(measurement pod)获得的示例性图像。
图12是供图9所示的系统使用的示例性测量模块的结构。
图13示出了由图10所示的测量模块获得的示例性图像。
图14是供图10所示的系统使用的示例性测量模块的结构。
图15和16示出了使用多个测量模块来进行碰撞修理的示例性非接触式系统。
图17是可用来实施本公开的非接触式测量系统的数据处理系统的示意框图。
具体实施方式
在以下描述中,为了解释的目的,阐明了许多特定细节以提供对本公开的彻底理解。然而,对于本领域的技术人员来说显而易见的是,本公开可以在没有这些特定细节的情况下实施。在其它情况下,以框图形式示出了众所周知的结构和设备以避免不必要地使本公开不突出。
实施例1
图1示出了示例性非接触式测量系统,该系统用于在没有来自具有已知目标模式的目标、或轮子上的附件或标记、或轮子的预知特征的辅助的情况下测量与轮子相关的空间参数。如图1所示,为测量提供具有安装的轮胎2的轮子1(统称为“轮子组件”)。提供两个相机4和5来观察该轮子组件或其一部分。相机用于为成像计量提供数据,如CCD或CMOS相机。每个相机的视场分别以虚线7和8标注。相机4和5之间的位置关系是已知的和/或预定的,并且被选择为使得图2A和2B所示的关于相机的轮圈圆图像足够不同,以允许计算轮胎侧壁和上面安装有轮胎的轮圈的边缘之间的界面3。在一个实施例中,仅使用一个相机。相机从不同角度拍摄轮子的至少两个图像。这两个成像角度之间的相对空间关系是已知的。例如,相机可以定位于第一预定位置以拍摄轮子的第一图像,然后定位于第二预定位置以拍摄轮子的第二图像。根据另一实施例,相机是静止的。代替之,在相机拍摄了定位于第一位置的轮子的第一图像之后,轮子被定位于第二位置,并且相机拍摄第二图像。第一位置和第二位置之间的相对空间关系是已知的,或者可以基于这两个位置之间的距离和从相机到所述位置的距离、利用本领域技术人员所公知的几何分析来得到。
在1998年9月22日授予Jackson等人的标题为“Method and Apparatusfor Calibrating Alignment cameras Used in the Alignment of Motor VehicleWheels”的美国专利号5,809,658中公开了一种用于确定相机之间的相对位置的技术,该专利通过引用整体结合于此。可以将附加的设备如一组校准相机和目标分别附着到相机4和5以提供对相机4和5之间的相对位置的校准。在提交于2000年5月20日的标题为“SELF-CALIBRATING,MULTI-CAMERA MACHINE VISION MEASURING SYSTEM”的美国专利申请序列号09/576,442中描述了用于确定相机4和5之间的相对位置以及进行实时校准的示例性方法,其公开通过引用整体结合于此。
由相机4和5捕捉到的图像被发送到数据处理系统如计算机(未示出),以便对捕捉到的图像进行进一步处理,以基于捕捉到的图像确定所测试轮子的对准参数。在一个实施例中,该示例性非接触式测量系统基于轮子1和轮胎2上的所选部分如界面3的图像来计算轮子1和轮胎2的空间参数。如果需要,可以选择和使用轮子1和轮胎2上的其它部分如螺帽17。
现在对基于由相机3和4捕捉到的图像来计算轮子参数中使用的步骤和数学计算进行描述。将界面3所描绘的曲线称为轮圈圆并且将该圆所处的平面称为轮圈平面。数据处理系统建立坐标系如三维(3D)平面来描述轮子1和轮胎2的空间特征。该三维平面(轮圈平面)可以由一个点和三个正交单位矢量来限定。该点和两个单位矢量处于该平面上,第三个单位矢量垂直于该平面。令该点为轮圈圆的中心。该点由从笛卡尔坐标系的原点出发的矢量来描述和限定,并且三个单位矢量相对于该坐标系而被描述和限定。由于圆的对称性,只有中心和法向单位矢量被唯一限定。处于该平面上的、彼此正交并与法向正交的其它两个单位矢量可以绕着法向旋转任意角度而不改变轮圈圆中心或法向,除非可以标识该平面上的额外特征来限定这两个矢量的取向。
将该笛卡尔坐标系称为相机坐标系(CCS)。
相机的焦点为CCS原点,且相机像素的行和列的方向分别限定X和Y轴。相机图像平面与Z轴垂直,与原点相距称为焦距的距离。因为轮圈圆现在处于轮圈平面上,所以限定轮圈圆所需的唯一参数是其半径。
对于轮圈圆相对于CCS的任何位置和取向,并且在相机的视场内,轮圈圆在相机图像平面上投影成曲线。利用光学成像领域众所周知的边缘检测装置,界面3在由相机4和5捕捉到的图像中将被分别限定为曲线8和9(如图2A和2B所示)。由于轮圈和轮胎的物理特性如一些轮圈的圆形边缘以及一些轮胎的橡胶化程度,限定轮圈圆的界面可以是完全可见的、被遮蔽的或被部分暴露的。
如前所述,相机4和5的相互位置关系是已知的。如图3所示,相机4的坐标系具有x、y、z轴,相机5的坐标系具有x’、y’、z’轴。相机4和5之间的相对位置由相对于彼此的角旋转和线性平移的值来限定。相机4和5均具有已知的焦距。
3D轮圈圆的空间特征通过使用下面所述的技术、基于相机4、5的相机图像平面上的二维(2D)曲线来确定。由于相机4和5的相对位置和取向是已知的,所以如果轮圈平面和圆相对于一个相机的CCS的位置和取向被限定,则相对于另一个相机的CCS的位置和取向也被限定或被获知。如果轮圈平面和圆相对于相机4和5中所选的一个的CCS的位置和取向被如此限定,则轮圈圆的曲线可以被投影到所选的相机图像平面上,并且与根据边缘检测技术获得的该相机图像平面上的测量曲线相比较。改变轮圈平面和圆的位置和取向改变了投影到相机图像平面上的曲线,并因此改变了与测量曲线的比较结果。
给定图像和测量数据,在相机图像平面上产生与测量曲线最佳拟合的投影曲线的轮圈平面和圆的位置和取向被定义为3D轮圈平面和圆的最优解。
投影曲线至测量曲线的最佳拟合被定义如下:
测量曲线由通过边缘检测过程在相机图像平面上得到的一系列点来限定。对于测量曲线上的每个这样的点,确定投影曲线上的最近点。从每个测量点到投影曲线上对应的最近点的距离的平方和被视为品质因数。最佳拟合被定义为使来自两个相机的两个平方和之和最小化的轮圈圆和平面的位置和取向。该拟合过程对轮圈平面和圆的位置和取向进行调整以使该和最小化。
为了寻找投影曲线上与测量点最近的点(二者均在相机图像平面上),使用如下所述的示例性数学方法:
1)通过将从CCS原点出发经过相机图像平面上的测量点的矢量延伸到轮圈平面,将测量点投影到轮圈平面。此延长的矢量与轮圈平面的相交点为轮圈平面上的投影点。
2)在轮圈平面中寻找一点,该点是从轮圈圆的中心到上述步骤(1)中所找到的投影点的直线与轮圈圆的相交点。
3)通过寻找相机图像平面与从上述步骤(2)中所找到的相交点到CCS原点的直线的相交点,将上述步骤(2)中所找到的相交点回投影到相机图像平面。相机图像平面上的此点是投影曲线上与测量点最近的点。
此相机对品质因数的贡献是从相机图像平面上的所有测量点到通过上述步骤(1-3)所找到的投影曲线上对应的最近点的距离的平方和。
现在描述详细的数学计算:
定义:
pm相机图像平面上的测量点(输入),由相机图像平面坐标pm.x和pm.y限定
rr轮圈圆半径(输入,当前值)
u从CCS的焦点到测量点的矢量,其具有CCS中的分量pm.x、pm.y和F。F为从CCS的焦点到相机图像平面的垂直距离
r从CCS的焦点到轮圈平面上的点的平行于u的矢量轮圈平面由下列矢量相对于CCS而被限定:
rp.c从CCS原点到轮圈平面上的轮圈圆中心的矢量
rp.n与轮圈平面垂直的单位矢量
u,从CCS的焦点到测量点的矢量(x,y,z为CCS中的坐标),由下式给出:
等式1x)u.x=pm.x
等式1y)u.y=pm.y
等式1z)u.z=焦距
轮圈平面上的任何点由从CCS原点出发的矢量r来限定:
等式2)r=rp.c+q
其中q是处于轮圈平面上、从轮圈平面中心rp.c到r的矢量。
因为r与u平行:
等式3)r=k*u=rp.c+q
其中k是标量。
q与轮圈平面法向rp.n垂直,因为它处于轮圈平面上,所以:
等式4)q*rp.n=0
取等式3与rp.n的点积:
等式5)r*rp.n=k*(u*rp.n)=(rp.c*rp.n)
等式6)k=(rp.c*rp.n)/(u*rp.n)
根据等式3和等式6:
等式7)q=k*u-rp.c
给定轮圈平面(rp.c和rp.n)和u(pm.x,pm.y,F)的当前参数,等式6限定了k,且等式7限定了q。q的量值为q*q的平方根:
等式8)Q=√(q*q)
轮圈圆上的最近点由从轮圈圆(和平面)中心出发、与q平行但量值为轮圈圆半径的矢量来限定:
等式9)q’=(rr/Q)*q
等式10)r’=rp.c+q’
将此点投影到相机图像平面上:
等式11)k’*u’=rp.c+q’
取CCS中的Z分量:
等式12)k’=(rp.c.z+q’.z)/u’.z=(rp.c.z+q’.z)/F
等式13x)u’.x=(rp.c.x+q’.x)/k=F*(rp.c.x+q’.x)/(rp.c.z+q’.z)
等式13y)u’.y=(rp.c.y+q’.y)/k=F*(rp.c.y+q’.y)/(rp.c.z+q’.z)
测量点pm应该是轮圈圆上的点在相机图像平面上的投影,所以相机图像平面上的(pm.x,pm.y)与(u’.x,u’.y)之间的差是轮圈参数(rp.c和rp.n)与测量结果的“拟合优度”的度量。将遍及所有测量点的这些差的平方相加得到拟合优度值:
等式14)Φ=∑((u’.xi-pm.xi)2+(u’.yi-pm.yi)2)i=1,..,N
其中N为测量点的编号。使用本领域熟知的“最小平方拟合”程序来调整轮圈圆的限定参数rp.c和rp.n,以在给定测量数据组{pm.xi,pm.yi}和轮圈圆半径rr的情况下使Φ最小化。
在相关实施例中,其相对位置由校准程序获知的两个相机可以对轮子和轮圈进行成像,并且可以在上面的计算中使用来自这两个相机的数据组。在这种情况下:
等式15)Φ=Φ0+Φ1
其中如等式14中那样限定Φ0,而针对第二相机类似地限定Φ1,其中差异如下:用于第二相机的轮圈平面参数rp.c和rp.n被从第一相机的CCS向第二相机的CCS变换。
第二相机的CCS由从第一相机CCS的中心到第二相机CCS的中心的矢量(c1)和三个正交单位矢量(u01,u11,u21)(通过校准程序)来限定。于是:
等式16.0)rp.01=(rp-c1)*u01
等式16.1)rp.11=(rp-c1)*u11
等式16.2)rp.21=(rp-c1)*u21
(rp.01,rp.11,rp.21)是待用于等式1到等式14中的第二相机的rp.c和rp.n的等价x,y,z分量。
如上所述,现在基于相机图像平面上的包括测量点的组的两个曲线确定了轮圈平面和圆,并因此获知了轮圈平面和圆的空间特征。由于轮圈平面和圆为轮子组件(包括轮子1和轮胎2)的一部分,所以可以基于轮圈平面和圆的空间特征来确定轮子组件的空间特征。
实施例2
该示例性非接触式测量系统的一个应用是确定车辆的轮子对准参数,如束角(toe)、外倾角(camber)、后倾角(caster)等。图5示出了利用上述非接触式测量的示例性对准系统。对于每个轮子54,提供了测量模块14。测量模块14包括具有已知相互位置关系的两个相机。相机被设置成捕捉轮子的图像。测量模块非常靠近轮子54而放置以获得轮胎1、安装轮2和边缘3的清晰图像。该对准系统进一步包括接收或可访问由相机捕捉到的图像的数据处理系统如计算机。
执行校准过程以确定测量模块14之间的相对位置和角度。在校准过程中,提供具有已知几何特征的已知物体来由每个测量模块14观察,使得每个测量模块14产生表示该物体和该测量模块之间的相对位置的图像。例如,如图5所示,诸测量模块共同观察在每个面上具有已知唯一标记的多面体55。多面体55的每个面上的标记之间的位置关系是预定的并且存储于计算机中。因为多面体55的每个面上的标记之间的相对位置关系是已知的,并且由每个测量模块14捕捉到的多面体55的相应图像包括多面体55和该测量模块之间的相对位置的嵌入信息,所以各个测量模块之间的相对位置被确定。
除了图5所示的多面体55以外,还可以将其它类型的具有已知几何特征的普通物体用于执行校准过程,如图5所示的具有已知网格线的参考平台56。在1998年9月22日授予Jackson等人的标题为“Method and Apparatusfor Calibrating Alignment cameras Used in the Alignment of Motor VehicleWheels”的美国专利号5,809,658以及提交于2000年5月20日的标题为“SELF-CALIBRATING,MULTI-CAMERA MACHINE VISIONMEASURING SYSTEM”的美国专利申请序列号09/576,442中,描述了可用来确定测量模块和相机之间的相对位置的其它装置和方法,这两个文献已通过引用结合于此。
计算机利用关于实施例1讨论的方法、基于相应的捕捉到的图像来得到每个轮子54的空间特征。计算机基于捕捉到的图像来产生并存储包括轮子54的轮胎界面、环、边缘、旋转轴、中心等等的每个轮子的轮廊。由于测量模块和相机的组之间的相对位置是已知的,所以计算机基于测量模块/相机的组之间的已知相对位置以及每个轮子的空间特征来确定轮子之间的相对空间关系。轮子位置和角度基于由测量模块捕捉到的图像来确定,并被平移至主坐标系如车辆坐标系。轮子对准参数于是基于每个轮子的相应空间特征和/或轮子之间的相对空间关系来确定。
例如,在轮子位置和角度被确定并平移至车辆坐标系之后,计算机通过将轮子投影到与车辆所倚靠的表面平行的投影平面上来产生轮子的二维图。车辆的轴通过画出链接车辆相对侧的轮子中心的直线来确定。车辆的推力线(thrust line)通过链接每个轴的中点来确定。后轮束角基于投影到投影平面上的轮子平面来确定。
实施例3
图6示出了利用不同的校准方法实施非接触式测量的另一示例性测量系统。使用多个测量模块14A-14D来获得车轮54的图像。每个测量模块包括用于产生轮子的至少两个图像的至少一个成像设备。例如,每个测量模块包括以已知的相互位置关系布置的两个测量相机。与上述实施例相似,该系统进一步包括接收或可访问由测量模块捕捉到的图像的数据处理系统如计算机。
每个测量模块进一步包括用于确定测量模块之间的相对位置的校准设备。例如,测量模块14A包括校准目标58和校准相机57。校准相机57用于观察另一测量模块14B的校准目标58,且测量模块14A上的校准目标58由另一测量模块14D的校准相机57观察。校准目标58和校准相机57与它们的相应测量模块中的测量相机预校准。换句话说,同一测量模块中的校准相机及目标和测量相机之间的相对位置是已知的,其数据可以被计算机访问。因为测量模块之间的相对位置通过使用校准目标和校准相机来确定,并且每个测量模块中的测量相机和校准目标及相机之间的相对位置是已知的,所以该系统中相机之间的相对空间关系可以被确定。利用关于实施例1描述的技术,轮子位置和角度基于由测量模块捕捉到的图像来确定,并且被平移至主模块坐标系,并进一步被平移至车辆坐标系。
根据一个实施例,以这样的方式来布置每个测量模块14的校准目标58和校准相机57:所测试车辆不阻挡校准目标被对应的校准相机进行视线观察,使得甚至在测量过程中也可以执行动态对准。
实施例4
图7示出了利用又一对准方法实施非接触式测量的另一示例性测量系统300。系统300的某些设备和部件与图6中所示的那些相似,且同样的标号用于指示同样的元件。系统300包括用以捕捉车轮54的图像的多个测量模块14。每个测量模块14包括用于产生轮子的至少两个图像的至少一个成像设备。例如,测量模块14包括以已知的相互位置关系布置的两个相机。与上述实施例相似,系统300进一步包括接收或可访问由测量模块捕捉到的图像的数据处理系统如计算机。此外,每个测量模块14包括由公共校准相机59观察的校准目标60,公共校准相机59位于诸如车库天花板的位置,该位置不会被所测量车辆或物体阻挡,并且维持对校准目标60的视线观察。每个测量模块14的相机和校准目标60被预校准。换句话说,同一测量模块中的校准目标和相机的相对位置是已知的,且其数据可以被计算机访问。
计算机基于由公共校准相机59捕捉到的每个测量模块14的校准目标60的图像来确定测量模块14之间的相对位置和角度。由于现在测量模块之间的相对位置是已知的,且每个测量模块14中的校准目标60和相机之间的相对位置是预定的,因此可以得到该系统中相机之间的相对空间关系。轮子位置和角度基于由测量模块捕捉到的图像来确定,并且被平移至主模块坐标系,并进一步被平移至车辆坐标系。
在另一实施例中,每个测量模块中的校准目标60被校准相机所替换,且公共校准相机59被公共校准目标所替换。再次地,每个测量模块14的校准相机和测量相机被预校准。因此,测量模块或相机之间的相对位置关系可以基于由校准相机捕捉到的公共校准目标的图像来确定。轮子的空间特征利用关于实施例1描述的技术来确定。
实施例5
图8示出了根据本公开的实施非接触式测量的另一示例性测量系统800。系统800包括用于将车辆支撑在其上的规定位置的平台如千斤顶64。一个或多个预测量的系泊站62A-62F被提供在千斤顶64周围。每个系泊站62具有预定的或已知的相对于其它系泊站62的位置关系。一个或多个测量模块14被支撑在附着到基座63的基架65上。使得该基座以唯一且预建立的关系与系泊站62配合。
每个测量模块14包括用于产生轮子的至少两个图像的至少一个成像设备。例如,每个测量模块14包括以已知的相互位置关系布置的两个相机4、5。与上述实施例相似,系统800进一步包括接收或可访问由测量模块14捕捉到的图像的数据处理系统如计算机(未示出)。相机4、5和基座63之间的位置关系在校准过程中被确立。
系泊站62的位置被预布置成适应具有不同尺度的车辆,使得测量模块14在安装后将处于距车轮的可接受范围内。例如,短轮距车辆可使用系泊站62A、62B、62C和62D,而较长车辆可使用系泊站62A、62B、62E和62F。通过将测量模块14安装在预定的系泊站62上,获知测量模块14之间的相对位置。计算机利用前面实施例中描述的方法和途径来确定轮子对准参数或与所测试车辆相关的其它类型参数。
在上述实施例2-5中,虽然示出了用于对具有四个轮子的车辆执行非接触式测量的四个测量模块(一个测量模块用于一个轮子),但是这些系统可以利用更少的测量模块来执行相同的功能。例如,在如图5所示的系统100中,多模块配置可以利用少于四个的测量模块通过时间连续的测量来进行模拟。如果仅使用一个测量模块,则该测量模块从一个位置移动到另一个位置以从每个相应位置捕捉每个轮子和多面体55的图像。相似地,如图7和8所示的系统300和800可以仅利用一个从一个位置移动到另一个位置的测量模块来执行相同的功能。如图6所示的系统200可以通过仅使用三个测量模块来执行相同的功能。在工作中,三个测量模块中的每一个与一轮子相关联地安装。拍摄轮子和校准目标的第一组图像,用于确定三个轮子的空间特征以及测量模块之间的相对位置。然后,三个测量模块中的一个被移动并被安装在第四个轮子附近。其它测量模块保持在原来位置。然后拍摄轮子和校准目标的第二组图像,用于确定第四个轮子的空间特征以及重定位的测量模块和至少一个未移动的测量模块之间的相对位置关系。轮子的相对位置和空间特征基于第一和第二组图像来确定。
该示例性非接触式测量系统的另一个应用是确定轮子或车身是否具有合适的形状和轮廓。计算机存储与轮子或车身的规定形状或轮廓相关的数据。在该非接触式测量系统获得所测量轮子或车身的轮廓之后,测量的轮廓与规定的形状/轮廓相比较以确定该形状是否与规范相符。如果所测试轮子或车身的规定形状与测量的轮廓之间的差异超出了预定的阈值,则计算机确定轮子或车身被变形。
实施例6
图9示出了根据本公开的概念的非接触式测量系统的另一实施例。相机18、19被封入诸如移动模块41的结构中,以测量车身24上的参考点20、21、22、23,或者测量附装到车身24的部件25,或者测量该车辆上的可标识特征如箍缩凸缘(pinch flange)26、27的末端。还可以使用诸如图1所示的相机布置的其它相机布置。
由相机18和19捕捉到的图像被发送到数据处理系统如计算机(未示出)以便进一步处理。由相机18、19获得的有代表性的图像分别在图11A和图11B中示出。利用立体图像匹配以及公共特征的确定,标识由相机18、19捕捉到的相应图像中的公共感兴趣点23(如图11A和11B所示)。为相机18、19中的每一个建立坐标系(x,y,z)。根据由相机18捕捉到的点23的图像的像素位置,如图12所示的点23和相机18之间的相对位置可以由连接点23与相机18的路径28表示,路径28由为相机18建立的坐标系(x,y,z)描述。同样地,根据由相机19捕捉到的点23的图像的像素位置,点23和相机19之间的相对位置可以由连接点23与相机19的路径29表示,路径29由为相机19建立的坐标系(x’,y’,z’)描述。路径28和29相交于点23。相机18、19之间的相对位置是预定的或预校准的,并且这样的信息被存储在计算机中或者可由计算机访问。因此,感兴趣点23相对于相机18的坐标可以通过寻找为路径28、29相交点的公共点来计算。其它感兴趣点20、21、22、26、27相似地以相对于相机18的坐标系的x,y,z坐标来计算。如果期望,可以基于相对于相机18或19的坐标系的点的已知坐标来为车辆建立新的坐标系(Vx,Vy,Vz)。
计算机还存储或可访问与车辆上的许多预标识的点如点20、21、22、23、26、27的位置的规范相关的数据。测量点的空间位置与规范的偏差是车身或结构损坏的指示。计算机的显示器可以向用户显示关于变形存在的提示,并且利用碰撞修理技术领域中熟知的方法来提供关于这种扭曲或变形的校正的指导。
现在描述由计算机执行的基于由相机18、19捕捉到的图像来确定上述点的空间位置的步骤和数学计算。
在相机坐标系(CCS)中,原点处于相机的焦点。如图12所示,Z轴垂直于相机图像平面,X和Y轴处于相机图像平面上。焦距F是从焦点/原点到相机图像平面的垂直距离。相机图像平面中心的CCS坐标为(0,0,F)。令射线(空间中的线)由从原点到该射线上一点的矢量P以及该射线方向上的单位矢量U来限定。于是从原点到该射线上任何点的矢量由下式给出:
22)R=P+(t*U)
其中t为标量变量。此点的坐标为R在CCS中的分量:Rx,Ry和Rz。
如果存在两个相机,并因此两个相机坐标系是可用的,则令CCS0为相机18的CCS并且令CCS1为相机19的CCS。如上所述,相机18和19之间的相对位置是已知的。由此,令C1为从CCS0的原点到CCS1的原点的矢量,并且令U1X、U1Y和U1Z为相对于CCS0限定的CCS1的单位矢量。令R0为相机18的图像平面上的位于像素坐标x0,y0的点。此点的坐标是(x0,y0,F0),其中F0是主相机的焦距。R0也是从CCS0的原点到此点的矢量。令U0为R0方向上的单位矢量。于是:
23)U0=R0/|R0|
令此为连接点23与相机18的路径的单位矢量。对于此路径,P=0。令R1为第二相机图像平面上的位于像素坐标x1,y1的点。此点在CCS1中的坐标为(x1,y1,F1),其中F1是第二相机的焦距。R1也是从CCS1的原点到此点的矢量。令U1为CCS1中的R1方向上的单位矢量。于是,在CCS0中:
24)R1=C1+(x1*U1X)+(y1*U1Y)+(F1*U1Z)
25)U1=(R1-C1)/|R1-C1|
令U1为连接点23与相机19的第二路径的单位矢量。在CCS0中,第二路径的P为C1。第一路径上的点的坐标为:
26)PR0=t0*U0
第二路径上的点的坐标为:
27)PR1=C1+(t1*U1)
这两个路径的最接近点被确定为:
28a)t0=((C1*U0)-(U0*U1)(C1*U1))/D
28b)t1=((C1*U0)(U0*U1)-(C1*U1))/D
28c)D=1.-(U0*U1)2
利用由等式26和27确定的PR0和PR1,并利用从等式28a和28b得到的t0和t1,这些点之间的距离为:
29)d=|PR1-PR0|
并且射线的相交点被确定为中点:
30)PI=(PR1+PR0)/2
由此,使用如上所述的方法,计算机基于由相机18和19捕捉到的图像来确定点的空间参数。
实施例7
图10示出了根据本公开的概念的非接触式测量系统的另一实施例。该系统包括具有被封入外壳42中的诸如激光器的准直光源35和单个相机34的测量模块。该测量模块用于测量任何3D物体如车辆的表面上的参考点44、45、46、47相对于相机光源坐标系的位置,如果这些点处于相机的视场中并且处于至光源的未被阻挡的视线上的话。该示例性系统用于测量车身43上的点的位置,或者测量附装到车身的部件50,或者测量车辆的可公共标识的特征如箍缩凸缘48、49的末端。该系统进一步包括被配置成接收与由相机34捕捉到的图像相关的数据。
激光器35用镜子36和控制设备37来瞄准,控制设备37由计算机(未示出)以将光线38瞄准到车身43上的感兴趣区上的方式来控制,该感兴趣区如将光线40反射到相机34中的斑39。由于光线38在计算机的控制下移动,可获知光线38相对于相机34的相机坐标系(CCS)的起点和取向。如图13所示,在相机34的视场中,投影光斑51位于x位置52和y位置53。投影光斑51的空间位置通过三角测量被计算为相机坐标系中的x,y,z坐标。将简要说明关于如何确定点51坐标的详细数学分析。
通过扫描诸如已知点47的感兴趣点周围的光,计算该点在相机34的坐标系中的位置。同样地,通过扫描遍及整个车身43的斑,所有感兴趣特征可以被映射到相机34的CCS中。相机、激光器系统及其旋转的相对位置由结构光(structured light)视觉计量学领域通用的装置来校准。当基准点45、46、47在空间中被标识并定位时,与基准点的空间参数相关的信息被转置到车辆坐标系(Vx,Vy,Vz)中。其它感兴趣点如点44可以相对于车辆坐标系来表达。计算机储存或可访问与车辆上许多点的位置的规范相关的数据。测量点的空间位置与规范的偏差是车身或结构损坏的指示。计算机的显示器可以向用户显示关于变形存在的提示,并且利用碰撞修理技术领域中熟知的方法来提供关于这种扭曲或变形的校正的指导。
现在描述用于确定感兴趣点的空间参数的详细过程和数学计算。在相机坐标系(CCS)中,原点处于相机34的焦点。Z轴垂直于相机图像平面,且X和Y轴处于相机图像平面上。相机34的焦距F为从焦点/原点到相机图像平面的垂直距离。相机图像平面的中心的CCS坐标是(0,0,F)。
令射线(空间中的线)由从原点到该射线上一点的矢量P以及该射线方向上的单位矢量U来限定。于是从原点到该射线上任何点的矢量由下式给出:
1)R=P+(t*U)
其中t为标量变量。该射线上的此点的坐标为R在CCS中的分量:Rx,Ry和Rz。
在图14中,示出了与相机34和光投影机54相关的两条射线38、40。第一射线从相机34的CCS原点到空间中的点,在该点处,光线撞击3D物体表面上一感兴趣点。此射线还与相机图像平面相交。第二射线从光投影机54到该物体上的同一点。
对于第一射线,选择P作为CCS原点,所以P=0,并且令R0为相机图像平面上的位于像素坐标x0,y0的点。此点的坐标是(x0,y0,F0),其中F0是相机的焦距。R0也是从CCS原点到此点的矢量。令U0为R0方向上的单位矢量。于是:
2)U0=R0/|R0|
从CCS原点到物体上该点的矢量为:
3)RP0=t0*U0
如前所述,光投影机54相对于相机34的CCS的相对位置和取向由例如校准程序来预定。由此,第二射线上的点由下式给出:
4)RL=PL+(tL*UL)
由于光线的移动由计算机控制,可根据校准程序获知PL和UL。
此第二射线(光线)上撞击3D物体的点为:
5)RPL=PL+(tL*UL)
这两条射线的最接近点被确定为:
6a)t0=((PL*U0)-(U0*UL)(PL*UL))/D
6b)tL=((PL*U0)(U0*UL)-(PL*UL))/D
6c)D=1.-(U0*UL)2
利用由等式(3)和(5)确定的PR0和PRL,并且利用从等式(6)得到的t0和tL,这些点之间的距离为:
7)d=|RPL-RP0|
射线的相交点被确定为中点:
8)PI=(RPL+RP0)/2
实施例8
图15示出了将非接触式测量用于碰撞修理的另一示例性系统。该系统包括多个测量模块,其每个具有单个相机和结构光。结构光和相机的结构与图10和14所示的相似。测量模块14A用于观察下车身中未损坏的车辆基孔,而测量模块14B用于测量车辆的损坏部分如前端,其中预定的基孔太远或者被夹紧或牵引设备(未示出)遮掩,以至于不能进行校正。测量模块14A和14B利用校准设备确定它们之间的相对位置。例如,如图16所示,一组校准相机57和校准目标58被用来确立测量模块14A和14B之间的相对位置。
还使用第三测量模块14C来测量A柱65、B柱66和门角67的上车身参考点。测量模块14C还可以用来对由模块14A或14B测量的公共点进行冗余测量以提高测量精度,或者用来允许在一些视图中阻挡一些感兴趣点,该阻挡是使用夹紧或牵引设备所必需的。虽然此系统示出了相机和目标的几何标识符,但是也可以通过由测量模块或外部相机系统对公共已知物体进行观察、或通过使用如前所述的系泊站来确立相对模块位置。
图16示出了将本公开的非接触式测量技术用于碰撞修理的另一实施例。除了用于获得图像的测量模块的详细结构之外,图16中所示的系统与图15中所示的系统基本上相似。在图16中示出的系统中使用的测量模块包括两个测量相机,而不是图15中所示的相机和结构光的组合。
数据处理系统
在上述系统中使用的数据处理系统执行许多任务,如处理位置信号、计算相对位置、向操作员提供用户接口、显示对准指令和结果、从操作员接收命令、发送控制信号以重定位对准相机等。数据处理系统从相机接收捕捉到的图像并基于捕捉到图像执行计算。机器可读指令用于控制数据处理系统执行如本公开所述的功能和步骤。
图17是数据处理系统900的框图,可以在数据处理系统900上实施本公开的实施例。数据处理系统900包括:总线902或用于传达信息的其它通信机构;以及与总线902耦合的用于处理信息的处理器904。数据处理系统900还包括主存储器906如随机存取存储器(RAM)或其它动态存储设备,其耦合到总线902用于存储要被处理器904执行的信息和指令。在执行要被处理器904执行的指令期间,主存储器906还可以用于存储临时变量或其它中间信息。数据处理系统900进一步包括只读存储器(ROM)909或其它静态存储设备,其耦合到总线902用于为处理器904存储静态信息和指令。存储设备910如磁盘或光盘被提供并且耦合到总线902,用于存储信息和指令。
数据处理系统900可以经由总线902耦合到用于向操作员显示信息的显示器912如阴极射线管(CRT)。包括字母数字键和其它键的输入设备914耦合到总线902,用于向处理器904传达信息和命令选择。另一类型的用户输入设备是光标控制器916如鼠标、跟踪球或光标方向键,其用于向处理器904传达方向信息和命令选择以及用于控制显示器912上的光标移动。
响应于处理器904执行包含在主存储器906中的一个或多个指令的一个或多个序列,数据处理系统900被控制。这样的指令可以从诸如存储设备910的另一机器可读介质读入主存储器906。执行包含在主存储器906中的指令序列导致处理器904执行这里所描述的处理步骤。在可替选实施例中,可以代替软件指令或与软件指令相组合地使用硬连线电路来实施本公开。因此,本公开的实施例不局限于硬件电路和软件的任何特定组合。
这里使用的术语“机器可读介质”是指参与提供用于执行的指令给处理器904的任何介质。这样的介质可以采取许多形式,包括但不局限于非易失介质、易失介质和传输介质。非易失介质例如包括光盘或磁盘,如存储设备910。易失介质包括动态存储器如主存储器906。传输介质包括同轴线缆、铜线和光纤,其包括包含总线902的线。传输介质还可以采取诸如那些产生于无线电波及红外数据通信期间的声波或光波的形式。
机器可读介质的通常形式例如包括软盘、软磁盘、硬盘、磁带或任何其它磁介质、CD-ROM、任何其它光学介质;穿孔卡片、纸带、任何其它具有孔图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁带、下文所述的载波、或数据处理系统可从其读取数据的任何其它介质。
各种形式的机器可读介质可以用于将一个或多个指令的一个或多个序列运载至处理器904用于执行。例如,指令最初可以承载在远程数据处理的磁盘上。该远程数据处理系统可以将指令加载到它的动态存储器中并利用调制解调器通过电话线发送指令。位于数据处理系统900本地的调制解调器可以接收电话线上的数据并使用红外发射机将该数据转换为红外信号。红外探测器可以接收承载在红外信号中的数据,并且适当的电路可以将该数据放置在总线902上。总线902将该数据运载至主存储器906,处理器904从主存储器906得到指令并执行之。由主存储器906接收到的指令在由处理器904处理之前或之后可以任选地存储在存储设备910上。
数据处理系统900还包括耦合到总线902的通信接口919。通信接口919提供耦合到与局域网922相连接的网络链路920的双向数据通信。例如,通信接口919可以是用以提供至对应类型电话线的数据通信连接的调制解调器或综合业务数字网(ISDN)卡。另例如,通信接口919可以是用以提供至兼容LAN的数据通信连接的局域网(LAN)卡。还可以实施无线链路。在任何这样的实施中,通信接口919发送和接收承载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
网络链路920典型地通过一个或多个网络向其它数据设备提供数据通信。例如,网络链路920可以通过局域网922提供至主机数据处理系统924或至由因特网服务提供商(ISP)926操作的数据设备的连接。ISP 926又通过现在通常称为“因特网”929的全球包数据通信网来提供数据通信服务。局域网922和因特网929均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和在网络链路920上并通过通信接口919的信号运载数字数据到数据处理系统900或从数据处理系统900运载数字数据,是传送信息的载波的示例性形式。
数据处理系统900可以通过网络、网络链路920及通信接口919发送消息和接收包括程序代码的数据。以因特网为例,服务器930可以通过因特网929、ISP 926、局域网922及通信接口919发送所请求的应用程序代码。根据本公开的实施例,一个这样的下载应用提供这里所述的对准器的自动校准。
该数据处理还具有用于连接到外围设备并与之通信的各种信号输入/输出端口(未在图中示出),这些外围设备如USB端口、PS/2端口、串行端口、并行端口、IEEE-1394端口、红外通信端口等或其它专有端口。测量模块可以经由这样的信号输入/输出端口与该数据处理系统通信。
已参考本公开的特定实施例描述了本公开。然而显然可以对本公开进行各种修改及改变而不背离本公开较宽泛的精神和范围。相应地,说明书和附图应视为说明性的而非限制性的。
Claims (20)
1.一种测量系统,包括:
至少一个图像捕捉设备,被配置成从不同观察角度产生物体的至少两个图像;以及
数据处理系统,被配置成基于从所述至少两个图像得到的数据来确定所述物体的空间特征。
2.如权利要求1所述的系统,其中:
所述至少一个图像捕捉设备包括多个图像捕捉设备;
所述多个图像捕捉设备中的每一个对应于车辆的轮子,并且被配置成从不同观察角度产生所述轮子的至少两个图像;
如权利要求1所述的系统进一步包括用于产生表示所述多个图像捕捉设备之间的相对位置关系的信息的校准装置;并且
所述数据处理系统被配置成基于由所述多个图像捕捉设备产生的图像以及表示所述多个图像捕捉设备之间的相对位置关系的信息,来确定所述车辆的轮子的空间特征。
3.如权利要求2所述的系统,其中:
所述校准装置包括至少一个校准相机和至少一个校准目标的组合;
所述至少一个校准相机和所述至少一个校准目标中的每一个以已知的位置关系附着到所述多个图像捕捉设备中的一个;并且
所述至少一个校准相机中的每一个被配置成产生所述至少一个校准目标中的一个的图像。
4.如权利要求2所述的系统,其中所述校准装置包括由公共校准相机观察的、附着到所述多个图像捕捉设备中的每一个的校准目标。
5.如权利要求2所述的系统,其中:
表示所述多个图像捕捉设备之间的相对位置关系的信息是基于多个校准目标的图像产生的,
所述多个校准目标之间的位置关系是已知的,
所述多个校准目标中的每一个的图像由所述至少一个图像捕捉设备或至少一个校准相机中的一个来捕捉,并且
所述至少一个校准相机中的每一个以已知的位置关系附着到所述至少一个图像捕捉设备中的一个。
6.如权利要求2所述的系统,进一步包括:
平台,用于在所述平台上的预定位置支撑所述车辆;
多个系泊站,被设置在相对于所述平台的预定位置,其中所述多个系泊站之间的位置关系是已知的;并且
所述多个图像捕捉设备中的每一个被配置成安装在所述多个系泊站中的一个上以便捕捉所述车辆的所述轮子的图像;
其中所述数据处理系统被配置成基于所述多个系泊站之间的位置关系以及由所述多个图像捕捉设备产生的图像来确定所述车辆的所述轮子的空间特征。
7.如权利要求1所述的系统,其中所述物体是车轮。
8.一种测量系统,包括:
成像装置,用于从不同观察角度产生物体的至少两个图像;以及
数据处理装置,用于基于从所述至少两个图像得到的数据来确定所述物体的空间特征。
9.如权利要求8所述的系统,其中:
所述成像装置包括多个图像捕捉设备;
所述多个图像捕捉设备中的每一个对应于车辆的轮子,并且被配置成从不同观察角度产生所述轮子的至少两个图像;
如权利要求8所述的系统进一步包括用于产生表示所述多个图像捕捉设备之间的相对位置关系的信息的校准装置;并且
所述数据处理装置基于由所述多个图像捕捉设备产生的图像以及表示所述多个图像捕捉设备之间的相对位置关系的信息,来确定所述车辆的轮子的空间特征。
10.如权利要求9所述的系统,其中:
所述校准装置包括至少一个校准相机和至少一个校准目标的组合;
所述至少一个校准相机和所述至少一个校准目标中的每一个以已知的位置关系附着到所述多个图像捕捉设备中的一个;并且
所述至少一个校准相机中的每一个被配置成产生所述至少一个校准目标中的一个的图像。
11.如权利要求9所述的系统,其中所述校准装置包括由公共校准相机观察的、附着到所述多个图像捕捉设备中的每一个的校准目标。
12.如权利要求9所述的系统,其中:
表示所述多个图像捕捉设备之间的相对位置关系的信息是基于多个校准目标的图像产生的,
所述校准目标之间的位置关系是已知的,
所述多个校准目标中的每一个的图像由所述至少一个图像捕捉设备或至少一个校准相机中的一个来捕捉,并且
所述至少一个校准相机中的每一个以已知的位置关系附着到所述至少一个图像捕捉设备中的一个。
13.如权利要求9所述的系统,进一步包括:
用于在所述支撑装置上的预定位置支撑所述车辆的装置;以及
系泊装置,被设置在相对于所述支撑装置的预定位置,用于承受所述多个图像捕捉设备中相应的一个;
其中:
所述多个系泊站之间的位置关系是已知的;
所述图像捕捉设备中的每一个被配置成安装在所述系泊装置中的一个上以便捕捉所述车辆的轮子的图像;并且
所述数据处理系统被配置成基于所述系泊装置之间的位置关系以及由所述多个图像捕捉设备产生的图像来确定所述车辆的所述轮子的空间特征。
14.如权利要求8所述的系统,其中所述物体是轮子。
15.一种测量方法,包括以下步骤:
从两个不同角度获得车辆的至少一个轮子的图像;并且
基于与所获得图像相关的数据来确定所述车辆的所述至少一个轮子的空间特征。
16.如权利要求15所述的方法,进一步包括以下步骤:
提供多个图像捕捉设备,其中所述多个图像捕捉设备中的每一个对应于所述车辆的所述至少一个轮子中的一个,并且被配置成从两个不同角度产生所述对应轮子的图像;
产生表示所述多个图像捕捉设备之间的关系的校准信息;并且
基于由所述多个图像捕捉设备产生的图像以及表示所述图像捕捉设备之间的相对位置关系的信息,来确定所述车辆的所述至少一个轮子的所述空间特征。
17.如权利要求16所述的方法,其中:
所述校准信息由包括至少一个校准相机和至少一个校准目标的组合的校准装置产生;
所述至少一个校准相机和所述至少一个校准目标中的每一个以已知的位置关系附着到所述多个图像捕捉设备中的一个;并且
所述至少一个校准相机中的每一个被配置成产生所述至少一个校准目标中的一个的图像。
18.如权利要求16所述的方法,其中:
所述校准信息由包括附着到每个相应图像捕捉设备的校准目标的校准装置产生,并且
每个校准目标由公共校准相机观察。
19.如权利要求16所述的方法,其中:
所述校准信息基于多个校准目标的图像来产生,
所述校准目标之间的位置关系是已知的,
所述多个校准目标中的每一个的图像由所述至少一个图像捕捉设备或至少一个校准相机中的一个来捕捉,并且
所述至少一个校准相机中的每一个以已知的位置关系附着到所述至少一个图像捕捉设备中的一个。
20.如权利要求16所述的方法,其中:
所述车辆被平台支撑在所述平台上的预定位置;
所述校准信息由校准装置产生,
所述校准装置包括:
多个系泊站,被设置在相对于所述平台的预定位置,其中所述多个系泊站之间的位置关系是已知的;并且
每个相应图像捕捉设备被配置成安装在所述多个系泊站中的一个上以便捕捉所述车辆的对应轮子的图像;
并且
基于所述系泊站之间的位置关系以及由所述图像捕捉设备产生的图像,来确定所述车辆的所述至少一个轮子的所述空间特征。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US64006004P | 2004-12-30 | 2004-12-30 | |
US60/640,060 | 2004-12-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101124454A true CN101124454A (zh) | 2008-02-13 |
Family
ID=36096295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2005800474153A Pending CN101124454A (zh) | 2004-12-30 | 2005-12-28 | 非接触式车辆测量方法及系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20060152711A1 (zh) |
EP (1) | EP1831642A1 (zh) |
CN (1) | CN101124454A (zh) |
WO (1) | WO2006074026A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102016495A (zh) * | 2008-04-23 | 2011-04-13 | 罗伯特.博世有限公司 | 用于进行底盘测量的方法和装置 |
CN102257354A (zh) * | 2008-12-19 | 2011-11-23 | 罗伯特·博世有限公司 | 用于行驶机构测量的方法及用于测量机动车行驶机构几何参数的装置 |
CN102812326A (zh) * | 2010-03-29 | 2012-12-05 | 罗伯特·博世有限公司 | 用于控制测量系统的方法和用于实施所述方法的测量系统 |
CN102971604A (zh) * | 2010-05-05 | 2013-03-13 | 思贝斯独资有限公司 | 用于确定车辆车轮对准的系统和相关方法 |
CN103547885A (zh) * | 2011-05-24 | 2014-01-29 | 罗伯特·博世有限公司 | 用于测量机动车的行走机构的设备和方法 |
CN103814271A (zh) * | 2011-09-21 | 2014-05-21 | 塞母布有限公司 | 一般用于测量车辆的车轮、转向系统和底盘的特征角和尺寸的设备和方法 |
CN110678726A (zh) * | 2017-06-12 | 2020-01-10 | 倍耐力轮胎股份公司 | 用于检查轮胎的方法 |
CN111801546A (zh) * | 2018-02-26 | 2020-10-20 | 罗伯特·博世有限公司 | 车辆传感器校准对准和方法 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8341848B2 (en) | 2005-09-28 | 2013-01-01 | Hunter Engineering Company | Method and apparatus for vehicle service system optical target assembly |
US7444752B2 (en) | 2005-09-28 | 2008-11-04 | Hunter Engineering Company | Method and apparatus for vehicle service system optical target |
ITFI20060196A1 (it) | 2006-08-04 | 2008-02-05 | Fasep 2000 S R L | Metodo e dispositivo per la misura senza contatto dell'allineamento di ruote di autoveicoli |
DE102006042308A1 (de) * | 2006-09-08 | 2008-03-27 | Beissbarth Gmbh | Verfahren zum Auffinden eines Geometriedetails zur Bestimmung der räumlichen Lage einer Radfelge zu einem Messgerät sowie Verfahren und Vorrichtung zur Bestimmung der räumlichen Lage einer Radfelge zu einem Messgerät |
DE102006042309A1 (de) * | 2006-09-08 | 2008-03-27 | Beissbarth Gmbh | Verfahren zum Bestimmen von Abständen zur Fahrwerksvermessung eines Kraftfahrzeugs sowie Messgerät, Fahrwerksvermessungseinrichtung und Prüfstraße |
DE102006058383A1 (de) | 2006-12-08 | 2008-06-12 | Robert Bosch Gmbh | Verfahren zur optischen Fahrwerksvermessung |
EP2636989B1 (en) | 2007-05-21 | 2017-04-19 | Snap-on Incorporated | Method and apparatus for wheel alignment |
US7953247B2 (en) * | 2007-05-21 | 2011-05-31 | Snap-On Incorporated | Method and apparatus for wheel alignment |
CN105373792A (zh) * | 2007-05-21 | 2016-03-02 | 实耐宝公司 | 车轮定位的方法和设备 |
US7684026B2 (en) * | 2007-07-27 | 2010-03-23 | Snap-On Incorporated | Fault tolerant wheel alignment head and system |
FR2921478A1 (fr) * | 2007-09-24 | 2009-03-27 | 3D Ouest Sarl | Systeme et methode d'acquisition de caracteristiques tridimensionnelles d'un objet a partir d'images prises par une pluralite d'organes de mesure |
FR2930986B1 (fr) * | 2008-05-07 | 2010-06-11 | Actia Muller | Procede et dispositif de controle de vehicule a deux roues |
US9449378B2 (en) | 2008-05-22 | 2016-09-20 | Matrix Electronic Measuring Properties, Llc | System and method for processing stereoscopic vehicle information |
US8345953B2 (en) | 2008-05-22 | 2013-01-01 | Matrix Electronic Measuring Properties, Llc | Stereoscopic measurement system and method |
DE102008055163A1 (de) * | 2008-12-29 | 2010-07-01 | Robert Bosch Gmbh | Verfahren zur Fahrwerksvermessung sowie Vorrichtung zum Vermessen der Fahrwerksgeometrie eines Fahrzeugs |
US20110069179A1 (en) * | 2009-09-24 | 2011-03-24 | Microsoft Corporation | Network coordinated event capture and image storage |
DE102010039246A1 (de) | 2010-08-12 | 2012-02-16 | Robert Bosch Gmbh | Verfahren zum Kalibrieren eines Messsystems und Vorrichtung zum Durchführen des Verfahrens |
DE102011003553A1 (de) * | 2011-02-03 | 2012-08-09 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur optischen Aufnahme des Unterbodens eines Fahrzeugs |
DE102012200415A1 (de) | 2011-03-29 | 2012-10-04 | Robert Bosch Gmbh | System und Verfahren zum Kalibrieren eines Referenzsystems zur Fahrzeugvermessung |
DE102011077897A1 (de) * | 2011-06-21 | 2012-12-27 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Positionieren einer externen Einrichtung bezüglich eines Kraftfahrzeugs |
RU2015105817A (ru) * | 2012-07-20 | 2016-09-10 | МАТРИКС ЭЛЕКТРОНИК МЕЖЕРИНГ ПРОПЕРТИЗ, ЭлЭлСи | Система и способ обработки стереоскопической информации о транспортном средстве |
US9377379B2 (en) | 2013-03-08 | 2016-06-28 | Keith Lee | Method, system and apparatus for assessing wheel condition on a vehicle |
US20140253908A1 (en) | 2013-03-08 | 2014-09-11 | Keith Lee | Method, system and apparatus for assessing wheel condition on a vehicle |
DE102013211207A1 (de) * | 2013-06-14 | 2014-12-18 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Referenzieren von Messwertaufnehmern zur Fahrzeugvermessung |
EP3060879B1 (en) * | 2013-10-22 | 2021-09-22 | Arora, Pooja | Optical device and method for wheel alignment |
ITBO20130617A1 (it) * | 2013-11-12 | 2015-05-13 | Marposs Spa | Sistema e metodo per il controllo della posizione mutua di componenti di un pezzo meccanico e apparecchiatura che utilizza tali sistema e metodo |
KR101510336B1 (ko) * | 2013-11-14 | 2015-04-07 | 현대자동차 주식회사 | 차량용 운전자 지원 시스템의 검사 장치 |
KR101510338B1 (ko) * | 2013-11-22 | 2015-04-07 | 현대자동차 주식회사 | 차량용 차선 이탈 경보 시스템의 검사 장치 |
CN103712577B (zh) * | 2013-12-20 | 2016-10-05 | 华南理工大学 | 一种基于图像处理的深孔垂直度测量系统及其测量方法 |
US10001365B2 (en) * | 2014-09-04 | 2018-06-19 | The Boeing Company | Methods and systems for forming a mandrel assembly for use with a locating system |
US10222455B1 (en) | 2014-09-05 | 2019-03-05 | Hunter Engineering Company | Non-contact vehicle measurement system |
DE102014219109A1 (de) * | 2014-09-23 | 2016-03-24 | Robert Bosch Gmbh | Referenzsystem und Messwertaufnehmer zum Einsatz in der Fahrzeugvermessung |
US10068389B1 (en) | 2014-10-24 | 2018-09-04 | Hunter Engineering Company | Method and apparatus for evaluating an axle condition on a moving vehicle |
US10697766B1 (en) | 2014-11-25 | 2020-06-30 | Hunter Engineering Company | Method and apparatus for compensating vehicle inspection system measurements for effects of vehicle motion |
US9779561B1 (en) * | 2014-11-25 | 2017-10-03 | Hunter Engineering Company | Drive-through inspection system for a moving vehicle |
US10408610B1 (en) | 2015-07-30 | 2019-09-10 | Hunter Engineering Company | Method and system for displacement measurement of surfaces on a moving vehicle |
CN105091794A (zh) * | 2015-08-19 | 2015-11-25 | 深圳科澳汽车科技有限公司 | 一种检测车辆轮胎外倾角与前束角的装置及方法 |
US10240916B1 (en) | 2016-01-05 | 2019-03-26 | Hunter Engineering Company | Method and apparatus for calibrating an inspection system for moving vehicles |
US10475201B1 (en) | 2016-02-02 | 2019-11-12 | Hunter Engineering Company | Method and apparatus for determining wheel rim and tire dimensions on a moving vehicle |
JP6543823B2 (ja) * | 2016-05-13 | 2019-07-17 | 本田技研工業株式会社 | 鞍乗り型車両の光学センサ配置構造 |
DE102017203426A1 (de) * | 2017-03-02 | 2018-09-06 | Robert Bosch Gmbh | Kalibrierboden, Messvorrichtung und Verfahren zur Kalibrierung von Fahrerassistenzsystemen |
CN113587832B (zh) * | 2021-08-21 | 2023-09-01 | 盐城高玛电子设备有限公司 | 一种车轴距差、轮距非接触自动测量装置及其测量方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2948573A1 (de) * | 1979-12-03 | 1981-06-04 | Siemens AG, 1000 Berlin und 8000 München | Verfahren und anordnung zur beruehrungslosen achsvermessung an kraftfahrzeugen |
DE4212426C1 (en) * | 1992-04-14 | 1993-07-01 | Wolfgang 3407 Gleichen De Brunk | Measurement of tracking and camber of vehicle wheel axles - recording markers on rotating wheels using synchronised video cameras, image evaluation of marker positions |
DE4217702A1 (de) * | 1992-05-24 | 1993-11-25 | Vision Tools Bildanalyse Syste | Verfahren und Gerät zur Sturz-Spurvermessung |
US5535522A (en) * | 1992-09-04 | 1996-07-16 | Jackson; Bernie F. | Method and apparatus for determining the alignment of motor vehicle wheels |
US5724743A (en) * | 1992-09-04 | 1998-03-10 | Snap-On Technologies, Inc. | Method and apparatus for determining the alignment of motor vehicle wheels |
US5809658A (en) * | 1993-09-29 | 1998-09-22 | Snap-On Technologies, Inc. | Method and apparatus for calibrating cameras used in the alignment of motor vehicle wheels |
JPH09133510A (ja) * | 1995-11-07 | 1997-05-20 | Sanyo Mach Works Ltd | ホイールアライメント測定方法 |
EP0803703B1 (en) * | 1996-04-23 | 2002-07-24 | G.S. S.r.l. | A method of determining vehicle wheel alignment |
SE510342C2 (sv) * | 1996-12-20 | 1999-05-17 | Volvo Lastvagnar Ab | Förfarande och mätsystem för hjulinställning |
IT1294940B1 (it) * | 1997-08-01 | 1999-04-23 | Corghi Spa | Metodo e dispositivo per regolare l'assetto di un autoveicolo |
DE19755667A1 (de) * | 1997-12-15 | 1999-06-24 | Peter Dipl Ing Wlczek | Verfahren zur Bestimmung der geometrischen Oberflächendaten und der Oberflächeneigenschaften realer Objekte |
DE19757760A1 (de) * | 1997-12-23 | 1999-07-01 | Bosch Gmbh Robert | Vorrichtung zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen |
US7065462B2 (en) * | 1998-07-24 | 2006-06-20 | Merilab, Inc. | Vehicle wheel alignment by rotating vision sensor |
JP2002543411A (ja) * | 1999-04-30 | 2002-12-17 | ワグナー,クリストフ | 物体形状の光学的検出方法 |
DE19934864A1 (de) * | 1999-07-24 | 2001-02-08 | Bosch Gmbh Robert | Vorrichtung zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen |
DE19949704A1 (de) * | 1999-10-15 | 2001-05-10 | Bosch Gmbh Robert | Verfahren und Einrichtung zum Bewerten des Spieles in Lagern oder Gelenken miteinander gekoppelter Bauteile |
US6968282B1 (en) * | 2000-05-22 | 2005-11-22 | Snap-On Incorporated | Self-calibrating, multi-camera machine vision measuring system |
WO2002014784A1 (en) * | 2000-08-14 | 2002-02-21 | Snap-On Technologies, Inc. | Self-calibrating 3d machine measuring system useful in motor vehicle wheel alignment |
DE10043354A1 (de) * | 2000-09-02 | 2002-03-14 | Beissbarth Gmbh | Fahrwerkvermessungseinrichtung |
EP1466137B1 (en) * | 2001-12-28 | 2010-04-14 | Rudolph Technologies, Inc. | Stereoscopic three-dimensional metrology system and method |
ES2335196T3 (es) * | 2002-02-04 | 2010-03-23 | Corghi S.P.A. | Dispositivo para medir los parametros de posicion caracteristicos de un vehiculo. |
DE20212913U1 (de) * | 2002-08-22 | 2002-11-21 | 4D Vision Gmbh | Anordnung zur Aufnahme und dreidimensionalen Wiedergabe von räumlichen Objekten |
DE10335829A1 (de) * | 2003-08-05 | 2005-03-10 | Siemens Ag | Verfahren zur Bestimmung der Achsgeometrie und Sensor zu dessen Durchführung |
US7164472B2 (en) * | 2003-10-09 | 2007-01-16 | Hunter Engineering Company | Common reference target machine vision wheel alignment system |
-
2005
- 2005-12-28 EP EP05855825A patent/EP1831642A1/en not_active Withdrawn
- 2005-12-28 US US11/319,209 patent/US20060152711A1/en not_active Abandoned
- 2005-12-28 CN CNA2005800474153A patent/CN101124454A/zh active Pending
- 2005-12-28 WO PCT/US2005/047330 patent/WO2006074026A1/en active Application Filing
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8522609B2 (en) | 2008-04-23 | 2013-09-03 | Robert Bosch Gmbh | Method and device for wheel suspension alignment |
CN102016495B (zh) * | 2008-04-23 | 2016-12-28 | 罗伯特.博世有限公司 | 用于进行底盘测量的方法和装置 |
CN102016495A (zh) * | 2008-04-23 | 2011-04-13 | 罗伯特.博世有限公司 | 用于进行底盘测量的方法和装置 |
CN102257354B (zh) * | 2008-12-19 | 2014-08-13 | 罗伯特·博世有限公司 | 用于行驶机构测量的方法及用于测量机动车行驶机构几何参数的装置 |
US8578765B2 (en) | 2008-12-19 | 2013-11-12 | Robert Bosch Gmbh | Method for wheel suspension measurement and a device for measuring the wheel suspension geometry of a vehicle |
CN102257354A (zh) * | 2008-12-19 | 2011-11-23 | 罗伯特·博世有限公司 | 用于行驶机构测量的方法及用于测量机动车行驶机构几何参数的装置 |
CN102812326A (zh) * | 2010-03-29 | 2012-12-05 | 罗伯特·博世有限公司 | 用于控制测量系统的方法和用于实施所述方法的测量系统 |
CN102812326B (zh) * | 2010-03-29 | 2016-02-10 | 罗伯特·博世有限公司 | 用于控制测量系统的方法和用于实施所述方法的测量系统 |
CN102971604B (zh) * | 2010-05-05 | 2016-09-21 | 思贝斯独资有限公司 | 用于确定车辆车轮对准的系统和相关方法 |
CN102971604A (zh) * | 2010-05-05 | 2013-03-13 | 思贝斯独资有限公司 | 用于确定车辆车轮对准的系统和相关方法 |
CN103547885B (zh) * | 2011-05-24 | 2017-04-12 | 罗伯特·博世有限公司 | 用于测量机动车的行走机构的设备和方法 |
US9612106B2 (en) | 2011-05-24 | 2017-04-04 | Robert Bosch Gmbh | Device and method for measuring the running gear of a motor vehicle |
CN103547885A (zh) * | 2011-05-24 | 2014-01-29 | 罗伯特·博世有限公司 | 用于测量机动车的行走机构的设备和方法 |
CN103814271A (zh) * | 2011-09-21 | 2014-05-21 | 塞母布有限公司 | 一般用于测量车辆的车轮、转向系统和底盘的特征角和尺寸的设备和方法 |
CN110678726A (zh) * | 2017-06-12 | 2020-01-10 | 倍耐力轮胎股份公司 | 用于检查轮胎的方法 |
US11119008B2 (en) | 2017-06-12 | 2021-09-14 | Pirelli Tyre S.P.A. | Method for checking tires |
CN111801546A (zh) * | 2018-02-26 | 2020-10-20 | 罗伯特·博世有限公司 | 车辆传感器校准对准和方法 |
CN111801546B (zh) * | 2018-02-26 | 2022-04-19 | 罗伯特·博世有限公司 | 车辆传感器校准对准和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1831642A1 (en) | 2007-09-12 |
US20060152711A1 (en) | 2006-07-13 |
WO2006074026A1 (en) | 2006-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101124454A (zh) | 非接触式车辆测量方法及系统 | |
JP3708519B2 (ja) | 位置判断システム、このシステムの動作を制御する命令を記憶した機械読取可能媒体および位置判断システムを較正するための方法 | |
EP0880677B1 (en) | Method and apparatus for determining the alignment of motor vehicle wheels | |
EP3472555B1 (en) | Vehicle wheel alignment method and system | |
AU713446B2 (en) | Calibrating cameras used in alignment of wheels | |
EP2171397B1 (en) | Calibration and operation of wheel alignment systems | |
US7613361B2 (en) | Information processing method and device | |
US10719955B2 (en) | Camera extrinsic parameters estimation from image lines | |
US20060274302A1 (en) | Machine Vision Vehicle Wheel Alignment Image Processing Methods | |
EP0674759A4 (en) | METHOD AND APPARATUS FOR DETERMINING THE ALIGNMENT OF THE WHEELS OF A MOTOR VEHICLE. | |
US10687052B2 (en) | Camera parameter calculation method, recording medium, camera parameter calculation apparatus, and camera parameter calculation system | |
US20090040312A1 (en) | Calibration apparatus and method thereof | |
EP2636989B1 (en) | Method and apparatus for wheel alignment | |
CN107680139A (zh) | 一种远心双目立体视觉测量系统的通用性标定方法 | |
CN111833405B (zh) | 基于机器视觉的标定识别方法及装置 | |
WO2012135014A2 (en) | Image sensor calibration system and method | |
CN105574812A (zh) | 多角度三维数据配准方法及装置 | |
CN110827360B (zh) | 一种光度立体式测量系统及其标定光源方向的方法 | |
CN114820769A (zh) | 车辆定位方法、装置、计算机设备、存储介质及车辆 | |
CN113034565B (zh) | 一种单目结构光的深度计算方法及系统 | |
CN110503683B (zh) | 一种基于单目测距的狭窄车位倒车入库引导方法和系统 | |
Grochulla et al. | Using spatially distributed patterns for multiple view camera calibration | |
CN115690334B (zh) | 一种基于共面约束的三维重建整体优化方法 | |
AU669211C (en) | Method and apparatus for determining the alignment of motor vehicle wheels | |
CN117808892A (zh) | 基于摄像头的自动驾驶车载传感器标定系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |