CN113267137A - 一种轮胎形变的实时测量方法和装置 - Google Patents
一种轮胎形变的实时测量方法和装置 Download PDFInfo
- Publication number
- CN113267137A CN113267137A CN202110606442.0A CN202110606442A CN113267137A CN 113267137 A CN113267137 A CN 113267137A CN 202110606442 A CN202110606442 A CN 202110606442A CN 113267137 A CN113267137 A CN 113267137A
- Authority
- CN
- China
- Prior art keywords
- tire
- camera
- feature
- binocular camera
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title claims description 9
- 238000005259 measurement Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 210000003754 fetus Anatomy 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 31
- 230000001133 acceleration Effects 0.000 claims description 17
- 230000005484 gravity Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 230000035882 stress Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 241001455578 Indian peanut clump virus Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008646 thermal stress Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/02—Tyres
- G01M17/027—Tyres using light, e.g. infrared, ultraviolet or holographic techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种轮胎形变的实时测量方法和装置，该方法包括以下步骤：S1双目相机对胎内观测区域成像；S2判断是否为第一次运行，若“是”则进入S3，否则进入S6；S3对轮胎形变测量功能模块进行初始化；S4标定相机相对于车轮中心的外参；S5将初始化得到的特征信息和外参数据存储到特征文件；S6对观测区域进行形变测量，得到当前状态下观测区域的形变特征信息；S7判断是否满足外参自标定的条件，若“是”，则进入S8；否则进入S9；S8重新标定相机外参，并用当前的观测区域特征和外参更新特征文件中的数据内容；S9提取S6中得到的测量结果。该方法能得到更加准确的轮胎形变，简单、易实现、便于产品化。
Description
技术领域
本发明属于车辆工程和自动驾驶汽车技术领域，具体涉及一种轮胎形变的实时测量方法和装置。
背景技术
轮胎是车辆可以正常行驶的关键部件之一，其结构复杂，涉及非线性力学领域，轮胎受力分析是车辆动力学建模的基础。充气轮胎是一个受力非常复杂的系统，在内压和地面载荷作用下几何形状明显变化；橡胶具有超弹性和粘弹性，在动态下还有热应力等，给轮胎受力分析带来很大困难。因此，如果可以实时监测轮胎的形变，可为底盘综合控制提供更准确的轮胎-路面摩擦系数信息，对于轮胎的建模和受力分析以及车辆动力学建模都具有重要意义，为车辆主动安全性的提高提供更可靠的手段。
当前，测量轮胎形变的方式主要有两种：一种是在轮胎外部，基于车架固定安装特定传感器，监测轮胎的形状变化，但从外部观察，角度单一，无法全面反映轮胎在接地时的变化；另一种是在轮胎内部安装传感器，从内部观察轮胎的形变，这种方式可以直接地观察到轮胎在接地时的形态变化。
目前的胎内传感器已有多种，包括接触式的传感器和非接触式的传感器，接触式的传感器包括胎侧扭转传感器、加速度传感器等；其中，胎侧扭转传感器，在轮胎制造过程中向轮胎胎侧掺入磁粉，同时在悬架上固定磁场传感器，通过磁场信号变化，分析轮胎变形量；它无法测量垂直载荷变化，因此无法估计轮胎-路面摩擦系数；加速度传感器，在胎内安装加速度传感器，通过测得不同位置的加速度信号来分析轮胎变形；然而，当前如何解析这些加速度信号仍然是一个难题。
关于胎内的非接触方式监测轮胎形变当前主要采用下述几种方式：
(1)论文《On-line determination of tyre deformation,a novel sensorprinciple》(1998,Valentin et al.)，涉及一种安装于轮辋上、位于轮胎内侧的超声波传感器装置，通过检测胎内表面的距离，分析轮胎的变形，如图1所示。该方案仅能对轮胎单点位置的垂向变形及载荷进行分析，无法实现纵向和侧向的形变测量。
(2)中国专利CN107817117 A公开了《一种轮胎力学特性实时测量装置及其测量方法》，该测量装置在轮胎上嵌入多组超声波厚度测量仪和形态位置发射器，轮辋上安装对应的形态位置接收器，从而实时测量轮胎厚度和轮胎形变，如图2所示。该方案需要在轮胎内表面嵌入传感器，可能对于轮胎形变施加影响；另外，对于轮胎局部形变细节，该方案无法做出确切描述。
(3)论文《An in-wheel sensor for monitoring tire-terrain interaction:Development and laboratory testing》(2019，Longoria et al.)，涉及胎内并列摆放于轮辋之上的三个超声波传感器，如图3所示。该方案可以有效地测量轮胎不同位置在垂向上的变形，从而估计车轮侧倾角，及通过三个信号相位差别估计侧偏角等，但对于侧向变形不灵敏，且无法检测印迹区域在地面平面内的变形。
(4)美国专利US2003/0095050A1的专利公开了《Device for continuouslymeasuring deformations in a type during the travel movement of a motorvehicle》，该方案在轮辋上安装至少一组光线发射器和光线接收器，在轮胎内侧安装至少一组光线反射装置，通过利用两组反射光线的强弱和时间，计算出轮胎的形变，如图4所示。该方案可检测出纵向或侧向的偏移，但对于更复杂的轮胎形变则无能为力。
(5)美国专利US8087301B2的专利公开了《Optical systems and methods fordetermining tire characteristics》，涉及一种利用光学组件测量轮胎的系统和方法，包含一个网格、一个相机和一个处理器；网格可以随着轮胎形变而变化，相机安装于轮辋上以便获取到网格的图像，处理器用于进行图像处理并得到轮胎形变，如图5所示。该发明能够很好地检测在印迹平面内轮胎的形态变化，但因为是单目相机，无法得到网格点在相机坐标系中的三维坐标，因此对于印迹区域内轮胎单元在垂向上的位置变化无法确切感知；另外，需要在轮胎内壁粘贴网格，极大地增加了该技术方案产品化难度。
发明内容
本发明的目的在于提供一种轮胎形变的实时测量方法，该方法通过使用双目相机观测轮胎形变区域，可以得到轮胎形变区域较小分辨率的每一个点的三维坐标，进而估计印迹区域的整体形变，从而得到更加准确的轮胎形变，该方法更为简单、易实现、便于产品化。
为实现上述目的，本发明采用如下技术方案：
一种轮胎形变的实时测量方法，具体包括以下步骤：
步骤S1、在轮辋圆周方向上间隔均布设置N个双目相机，每个双目相机的两个镜头连线垂直于车轮平面，且镜头沿从轮胎中心出发的半径面向轮胎边缘，双目相机的基线长度及FOV应满足两个镜头可同时观测到轮胎最大印迹区域；之后在相邻两组双目相机之间安装一个漫反射光源；其中，所述双目相机，用于拍摄轮胎内表面图像；所述漫反射光源，用于在胎内提供光源，以便于双目相机成像；测量时，通过双目相机对胎内观测区域成像，拍摄得到的轮胎内表面图像发送给处理器；
步骤S2、处理器在获取图像信息后，首先判断是否为第一次运行，若“是”则进入步骤S3，否则进入步骤S6；
步骤S3、对处理器的轮胎形变测量功能模块进行初始化，即在双目相机安装好后，在轮胎非接地状态下进行胎内观测区域的特征检测，计算得到双目相机观测区域内特征点/块的三维坐标；
步骤S4、标定双目相机相对于车轮中心的外参；
步骤S5、将初始化得到的特征信息和外参数据存储到处理器的特征文件；
步骤S6、通过轮胎形变测量功能模块对胎内观测区域进行形变测量，得到当前检测的所有特征对应的三维坐标的集合，之后通过将当前检测到的所有特征对应的三维坐标与初始化特征文件中所保存的特征信息进行匹配，得到当前状态下观测区域的形变特征信息，即得到整个观测区域内与特征文件中所保存的特征点/块对应的匹配特征的三维坐标；
步骤S7、判断双目相机是否满足外参自标定的条件，若“是”，则进入步骤S8；否则进入步骤S9；
步骤S8、重新标定相机外参，并用当前的观测区域特征和外参更新特征文件中的数据内容；
步骤S9、提取步骤S6中得到的测量结果，使用无线发射模块发送到车辆中央处理模块，中央处理器根据整个观测区域特征点/块的三维坐标估计印迹区域的整体形变，得到准确的轮胎形变。
作为本发明的优选，所述双目相机按照如下方式进行选择：
设轮胎半径为r，双目相机光轴中心与轮心的距离为l，则光轴中心到胎冠的距离为h＝r-l；观测区域纵向最大值表示为a，侧向最大值即为轮胎宽度，表示为b，则可以计算双目相机镜头的FOV如下：
设测距要求的精度为ε，则双目相机的分辨率为ab/ε2；且双目相机成像频率应大于车轮的最大旋转频率；
另外，轮胎在接地时，由于受到压力压缩，设此时轮胎接地区域与双目相机的距离为hmin；
一般双目相机的两个镜头光学特性相同，假设靶面尺寸为1/2"，则可计算焦距为
最后，双目相机的两个镜头需要同时观测到最大轮胎接地面，因此视场要同时覆盖轮胎宽度；设基线长度为B，根据三角关系，可以列写如下不等式：
所述双目相机个数N按照如下方式进行确定：
假设相机成像频率为fcam，最大车速为Vmax，车轮半径为r，则车轮最大转速为ωmax＝Vmax/r，最小旋转周期为Tmin＝2π/ωmax，最大旋转频率为fmax＝1/Tmin
可求得：
其中，n为相机数量，n*为使得
最小的正整数n，即当n＝n*时，车轮内安装的所有相机的成像周期之和与车轮的最小旋转周期差值最小；
从而有ΔT＝|n*/fcam-Tmin|
则相机安装个数N为整数，且满足:
若存在n*使得ΔT为一个接近于零或等于零的数，则设置N＝2n*.
作为本发明的优选，步骤S3轮胎形变测量功能模块初始化过程如下：
步骤S3.1、双目相机对于观测区域进行成像
步骤S3.2、双目匹配
步骤S3.3、栅格划分
栅格大小依赖于使用轮胎形变进行轮胎力估计对于形变测量的精度要求，假设精度要求为边长d的栅格中有一个特征点/块，观测区域为可覆盖最大印迹区域的长为Dx、宽为Dy的长方形，则该区域栅格化为Dx/d行、Dy/d列，每个栅格为边长d的正方形；
步骤S3.4、特征点/块筛选
假设双目匹配后，栅格i中有n个特征点/块，且每个特征点/块都有一个关于特征及其匹配度的评价值，则在其中选取评价值最大的一个作为该栅格的特征；
步骤S3.5、特征存储
将所有栅格的特征及其位置、距离信息存储到特征文件中，以供之后形变测量过程中使用。
作为本发明的优选，步骤S6对观测区域进行形变测量的过程如下：
步骤S6.1、双目相机对于观测区域进行成像
步骤S6.2、双目匹配
步骤S6.3、特征点/块搜索
读取初始化特征文件中所保存的栅格特征信息，遍历所有栅格特征，假设编号为i的栅格特征在相机坐标系中的位置为
则在当前检测到的所有特征中，仅需在与
距离小于阈值的特征集合中搜索即可，返回匹配度最大的特征在相机坐标系中的位置，即
其中，D(，)表示两个点所对应的特征之间的距离，距离越小则匹配度越高；GP为当前检测到的所有特征对应的三维坐标的集合，p为GP集合中的元素，表示一个三维坐标；P为与
距离小于阈值的特征集合中的元素；Pobj为搜索到的目标特征的位置；
步骤S6.4、位置测量
根据双目相机成像原理，可以得到目标特征点/块相对于相机坐标系的三维坐标；得到整个观测区域所有栅格的特征点/块的三维坐标后，汇总处理并发送到中央处理器。
作为本发明的进一步优选，步骤S6.4在位置测量后需要通过处理器对测量结果进行初步处理后再发送到中央处理器；步骤S6.5初步处理过程如下：
步骤S6.5.1、遍历所有双目相机，假设当前相机编号为i，初始化变量Si＝false；
步骤S6.5.2、读取相机i的位置测量数据，即所有栅格的特征的位置，初始化变量k＝0，j＝0；
步骤S6.5.3、遍历步骤S6.5.2读取的所有栅格特征，假设当前遍历到的栅格编号为j，在特征文件中搜索到与栅格j的特征匹配的特征，并计算该特征与当前栅格j的特征之间的距离；
步骤S6.5.4、判断步骤S6.5.3计算得到的距离是否大于阈值，若大于阈值，则认为当前栅格处于形变状态，使k加1；否则，继续遍历剩余栅格特征；
步骤S6.5.5、遍历完所有栅格特征后，计算k与栅格总数的比值p，该值表征当前相机面向的轮胎区域处于形变状态的栅格比例；
步骤S6.5.6、若步骤S6.5.5计算得到的p大于阈值，则认为当前轮胎区域处于形变状态，且置Si为true；否则，当前轮胎区域不处于形变状态，可不发送测量结果；
步骤S6.5.7、如果Si为true，则将编号为i的相机测量数据合并到待发送数据包中，当所有双目相机都遍历完后，将汇总后的所有数据统一发送。
作为本发明的进一步优选，步骤S6.4在位置测量后，通过安装在双目相机中的重力加速度传感器来判断重力相对于相机的方向，从而直接得出当前双目相机是否面向接地印迹区域，之后将面向接地印迹区域的双目相机的测量数据汇总后统一发送。
作为本发明的进一步优选，步骤S4标定双目相机相对于车轮中心的外参采用自标定，初始化的自标定方式如下：
建立车轮坐标系{O,Xw,Yw,Zw}和相机坐标系{Oc,Xc,Yc,Zc}为右手坐标系，设特征点/块在相机坐标系中的三维坐标为PC，相机坐标系相对于车轮坐标系的相对位置关系可用旋转矩阵R和平移向量T来表示，则该点在车轮坐标系中的齐次坐标可表示为：
在车轮坐标系中，轮胎胎冠部分的点位于一条以ZW为轴的环带上，因此
应满足曲面约束f(PW)；
当由双目相机测距得到所有特征点/块的特征信息时，可以使用数值优化的方法求得R和T。
作为本发明的进一步优选，步骤S7形变测量中是否满足外参自标定情况的判断方式如下：
步骤S7.1、判断当前双目相机的测量数据后处理结果Si是否为true，若“是”，则进入步骤S7.2，否则进入步骤S7.3；
步骤S7.2、判断最近K次检测中Si＝true的次数是否大于阈值，若“是”，则可认为当前相机外参已发生变化，从而导致连续的多次检测中一直处于形变状态，因此需要重新标定相机外参；否则，认为当前轮胎区域处于形变状态，不满足重新标定的条件，因此结束流程，进入下一个测量周期后再判断；
步骤S7.3、当前双目相机面向的轮胎区域非接地，计算所有栅格特征与特征文件中所保存的对应的匹配特征的三维坐标点之间的距离之和Dtotal；
步骤S7.4、判断步骤S7.3求得的Dtotal是否大于阈值，若大于阈值，当前轮胎区域在非接地状态下的位置与特征文件中保存的位置已经产生较大差别，可认为相机外参已发生变化，因此需要重新标定相机外参；否则，进入步骤S7.5；
步骤S7.5、判断当前时刻的计时器是否已经达到规定的自标定功能自动启动的时间间隔，若“是”，则重新标定相机外参，否则结束流程。
作为本发明的进一步优选，步骤S8重新标定相机外参的标定流程如下：
步骤S8.1、判断当前双目相机的状态Si是否为true，若“是”，进入步骤S8.2；否则进入步骤S8.3；
步骤S8.2、因为进入外参标定流程，即表明当前双目相机需重新进行外参标定，但外参标定必须在非接地状态完成，因此需要判断是否有其他双目相机的状态为true；若存在某一相机Sj＝true，则认为编号为j的相机处于接地状态，那么本相机非接地，可以进行相机外参标定，进入步骤S8.3；否则，不可进行外参标定，进入下一计算周期；
步骤S8.3、先判断是否需要重新标定两个镜头间的相对位置，可以使用对极约束来判断；假设某一特征点/块在左目成像中的坐标为p1，在右目成像中的坐标为p2，两个镜头的相对外参可表示为旋转矩阵RC和平移向量TC，则理想情况下应满足对极约束：
其中，
是与TC对应的反对称矩阵，K1和K2分别为左目和右目两个镜头的内参矩阵；若相对外参发生变化，则上述公式不满足；
步骤S8.4、设有M个特征点/块，依据下式求得ζ，判断ζ是否大于阈值，若“是”，则表明当前相机的两个镜头之间的相对外参已发生变化，则可认为RC和TC需重新标定，进入步骤S8.5；否则，进入步骤S8.6；
步骤S8.5、双目镜头相对外参标定，将每一个镜头当做单目相机并优化求解它相对于车轮坐标系的位姿，假设求得了左目镜头的外参R1，T1和右目镜头的外参R2，T2，则可直接求得两个镜头的相对外参
步骤S8.6、双目相机相对于车轮中心的外参标定参照初始化的自标定方式；
步骤S8.7、标定完成后，用新的胎内特征数据和外参对特征文件进行更新。
本发明的另一目的在于提供一种轮胎形变的实时测量装置，该装置能够得到更加准确的轮胎形变，结构简单，使用方便，实用性强，易于产品化。
为实现上述目的，本发明采用如下技术方案：
一种轮胎形变的实时测量装置，包括双目相机、漫反射光源、处理器、无线发射模块；其中，所述双目相机为N个，N个所述的双目相机间隔均布设置在轮辋圆周方向上，每个双目相机的两个镜头连线垂直于车轮平面，且镜头沿从轮胎中心出发的半径面向轮胎边缘，双目相机的基线长度及FOV应满足两个镜头可同时观测到轮胎最大印迹区域；双目相机用于拍摄轮胎内表面图像；所述漫反射光源设置在相邻两组双目相机之间；漫反射光源，用于在胎内提供光源，以便于双目相机成像；所述处理器包括轮胎形变测量功能模块、自标定判断模块、双目镜头自标定模块、双目相机自标定模块、特征文件；
所述轮胎形变测量功能模块，用于对双目相机拍摄得到的轮胎内表面图像进行处理，得到双目相机观测区域内特征点/块的三维坐标；
所述自标定判断模块，用于判断是否需要对双目相机两个镜头的相对外参进行标定，以及是否需要对双目相机相对于车轮中心的外参进行标定；
所述双目镜头自标定模块，用于对双目相机两个镜头的相对外参进行标定；
所述双目相机自标定模块，用于对双目相机相对于车轮中心的外参进行标定；
所述特征文件，用于存储观测区域栅格特征信息和双目相机外参数据，以供之后形变测量过程中使用；
所述无线发射模块，用于将处理器的处理结果发送到车辆的中央处理模块。
作为本发明的优选，该装置还包括重力加速度传感器或数据处理模块，所述重力加速度传感器安装在双目相机中，通过重力加速度传感器来判断重力相对于双目相机的方向，从而直接得出当前双目相机是否面向接地印迹区域；所述数据处理模块，用于对轮胎形变测量功能模块检测的数据进行处理，根据处理的结果来判断当前双目相机是否面向接地印迹区域。
作为本发明的优选，所述轮胎形变测量功能模块包括特征识别模块、特征筛选模块、特征搜索模块、位置测量模块；其中，特征识别模块，用于对胎内观测区域的特征元素进行识别；所述特征筛选模块，用于对胎内观测区域内每个栅格内的特征元素进行筛选，以确定观测区域内所有栅格的特征及其位置、距离信息；所述特征搜索模块，读取特征文件中所保存的栅格特征信息，遍历所有栅格特征，在当前检测到的所有特征中搜索目标特征的位置；所述位置测量模块，用于获取特征元素相对于相机坐标系的三维坐标。
作为本发明的优选，所述双目相机、漫反射光源、处理器、无线发射模块从胎内能量回收装置或整车中取电；其中，所述胎内能量回收装置，用于回收轮胎能量，转化并储存为电能，从而为测量装置提供能量。
本发明的优点和积极效果是：
(1)本发明提供的测量方法中使用双目相机观测轮胎形变区域，可以得到轮胎形变区域较小分辨率的每一个点的三维坐标，根据三维坐标估计印迹区域的整体形变，从而得到轮胎更加准确的形变。
(2)本发明提供的测量方法可以省去嵌入或粘贴于轮胎内壁的其他传感器或者便于观测的材料(比如网格等)，简化安装方法，降低测量成本，便于产品化。
(3)本发明基于栅格化的特征筛选方法，降低了双目匹配和测距计算的算力要求。
(4)本发明提供的测量方法在获取特征点/块的位置信息后，通过对测量数据的处理或双目相机方向的识别，能够快速选取需要发送到中央处理器中的有效数据，有效测量数据的提取降低了通信的带宽需求。
(5)本发明提供的测量装置中双目相机具有自标定功能，防止因外部作用导致相机外参发生变化从而使测量结果产生偏差。另外，自标定过程不需人为干预，不需拆装轮胎，极大简化了本发明测量装置的结构，提高了实用性，易于产品化。
附图说明
图1为背景技术中第一种非接触方式监测轮胎形变的示意图；
图2为背景技术中第二种非接触方式监测轮胎形变的示意图；
图3为背景技术中第三种非接触方式监测轮胎形变的示意图；
图4为背景技术中第四种非接触方式监测轮胎形变的示意图；
图5为背景技术中第五种非接触方式监测轮胎形变的示意图；
图6为本发明轮胎形变测量整体流程；
图7为车轮侧向视图
图8为车轮中心截面视图
图9为从轮心沿相机面向轮胎的视图；
图10为轮胎内表面图像；
图11为形变测量初始化流程图；
图12为观测区域栅格划分示意图；
图13为形变测量流程图；
图14为测量结果后处理流程；
图15为车轮与相机坐标系示意图；
图16为外参自标定条件判断流程图；
图17为外参自标定流程图；
图18为本发明轮胎形变测量装置结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1一种轮胎形变的实时测量方法
参阅图6，本发明提供的一种轮胎形变的实时测量方法，具体包括以下步骤：
步骤S1、在轮辋圆周方向上间隔均布设置N个双目相机，每个双目相机的两个镜头连线垂直于车轮平面，且镜头沿从轮胎中心出发的半径面向轮胎边缘，双目相机的基线长度及FOV应满足两个镜头可同时观测到轮胎最大印迹区域；之后在相邻两组双目相机之间安装一个漫反射光源(见图7-图9)；其中，所述双目相机，用于拍摄轮胎内表面图像；所述漫反射光源，用于在胎内提供光源，以便于双目相机成像；测量时，通过双目相机对胎内观测区域成像，拍摄得到的轮胎内表面图像发送给处理器；
步骤S2、处理器在获取图像信息后，首先判断是否为第一次运行，若“是”则进入步骤S3，否则进入步骤S6；
步骤S3、对处理器的轮胎形变测量功能模块进行初始化，即在双目相机安装好后，在轮胎非接地状态下进行胎内观测区域的特征检测，计算得到双目相机观测区域内特征点/块的三维坐标；
步骤S4、标定双目相机相对于车轮中心的外参；
步骤S5、将初始化得到的特征信息和外参数据存储到处理器的特征文件；
步骤S6、通过轮胎形变测量功能模块对胎内观测区域进行形变测量，得到当前检测的所有特征对应的三维坐标的集合，之后通过将当前检测到的所有特征对应的三维坐标与初始化特征文件中所保存的特征信息进行匹配，得到当前状态下观测区域的形变特征信息，即得到整个观测区域内与特征文件中所保存的特征点/块对应的匹配特征的三维坐标；
步骤S7、判断双目相机是否满足外参自标定的条件，若“是”，则进入步骤S8；否则进入步骤S9；
步骤S8、重新标定相机外参，并用当前的观测区域特征和外参更新特征文件中的数据内容；
步骤S9、提取步骤S6中得到的测量结果，使用无线发射模块发送到车辆中央处理模块，中央处理器根据整个观测区域特征点/块的三维坐标估计印迹区域的整体形变，得到准确的轮胎形变。
(1)上述双目相机的选择
设轮胎半径为r，双目相机光轴中心与轮心的距离为l，则光轴中心到胎冠的距离为h＝r-l；观测区域纵向最大值表示为a，侧向最大值即为轮胎宽度，表示为b，则可以计算相机镜头的FOV如下：
设测距要求的精度为ε，则相机的分辨率为ab/ε2；因为拍摄对象的特性，相机可选为灰度相机即可，相机成像频率应大于车轮的最大旋转频率；
轮胎在接地时，由于受到压力压缩，设此时轮胎接地区域与相机的距离为hmin。
一般双目相机的两个镜头光学特性相同，假设靶面尺寸为1/2"，则可计算焦距为
焦距也可根据FOV与靶面尺寸进行计算，选择较小者即可；
双目相机的两个镜头需要同时观测到最大轮胎接地面，因此视场要同时覆盖轮胎宽度，设基线长度为B，根据三角关系，可以列写如下不等式：
举例：设r＝0.3m，l＝0.18m，a＝0.2m，b＝0.18m，则FOVx≥79.6°，FOVy≥73.7°；若精度要求ε＝0.2mm，则相机分辨率为1000×900，即选择100万像素即可，若精度要求降低为ε＝1mm，则仅需36000像素。假设轮胎接地时最大压缩高度为2cm，则hmin＝h-0.02m＝0.1m。若选择FOVy＝90°的镜头，则可以求得基线长度B的取值范围为B≤0.2m-0.18m＝2cm。总之，靶面尺寸、焦距、基线长度等因素相互影响，选择时需要做权衡。
(2)双目相机个数N的计算
假设相机成像频率为fcam，最大车速为Vmax，车轮半径为r，则车轮最大转速为ωmax＝Vmax/r，最小旋转周期为Tmin＝2π/ωmax，最大旋转频率为fmax＝1/Tmin.
可求得：
其中，n为相机数量，n*为使得
最小的正整数n，即当n＝n*时，车轮内安装的所有相机的成像周期之和与车轮的最小旋转周期差值最小；
从而有ΔT＝|n*/fcam-Tmin|.
则相机安装个数N为整数，且满足:
若存在n*使得ΔT为一个接近于零或等于零的数，则设置N＝2n*。
举例如下：假设Vmax＝120km/h＝33.3m/s，r＝0.3m，fcam＝30Hz，则可求得N最小为6，即在轮辋圆周上每隔60度安装一个双目相机。
若受安装条件或成本限制，可选择只安装一个双目相机，则在行驶中，该相机在轮胎旋转过程中采集到的图像，可用于建立轮胎近似于瞬时的形变，但相机数量太少无法保证在轮胎的每个旋转周期中均能获取到印迹图像。
(3)关于形变测量
轮胎内表面通常会有平行的斜条纹(间距1cm左右)，相邻条纹之间有无规律的纹理，如图10所示。
因为双目相机在出厂时已经完成了标定，因此可以直接使用标定参数进行测距。在胎内表面上的具有丰富特征的特征点或区域，非常有利于双目的匹配和测距。
对于双目匹配，可以使用特征点匹配或者块匹配。因为相机面向的胎内区域为一固定区域，在正常的行驶过程中不会有剧烈变化，因此特征点或者块是在有限范围内移动和变形，这样就缩小了匹配时所需的搜索范围。另外，根据轮胎力估计的点精度要求，可以将观测区域划分为一定大小的网格(比如每个栅格为边长1cm的正方形)，在每个栅格中仅需观测一个特征点或块的位置；该特征点或块的特征在安装好后的初始化过程中进行计算并储存，在之后的运行中仅需在小范围内搜索该特征点或块的位置进行匹配即可。
下面对这个过程进行详细解释：
1)形变测量初始化
初始化过程仅需在安装好后在轮胎非接地状态下运行一次，主要流程如图11所示；
第一步：双目相机对于观测区域进行成像；
第二步：双目匹配
使用特征点或者块匹配或神经网络等方法，视觉处理专业人员对于相关匹配算法应非常了解，此处不详述，可参考文献[1-4]；
第三步：栅格划分
栅格大小依赖于使用轮胎形变进行轮胎力估计对于形变测量的精度要求，假设精度要求为边长d的栅格中有一个特征点/块，如图12所示；观测区域为可覆盖最大印迹区域的长为Dx、宽为Dy的长方形，则该区域栅格化为Dx/d行、Dy/d列，每个栅格为边长d的正方形；
第四步：特征点/块筛选
假设匹配后，栅格i中有n个特征点/块，且每个特征点/块都有一个关于特征及其匹配度的评价值，则在其中选取评价值最大的一个作为该栅格的特征；
评价值的定义没有统一形式，此处以特征点匹配作为举例：假设提取的特征为ORB特征，则两个特征的匹配度可以用其BRIEF描述子的汉明距离作为度量，表示为D。另外，假设当前像素点在图像中灰度值可表示为g(x，y)，同时考虑它与周围σ范围内其他像素的灰度值的差，则特征的评价值公式可定义如下：
其中，ω1和ω2为各项权重值；
第五步：特征存储
将所有栅格的特征及其位置、距离等信息存储到特征文件中，以供之后形变测量过程中使用。因为我们已经将需要搜索、匹配的特征信息保存下来，这样就极大地降低了整个算法所需的算力。
需要说明，本发明形变测量初始化过程中栅格的划分可以根据实际情况使用其他方法划分，可以是长方形、菱形、六角形、圆形等，并不局限于本申请实施例提供的正方形。
2)形变测量
形变测量的流程如图13所示，具体步骤描述如下：
本流程的第一步和第二步与形变测量初始化过程相同；
第三步：特征点/块搜索
读取初始化特征文件中所保存的栅格特征信息，遍历所有栅格特征，假设编号为i的栅格特征在相机坐标系中的位置为
则在当前检测到的所有特征中，仅需在与
距离小于阈值的特征集合中搜索即可，返回匹配度最大的特征在相机坐标系中的位置，即
其中，D(，)表示两个点所对应的特征之间的匹配度，如前所述，可定义为两个特征的描述子之间的汉明距离，此时距离越小则表明匹配度最高；GP为当前检测到的所有特征对应的三维坐标的集合；p为GP集合中的元素，表示一个三维坐标；P为与
距离小于阈值的特征集合中的元素；Pobj为搜索到的目标特征的位置；
第四步：位置测量
根据双目相机成像原理，可以得到该点/块相对于相机坐标系的三维坐标；
得到整个观测区域所有栅格的特征点/块的三维坐标后，汇总处理并发送。
需要说明，本发明在形变测量过程中，对于内表面光滑或者纹理特征元素较少的轮胎，可以在内表面粘贴栅格或者点阵等，以便于双目相机识别和测距。
(4)测量结果后处理及发送
如果在车轮内安装有多个双目相机，则最终得到的三维坐标数据量将很庞大，因为其中大部分点并非位于接地的印迹区域，若将所有数据发送到中央处理器将占据大量带宽，且其中大部分数据是无用的，所以需要先将数据进行初步处理后再发送，处理流程如图14所示，其中Si是表征编号i的双目相机是否面向接地区域的局部变量。
具体步骤描述如下：
第一步：遍历所有相机，假设当前相机编号为i，初始化变量Si＝false；
第二步：读取相机i的位置测量数据，即所有栅格的特征的位置，初始化变量k＝0，j＝0；
第三步：遍历第二步读取的所有栅格特征，假设当前遍历到的栅格编号为j，在特征文件中搜索到与栅格j的特征匹配的特征，并计算该特征与当前栅格j的特征之间的距离；
第四步：判断第三步计算得到的距离是否大于阈值，若大于阈值，则认为当前栅格处于形变状态，使k加1；否则，继续遍历剩余栅格特征；
第五步：遍历完所有栅格特征后，计算k与栅格总数的比值p，该值表征当前相机面向的轮胎区域处于形变状态的栅格比例；
第六步：若第五步计算得到的p大于阈值，则认为当前轮胎区域处于形变状态，且置Si为true；否则，当前轮胎区域不处于形变状态，可不发送测量结果；
最后，如果Si为true，则将编号为i的相机测量数据合并到待发送数据包中，当所有相机都遍历完后，将汇总后的所有数据统一发送。
另外，需要说明：本发明还可以在双目相机中安装重力加速度传感器，通过重力加速度传感器来判断重力相对于双目相机的方向，从而直接确定当前相机是否面向接地印迹区域(Si＝true表示当前相机面向接地印迹区域)。
(5)双目相机自标定
相机自标定过程假设内参不变，主要标定相机相对于轮心坐标系的外参或者两个镜头之间的相对外参。主要有两种情形需要进行相机自标定，下面对两种情形分别详细说明。
1)初始化的自标定
建立车轮坐标系{O,Xw,Yw,Zw}和相机坐标系{Oc,Xc,Yc,Zc}为右手坐标系，如图15所示。
设特征点/块在相机坐标系中的三维坐标为PC，相机坐标系相对于车轮坐标系的相对位置关系可用旋转矩阵R和平移向量T来表示，则该点在车轮坐标系中的齐次坐标可表示为：
在车轮坐标系中，轮胎胎冠部分的点位于一条以ZW为轴的环带上，因此
应满足曲面约束f(PW)，该约束可以有多种定义方式，最简单的比如
r为轮胎半径。
当由双目相机测距得到所有特征点/块的特征信息时，可以使用数值优化的方法求得R和T。对于数值优化专业人员，优化方法已十分成熟，此处不详述，可参阅参考文献[5-7]。
2)形变测量中的自标定
外参自标定条件判断
根据测量数据的后处理结果{Si}，可以知道相机是否面向地面，即相机面向的轮胎区域是否为接地状态或者非接地状态，但若相机外参由于外部作用而发生变化，则是否为接地的状态判断有可能出现错误，因此需要判断相机外参是否发生变化。判断相机外参变化的流程图如图16所示，具体步骤说明如下：
第一步：判断当前相机的测量数据后处理结果Si是否为true，若“是”，则进入第二步，否则进入第三步；
第二步：判断最近K次检测中Si＝true的次数是否大于阈值，若“是”，则可认为当前相机外参已发生变化，从而导致连续的多次检测中一直处于形变状态，因此需要重新标定相机外参，进入第六步；否则，认为当前轮胎区域处于形变状态，不满足重新标定的条件(相机外参标定需要轮胎区域处于非接地状态)，因此结束流程，进入下一个测量周期后再判断；
第三步：当前相机面向的轮胎区域非接地，计算所有栅格特征与特征文件中所保存的对应的匹配特征的三维坐标点之间的距离之和Dtotal；
第四步：判断第三步求得的Dtotal是否大于阈值，若大于阈值，当前轮胎区域在非接地状态下的位置与特征文件中保存的位置已经产生较大差别，可认为相机外参已发生变化，因此需要重新标定相机外参，进入第六步；否则，进入第五步；
第五步：判断当前时刻的计时器是否已经达到规定的自标定功能自动启动的时间间隔，若“是”，则重新标定相机外参，否则结束流程；
第六步：重新标定相机外参。
3)双目相机外参自标定
相机外参的变化分为两种：一种是相机坐标系相对于车轮坐标系的变换发生变化；另一种是双目相机的两个镜头之间的相对位置发生变化。需要先判断是否需要重新标定两个镜头间的相对位置，可以使用对极约束来判断。假设某一特征点/块在左目成像中的坐标为p1，在右目成像中的坐标为p2，两个镜头的相对外参可表示为旋转矩阵RC和平移向量TC，则理想情况下应满足对极约束：
其中，
是与TC对应的反对称矩阵，K1和K2分别为左目和右目两个镜头的内参矩阵。若相对外参发生变化，则公式(11)不满足；若设有M个特征点/块，则依据(11)式可求得：
若ζ过大，则可认为RC和TC需重新标定，否则直接标定相机相对于车轮的外参。
外参标定流程如图17所示，具体步骤说明如下：
第一步：判断当前相机的状态Si是否为true，若“是”，进入第二步；否则进入第三步；
第二步：因为进入外参标定流程，即表明当前相机需重新进行外参标定，但外参标定必须在非接地状态完成，因此需要判断是否有其他相机的状态是否为true；若存在某一相机Sj＝true，则认为编号为j的相机处于接地状态，那么本相机非接地，可以进行相机外参标定，进入第三步；否则，不可进行外参标定，进入下一计算周期；
第三步：按照公式(12)计算ζ；
第四步：判断ζ是否大于阈值，若“是”，则表明当前相机的两个镜头之间的相对外参已发生变化，该相对外参需要重新标定，进入第五步；否则，进入第六步；
第五步：双目镜头相对外参标定，初始化特征文件中保存的数据可作为各特征点/块的真值使用，因此可以参考上述“初始化的自标定”方法，将每一个镜头当做单目相机并优化求解它相对于车轮坐标系的位姿，假设求得了左目镜头的外参R1，T1和右目镜头的外参R2，T2，则可直接求得两个镜头的相对外参
第六步：双目相机相对于车轮的外参标定可参照上述“初始化的自标定”方法；
第七步：标定完成后，用新的胎内特征数据和外参对特征文件进行更新。
参考文献：
[1][OpenCV]基于SIFT/SURF算法的双目视差测距(一)，https://blog.csdn.net/qinchang1/article/details/86934636；
[2]真实场景的双目立体匹配(Stereo Matching)获取深度图详解，https://www.cnblogs.com/riddick/p/8486223.html；
[3]Stereo matching,https://web.ece.ucsb.edu/～manj/ece181bS04/L14(morestereo).pdf；
[4]Yingnan Geng et al.,“Improved Stereo Matching based onConvolutional Neural Network”,IPCV'19,ISBN:1-60132-506-1,CSREA Press；
[5]SLAM优化位姿时误差函数的雅可比矩阵的推导，http://blog.csdn.net/zhubaohua_bupt/article/details/74011005；
[6]相机位姿求解问题，https://www.zhihu.com/question/51510464；
[7]《视觉SLAM十四讲》，高翔，张涛等，电子工业出版社，2017。
实施例2一种轮胎形变的实时测量装置
参阅图7至9、图18，本发明提供一种轮胎形变的实时测量装置，包括双目相机1、漫反射光源2、处理器3、无线发射模块4；其中，所述双目相机1为N个，N个所述的双目相机间隔均布设置在轮辋6圆周方向上，每个双目相机1的两个镜头连线垂直于车轮平面，且镜头沿从轮胎中心出发的半径面向轮胎边缘，双目相机的基线长度及FOV应满足两个镜头可同时观测到轮胎最大印迹区域；双目相机1用于拍摄轮胎内表面图像；所述漫反射光源2设置在相邻两组双目相机1之间；漫反射光源2，用于在胎内提供光源，以便于双目相机成像；所述处理器3包括轮胎形变测量功能模块31、自标定判断模块32、双目镜头自标定模块33、双目相机自标定模块34、特征文件35；
所述轮胎形变测量功能模块31，用于对双目相机拍摄得到的轮胎内表面图像进行处理，得到双目相机观测区域内特征点/块的三维坐标；
轮胎形变测量功能模块31包括特征识别模块311、特征筛选模块312、特征搜索模块313、位置测量模块314；其中，特征识别模块311，用于对胎内观测区域的特征元素进行识别；所述特征筛选模块312，用于对胎内观测区域内每个栅格内的特征元素进行筛选，以确定观测区域内所有栅格的特征及其位置、距离信息；所述特征搜索模块313，读取特征文件中所保存的栅格特征信息，遍历所有栅格特征，在当前检测到的所有特征中搜索目标特征的位置；所述位置测量模块314，用于获取特征元素相对于相机坐标系的三维坐标；
所述自标定判断模块32，用于判断是否需要对双目相机两个镜头的相对外参进行标定，以及是否需要对双目相机相对于车轮中心的外参进行标定；
所述双目镜头自标定模块33，用于对双目相机两个镜头的相对外参进行标定；
所述双目相机自标定模块34，用于对双目相机相对于车轮中心的外参进行标定；
所述特征文件35，用于存储观测区域栅格特征信息和外参数据，以供之后形变测量过程中使用；
所述无线发射模块4，用于将处理器的处理结果发送到车辆的中央处理模块。
进一步，该装置还包括重力加速度传感器或数据处理模块5，所述重力加速度传感器安装在双目相机中，通过重力加速度传感器来判断重力相对于双目相机的方向，从而直接得出当前双目相机是否面向接地印迹区域；所述数据处理模块，用于对轮胎形变测量功能模块检测的数据进行处理，根据处理的结果来判断当前双目相机是否面向接地印迹区域。
本发明所述双目相机、漫反射光源、处理器、无线发射模块从胎内能量回收装置或整车中取电；其中，所述胎内能量回收装置，用于回收轮胎能量，转化并储存为电能，从而为测量装置提供能量，如采用胎内能量回收装置功能可以减少装置对于整车能量的需求。
Claims (10)
1.一种轮胎形变的实时测量方法，其特征在于，包括以下步骤：
步骤S1、在轮辋圆周方向上间隔均布设置N个双目相机，每个双目相机的两个镜头连线垂直于车轮平面，且镜头沿从轮胎中心出发的半径面向轮胎边缘，双目相机的基线长度及FOV应满足两个镜头可同时观测到轮胎最大印迹区域；之后在相邻两组双目相机之间安装一个漫反射光源；其中，所述双目相机，用于拍摄轮胎内表面图像；所述漫反射光源，用于在胎内提供光源，以便于双目相机成像；测量时，通过双目相机对胎内观测区域成像，拍摄得到的轮胎内表面图像发送给处理器；
步骤S2、处理器在获取图像信息后，首先判断是否为第一次运行，若“是”则进入步骤S3，否则进入步骤S6；
步骤S3、对处理器的轮胎形变测量功能模块进行初始化，即在双目相机安装好后，在轮胎非接地状态下进行胎内观测区域的特征检测，计算得到双目相机观测区域内特征点/块的三维坐标；
步骤S4、标定双目相机相对于车轮中心的外参；
步骤S5、将初始化得到的特征信息和外参数据存储到处理器的特征文件；
步骤S6、通过轮胎形变测量功能模块对胎内观测区域进行形变测量，得到当前检测的所有特征对应的三维坐标的集合，之后通过将当前检测到的所有特征对应的三维坐标与初始化特征文件中所保存的特征信息进行匹配，得到当前状态下观测区域的形变特征信息，即得到整个观测区域内与特征文件中所保存的特征点/块对应的匹配特征的三维坐标；
步骤S7、判断双目相机是否满足外参自标定的条件，若“是”，则进入步骤S8；否则进入步骤S9；
步骤S8、重新标定相机外参，并用当前的观测区域特征和外参更新特征文件中的数据内容；
步骤S9、提取步骤S6中得到的测量结果，使用无线发射模块发送到车辆中央处理模块，中央处理器根据整个观测区域特征点/块的三维坐标估计印迹区域的整体形变，得到准确的轮胎形变。
2.根据权利要求1所述的测量方法，其特征在于，步骤S3轮胎形变测量功能模块初始化过程如下：
步骤S3.1、双目相机对于观测区域进行成像
步骤S3.2、双目匹配
步骤S3.3、栅格划分
栅格大小依赖于使用轮胎形变进行轮胎力估计对于形变测量的精度要求，假设精度要求为边长d的栅格中有一个特征点/块，观测区域为可覆盖最大印迹区域的长为Dx、宽为Dy的长方形，则该区域栅格化为Dx/d行、Dy/d列，每个栅格为边长d的正方形；
步骤S3.4、特征点/块筛选
假设双目匹配后，栅格i中有n个特征点/块，且每个特征点/块都有一个关于特征及其匹配度的评价值，则在其中选取评价值最大的一个作为该栅格的特征；
步骤S3.5、特征存储
将所有栅格的特征及其位置、距离信息存储到特征文件中，以供之后形变测量过程中使用；
步骤S6对观测区域进行形变测量的过程如下：
步骤S6.1、双目相机对于观测区域进行成像
步骤S6.2、双目匹配
步骤S6.3、特征点/块搜索
读取初始化特征文件中所保存的栅格特征信息，遍历所有栅格特征，假设编号为i的栅格特征在相机坐标系中的位置为
则在当前检测到的所有特征中，仅需在与
距离小于阈值的特征集合中搜索即可，返回匹配度最大的特征在相机坐标系中的位置，即
其中，D(，)表示两个点所对应的特征之间的距离，距离越小则匹配度越高；GP为当前检测到的所有特征对应的三维坐标的集合，p为GP集合中的元素，表示一个三维坐标；P为与
距离小于阈值的特征集合中的元素；Pobj为搜索到的目标特征的位置；
步骤S6.4、位置测量
根据双目相机成像原理，可以得到目标特征点/块相对于相机坐标系的三维坐标；得到整个观测区域所有栅格的特征点/块的三维坐标后，汇总处理并发送到中央处理器。
3.根据权利要求1所述的测量方法，其特征在于，步骤S4标定双目相机相对于车轮中心的外参采用自标定，初始化的自标定方式如下：
建立车轮坐标系{O,Xw,Yw,Zw}和相机坐标系{Oc,Xc,Yc,Zc}为右手坐标系，设特征点/块在相机坐标系中的三维坐标为PC，相机坐标系相对于车轮坐标系的相对位置关系可用旋转矩阵R和平移向量T来表示，则该点在车轮坐标系中的齐次坐标可表示为：
在车轮坐标系中，轮胎胎冠部分的点位于一条以ZW为轴的环带上，因此
应满足曲面约束f(PW)；
当由双目相机测距得到所有特征点/块的特征信息时，可以使用数值优化的方法求得R和T。
4.根据权利要求2所述的测量方法，其特征在于，步骤S6.4在位置测量后需要通过处理器对测量结果进行初步处理后再发送到中央处理器；步骤S6.5初步处理过程如下：
步骤S6.5.1、遍历所有双目相机，假设当前双目相机编号为i，初始化变量Si＝false；
步骤S6.5.2、读取双目相机i的位置测量数据，即所有栅格的特征的位置，初始化变量k＝0，j＝0；
步骤S6.5.3、遍历步骤S6.5.2读取的所有栅格特征，假设当前遍历到的栅格编号为j，在特征文件中搜索到与栅格j的特征匹配的特征，并计算该特征与当前栅格j的特征之间的距离；
步骤S6.5.4、判断步骤S6.5.3计算得到的距离是否大于阈值，若大于阈值，则认为当前栅格处于形变状态，使k加1；否则，继续遍历剩余栅格特征；
步骤S6.5.5、遍历完所有栅格特征后，计算k与栅格总数的比值p，该值表征当前双目相机面向的轮胎区域处于形变状态的栅格比例；
步骤S6.5.6、若步骤S6.5.5计算得到的p大于阈值，则认为当前轮胎区域处于形变状态，且置Si为true；否则，当前轮胎区域不处于形变状态，可不发送测量结果；
步骤S6.5.7、如果Si为true，则将编号为i的双目相机测量数据合并到待发送数据包中，当所有双目相机都遍历完后，将汇总后的所有数据统一发送。
5.根据权利要求2所述的测量方法，其特征在于，步骤S6.4在位置测量后，通过安装在双目相机中的重力加速度传感器来判断重力相对于双目相机的方向，从而直接得出当前双目相机是否面向接地印迹区域，之后将面向接地印迹区域的双目相机的测量数据汇总后统一发送。
6.根据权利要求4所述的测量方法，其特征在于，步骤S7形变测量中是否满足外参自标定情况的判断方式如下：
步骤S7.1、判断当前双目相机的测量数据后处理结果Si是否为true，若“是”，则进入步骤S7.2，否则进入步骤S7.3；
步骤S7.2、判断最近K次检测中Si＝true的次数是否大于阈值，若“是”，则可认为当前相机外参已发生变化，从而导致连续的多次检测中一直处于形变状态，因此需要重新标定相机外参；否则，认为当前轮胎区域处于形变状态，不满足重新标定的条件，因此结束流程，进入下一个测量周期后再判断；
步骤S7.3、当前双目相机面向的轮胎区域非接地，计算所有栅格特征与特征文件中所保存的对应的匹配特征的三维坐标点之间的距离之和Dtotal；
步骤S7.4、判断步骤S7.3求得的Dtotal是否大于阈值，若大于阈值，当前轮胎区域在非接地状态下的位置与特征文件中保存的位置已经产生较大差别，可认为相机外参已发生变化，因此需要重新标定相机外参；否则，进入步骤S7.5；
步骤S7.5、判断当前时刻的计时器是否已经达到规定的自标定功能自动启动的时间间隔，若“是”，则重新标定双目相机外参，否则结束流程。
7.根据权利要求4所述的测量方法，其特征在于，步骤S8重新标定相机外参的标定过程如下：
步骤S8.1、判断当前双目相机的状态Si是否为true，若“是”，进入步骤S8.2；否则进入步骤S8.3；
步骤S8.2、因为进入外参标定流程，即表明当前双目相机需重新进行外参标定，但外参标定必须在非接地状态完成，因此需要判断是否有其他双目相机的状态为true；若存在某一相机Sj＝true，则认为编号为j的相机处于接地状态，那么本相机非接地，可以进行相机外参标定，进入步骤S8.3；否则，不可进行外参标定，进入下一计算周期；
步骤S8.3、先判断是否需要重新标定两个镜头间的相对位置，可以使用对极约束来判断；假设某一特征点/块在左目成像中的坐标为p1，在右目成像中的坐标为p2，两个镜头的相对外参可表示为旋转矩阵RC和平移向量TC，则理想情况下应满足对极约束：
其中，
是与TC对应的反对称矩阵，K1和K2分别为左目和右目两个镜头的内参矩阵；若相对外参发生变化，则上述公式不满足；
步骤S8.4、设有M个特征点/块，依据下式求得ζ，判断ζ是否大于阈值，若“是”，则表明当前双目相机的两个镜头之间的相对外参已发生变化，则可认为RC和TC需重新标定，进入步骤S8.5；否则，进入步骤S8.6；
步骤S8.5、双目镜头相对外参标定，将每一个镜头当做单目相机并优化求解它相对于车轮坐标系的位姿，假设求得了左目镜头的外参R1，T1和右目镜头的外参R2，T2，则可直接求得两个镜头的相对外参
步骤S8.6、双目相机相对于车轮中心的外参标定参照初始化的自标定方式；
步骤S8.7、标定完成后，用新的胎内特征数据和外参对特征文件进行更新。
8.一种轮胎形变的实时测量装置，其特征在于，包括双目相机、漫反射光源、处理器、无线发射模块；其中，所述双目相机为N个，N个所述的双目相机间隔均布设置在轮辋圆周方向上，每个双目相机的两个镜头连线垂直于车轮平面，且镜头沿从轮胎中心出发的半径面向轮胎边缘，双目相机的基线长度及FOV应满足两个镜头可同时观测到轮胎最大印迹区域；双目相机用于拍摄轮胎内表面图像；所述漫反射光源设置在相邻两组双目相机之间；漫反射光源，用于在胎内提供光源，以便于双目相机成像；所述处理器包括轮胎形变测量功能模块、自标定判断模块、双目镜头自标定模块、双目相机自标定模块、特征文件；
所述轮胎形变测量功能模块，用于对双目相机拍摄得到的轮胎内表面图像进行处理，得到双目相机观测区域内特征点/块的三维坐标；
所述自标定判断模块，用于判断是否需要对双目相机两个镜头的相对外参进行标定，以及是否需要对双目相机相对于车轮中心的外参进行标定；
所述双目镜头自标定模块，用于对双目相机两个镜头的相对外参进行标定；
所述双目相机自标定模块，用于对双目相机相对于车轮中心的外参进行标定；
所述特征文件，用于存储观测区域栅格特征信息和双目相机外参数据，以供之后形变测量过程中使用；
所述无线发射模块，用于将处理器的处理结果发送到车辆的中央处理模块。
9.根据权利要求8所述的一种轮胎形变的实时测量装置，其特征在于，该装置还包括重力加速度传感器或数据处理模块，所述重力加速度传感器安装在双目相机中，通过重力加速度传感器来判断重力相对于双目相机的方向，从而直接得出当前双目相机是否面向接地印迹区域；所述数据处理模块，用于对轮胎形变测量功能模块检测的数据进行处理，根据处理的结果来判断当前双目相机是否面向接地印迹区域。
10.根据权利要求8或9所述的一种轮胎形变的实时测量装置，其特征在于，所述轮胎形变测量功能模块包括特征识别模块、特征筛选模块、特征搜索模块、位置测量模块；其中，特征识别模块，用于对胎内观测区域的特征元素进行识别；所述特征筛选模块，用于对胎内观测区域内每个栅格内的特征元素进行筛选，以确定观测区域内所有栅格的特征及其位置、距离信息；所述特征搜索模块，读取特征文件中所保存的栅格特征信息，遍历所有栅格特征，在当前检测到的所有特征中搜索目标特征的位置；所述位置测量模块，用于获取特征元素相对于相机坐标系的三维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110606442.0A CN113267137B (zh) | 2021-05-28 | 2021-05-28 | 一种轮胎形变的实时测量方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110606442.0A CN113267137B (zh) | 2021-05-28 | 2021-05-28 | 一种轮胎形变的实时测量方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113267137A true CN113267137A (zh) | 2021-08-17 |
| CN113267137B CN113267137B (zh) | 2023-02-03 |
Family
ID=77233888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110606442.0A Active CN113267137B (zh) | 2021-05-28 | 2021-05-28 | 一种轮胎形变的实时测量方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113267137B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114199154A (zh) * | 2021-11-19 | 2022-03-18 | 江苏大学 | 一种接地全过程轮胎三向应变的测量系统及测量方法 |
| WO2023178617A1 (zh) * | 2022-03-24 | 2023-09-28 | 华为技术有限公司 | 一种车胎的检测方法和电子装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1566903A (zh) * | 2003-06-11 | 2005-01-19 | 北京航空航天大学 | 轮胎多几何参数的激光视觉在线自动测量方法 |
| US20110056284A1 (en) * | 2008-01-23 | 2011-03-10 | The Yokohama Rubber Co. Ltd. | Method for measuring deformation of tire tread |
| US20140086453A1 (en) * | 2011-05-17 | 2014-03-27 | Toyo Tire & Rubber Co. Ltd. | Tire defect detection method |
| CN104677341A (zh) * | 2015-01-12 | 2015-06-03 | 张长隆 | 一种单目摄像头轮胎痕迹测量方法和系统 |
| CN110054089A (zh) * | 2019-04-29 | 2019-07-26 | 北京航天自动控制研究所 | 一种轮胎吊机器视觉自动纠偏系统及纠偏方法 |
| CN110631498A (zh) * | 2019-08-05 | 2019-12-31 | 江苏大学 | 一种获取轮胎接地区变形分布的方法 |
| CN111429527A (zh) * | 2020-03-24 | 2020-07-17 | 广东星舆科技有限公司 | 一种车载相机的外参自动标定方法及系统 |
| CN111815710A (zh) * | 2020-05-28 | 2020-10-23 | 北京易航远智科技有限公司 | 鱼眼相机自动标定方法 |
| CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN111967360A (zh) * | 2020-08-06 | 2020-11-20 | 苏州易航远智智能科技有限公司 | 基于车轮的目标车辆姿态检测方法 |
| CN111964924A (zh) * | 2020-08-12 | 2020-11-20 | 合肥富煌君达高科信息技术有限公司 | 一种基于高速相机和多线激光的轮胎鼓包检测系统 |
| CN112465831A (zh) * | 2020-11-16 | 2021-03-09 | 北京中科慧眼科技有限公司 | 基于双目立体相机的弯道场景感知方法、系统和装置 |
-
2021
- 2021-05-28 CN CN202110606442.0A patent/CN113267137B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1566903A (zh) * | 2003-06-11 | 2005-01-19 | 北京航空航天大学 | 轮胎多几何参数的激光视觉在线自动测量方法 |
| US20110056284A1 (en) * | 2008-01-23 | 2011-03-10 | The Yokohama Rubber Co. Ltd. | Method for measuring deformation of tire tread |
| US20140086453A1 (en) * | 2011-05-17 | 2014-03-27 | Toyo Tire & Rubber Co. Ltd. | Tire defect detection method |
| CN104677341A (zh) * | 2015-01-12 | 2015-06-03 | 张长隆 | 一种单目摄像头轮胎痕迹测量方法和系统 |
| CN110054089A (zh) * | 2019-04-29 | 2019-07-26 | 北京航天自动控制研究所 | 一种轮胎吊机器视觉自动纠偏系统及纠偏方法 |
| CN110631498A (zh) * | 2019-08-05 | 2019-12-31 | 江苏大学 | 一种获取轮胎接地区变形分布的方法 |
| CN111429527A (zh) * | 2020-03-24 | 2020-07-17 | 广东星舆科技有限公司 | 一种车载相机的外参自动标定方法及系统 |
| CN111815710A (zh) * | 2020-05-28 | 2020-10-23 | 北京易航远智科技有限公司 | 鱼眼相机自动标定方法 |
| CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN111967360A (zh) * | 2020-08-06 | 2020-11-20 | 苏州易航远智智能科技有限公司 | 基于车轮的目标车辆姿态检测方法 |
| CN111964924A (zh) * | 2020-08-12 | 2020-11-20 | 合肥富煌君达高科信息技术有限公司 | 一种基于高速相机和多线激光的轮胎鼓包检测系统 |
| CN112465831A (zh) * | 2020-11-16 | 2021-03-09 | 北京中科慧眼科技有限公司 | 基于双目立体相机的弯道场景感知方法、系统和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 宋子彬等: "双目视觉车轮姿态提取的位移检测方法", 《科学技术与工程》 * |
| 庄晔等: "用于轮胎-路面摩擦状态识别的胎内传感技术研究", 《汽车技术》 * |
| 张辉等: "基于平面模板自由拍摄的双目立体测量系统的现场标定", 《航空学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114199154A (zh) * | 2021-11-19 | 2022-03-18 | 江苏大学 | 一种接地全过程轮胎三向应变的测量系统及测量方法 |
| WO2023178617A1 (zh) * | 2022-03-24 | 2023-09-28 | 华为技术有限公司 | 一种车胎的检测方法和电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113267137B (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guan et al. | Automated pixel-level pavement distress detection based on stereo vision and deep learning | |
| CN113267137B (zh) | 一种轮胎形变的实时测量方法和装置 | |
| CN106295505A (zh) | 路面使用过程中的状态测定系统 | |
| CN111994066B (zh) | 一种基于智能轮胎触觉感知的智能汽车感知系统 | |
| CN110473187B (zh) | 一种面向对象的线扫描三维路面裂缝提取方法 | |
| Staniek | Stereo vision method application to road inspection | |
| CN108230375B (zh) | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 | |
| EP2580557A1 (en) | System and method for determining the position and orientation of a 3d feature | |
| CN109060820B (zh) | 基于激光检测的隧道病害检测方法及隧道病害检测装置 | |
| CN105354819A (zh) | 深度数据测量系统、深度数据确定方法和装置 | |
| CN106183995A (zh) | 一种基于立体视觉的可视倒车方法 | |
| CN109636790B (zh) | 一种管路结构的识别方法及装置 | |
| CN103686083A (zh) | 一种基于车载传感器视频流匹配的实时测速方法 | |
| CN108335454A (zh) | 一种火情检测方法及装置 | |
| CN115909025A (zh) | 一种小天体表面采样点地形视觉自主检测识别方法 | |
| CN114005108A (zh) | 一种基于坐标变换的指针式仪表度数识别方法 | |
| Zhang et al. | Vision-based tire deformation and vehicle-bridge contact force measurement | |
| CN107679542A (zh) | 一种双摄像头立体视觉识别方法及系统 | |
| CN102798380B (zh) | 线阵图像中目标运动参数的测量方法 | |
| CN103400377B (zh) | 一种基于双目立体视觉的三维圆形目标检测和判断方法 | |
| CN116740053A (zh) | 一种锻造加工智能生产线的管理系统 | |
| CN109117712A (zh) | 一种最大边缘测度学习的高光谱影像目标探测方法及系统 | |
| CN115908375A (zh) | 一种基于计算机视觉图像识别的轮胎荷载获取方法 | |
| Els et al. | Comparison of tire footprint measurement techniques | |
| CN112945125B (zh) | 一种非接触式的轮胎滚动变形特性测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |