CN102798350B - 一种臂架挠度的测量方法、装置及系统 - Google Patents

Abstract

本发明公开了一种臂架挠度的测量方法、装置及系统，该方法包括：不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。本发明使用非接触测量的方式，测量方式简单、方便，测量精度较高，实时性很好，可以及时快速地测量出臂架的挠度。

Description

一种臂架挠度的测量方法、装置及系统

技术领域

本发明涉及数据处理技术领域，尤指一种臂架挠度的测量方法、装置及系统。

背景技术

工程机械的臂架系统在工作时，在承受自重载荷、工作载荷、风载等作用下，臂架会像鱼竿一样发生弯曲变形，如果变形量过大就有折臂的危险，因此实时测量出工程机械臂架系统挠度变形量十分重要。

现有对臂架挠度的测量方法有多种，例如采用在臂架的多节臂上分别安装传感器和电缆，测量时，分别测量各节伸缩臂的伸长量，将各节伸缩臂的伸长量与臂架的初始长度叠加，从而得到伸长后臂架的总长，这种方式需要预先在臂架的多节臂上安装电缆和传感器，布置传感器和电缆的工作量较大，测量成本较高，如果传感器和电缆发生故障，查错困难，可靠性不高的问题。

还有一种方法是使用激光器射出的激光打向臂架上的目标靶，目标靶将部分激光回射到激光器中的成像器上，成像器并将目标象送到线阵探测器中，线阵探测器将光信号转换成信号后，经数据采集器，以及联接的传输电缆输入计算机中，计算机进行两次位置差的计算，就得到主梁下挠变形量，并显示及预报起重机主梁下挠度，测量方式比较复杂，如果激光不能正常反射到线阵探测器上，则不能保证测量的精度。

发明内容

本发明提供一种工程臂架扰度的测量方法、装置及系统，用以实现工程臂架扰度的非接触式测量，从而避免现有测量方式中布置电缆、传感器的工作量 较大，测量成本较高，以及测量准确度较低的问题。

本发明臂架挠度的测量方法，包括以下步骤：

不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；

根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；

使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；

根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。

本发明实施例提供的臂架挠度的测量设备，包括：

获取模块，用于不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像；

三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；

标记点跟踪模块，用于使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；

挠度计算模块，用于根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。

本发明实施例提供的臂架挠度的测量系统，包括：

至少两个相机，用于分别对多节臂架上设置的标记点进行拍摄；

臂架挠度测量设备，用于不断获取所述至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍 摄的图像拼接为一帧图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。

本发明实施例的有益效果包括：

本发明实施例提供的臂架挠度的测量方法、装置及系统，使用至少两个相机对多节臂架上的标记点进行拍摄，并获取至少两个相机对多节臂架上标记点拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，将至少两个相机同一时刻拍摄的图像拼接为一帧图像；这样，在拼接后的各图像中使用粒子滤波跟踪的方法不断跟踪标记点，根据各标记点在各拼接后的图像中的三维坐标的变化，可实现对臂架系统中各节臂架挠度的测量。本发明实施例使用非接触测量的方式，不需要在臂架上安装额外的测量仪器和设备，就能够实现对体积较大的臂架的挠度的测量，利用对臂架上标记点的图像进行跟踪分析的方法获取其三维坐标的变化，测量方式简单、方便，测量精度较高，并且，由于可以实时获取相机拍摄的图像，并对图像进行处理获取臂架的运动参数，这种测量方式，实时性很好，可以及时快速地测量出臂架的挠度。避免了现有测量方式所带来的布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的臂架挠度的测量方法的流程图；

图2为本发明实施例提供的相机标定过程中图像坐标和世界坐标系的示意图；

图3为本发明实施例提供的臂架挠度的测量设备的结构示意图；

图4为本发明实施例提供的臂架挠度的测量系统的结构示意图之一；

图5为本发明实施例提供的测量结果传输装置的结构示意图；

图6为本发明实施例提供的工程机械臂架系统工作幅度的测量系统的结构示意图之二；

图7为本发明实施例提供的测量结果传输装置与远端PC交互的示意图；

图8为本发明实施例提供的嵌入式系统模块与无线传输模块接口电路的示意图；

图9为本发明实施例提供的远端PC机中设置的无线传输模块与PC机串口之间的接口电路的示意图。

具体实施方式

下面结合说明书附图，对本发明实施例提供的一种臂架挠度的测量方法、装置及系统的具体实施方式进行说明。

本发明实施例提供的臂架挠度的测量方法，如图1所示，包括如下步骤：

S101、不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像并分别确定各图像中像素点在世界坐标系中的三维坐标；

S102、根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；

S103、使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；

S104、根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。

下面分别对上述各步骤分别进行详细说明。

本发明实施例提供的臂架挠度的测量方法中的步骤S101中，可以在各节臂架需要测量的位置上，设置标记点，标记点可以是任意形状的标记例如常见的十字丝、圆形、对角圆等，由于臂架系统体积庞大，为了测量的方便，需要 使用至少两个相机分别对多节臂架进行拍摄，然后将拍摄的图像拼接起来，实现对整个臂架扰度的非接触性测量。

因此，上述步骤S101中，由于至少两个相机分别对工程臂架系统上的标记点进行同时拍摄，需要不断获取至少两个相机在相同时刻拍摄的图像，并在步骤S102中，需要将至少两个相机拍摄的图像进行拼接，从而得到包含臂架系统上多个标记点的图像。

上述步骤S101中，可以通过下述方式确定各像素点的三维坐标：

根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

其中，图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，可以预先通过相机标定过程来确定。

相机标定过程可采用非接触式测量中的相机标定方法，非接触式测量是基于双目立体视觉测量原理，该原理是基于视差，根据三角法原理进行三维信息的获取，由两个相机的图像平面和标定物之间构成一个三角形。首先以标定物为参照物，标定出一个相机的内外参数，然后以该相机和标定物为参照物，标定出另一个相机的内外参数。

以两个相机为例，具体标定过程如下：

(1)设置标定物，具体包括：打印一张模板，模板以固定间距组成的若干个十字丝组成，并将该模板并贴在一个平板上，将贴有模板的平板放置到两个相机的共同视场中，其位置信息已知。

(2)两个相机从不同角度拍摄若干张(大于或等于3张)模板图像；

(3)检测每幅图像中的目标点(例如十字丝中心)；

(4)根据标定公式，分别获得两个相机的内部参数以及外部参数；

一般来说，相机的内外参数包括：比例系数、有效焦距、主点、平移矩阵和旋转矩阵。在相机标定方法中，可先根据标定物，利用标定公式，标定一个 相机，然后根据标定物，以及该相机来标定另一个相机。其中，标定公式即计算上述内外参数的过程，具体来说包括下述四个方面：(1)旋转矩阵 $R=\left[\begin{array}{c}{r}_1{r}_2{r}_3\\ r_4{r}_5{r}_6\\ r_7{r}_8{r}_9\end{array}\right],$ 平移矩阵 $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 的计算，具体计算过程属于现有技术，在此不再赘述；(2)确定图像采集设备主点，主点是图像的中心，可以近似为图像的中心坐标值；(3)图像采集设备比例系数的标定：以十字形状标记为例，事先用尺量好十字标记的长和宽，然后在计算机上计算十字图像长和宽所占的像素点，最后换算成一个像素点代表多大的实际物理尺寸；(4)有效焦距的计算：根据成像原理，当物距远大于相距的时候，焦距F＝物距V(可以近似为镜头到物体的距离)，在相机放置时候，该数值用卷尺可以量出。

(5)根据旋转矩阵和平移转换矢量，获得两个相机共同视场中某个点的三维坐标的表达式，该表达式表征了目标点在图像中的二维坐标与该目标点的三维坐标之间的转换关系。

如图2所示，假设o-XYZ是左相机的世界坐标系，O1-X₁Y₁为左相机的图像坐标系，f₁为左相机的有效焦距；Or-x_r y_rz_r为右相机的世界坐标系，f_r为右相机的有效焦距。

由现有的相机透视变换模型可以得到：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\mathrm{MRT}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{r}_1{r}_2{r}_3{t}_x\\ r_4{r}_5{r}_6{t}_y\\ r_7{r}_8{r}_9{t}_z\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ (公式1) 

上式中，MRT＝[R T]；且 $R=\left[\begin{array}{c}{r}_1{r}_2{r}_3\\ r_4{r}_5{r}_6\\ r_7{r}_8{r}_9\end{array}\right],$ $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 分别为O-x y z坐标系与Or-x_r y_rz_r坐标系之间的旋转矩阵和平移矩阵。其中，

r₁＝cos A_Y cos A_Z-sin A_Y sin A_X sin A_Z

r₂＝cos A_x sin A_Z

r₃＝sin A_Y cos A_Z+sin A_Y sin A_X sin A_Z

r₄＝-cos A_Y sin A_Z-sin A_Y sin A_X cos A_Z

r₅＝cos A_X cos A_Z

r₆＝-sin A_Y sin A_Z+cos A_Y sin A_X cos A_Z

r₇＝-sin A_Y cos A_X

r₈＝-sin A_X

r₉＝cos A_Y cos A_X

上述公式中的A_X，A_Y，A_Z分别为在世界三维坐标系下，A_X为标定过程中拍摄的目标点相对于X轴的倾斜角，A_Y为该目标点相对于Y轴的倾斜角；A_Z为该目标点相对于Z轴的倾斜角。这三个角度可以通过安装在固定相机的平台上的角度传感器测得。

较佳地，在本发明实施例中，由于所需求得的臂架的挠度是相对量而不是绝对量(臂架挠度通过臂架上同一个标记点在臂架工作过程中三维坐标的相对变化量确定)，而平移矩阵的意义是计算世界坐标系原点移动至图像坐标系原点的平移量，相当于是做坐标平移，因此，在具体标定过程中，可以不需要按照现有平移矩阵的计算方式来计算出平移矩阵的具体数值，而将其整体直接作为零值考虑，即： $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=0.$ 将 $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=0$ 代入上述公式1，变为：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\mathrm{MRT}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{r}_1{r}_2{r}_3\\ r_4{r}_5{r}_6\\ r_7{r}_8{r}_9\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

在本发明实施例中，由于相机成像时不一定是水平正对着臂架的，所以会有相对于臂架的姿态角A_X，A_Y，A_Z，因此较重要是需要在标定过程中把目标点的姿态角反算成水平状态下的坐标。而平移矩阵只是坐标系的平移，坐标原点不同而已，在本发明实施例计算工程机械吊钩的运动变化量这种相对量时可以不需完成平移矩阵具体数值的计算，直接将其设置为0即可。

由此可以计算出像素点的三维坐标(x，y，x)表达式，即图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系为：

x＝zX₁/f₁

y＝zY₁/f₁

$z=\frac{f_1(f_r*t_x-X_r*t_z)}{X_r(r_7{X}_1+r_8{Y}_1+f_1*r_9)-f_r(r_1*X_1+r_2*Y_1+f_1*r_3)}$

其中，该像素点可为标记点上的一个像素点，以左相机采集到的一幅图片为例，在图像中有一个标记点，即可为该标记点上的一个像素点，在左相机中的二维坐标为(X₁，Y₁)。如果像素点在右相机中的二维坐标为(Xr，Yr)，那么上式中x＝zXr/fr；y＝zYr/fr，z的计算公式与上式相同。

本发明实施例并不限于使用上述标定方法，还可以使用现有技术中其他类似的基于双目立体视觉测量原理的相机标定方法来确定图像中的二维坐标与该目标点三维坐标之间的转换关系。

在上述步骤S102中，根据各图像中各像素点的三维坐标，将至少两个相机同时拍摄的图像拼接为一帧图像，拼接过程中，需要将两幅图像中具有相同三维坐标的像素点作为两幅图像重合部分，将两帧图像拼接到一起，依次类推，依次将多幅图像拼接到一起。

具体的拼接过程包括下述步骤：

对至少两个相机同时拍摄的图像分别进行几何校正；

对几何校正后的各图像进行图像配准；

将图像配准后的各图像进行融合，消除拼接痕迹；

输出拼接完成的图像。

图像校正主要是针对图像有变形或者模糊的情况，对图像进行复原的技术，图像配准是指在图像拼接过程中，针对两个相机拍摄的同一个点的图像，寻找最佳空间变化关系和灰度变换关系，实现两帧图像在拼接时的最大对准。具体实施方式与现有技术相同，在此不再赘述。

对图像进行几何校正和图像配准以及图像融合的方法属于现有技术的范 畴，在此不再详述。

在上述步骤S103中，使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标。

在不同时刻的图像中识别出了标记点后，可以根据该标记点的三维坐标在拼接后的各帧图像中的三维坐标点的位置变化，测量出标记点在x、y和z方向上的位移(Δx＝x2-x1；Δy＝y2-y1；Δz＝z2-z1，x1、y1和z1为上一帧拼接后的图像中标记点的三维坐标，x2、y2和z2为当前帧拼接后的图像中标记点的三维坐标，Δx、Δy和Δz是标记点在三个方向上的位移)，从而可以实现对标记点所在的臂架的挠度进行测量。

本发明实施例提供臂架挠度的测量方法中，采用现有技术中的粒子跟踪方式实现图像中标记点的识别。采用粒子跟踪的方式是因为工程机械整个臂架在工作状态下，伸出的长度很大，尤其是大吨位工程机械，臂架完全伸展常常是百米以上，而且作业现场环境复杂，不仅会有遮挡现象，而且随着臂架的大角度转动，贴在上面的标记点在成像时会发生放大缩小、扭转等变化；相机可能会直接对着强烈阳光等复杂情况成像等，这些情况下，由于图像成像的原因，多目标跟踪可能会出现丢失、遮挡以及因为目标点图像变形而产生跟踪误差，这种误差会传递到测量结果上，加大测量误差。所以针对臂架的复杂工况，本发明实施例采用粒子滤波的跟踪算法，该跟踪算法具有对边缘遮挡、目标旋转、变形以及光照变化不敏感等优点，这样就可对图像中的标记点进行准确追踪。

为了更好地说明本发明实施例提供的臂架挠度的测量方法，下面对现有技术中粒子滤波的跟踪算法进行简单说明。

该算法包括如下步骤：

(1)样本初始化。在初始帧中通过运动目标识别算法确定目标区域，并计算目标模板的颜色概率分布；每一幅图片中臂架做为运动目标的初始参数为其质心位置(x_init，y_jnit)，该参数确定为根据每个相机拍摄的标记点图像，然后根据质心公式计算运动目标质心。创建N个粒子(粒子即要找的可能的运动 目标，由于我们事先粘贴了标记点，知道个数，因此我们创建的个数为粘贴标记点的个数，因为运动目标最大数就是粘贴标记点的个数，粒子参数为(s_i，s _j)，粒子权值w_i为1，每个粒子代表一个可能的运动目标。

x_i＝x_init+b₁ξ，y_i＝y_init+b₂ξ，

其中，ξ为[-1，1]内的随机数，b1、b2是常数。搜索的位移的步长由B决定，B也为设计参数，在跟踪过程中B取[1，10]，具体数据根据图像清晰度确定，越清晰数值越小。当由于强光、光照不均匀等情况导致标记点成像模糊、图像变形等情况导致，当目标丢失，B取[20，40]，即在一个较大范围找到目标，该数值由算法自动调节，首先从20开始取，如果没有没有搜索到标记点图像，则根据步长加1的方式一步步增加，其大小正比于之前若干时刻目标的平均状态变化，根据经验数据一般B取到40都能找到标记点目标，

(2)系统观测：观察每个粒子所代表的目标可能状态和目标理想状态之间的相似程度，接近目标理想状态的粒子赋予较大的权值，反之权值较小。取最小平均绝对差值函数为衡量相似程度的工具，即对每个粒子可以计算一个相似值mad，根据相似值计算各粒子的权值wi，系统初始的权数是1/N(粒子数)，权值的范围为[1/N，1]，1表示完全吻合。

(3)后验概率计算：t时刻的后验概率，也就是目标跟踪中所期望的目标参数(xt，yt)由于各个粒子的加权和计算得到：

$x_t=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{x}_i$

$y_t=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{y}_i$

至此一次跟踪过程结束。下一时刻的跟踪仍然从系统的状态转移步骤重新开始。

进一步地，由于工程机械的臂架系统工况往往比较复杂，在相机拍摄的过程中，难免出现臂架上标记点被遮挡的问题，例如当连续的多帧拼接后的图像使用标准图像作为模板或者使用更新后的模板都无法匹配成功时，可以确定标 记点在这几帧图像中发生了遮挡，此时可以使用卡尔曼滤波算法，根据最近的匹配成功的拼接后的图像中标记点所在的位置，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对臂架系统的运动轨迹进行测量，并且保证测量的精度。

为了更好地理解本发明实施例，下面简单地对卡尔曼滤波算法进行简单介绍：

工程机械臂架上目标点成像时，当臂架距离相机较远时，目标所成的像较小或者发生转动时，标记点的图像会发生大小变化，并且由于臂架转动导致的成像角度发生变化，导致标记的目标形状发生变化；噪声主要分两部分，主要是相机的内部噪声，主要特征是室外成像环境下，阳光亮度高，灰尘大等因素，这些噪声可以近似认为服从高斯分布或白噪声。

通过上面粒子滤波得到的各个目标点区域。由于目标运动的连续性，目标第k+1帧的位置必定在第k帧位置的某个小领域内，以连续的三帧图像邻域轨迹预测算法为例，设目标i在第k帧的位置分别为

第k，k+1，k+2帧的位置分别为 则应满足：

$x_i^{k+1}-\mathrm{\α}\≤x_i^k\≤x_i^{k+1}+\mathrm{\α}$

$y_i^{k+1}-\mathrm{\α}\≤y_i^k\≤y_i^{k+1}+\mathrm{\α}$

$x_i^{k+2}-\mathrm{\α}\≤x_i^{k+1}\≤x_i^{k+2}+\mathrm{\α}$

$y_i^{k+2}-\mathrm{\α}\≤y_i^k\≤y_i^{k+1}+\mathrm{\α}$

其中α为领域大小，该大小根据根据精度确定，如果现场干扰物多，则该值适当取大，增加鲁棒性。如果满足上式则判断目标i为真实目标点，从此时开始记录下目标位置 否则认为是虚假目标点予以删除，以此类推，继续找第k+3帧及以后帧的目标。

如果此时连续几帧图片都没有跟踪上目标点，这是利用卡尔曼滤波算法进行跟踪估计。在本方案中利用如下：

1)首先对第k帧图片里面的所有目标点区域利用领域轨迹判断在第k+1 帧中是否存在相应的目标点位置，如果只存在一个目标位置则更新目标位置若不存在目标位置判定，则目标丢失；

然后对第k+1帧中存在的目标点在第k帧中寻找匹配点，如果有目标点不存在相应的匹配点，则认为该目标是新增目标并记录其位置信息。

2)如果只存在一个新目标位置信息(当前目标点在图像坐标系下的x，y坐标)，则利用此刻新的位置进行该目标运动轨迹的卡尔曼(kalman)估计，进一步修正滤波中的状态估计值。

3)如果丢失目标，则用kalman滤波预测出目标在第k+1帧中的位置，同时更新目标位置，并标记为预测值。连续预测次数不能大于设定值T(该值＜1/相机帧率)，否则由于长时间没有目标观测值的修正，如果工程机械臂架出现加速或转弯会使预测值于真实值直接的误差越来越大，最终完全偏离真实轨迹。所欲当连续预测次数等于T时，认为目标已经完全丢失，抛弃目标，停止预测。

3)综合上述两种情况，得到第k+1帧的实际目标数量和位置。

最后，上面计算出的标记点二维坐标全部都代入到以下公式中：

x＝zX1/f1

y＝zY1/f1

$z=\frac{f1(\mathrm{fr}*t_x-\mathrm{Xr}*t_z)}{\mathrm{Xr}(r_{7}X1+r_{8}Y1+f1*r_9)-\mathrm{fr}(r_1*X1+r_2*Y1+f1*r_3)}$

$=\frac{f1(\mathrm{fr}*t_y-\mathrm{Yr}*t_z)}{\mathrm{Yr}(r_{7}X1+r_{8}Y1+f1*r_9)-\mathrm{fr}(r_1*X1+r_5*Y1+f1*r_6)}$

求出臂架上各个目标点的三维坐标。

卡尔曼滤波器是一种效果较优的信息处理器。首先要利用系统的过程模型来预测下一状态的系统。假设现在的系统状态是K，根据系统的模型，可以基于系统的上一状态而预测出现在的状态。

这样，就可以利用现有的卡尔曼滤波器，依次确定标记点被遮挡的当前帧图像的前1帧、前2帧......是否发生遮挡，直到找到最近的未发生遮挡的那一帧，然后根据找到的最近的未发生遮挡的那一帧图像中标记点的位置，预测出 发生遮挡的下一帧中标记点的位置，然后根据预测出的下一帧中标记点的位置，继续预测该下一帧图像的下一帧图像中标记点的位置，依次类推，直至将发生遮挡的各帧图像中标记点的位置都预测完成为止。

较佳地，本发明实施例提供的臂架挠度的测量方法，由于具有臂架系统的工程机械往往体积庞大，为了保证测量者的安全，对测量结果进行获取和分析这部分工作往往会在距离工程机械较远的地方进行，这样，本发明实施例中，还需要根据远端PC机的指令，将臂架扰度的测量结果通过无线传输方式发送给远端PC机，并且在发送结束后，向远端PC机发送发送完毕的指令。

将测量结果通过无线传输的方式远距离传输出去，不仅保证了测量工作者的安全，而且还能保证测量结果的实时性。

基于同一发明构思，本发明实施例还提供了一种臂架挠度的测量设备和系统，由于这些设备和系统所解决问题的原理与前述臂架挠度的测量的方法相似，因此该设备和系统的实施可以参见前述方法的实施，重复之处不再赘述。

具体地，本发明实施例提供的一种臂架挠度的测量设备，如图3所示，包括：

获取模块301，用于不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像； 

三维坐标确定模块302，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块303，用于不断将至少两个相机同时拍摄的图像拼接为一帧图像；

标记点跟踪模块304，用于使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；

挠度计算模块305，用于根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。

进一步地，上述三维坐标确定模块302，具体用于根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标 系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

进一步地，本发明实施例提供的臂架挠度的测量设备，如3图所示，还可以包括：标定模块306，用于对布置在臂架上同个标记点前方的至少两个相机分别进行标定，获取各相机的内外参数；根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。

进一步地，上述拼接模块303，具体用于对至少两个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。

进一步地，本发明实施例提供的臂架挠度的测量设备，如图3所示，还可以包括：卡尔曼滤波处理模块307，用于当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定标记点发生遮挡；使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对所述臂架的挠度进行测量。

本发明实施例提供的一种臂架挠度的测量系统，如图4所示，包括：

至少两个相机401，用于分别对多节臂架上设置的标记点同时进行拍摄；

臂架挠度测量设备402，用于用于不断获取所述至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。

进一步地，本发明实施例提供的臂架挠度的测量系统，如图4所示，还可以包括：测量结果传输装置403，用于根据远端PC机的指令，将臂架扰度的测量结果通过无线传输方式发送给该远端PC机，并在发送结束后，向改远端PC机返回发送完毕的指令；

远端PC机404，用于通过无线方式接收所述测量结果传输装置传输过来的臂架挠度的测量结果。

进一步地，本发明实施例提供的测量结果传输装置403，如图5所示，具体包括：

数据采集模块501，用于采集臂架挠度测量设备得到臂架扰度的测量结果；

嵌入式系统模块502，用于将无线传输模块503设置为处于接收状态，以及通过串口中断来识别由远端PC机通过无线信道传送过来的指令，当确定接收到远端PC机发送的传输数据的指令时，将无线传输模块由接收状态修改为发送状态，并将臂架挠度测量设备得到的挠度测量结果传递给无线传输模块；以及在无线传输模块传输完毕后，向所述远端PC机返回发送完毕的指令；并将无线传输模块由发送状态再次修改为接收状态；

无线传输模块503，用于将挠度测量结果通过无线信道传输给远端PC机。

图6所示的是本发明实施例提供的测量系统的架构示意图，图6中，标记点可以打在臂架任何需要测量的位置，至少两个相机连接有工控机(或嵌入式系统)，该工控机(或嵌入式系统)就是用于实现非接触式测量的核心测量设备，负责对至少两个相机采集的图像进行拼接、处理得到臂架系统运动幅度的测量参数。

图7所示的是本发明实施例提供的臂架挠度的测量系统中的测量结果传输装置403与远端PC交互的示意图，从该示意图中可以看出，数据采集模块收集测量数据传输给嵌入式系统模块(单片机、ARM或者DSP等)，然后经由无线传输模块将数据传输出去，嵌入式系统模块主要起到对指令和数据的收发进行控制的作用。

本发明实施例在具体实施时，测量结果传输装置中的嵌入式系统模块可以采用单片机(如：AT89C52)，ARM(如：ARM9、ARM11)，DSP(DSP28系列)；无线传输模块可以采用现有的PTR2000无线数据传输模块。

无线传输模块和嵌入式系统模块通过串口相连。图8是嵌入式系统模块(采用AT89C52的单片机)与无线传输模块(采用PTR2000无线传输模块)接口电路的示意图。

图8所示的仅是本发明实施例提供的嵌入式系统模块和无线传输模块连接示意图而已，本发明实施例并不限于上述两种芯片以及图8所示的连接方式。

远端PC机为了方便接收无线数据，也会在本地设置一个无线传输模块，该模块与PC机的串口连接，由于无线传输模块一般支持TTL电平，而PC机的串口信号满足RS-232标准，在远端PC机侧，需要在无线传输模块与串口之间进行RS-232和TTL的电平之间的转换。

图9是远端PC机中设置的无线传输模块与PC机串口之间的接口电路的示意图，该图9中，MAX202就是用来在无线传输模块(PTR2000无线传输模块)和串口之间进行电平转换的芯片。

上述例子中，测量结果传输装置和远端PC机之间的交互过程如下：

1)测量结果传输装置中的嵌入式系统模块在初始化时，将本地的无线数据传输模块设置处于接收状态，通过串口中断来识别由远端PC机通过无线信道传送过来的指令；

2)测量结果传输装置根据接收指令的内容来决定当前需要采集数据并且需要启动数据的发送。

3)在数据发送之前将无线传输模块设置为发射状态，然后对数据进行编码、校验，然后经过串口发送出去。

4)在数据发送完毕后，测量结果传输装置向远端PC机发送“发送完毕”的指令，然后将本地的无线传输模块重设为接收状态。

本发明实施例提供的臂架挠度的测量方法、装置及系统，使用至少两个相机对多节臂架上的标记点进行拍摄，并获取至少两个相机对多节臂架上标记点 拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，将至少两个相机同一时刻拍摄的图像拼接为一帧图像；这样，在拼接后的各图像中使用粒子滤波跟踪的方法不断跟踪标记点，根据各标记点在各拼接后的图像中的三维坐标的变化，可实现对臂架系统中各节臂架挠度的测量。本发明实施例使用非接触测量的方式，不需要在臂架上安装额外的测量仪器和设备，就能够实现对体积较大的臂架的挠度的测量，利用对臂架上标记点的图像进行跟踪分析的方法获取其三维坐标的变化，测量方式简单、方便，测量精度较高，并且，由于可以实时获取相机拍摄的图像，并对图像进行处理获取臂架的运动参数，这种测量方式，实时性很好，可以及时快速地测量出臂架的挠度。避免了现有测量方式所带来的布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种臂架挠度的测量方法，其特征在于，包括以下步骤：

不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；

根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；

使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；

根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果；

其中，

分别确定各图像中像素点的三维坐标，包括：

根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

2.如权利要求1所述的臂架挠度的测量方法，其特征在于，所述图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，通过下述方式确定：

对布置在所述臂架上同个标记点前方的至少两个相机分别进行标定，获取各相机的内外参数；

根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。

3.如权利要求1所述的臂架挠度的测量方法，其特征在于，将至少两个相机同时拍摄的图像拼接为同一帧图像，包括：

对至少两个相机同时拍摄的图像分别进行几何校正；

对几何校正后的各图像进行图像配准；

将图像配准后的各图像进行融合，消除拼接痕迹；

输出拼接完成的图像。

4.如权利要求1-3任一项所述的臂架挠度的测量方法，其特征在于，还包括：

根据远端PC机的指令，将臂架扰度的测量结果通过无线传输方式发送给所述远端PC机，并在发送结束后，向所述远端PC机发送发送完毕的指令。

5.一种臂架挠度的测量设备，其特征在于，包括：

获取模块，用于不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像；

三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；

标记点跟踪模块，用于：使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；且当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；

挠度计算模块，用于根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果；

其中，

分别确定各图像中像素点的三维坐标，包括：

根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

6.如权利要求5所述的设备，其特征在于，所述三维坐标确定模块，具体用于根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

7.如权利要求6所述的设备，其特征在于，还包括：

标定模块，用于对布置在所述臂架上同个标记点前方的至少两个相机分别进行标定，获取各相机的内外参数；根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。

8.如权利要求7所述的设备，其特征在于，所述拼接模块，具体用于对至少两个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。

9.如权利要求5-8任一项所述的设备，其特征在于，还包括：

卡尔曼滤波处理模块，用于当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对所述臂架的挠度进行测量。

10.一种臂架挠度的测量系统，其特征在于，包括：

至少两个相机，用于分别对多节臂架上设置的标记点进行拍摄；

臂架挠度测量设备，包括：

获取模块，用于不断获取所述至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像；

三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；

标记点跟踪模块，用于：使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；且当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；

挠度计算模块，用于根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果；

其中，

分别确定各图像中像素点的三维坐标，包括：

根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

11.如权利要求10所述的系统，其特征在于，还包括：测量结果传输装置，用于根据远端PC机的指令，将臂架扰度的测量结果通过无线传输方式发送给所述远端PC机，并在发送结束后，向所述远端PC机返回发送完毕的指令；

远端PC机，用于通过无线方式接收所述测量结果传输装置传输过来的臂架挠度的测量结果。

12.如权利要求11所述的系统，其特征在于，所述测量结果传输装置，具体包括：

数据采集模块，用于采集所述臂架挠度测量设备得到臂架扰度的测量结果；

嵌入式系统模块，用于将无线传输模块设置为处于接收状态，以及通过串口中断来识别由远端PC机通过无线信道传送过来的指令，当确定接收到远端PC机发送的传输数据的指令时，将无线传输模块由接收状态修改为发送状态，并将臂架挠度测量设备得到的挠度测量结果传递给无线传输模块；以及在无线传输模块传输完毕后，向所述远端PC机返回发送完毕的指令；并将无线传输模块由发送状态再次修改为接收状态；

无线传输模块，用于将挠度测量结果通过无线信道传输给远端PC机。