CN102798456A - 一种工程机械臂架系统工作幅度的测量方法、装置及系统 - Google Patents

Abstract

本发明公开了一种工程机械臂架系统工作幅度的测量方法、装置及系统，该方法包括：不断获取多个相机对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；在拼接后的各图像中，分别匹配出所述标记点；根据拼接后各图像中标记点三维坐标的变化，对所述臂架系统的运动幅度进行测量。本发明解决了现有测量方式中布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。

Description

一种工程机械臂架系统工作幅度的测量方法、装置及系统

技术领域

本发明涉及数据处理技术领域，尤指一种工程机械臂架系统工作幅度的测量方法、装置及系统。

背景技术

工程车辆的整个臂架系统除了承受自重载荷、工作载荷等静态载荷作用之外，在工作中的各种振动、冲击激励如泵车液压系统的冲击、混凝土流经输送管的流固耦合振动、臂架运动的惯性冲击以及风载、发动机振动载荷等，都可能引发臂架系统显著的动态响应。

如何对臂架系统的振动变化进行测量，现有技术提供了很多方法，例如使用位移传感器来测量位移的振动变化，如图1所示，在需要测量部位顶一个位移传感器，直接可以获取该点的位移变化，或者利用光栅传感器来测量振动，如图2所示，传感光栅贴装在悬臂的上表面上，另一个信号解调光栅贴装在悬臂梁下表面的对称位置.在待测振动惯性力的作用下悬臂梁发生机械振动，上表面应变收缩而下表面应变伸长，带动两个光纤光栅产生周期性的应变拉伸或收缩，从而引起传感FBG的布拉格波长发生变化，通过探测传感FBG波长的变化即可实现振动的传感测量。或者采用传感器测量臂架的工作幅度。

现有的臂架系统的振动变化测量方式，存在以下缺点：需要将传感器直接布置在被测臂架上，一方面布置传感器的工作比较大，准备工作复杂，另一方面，测量范围小，实时性不够好，如果工况较恶劣，无法保证测量精度。

发明内容

本发明实施例提供一种工程机械臂架系统工作幅度的测量方法、装置及系统，用以实现对工程机械臂架系统进行非接触式测量，从而解决了现有测量方式中布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。

本发明实施例提供的一种工程机械臂架系统工作幅度的测量方法，包括以下步骤：

不断获取至少两个相机对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；

根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；

将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；

根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

本发明实施例提供的一种工程机械臂架系统工作幅度的测量设备，包括：

获取模块，用于不断获取至少两个相机对臂架系统上安装的标记点同时采集的各图像；

三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块，用于根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；

匹配模块，用于将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；

测量模块，用于根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

本发明实施例提供一种工程机械臂架系统工作幅度的测量系统，包括：

多个相机，用于分别对臂架系统上安装的标记点同时进行拍摄；

臂架系统工作幅度测量设备，用于不断获取所述多个相机对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；在拼接后的各图像中，分别匹配出所述标记点；根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

本发明有益效果如下：

本发明实施例提供的工程机械臂架系统工作幅度的测量方法、装置及系统，使用多个相机对臂架系统上的标记点进行拍摄，并获取多个相机对臂架系统上标记点拍摄的图像，并分别确定各图像中像素点的三维坐标，根据各图像中各像素点的三维坐标，不断将多个相机同一时刻拍摄的图像拼接成一帧图像，这样，在拼接后的各图像中不断跟踪标记点，根据各标记点在各拼接后的图像中的三维坐标的变化，即可实现对臂架系统中各节臂架运动幅度的测量。本发明实施例使用非接触测量的方式，不需要在臂架系统上安装额外的测量仪器和设备，就能够实现对体积较大的臂架系统运动幅度的测量，测量方式简单、方便，测量精度较高，并且，由于可以实时获取相机拍摄的图像，并对图像进行处理获取臂架的运动参数，这种测量方式，实时性很好，可以及时快速地获知臂架系统的工作幅度情况。避免了现有测量方式所带来的布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中臂架系统测量方式的示意图之一；

图2为现有技术中臂架系统测量方式的示意图之二；

图3为本发明实施例提供的工程机械臂架系统工作幅度的测量方法的流程图；

图4为本发明实施例提供的相机标定的示意图；

图5为本发明实施例提供的工程机械臂架系统工作幅度的测量设备的结构示意图；

图6为本发明实施例提供的工程机械臂架系统工作幅度的测量系统的结构示意图；

图7为本发明实施例提供的测量系统的架构示意图。

具体实施方式

下面结合说明书附图，对本发明实施例提供的一种工程机械臂架系统工作幅度的测量方法、装置及系统的具体实施方式进行说明。

本发明实施例提供的工程机械臂架系统工作幅度的测量方法，如图3所示，包括如下步骤：

S301、不断获取至少两个相机对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；

S302、据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；

S303、将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；

S304、根据拼接后各图像中标记点三维坐标的变化，计算臂架系统的运动幅度。

下面分别对上述各步骤分别进行详细说明。

本发明实施例提供的工程机械臂架系统工作幅度的测量方法中的步骤S301中，由于臂架系统包含多节臂架，可以在各节臂架需要测量的位置上，设置标记点，标记点可以是任意形状的标记例如常见的十字丝、圆形、对角圆等，由于臂架系统体积庞大，为了测量的方便，需要使用多个相机分别对臂架系统进行拍摄，然后将拍摄的图像拼接起来，实现对整个臂架系统的非接触性测量。

因此，上述步骤S301中，由于多个相机分别对工程臂架系统上的标记点进行同时拍摄，需要不断获取多个相机在相同时刻拍摄的图像，并在步骤S302中，需要将多个相机拍摄的图像进行拼接，从而得到包含臂架系统上多个标记点的图像。

在上述步骤S301中，可以通过下述方式确定拍摄的各图像中各像素点的三维坐标：

根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

其中，图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，可以预先通过相机标定过程来确定。

相机标定过程可采用非接触式测量中的相机标定方法，非接触式测量是基于双目立体视觉测量原理，该原理是基于视差，根据三角法原理进行三维信息的获取，由两个相机的图像平面和标定物之间构成一个三角形。首先以标定物为参照物，标定出一个相机的内外参数，然后以该相机和标定物为参照物，标定出另一个相机的内外参数。

以两个相机为例，具体标定过程如下：

(1)设置标定物，具体包括：打印一张模板，模板以固定间距组成的若干个十字丝组成，并将该模板并贴在一个平板上，将贴有模板的平板放置到两个相机的共同视场中，其位置信息已知。

(2)两个相机从不同角度拍摄若干张(大于或等于3张)模板图像；

(3)检测每幅图像中的目标点(例如十字丝中心)；

(4)根据标定公式，分别获得两个相机的内部参数以及外部参数；

一般来说，相机的内外参数包括：比例系数、有效焦距、主点、平移矩阵和旋转矩阵。在相机标定方法中，可先根据标定物，利用标定公式，标定一个相机，然后根据标定物，以及该相机来标定另一个相机。其中，标定公式即计算上述内外参数的过程，具体来说包括下述四个方面：(1)旋转矩阵 $R=\left[\begin{array}{c}{r}_1{r}_2{r}_3\\ r_4{r}_5{r}_6\\ r_7{r}_8{r}_9\end{array}\right],$ 平移矩阵 $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 的计算，具体计算过程属于现有技术，在此不再赘述；(2)确定图像采集设备主点，主点是图像的中心，可以近似为图像的中心坐标值；(3)图像采集设备比例系数的标定：以十字形状标记为例，事先用尺量好十字标记的长和宽，然后在计算机上计算十字图像长和宽所占的像素点，最后换算成一个像素点代表多大的实际物理尺寸；(4)有效焦距的计算：根据成像原理，当物距远大于相距的时候，焦距F＝物距V(可以近似为镜头到物体的距离)，在相机放置时候，该数值用卷尺可以量出。

(5)根据旋转矩阵和平移转换矢量，获得两个相机共同视场中某个点的三维坐标的表达式，该表达式表征了目标点在图像中的二维坐标与该目标点的三维坐标之间的转换关系。

如图4所示，假设o-XYZ是左相机的世界坐标系，O1-X₁Y₁为左相机的图像坐标系，f₁为左相机的有效焦距；Or-x_r y_rz_r为右相机的世界坐标系，f_r为右相机的有效焦距。

由现有的相机透视变换模型可以得到：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\mathrm{MRT}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{r}_1{r}_2{r}_3{t}_x\\ r_4{r}_5{r}_6{t}_y\\ r_7{r}_8{r}_9{t}_z\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ (公式1)

上式中，MRT＝[R T]；且 $R=\left[\begin{array}{c}{r}_1{r}_2{r}_3\\ r_4{r}_5{r}_6\\ r_7{r}_8{r}_9\end{array}\right],$ $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 分别为O-x y z坐标系与Or-x_r y_rz_r坐标系之间的旋转矩阵和平移矩阵。其中，

r₁＝cos A_Y cos A_Z-sin A_Y sin A_X sin A_Z

r₂＝cos A_x sin A_Z

r₃＝sin A_Y cos A_Z+sin A_Y sin A_X sin A_Z

r₄＝-cos A_Y sin A_Z-sin A_Y sin A_X cos A_Z

r₅＝cos A_X cos A_Z

r₆＝-sin A_Y sin A_Z+cos A_Y sin A_X cos A_Z

r₇＝-sin A_Y cos A_X

r₈＝-sin A_X

r₉＝cos A_Y cos A_X

上述公式中的A_X，A_Y，A_Z分别为在世界三维坐标系下，A_X为标定过程中拍摄的目标点相对于X轴的倾斜角，A_Y为该目标点相对于Y轴的倾斜角；A_Z为该目标点相对于Z轴的倾斜角。这三个角度可以通过安装在固定相机的平台上的角度传感器测得。

较佳地，在本发明实施例中，由于所需求得的臂架系统工作幅度是相对量而不是绝对量(工作幅度通过同一个标记点在臂架工作过程中三维坐标的相对变化量确定)，而平移矩阵的意义是计算世界坐标系原点移动至图像坐标系原点的平移量，相当于是做坐标平移，因此，在具体标定过程中，可以不需要按照现有平移矩阵的计算方式来计算出平移矩阵的具体数值，而将其整体直接作为零值考虑，即： $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=0.$

将 $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=0$ 代入上述公式1，变为：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\mathrm{MRT}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{r}_1{r}_2{r}_3\\ r_4{r}_5{r}_6\\ r_7{r}_8{r}_9\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

在本发明实施例中，由于相机成像时不一定是水平正对着臂架系统的，所以会有相对于臂架系统的姿态角A_X，A_Y，A_Z，因此较重要是需要在标定过程中把目标点的姿态角反算成水平状态下的坐标。而平移矩阵只是坐标系的平移，坐标原点不同而已，在本发明实施例计算臂架系统的工作幅度的变形量这种相对量时可以不需完成平移矩阵具体数值的计算，直接将其设置为0即可。

由此可以计算出像素点的三维坐标(x，y，x)表达式，即图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系为：

x＝zX₁/f₁

y＝zY₁/f₁

$z=\frac{f_1(f_r*t_x-X_r*t_z)}{X_r(r_7{X}_1+r_8{Y}_1+f_1*r_9)-f_r(r_1*X_1+r_2*Y_1+f_1*r_3)}$

其中，该像素点可为标记点上的一个像素点，以左相机采集到的一幅图片为例，在图像中有一个标记点，即可为该标记点上的一个像素点，在左相机中的二维坐标为(X₁，Y₁)。如果像素点在右相机中的二维坐标为(Xr，Yr)，那么上式中x＝zXr/fr；y＝zYr/fr，z的计算公式与上式相同。

本发明实施例并不限于使用上述标定方法，还可以使用其他类似的基于双目立体视觉测量原理的相机标定方法来确定图像中的二维坐标与该目标点三维坐标之间的转换关系。

在上述步骤S302中，根据各图像中各像素点的三维坐标，将多个相机同时拍摄的图像拼接为一帧图像，拼接过程中，需要将两帧图像中具有相同三维坐标的像素点作为两幅图像重合部分，将两帧图像拼接到一起，依次类推，依次将多帧拼接到一起。

具体的拼接过程包括下述步骤：

对多个相机同时拍摄的图像分别进行几何校正；

对几何校正后的各图像进行图像配准；

将图像配准后的各图像进行融合，消除拼接痕迹；

输出拼接完成的图像。

对图像进行几何校正和图像配准以及图像融合的方法属于现有技术的范畴，在此不再详述。

在上述步骤S303中，在拼接后的各帧图像中，分别匹配出所述标记点，即对每帧拼接后的图像，使用预先准备好的标记点的标准图像作为模板，按照设定的算法，使用模板与拼接后的图像中的各像素块进行匹配运算，当匹配运算的值大于设定的阈值时，则认为匹配成功，确定该像素块为该标记点。

识别出了标记点后，可以根据该标记点的三维坐标在拼接后的各帧图像中的三维坐标点的位置变化，测量出标记点在x、y和z方向上的位移(Δx＝x2-x1；Δy＝y2-y1；Δz＝z2-z1，x1、y1和z1为上一帧拼接后的图像中标记点的三维坐标，x2、y2和z2为当前帧拼接后的图像中标记点的三维坐标，Δx、Δy和Δz是标记点在三个方向上的位移)，从而可以实现对标记点所在的臂架系统的运动幅度进行测量。

进一步地，当标记点图像因为臂架作业方向改变而导致拍摄角度变化、光照场变化等情况时候，标记点图像会发生变形，这样，如果继续使用标准图像进行匹配，可能出现重大误差，甚至出现无法匹配成功的情况，为了避免这种情况，本发明实施例中，使用了一种模板自适应调整的方式，具体来说，当拼接后的图像使用标准图像作为模板无法匹配成功时，以上一帧拼接后的图像中匹配出的标记点为中心，选取一个图像邻域作为更新后的模板；使用此邻域作为被跟踪目标的模板继续对拼接后的图像中的标记点进行跟踪，这样，即使当前图像发生较大变化，也能利用前面时刻的图像的匹配信息进行准确匹配。

进一步地，由于工程机械的臂架系统工况往往比较复杂，在相机拍摄的过程中，难免出现臂架上标记点被遮挡的问题，例如当连续的多帧拼接后的图像使用标准图像作为模板或者使用更新后的模板都无法匹配成功时，可以确定标记点在这几帧图像中发生了遮挡，此时可以使用卡尔曼滤波算法，根据最近的匹配成功的拼接后的图像中标记点所在的位置，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对臂架系统的运动轨迹进行测量。

工程机械臂架上目标点成像时，当臂架距离相机较远时，目标所成的像较小或者发生转动时，标记点的图像会发生大小变化，并且由于臂架转动导致的成像角度发生变化，导致标记的目标形状发生变化；噪声主要分两部分，主要是相机的内部噪声，主要特征是室外成像环境下，阳光亮度高，灰尘大等因素，这些噪声可以近似认为服从高斯分布或白噪声。

经过上面图像拼接后，各个相机采集到的臂架上各个部分的标记点都拼接成了一幅图像，并且具有一个图像坐标系。下面的卡尔曼(kalman)滤波在这幅拼接后的图像上进行。由于目标运动的连续性，目标第k+1帧的位置必定在第k帧位置的某个小领域内，以连续的三帧图像邻域轨迹预测算法为例，设目标i在第k帧的位置分别为：

第k，k+1，k+2帧的位置分别为

则应满足：

$x_i^{k+1}-\mathrm{\α}\≤x_i^k\≤x_i^{k+1}+\mathrm{\α}$

$y_i^{k+1}-\mathrm{\α}\≤y_i^k\≤y_i^{k+1}+\mathrm{\α}$

$x_i^{k+2}-\mathrm{\α}\≤x_i^{k+1}\≤x_i^{k+2}+\mathrm{\α}$

$y_i^{k+2}-\mathrm{\α}\≤y_i^k\≤y_i^{k+1}+\mathrm{\α}$

其中α为领域大小，该大小根据根据精度确定，如果现场干扰物多，则该值适当取大，增加鲁棒性。如果满足上式则判断目标i为真实目标点，从此时开始记录下目标位置

否则认为是虚假目标点予以删除，以此类推，继续找第k+3帧及以后帧的目标。

如果此时连续几帧图片都没有跟踪上目标点，这是利用卡尔曼滤波算法进行跟踪估计。在本方案中利用如下：

1)首先对第k帧图片里面的所有目标点区域利用领域轨迹判断在第k+1帧中是否存在相应的目标点位置，如果只存在一个目标位置则更新目标位置若不存在目标位置判定，则目标丢失；

然后对第k+1帧中存在的目标点在第k帧中寻找匹配点，如果有目标点不存在相应的匹配点，则认为该目标是新增目标并记录其位置信息。

2)如果只存在一个新目标位置信息(当前目标点在图像坐标系下的x，y坐标)，则利用此刻新的位置进行该目标运动轨迹的kalman估计，进一步修正滤波中的状态估计值。

3)如果丢失目标，则用kalman滤波预测出目标在第k+1帧中的位置，同时更新目标位置，并标记为预测值。连续预测次数不能大于设定值T(该值＜1/相机帧率)，否则由于长时间没有目标观测值的修正，如果工程机械臂架出现加速或转弯会使预测值于真实值直接的误差越来越大，最终完全偏离真实轨迹。所欲当连续预测次数等于T时，认为目标已经完全丢失，抛弃目标，停止预测。

4)综合上述两种情况，得到第k+1帧的实际目标数量和位置。

最后，上面计算出的标记点二维坐标全部都代入到以下公式中：

x＝zX1/f1

y＝zY1/f1

$z=\frac{f1(\mathrm{fr}*t_x-\mathrm{Xr}*t_z)}{\mathrm{Xr}(r_{7}X1+r_{8}Y1+f1*r_9)-\mathrm{fr}(r_1*X1+r_2*Y1+f1*r_3)}$

$=\frac{f1(\mathrm{fr}*t_y-\mathrm{Yr}*t_z)}{\mathrm{Yr}(r_{7}X1+r_{8}Y1+f1*r_9)-\mathrm{fr}(r_1*X1+r_5*Y1+f1*r_6)}$

求出臂架上各个目标点的三维坐标。

这样，就可以利用卡尔曼滤波器，依次确定标记点被遮挡的当前帧图像的前1帧、前2帧......是否发生遮挡，直到找到最近的未发生遮挡的那一帧，然后根据找到的最近的未发生遮挡的那一帧图像中标记点的位置，预测出发生遮挡的下一帧中标记点的位置，然后根据预测出的下一帧中标记点的位置，继续预测该下一帧图像的下一帧图像中标记点的位置，依次类推，直至将发生遮挡的各帧图像中标记点的位置都预测完成为止。

基于同一发明构思，本发明实施例还提供了一种工程机械臂架系统工作幅度的测量设备和系统，由于这些设备所解决问题的原理与前述工程机械臂架系统工作幅度的测量的方法相似，因此该设备和系统的实施可以参见前述方法的实施，重复之处不再赘述。

具体地，本发明实施例提供的一种工程机械臂架系统工作幅度的测量设备，如5图所示，包括：

获取模块501，用于不断获取至少两个相机对臂架系统上安装的标记点同时采集的各图像；

三维坐标确定模块502，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块503，用于根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；

匹配模块504，用于将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；

测量模块505，用于根据拼接后各图像中标记点三维坐标的变化，计算臂架系统的运动幅度。

进一步地，本发明实施例提供的工程机械臂架系统工作幅度的测量设备，如5图所示，还可以包括：标定模块506，用于对布置在臂架系统上同个标记点前方的多个相机分别进行标定，获取各相机的内外参数；根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。

进一步地，上述拼接模块503，具体用于对多个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。

进一步地，上述匹配模块504，具体用于使用标记点的标准图像作为模板；使用所述模板与拼接后的图像中的各像素块进行匹配运算，当匹配运算的值大于设定的阈值时，确定该像素块为所述标记点。

进一步地，上述匹配模块504，还用于当拼接后的图像使用所述标准图像作为模板无法匹配成功时，以上一帧拼接后的图像中匹配出的标记点为中心，选取一个图像邻域作为更新后的模板；使用更新后的模板，与本帧和后续帧进行匹配，确定本帧和后续帧中的标记点的位置。

进一步地，本发明实施例提供的工程机械臂架系统工作幅度的测量设备，如图5所示，还可以包括：卡尔曼滤波处理模块507，用于当连续多帧拼接后的图像使用标准图像作为模板或者使用更新后的模板无法匹配成功时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的匹配成功的拼接后的图像中标记点所在的位置，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对所述臂架系统的运动轨迹进行测量。

本发明实施例提供的一种工程机械臂架系统工作幅度的测量系统，如图6所示，包括：

多个相机601，用于分别对臂架系统上安装的标记点同时进行拍摄；

臂架系统工作幅度测量设备602，用于不断获取多个相机601对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

图7所示的是本发明实施例提供的测量系统的架构示意图，图7中，标记点可以打在臂架任何需要测量的位置，多个相机连接有工控机(或嵌入式系统)，该工控机(或嵌入式系统)就是用于实现非接触式测量的核心测量设备，负责对多个相机采集的图像进行拼接、处理得到臂架系统运动幅度的测量参数。

本发明实施例提供的工程机械臂架系统工作幅度的测量方法、装置及系统，使用多个相机对臂架系统上的标记点进行拍摄，并获取多个相机对臂架系统上标记点拍摄的图像，并分别确定各图像中像素点的三维坐标，根据各图像中各像素点的三维坐标，不断将多个相机同一时刻拍摄的图像拼接成一帧图像，这样，在拼接后的各图像中不断跟踪标记点，根据各标记点在各拼接后的图像中的三维坐标的变化，即可实现对臂架系统中各节臂架运动幅度的测量。本发明实施例使用非接触测量的方式，不需要在臂架系统上安装额外的测量仪器和设备，就能够实现对体积较大的臂架系统运动幅度的测量，测量方式简单、方便，测量精度较高，并且，由于可以实时获取相机拍摄的图像，并对图像进行处理获取臂架的运动参数，这种测量方式，实时性很好，可以及时快速地获知臂架系统的工作幅度情况。避免了现有测量方式所带来的布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种工程机械臂架系统工作幅度的测量方法，其特征在于，包括以下步骤：

不断获取至少两个相机对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；

根据各图像中各像素点的三维坐标，将多个相机同时拍摄的图像拼接为一帧图像；

将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；

根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

2.如权利要求1所述的方法，其特征在于，分别确定各图像中像素点的三维坐标，包括：

根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

3.如权利要求2所述的方法，其特征在于，所述图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，通过下述方式确定：

对布置在臂架系统上同一个标记点前方的多个相机分别进行标定，获取各相机的内外参数；

根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。

4.如权利要求1所述的方法，其特征在于，将多个相机同时拍摄的图像拼接为同一帧图像，包括：

对多个相机同时拍摄的图像分别进行几何校正；

对几何校正后的各图像进行图像配准；

将图像配准后的各图像进行融合，消除拼接痕迹；

输出拼接完成的图像。

5.如权利要求1所述的方法，其特征在于，将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置，包括：

使用标记点的标准图像作为模板；

使用所述模板与拼接后的图像中的各像素块进行匹配运算，当匹配运算的值大于设定的阈值时，确定该像素块为所述标记点。

6.如权利要求5所述的方法，其特征在于，还包括：

当拼接后的图像使用所述标准图像作为模板无法匹配成功时，以上一帧拼接后的图像中匹配出的标记点为中心，选取一个图像邻域作为更新后的模板；

使用更新后的模板，与本帧和后续帧进行匹配，确定本帧和后续帧中的标记点的位置。

7.如权利要求5或6所述的方法，其特征在于，还包括：

当连续多帧拼接后的图像使用标准图像作为模板或者使用更新后的模板无法匹配成功时，确定所述标记点发生遮挡；

使用卡尔曼滤波算法，根据最近的匹配成功的拼接后的图像中标记点所在的位置，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；

根据预测出的三维坐标，继续对所述臂架系统的运动轨迹进行测量。

8.一种工程机械臂架系统工作幅度的测量设备，其特征在于，包括：

获取模块，用于不断获取至少两个相机对臂架系统上安装的标记点同时采集的各图像；

三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；

拼接模块，用于根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；

匹配模块，用于将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；

测量模块，用于根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

9.如权利要求8所述的设备，其特征在于，所述三维坐标确定模块，具体用于根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。

10.如权利要求8所述的设备，其特征在于，还包括：

标定模块，用于对布置在臂架系统上同个标记点前方的多个相机分别进行标定，获取各相机的内外参数；根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。

11.如权利要求8所述的设备，其特征在于，所述拼接模块，具体用于对多个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。

12.如权利要求8所述的设备，其特征在于，匹配模块，具体用于使用标记点的标准图像作为模板；使用所述模板与拼接后的图像中的各像素块进行匹配运算，当匹配运算的值大于设定的阈值时，确定该像素块为所述标记点。

13.如权利要求12所述的设备，其特征在于，还包括：所述匹配模块，还用于当拼接后的图像使用所述标准图像作为模板无法匹配成功时，以上一帧拼接后的图像中匹配出的标记点为中心，选取一个图像邻域作为更新后的模板；使用更新后的模板，与本帧和后续帧进行匹配，确定本帧和后续帧中的标记点的位置。

14.如权利要求12或13所述的设备，其特征在于，还包括：

卡尔曼滤波处理模块，用于当连续多帧拼接后的图像使用标准图像作为模板或者使用更新后的模板无法匹配成功时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的匹配成功的拼接后的图像中标记点所在的位置，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对所述臂架系统的运动轨迹进行测量。

15.一种工程机械臂架系统工作幅度的测量系统，其特征在于，包括：

多个相机，用于分别对臂架系统上安装的标记点同时进行拍摄；

臂架系统工作幅度测量设备，用于不断获取所述多个相机对臂架系统上安装的标记点同时采集的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将多个相机同时拍摄的图像拼接为一帧图像；将拼接后的各图像，分别与标记点的标准图像进行匹配运算，确定所述标记点在所述各图像中的位置；根据拼接后各图像中标记点三维坐标的变化，计算所述臂架系统的运动幅度。

Images