CN101718551A - 柔性线缆的运动测量方法及测量装置 - Google Patents

Abstract

本发明涉及一种柔性线缆的运动测量方法及测量装置。该方法包括：对柔性线缆进行涂装以将柔性线缆的颜色与背景颜色相区分，并在线缆上画出标记线；使用双目相机同时对线缆进行拍照，以获取线缆的两幅平面图像；通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线；计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转后的线缆沿径向的转角；将所述中心线离散成多个点，测量多个点的空间坐标，再通过多个点的空间坐标来拟合线缆的中心线；通过经过扭转的线缆沿径向的转角和所拟合出的线缆的中心线的位置来确定线缆的空间位姿。

Description

柔性线缆的运动测量方法及测量装置

技术领域

本发明涉及一种柔性线缆的运动测量方法及测量装置，更具体地，涉及基于双目视觉技术的柔性线缆的运动测量方法及测量装置。

背景技术

柔性线缆在机电产品中占有重要的地位，其被广泛应用在各种机电产品中以传递电子信号或气、液等工作介质。很多情况下，将柔性线缆连接在例如机械手臂等运动部件上，在这种情况下，柔性线缆很容易与机电产品的其他部件发生运动干涉，从而影响运动执行。另外，运动干涉还可能导致柔性线缆断裂，从而不能正常传递信号和工作介质。据统计，多数机电产品的失效都与柔性线缆的运动干涉问题相关。因此，如何确定柔性线缆的运动状态，就成为许多机电产品设计和仿真系统的研究内容之一，其中，测量柔性线缆的空间位姿是解决这个问题的关键。

在现有技术中，通常使用双目视觉技术结合数字散斑相关法来重建空间一点的坐标，其基本流程包括标定、匹配及重建，其中，匹配通常是使用数字散斑相关法来进行计算。双目视觉技术能够通过两个相机的内外参数和两个相机成像平面上的对应点坐标来重建空间一点坐标，如图1所示，I₁和I₂分别是左右两个相机的成像平面，C₁和C₂分别是左右两个相机的光心，在空间某一平面π上有一点M，该M点在I₁和I₂上的投影点分别为P₁和P₂(即，光心C₁和点M的连线以及光心C₂和点M的连线分别与成像平面I₁和I₂的交点)，将两个成像平面I₁和I₂分别与平面π的交线e₁和e₂称为极线，P₁和P₂必过极线。由对极几何关系可知，如果知道两个相机光心C₁和C₂之间的距离、光心C₁和C₂分别到成像平面I₁和I₂的距离(焦距)、两成像平面I₁和I₂的夹角等双目视觉系统的内外参数以及像平面I₁上的点P₁的坐标，即可确定e₂(相应地，通过像平面I₂上的点P₂的坐标也可以确定e₁)，则P₁的对应点P₂必在极线上(可以利用匹配算法在极线上搜索P₂)，再通过P₁和P₂的坐标，即可唯一确定平面π上的某一点的空间坐标。

数字散斑相关法是一种常用的匹配算法，所谓匹配是指在两个成像平面上搜索点对的对应关系。如图1所示，假设空间一点M在I₁上的投影点坐标为P₁，匹配算法可以判断其在I₂上的投影点坐标P₂，进而求得M点的空间坐标。根据数字散斑相关法，物体表面随机分布的斑点具有唯一性，由下式可以计算散斑I1上区域f与I2上区域g的相似程度：

$\mathrm{Cr}=\frac{\underset{\mathrm{ij}}{\mathrm{\Σ}}f(x_i,y_j)\·g(x_i^{*},y_j^{*})}{[\underset{\mathrm{ij}}{\mathrm{\Σ}}f{(x_i,y_j)}^2\·\underset{\mathrm{ij}}{\mathrm{\Σ}}g{(x_i^{*},y_j^{*})}^2{]}^{0.5}}$

相关值Cr最大为1，即完全相关，f等于g，由于空间点M在两个像平面上的投影关系总有变化，所以Cr通常不等于1。

由于数字散斑相关法的运算复杂，因此在搜索范围未确定的情况下计算量很大，速度较慢。另外，由于数字散斑相关法通常用于构建物体的表面形貌，该方法只能测量线缆的表面某点的空间坐标，如果要测量柔性线缆的扭转角度，则必须计算表面上的某点与其它表面点的关系以及这些点相对于空间中心线的关系，因此使用数字散斑相关法难以测量运动的柔性线缆的扭转角度。

总之，双目视觉技术结合数字散斑相关法的技术方案并不适于测量运动的柔性线缆的空间位姿。

发明内容

为了解决上述现有技术中的问题，本发明提供一种基于双目视觉技术的柔性线缆的运动测量方法及测量装置。

柔性线缆的运动测量方法包括以下步骤：步骤1，对柔性线缆进行涂装以将柔性线缆的颜色与背景颜色进行区分，并在柔性线缆上画出标记线；步骤2，使用双目相机同时对空间中的柔性线缆进行拍照，以获取柔性线缆的两幅平面图像；步骤3，通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线；步骤4，计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转的柔性线缆沿柔性线缆中心线径向的转角；步骤5，将所述中心线离散成多个点，利用双目视觉原理测量所述多个点的空间坐标，再通过所述多个点的空间坐标来拟合柔性线缆的中心线；及步骤6，通过经过扭转后的柔性线缆沿柔性线缆中心线径向的转角和所拟合出的柔性线缆的中心线的位置来确定柔性线缆的空间位姿。

柔性线缆的运动测量装置包括：图像采集模块，其使用双目相机同时对空间中的柔性线缆进行拍照，以获取该柔性线缆的两幅平面图像；中心线和标记线提取模块，其通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线；转角计算模块，其计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转后的柔性线缆沿柔性线缆中心线径向的转角；中心线拟合模块，其将所述中心线离散成多个点，利用双目视觉原理测量所述多个点的空间坐标，再通过所述多个点的空间坐标来拟合柔性线缆的中心线；及空间位姿重建模块，其通过经过扭转的柔性线缆沿柔性线缆中心线径向的转角和所拟合出的柔性线缆的中心线的位置来确定柔性线缆的空间位姿。

本发明提供的柔性线缆的运动测量方法及测量装置，将运动的柔性线缆的空间位姿分解为中心线位置和柔性线缆表面相对中心线的转动量两个物理量，分别对其进行测量。在计算时，只需要重建柔性线缆的空间中心线的位置，不需重建整条柔性线缆的外表面形貌，并且通过处于一个平面图像上的标记线和中心线的夹角来计算柔性线缆表面相对中心线的转动量。这样就使计算极大地简化，从而能够灵活快速地对运动的柔性线缆的空间位姿进行测量。

附图说明

图1是现有技术中通过双目视觉技术结合数字散斑相关法来重建空间一点坐标的示意图；

图2是本发明提供的基于双目视觉技术的柔性线缆的运动测量方法的流程图；

图3是本发明使用的双目测量系统的示意图；

图4是根据本发明在柔性线缆上画出标记线后的柔性线缆的示意图；

图5是根据本发明的经过扭转运动的柔性线缆的示意图；

图6是根据本发明的经过扭转运动的柔性线的标记线与中心线形成的夹角的示意图；

图7是根据本发明的空间中的柔性线缆分别投影在两个成像平面上的情况的示意图；

图8是图7中的投影经过修正后的示意图；

图9是本发明提供的基于双目视觉技术的柔性线缆的运动测量装置的示意性框图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对使用现有的双目视觉技术结合数字散斑相关法的技术方案测量运动的柔性线缆的空间位姿造成计算量大、速度较慢并且难以测量运动的柔性线缆的扭转角度的问题，提供一种基于双目视觉技术的柔性线缆的运动测量方法及测量装置，从而利用双目视觉技术实现对运动的柔性线缆的空间位姿的测量。柔性线缆的空间位姿包括线缆位置和线缆姿态。线缆位置指线缆中心线在空间中的位置，线缆姿态指扭转后的线缆沿径向(即，空间中心线的法向)的转角。

如图2所示，本发明提供的基于双目视觉技术的柔性线缆的运动测量方法包括以下步骤：步骤S1，对柔性线缆进行涂装以将柔性线缆的颜色与背景颜色进行区分，并在柔性线缆上画出标记线；步骤S2，使用双目相机同时对空间中的柔性线缆进行拍照，以获取柔性线缆的两幅平面图像；步骤S3，通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线；步骤S4，计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转的柔性线缆沿柔性线缆中心线径向的转角；步骤S5，将所述中心线离散成多个点，利用双目视觉原理测量所述多个点的空间坐标，再通过所述多个点的空间坐标来拟合柔性线缆的中心线；及步骤S6，通过经过扭转后的柔性线缆沿柔性线缆中心线径向的转角和所拟合出的柔性线缆的中心线的位置来确定柔性线缆的空间位姿。

下面具体说明本发明的基于双目视觉技术的柔性线缆的运动测量方法的一个实施例。

如图3所示，光源2的两束光线投射在待测的运动的柔性线缆1上，调节两光源照射角度以去除测量环境中的阴影。双目相机3的共有视场构成一锥形，这个锥形包入待测量的柔性线缆。再利用计算机4控制双目相机3同时拍照，以获取在空间运动的柔性线缆的两幅平面图像，可以在例如计算机硬盘中存储将所获取的两幅图像。

根据双目视觉原理，对双目测量系统进行标定，求解双目测量系统内、外参数。该内、外参数包括相机内参数和相机外参数，相机内参数包括焦距f、相机相邻像元的水平和垂直距离sx、sy、相机拍摄中心点坐标cx、cy及图像大小W、L，相机外参数包括两相机的相对位姿，相对位姿包括空间的的移动[x，y，z]和转动[α，β，γ]共6个未知量。具体可以采用“一种灵活的摄像机标定新技术”(Zhang Zhangyou.A flexible new technique for camera calibration.IEEETransaction on Pattern Analysis and Machine Intelligence，22(11)：1300-1334，2000)中描述的标定方法进行标定。

通过机器视觉方法，对所获取的运动的柔性线缆的两幅平面图像进行分割，将如图4所示的线缆区域从背景区域中提取出来，再提取如图4中所示的线缆区域的中心线5和标记线6。之前，必须将线缆进行涂装，将线缆颜色与背景颜色加以区分，例如在背景颜色为深色时将线缆涂为白色，反之亦然。另外，在线缆上画出标记线，可以对要测量的线缆段画出标记线，由于柔性线缆一般为圆柱体，因此标记线与线缆的中心线是平行的关系。

计算扭转后的柔性线缆沿径向(即，空间中心线的法向)的转角，如图4所示，在柔性线缆运动前，柔性线缆上的中心线5和标记线6平行，而如图5所示，在柔性线缆进行扭转运动后，柔性线缆上的中心线5和标记线6不再平行，并且从平面图像上看，原来为一条的标记线由于扭曲而变成多段标记线(图5中为三段)，中心线5和多段标记线6形成夹角，可以通过在中心线5和标记线6形成的交点处的中心线5和标记线6的切线形成的夹角大小来确定中心线5和标记线6的夹角大小，在图5中，示出扭转后的柔性线缆的三段标记线6，因此中心线5和标记线6分别形成如图6中所示的三个夹角θ₁-θ₃，但是在具体情况时经过扭转后的标记线6并不仅限于三段，其可以为n(n≥1)段，在这种情况下，中心线5和标记线6分别形成n个夹角，假设经过运动的柔性线缆的扭转是平均分布的，则扭转后的柔性线缆沿径向(即，空间中心线的法向)的转角为 $\mathrm{\θ}=\frac{1}{n}\underset{1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_i.$ 该种扭转角度的计算方法只需处理一张照片上的线缆图像。

线缆位置的测量是通过将在空间运动的柔性线缆的中心线离散成若干个点，利用双目视觉原理测量这些点的空间坐标，然后再通过该多个点来拟合柔性线缆的中心线，如图7所示，空间中的柔性线缆1分别投影在两个成像平面I₁和I₂上，该投影为两条平面曲线，对在两个成像平面I₁和I₂上投影形成的图像进行修正，从而使得两个图像上的对应像素在同一行，可以采用“像素间的立体深度不连续”(S.Birchfield and C.Tomasi，“Depth Discontinuities byPixel-to-Pixel Stereo”，International Journal of Computer Vision，35(3)：269-293，December 1999.)中所记载的方法来进行图像的修正，图8是修正后的图像的示意图，假设线缆中心线上一点p在成像平面I₁和I₂上的投影为p₁和p₂，由极线约束关系p₁和p₂必过同一极线，则该极线与成像平面上的线缆中心线的交点即为p₁和p₂。通过中心线上的某一点在成像平面I₁、I₂上的对应点坐标，再结合两相机的内外参数，就可以重建中心线上的该点的三维坐标，从而通过将线缆空间中心线离散成多个点，通过多个点分别在成像平面I₁、I₂上的对应点坐标，再结合两相机的内外参数，就可以重建空间中心线，更具体地，将从成像平面I₁上提取出的中心线离散成若干个点(x_i，y_i)，根据极线约束，成像平面I₂上的与点(x_i，y_i)对应的点必定与(x_i，y_i)的行坐标相同，行坐标即为修正后的极线的位置，并且成像平面I₂上的与点(x_i，y_i)对应的点必定在线缆的中心线上，因此，成像平面I₂上的行坐标为x_i的水平线和在成像平面I₂上投影形成的中心线的交点即为在成像平面I₂上与点(x_i，y_i)的对应点，由标定模块中计算出的测量系统内外参数，重建空间线缆中心线上的离散点列的坐标，以根据点列的坐标拟合空间中心线；

通过上述所获取的扭转后的柔性线缆沿径向(即，空间中心线的法向)的转角以及柔性线缆的空间中心线位置，可以确定运动的柔性线缆的空间位姿。

上述使用双目相机同时对空间中的柔性线缆进行瞬时的拍照，可以确定在空间中运动的柔性线缆的某个时刻的空间位姿。当然，还可以以与柔性线缆的运动速度相匹配的频率连续地使用双目相机同时对空间中的柔性线缆进行拍照，以分别获取运动的柔性线缆在多个时间点上的两幅平面图像。从而可以确定柔性线缆在整个运动过程中的位姿变化。

本发明提供的基于双目视觉技术的柔性线缆的运动测量方法将运动的柔性线缆的空间位姿分解为中心线位置和柔性线缆表面相对中心线的转动量两个物理量，分别对其进行测量。在计算时，只需要重建柔性线缆的空间中心线的位置，不需重建整条柔性线缆的外表面形貌，并且通过处于一个平面图像上的标记线和中心线的夹角来计算柔性线缆表面相对中心线的转动量。这样就使计算极大地简化，从而能够灵活快速地对运动的柔性线缆的空间位姿进行测量。

根据本发明的另一方面，提供一种用于实现上述基于双目视觉技术的柔性线缆的运动测量方法的柔性线缆的运动测量装置，如图9所示，该测量装置9包括：图像采集模块91、中心线和标记线提取模块92、转角计算模块93、中心线拟合模块94以及空间位姿重建模块95。

图像采集模块91可以利用计算机4控制双目相机3(见图2)同时对空间中的柔性线缆进行拍照，以获取运动中的柔性线缆的瞬时的两幅平面图像。该装置还可以包括存储模块以存储所获取的柔性线缆的两幅平面图像。当然，图像采集模块也可以以与柔性线缆的运动速度相匹配的频率连续地使用双目相机同时对空间中的柔性线缆进行拍照，以分别获取运动的柔性线缆在多个时间点上的两幅平面图像。从而确定柔性线缆在整个运动过程中的位姿变化。

中心线和标记线提取模块92通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线。之前，必须将线缆进行涂装，将线缆颜色与背景颜色加以区分，例如在背景颜色为深色时将线缆涂为白色，反之亦然。另外，在线缆上画出标记线。可以对要测量的线缆段画出标记线，由于柔性线缆一般为圆柱体，因此标记线与线缆的中心线是平行的关系。

转角计算模块93计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转后的柔性线缆沿柔性线缆中心线径向的转角。转角计算模块93中可以包括夹角计算模块，夹角计算模块用于通过由在中心线和标记线的交点处的中心线和标记线的切线形成的角度的大小来确定夹角的大小。该计算扭转后的柔性线缆沿柔性线缆中心线径向的转角的方法可以参见说明书附图4-6及相关描述。

中心线拟合模块94将中心线离散成多个点，利用双目视觉原理测量多个点的空间坐标，再通过多个点的空间坐标来拟合柔性线缆的中心线。本装置还可以包括标定模块，用于在中心线拟合模块94动作之前对执行所述柔性线缆的运动测量使用的双目测量系统进行标定，以求解双目测量系统的内、外参数。该拟合柔性线缆的中心线的方法可以参见说明书附图7-8及相关描述。

空间位姿重建模块95通过经过扭转的柔性线缆沿柔性线缆中心线径向的转角和所拟合出的柔性线缆的中心线的位置来确定柔性线缆的空间位姿。

本发明提供的基于双目视觉技术的柔性线缆的运动测量装置能够灵活快速地对运动的柔性线缆的空间位姿进行测量。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种柔性线缆的运动测量方法，包括以下步骤：

步骤1，对柔性线缆进行涂装以将柔性线缆的颜色与背景颜色进行区分，并在柔性线缆上画出标记线；

步骤2，使用双目相机同时对空间中的柔性线缆进行拍照，以获取柔性线缆的两幅平面图像；

步骤3，通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线；

步骤4，计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转的柔性线缆沿柔性线缆中心线径向的转角；

步骤5，将所述中心线离散成多个点，利用双目视觉原理测量所述多个点的空间坐标，再通过所述多个点的空间坐标来拟合柔性线缆的中心线；及

步骤6，通过经过扭转后的柔性线缆沿柔性线缆中心线径向的转角和所拟合出的柔性线缆的中心线的位置来确定柔性线缆的空间位姿。

2.根据权利要求1所述的柔性线缆的运动测量方法，其中，所述计算由中心线和标记线形成的夹角的大小具体为：通过由在中心线和标记线的交点处的中心线和标记线的切线形成的角度的大小来确定所述夹角的大小。

3.根据权利要求1所述的柔性线缆的运动测量方法，其中，在步骤5之前还包括对执行所述柔性线缆的运动测量使用的双目测量系统进行标定，以求解双目测量系统的内、外参数的步骤。

4.根据权利要求1所述的柔性线缆的运动测量方法，其中，还包括在计算机存储介质中存储所获取的柔性线缆的两幅平面图像的步骤。

5.根据权利要求1所述的柔性线缆的运动测量方法，其中，步骤2具体是以与柔性线缆的运动速度相匹配的频率连续地使用双目相机同时对空间中的柔性线缆进行拍照，以分别获取运动的柔性线缆在多个时间点上的两幅平面图像。

6.一种柔性线缆的运动测量装置，包括：

图像采集模块，其使用双目相机同时对空间中的柔性线缆进行拍照，以获取该柔性线缆的两幅平面图像；

中心线和标记线提取模块，其通过机器视觉方法，对所获取的两幅平面图像进行分割，以将线缆区域从背景区域中提取出来，再提取出线缆区域的中心线和标记线；

转角计算模块，其计算由中心线和标记线形成的夹角的大小，通过对计算得到的夹角大小计算算数平均值来获取经过扭转后的柔性线缆沿柔性线缆中心线径向的转角；

中心线拟合模块，其将所述中心线离散成多个点，利用双目视觉原理测量所述多个点的空间坐标，再通过所述多个点的空间坐标来拟合柔性线缆的中心线；及

空间位姿重建模块，其通过经过扭转的柔性线缆沿柔性线缆中心线径向的转角和所拟合出的柔性线缆的中心线的位置来确定柔性线缆的空间位姿。

7.根据权利要求6所述的柔性线缆的运动测量装置，其中，所述转角计算模块中包括夹角计算模块，夹角计算模块用于通过由在中心线和标记线的交点处的中心线和标记线的切线形成的角度的大小来确定所述夹角的大小。

8.根据权利要求6所述的柔性线缆的运动测量装置，其中，还包括标定模块，用于对执行所述柔性线缆的运动测量使用的双目测量系统进行标定，以求解双目测量系统的内、外参数。

9.根据权利要求6所述的柔性线缆的运动测量装置，其中，还包括存储模块，用于存储所获取的柔性线缆的两幅平面图像。

10.根据权利要求6所述的柔性线缆的运动测量装置，其中，图像采集模块还以与柔性线缆的运动速度相匹配的频率连续地使用双目相机同时对空间中的柔性线缆进行拍照，以分别获取运动的柔性线缆在多个时间点上的两幅平面图像。

Images