CN1141670C - 用二维编码对运动物体进行三维跟踪测量的方法 - Google Patents

Abstract

本发明涉及光学三维轮廓测量技术领域，它是用二维编码对运动物体进行三维跟踪测量的方法。用两个摄像机对被测物体同时进行图像采集，其中两个CCD摄像机之间保持一定的距离，利用人眼的双目立体视觉的原理进行三维测量，采用据有特定的排列次序的不同颜色的几何形状在被测物体表面做出标记，使两个CCD摄像机获得的图像之间容易找到匹配点。根据同一匹配点在两幅图像中的视差计算出该点在三维空间中的位置。本发明可以对人体的运动行为进行跟踪测量。在计算机三维动画制作，运动员的选拔与训练等领域有着广阔的应用前景。

Description

用二维编码对运动物体进行三维跟踪测量的方法

                              技术领域

本发明涉及光学三维轮廓测量技术领域。它是一种用二维编码对运动物体进行三维跟踪测量的方法。

                              背景技术

利用双目立体视觉的原理进行三维观测和测量已有广泛的研究和应用。目前已提出许多三维观测和测量方法。中国专利CN1010466A公开的是将一系列具有单值编码的光条带图案，以与摄象机的光轴间的一定倾角投射到目标上，并由摄象机内的象素接受目标所反射的编码光信号。通过适当的选择和坐标系的标度选取，以及相关的光条带编码，对每个象素单元，通过从反射到象素的二进制编码光信号中简单地减去该象素的一个坐标就可以测定目标的分布。CN1230254A揭示了一种通过光学图像捕获、投影图案和三角测量计算进行三维目标测量的方法和装置。图案投影装置和图像捕获装置是分别设计的。在测量过程中可以被单独定位和引导。CN1231724A揭示了一种通过光学记录、投影样本和三角测量提高计算三维目标测量的显著性的方法，为此把编码样本投影在目标上，以在估算图像数据期间防止重复性。CN1141427A提供的测量方法是由同步时钟指挥对被测运动物体打标记的同时摄取图像，然后识别标记并计算出标记特征点的坐标，再计算出被测物体运动轨迹、沿轨迹的长度和当前的运动速度等参数。

上述前三种文献中都采用了向被测物体投射特定图案的方法，这一方法可以获得物体的三维轮廓或提高三维观察的显著性。但无法对运动物体进行三维跟踪。最后一篇文献中公开的是在运动物体上打标记，通过识别标记来计算出物体的运动轨迹。这种方法只能对简单物体的运动进行跟踪，对于一些复杂的运动物体，如人体的运动则无法进行测量。

                                发明内容

本发明的目的是提供一种用二维编码对运动物体进行三维跟踪测量的方法，它是解决对运动物体、特别是运动的人体进行三维轮廓跟踪测量的问题。

本发明用二维编码对运动物体进行三维跟踪测量的方法包括下述步骤：

1)用两台相对位置保持不变但可以整体移动并能对物体进行跟踪测量的摄像机组成

  三维跟踪测量系统；

2)用几何图形在二维面上进行排列组成二维编码图，将二维编码图附着在被测物体

  的表面；

3)用三维跟踪测量系统对附着了二维编码图的三维物体进行测量，并将两台摄像机

  获得的图像送入计算机；

4)计算机通过三维测量软件根据几何图形构成的二维编码图找出两幅图像中的匹配

  点，并根据匹配点在两幅图像中的视差计算出匹配点所对应的空间位置。

本发明是用两个摄像机对被测物体同时进行图像采集，其中两个CCD摄像机之间保持一定的距离，利用人眼的双目立体视觉的原理进行三维测量，采用按照一定规则排列的几何图形组成二维编码图附着在被测物体的表面，使两个摄像机获得的图像之间可以根据排列规则找到匹配点。根据同一匹配点在两幅图像中的视差计算出该点在三维空间中的位置。

利用双目立体视觉进行三维测量的基本原理是三角测量方法。当左右两个摄像机的相对位置确定后，根据被测物体上的同一点在左右两个摄像机中成像位置的差别就可以计算出该点的空间位置。在计算机视觉领域中，为了保证测量精度一般采用特征匹配方式，即选择物体上的特征点，如角点、边界线等进行计算。但对比较圆滑的物体，例如人体，找匹配点相当困难。本发明采用具有明显特征的几何图形在二维面上按照一定的规则进行排列组成二维编码图，并将二维编码图附着在被测物体表面，从而在被测物体表面形成了一系列的匹配点。这就使得从两个摄像机获得的图像之间可以根据排列规则找到匹配点。

用于编码的几何图形可以是正方形、三角形、六边形、圆形或者是其它有明显特征的几何图形。只要计算机能够准确识别的图形均可以采用。这里应该注意的是，由于被测物体上的几何图形与图像平面往往成一定的夹角，它在图像中的投影会使几何图形发生变形，例如，正方形随着投影角度的不同可以是矩形、菱形等，如果正方形的一部分被遮挡，就有可能是梯形或三角形。因此，选择不同的几何图形进行二维编码时要避免使用容易混淆的几何图形。编码所采用的几何图形最好能够与三维重建软件所要求的相一致。这样能够使数据处理更加方便。

用彩色CCD获得的图像中，红、绿、蓝三种颜色互相独立，称为三原色。在用计算机进行图像处理时，我们可以很容易地将这三种颜色区分开，因而颜色特征比几何特征更容易识别。为了用有限的颜色获得大的编码面我们将相邻的几何图形组成一组，每一组内的排列次序都不相同。例如，用红绿蓝三种颜色进行编码，4个几何图形为一组，根据排列组合原理，一共可以有81种不同的排列组合方式。每一组中的排列方式可以是一行的几何图形组成一组，也可以是一列的几何图形组成一组，还可以是相邻的几个几何图形组成一组。每一组中几何图形的个数可根据测量的具体需求来确定。为了使编码图中每一个匹配点都能够被唯一地确定，在一个编码周期中，每一组的排列次序只出现一次。

在实际测量中，我们得不到单一的红色、绿色或者蓝色。由于各种原因，总会有一些杂散光。在测量中属于噪声干扰。为了使测量系统具有一定的抗干扰能力，尽量使每一种颜色之间的差别达到最大。在24位彩色模式下，红绿蓝三种颜色每一个颜色可以有256个灰阶。为了使颜色的差别达到最大，每个颜色只取0和255两个值。这时用三种颜色进行组合，可得到白、红、绿、蓝，以及它们的补色黑、青、品、黄。如果用黑色做背底色，还有7种颜色可以用来编码。

在很多情况下，并不需要很大的编码面，而需要较快的解码速度。这时可以采用红绿蓝三种颜色进行编码，或者采用红绿蓝白四种颜色进行编码。只用这几种颜色进行编码，在进行计算机处理时速度最快。

每一组中几何图形的个数越多，按照排列组合原理它的排列方式就越多，所组成的二维编码面就越大。但同时还要考虑到，如果在一组中有部分元素被遮挡，对于这一组的编码值将无法唯一地确定，这就造成测量的盲区，在一组中几何图形的个数越多，遮挡所造成的盲区的范围也就越大。在对动态的人体进行测量时，人的肢体经常会遮挡躯干的某一部分，如果遮挡造成的盲区过大就会影响测量的结果。

为了使遮挡所造成的盲区减至最小，本发明将四个相邻的正方形组成一组，在进行编码处理时，每一个非边缘上的正方形都同时是相邻四个组中的一个元素，如图1所示。其中R、G、B分别代表红、绿、蓝三种颜色的正方形。以任意一点G为中心3×3个正方形组成的编码图(图1e)中，可以看成是由四个2×2的编码单元交错组成的。其中，第一组(图1a)中右下角的元素同时也是第二组(图1b)中左下角的元素，它还是第三组(图1c)中右上角的元素和第四组(图1d)中左上角的元素。按照这一规则进行编码得到的二维编码图中，任意相邻的四个元素都可以组成一组，并且它们的排列次序在一个编码周期内是唯一的。按照这一规则进行编码处理时，任何一个元素受到遮挡都不会对其它元素造成任何影响。

用红、绿、蓝三种颜色按照以上的规则进行编码，可以组成一个9×9的编码图，如图2所示；当被测物体表面积较大时，可以采用更多的颜色进行编码，也可以用几个编码周期拼接成更大的编码图。

本发明的具体测量步骤详细描述如下：

1)按照图2所示的二维编码的排列次序用红绿蓝三种颜色的正方形制成彩色二维编码图。如果是对人体进行测量，则制成编码服。

2)将彩色二维编码图附着在被测物体的表面。如果是对人体进行测量，则将编码服穿在被测者的身上。

3)用两台摄像机组成三维跟踪测量系统。两台摄像机的相对位置保持不变，但可以整体移动并对物体进行跟踪测量。

4)在实际测量前，用已知三维轮廓的物体对系统进行校正。经过校正的跟踪测量系统在整个测量过程中要保持恒定。

5)用三维跟踪测量系统对前面所述的附着了彩色二维编码图的三维物体的进行测量。

6)将测量的图像送入计算机。

7)计算机通过图像处理程序找出左右两幅图像中的匹配点，并根据匹配点在两幅图像中的视差计算出匹配点所对应的空间位置。

8)根据测量得到的空间点的位置用三维建模软件在计算机内重构物体的三维模型。

用双目视觉的原理获取物体三维信息最大的困难是找匹配点。本发明采用彩色二维几何图形编码的方法有效地解决了这一难题。用彩色二维几何图形编码制成的服装穿在人身上时，不仅可以测量出人体的三维轮廓，而且可以对人体的运动行为进行跟踪测量。由于整个测量过程是在白光条件下进行，因而能适应各种现场测量的条件。本发明在计算机三维动画制作，运动员的选拔与训练等领域有着广阔的应用前景。

                            附图说明

图1RGB二维编码单元图。

图2二维编码排列图。

图3测量系统的装置图，1-左摄像机，2-右摄像机，3-被测物体，4-世界坐标系x轴方向。

图4圆柱体的左摄像机实验测量图。

图5圆柱体的右摄像机实验测量图。

图6圆柱体测量结果三维重建图。

图7人体模型的左摄像机实验测量图。

图8人体模型的左摄像机实验测量图。

图9人体模型测量结果三维重建图。

                            具体实施方式

实施例1

首先用计算机绘图软件按照图2所示的二维编码的排列次序用红绿蓝三种颜色的正方形制成彩色二维编码图，并用彩色打印机输出制成二维编码图，其中正方形的边长为10mm，每个正方形之间的间隔也是10mm。将二维编码图附着在直径为135mm，高200mm的圆柱体上。用两台摄像机按照图3所示的装置组成测量系统。两个摄像机分别放在1、2的位置，并使它们处在同一水平高度。视频输出信号通过图像采集卡送入计算机，图像采集卡的分辨率为688×516像素，24位真彩色模式。灯光的配置尽量使左右照明均匀，以减少被测物体上的阴影。

在进行实际测量前，要对测量系统进行校正。由于圆柱体的半径和高都是已知的，可以用来对系统进行校正。用摄像机1、2分别对圆柱体进行采样并经过图像采集卡送入计算机，得到的采样图如图4和图5所示。在计算机中，通过图像处理软件对每一个正方形的颜色进行识别，并根据其相邻正方形的颜色得到该正方形的编码值。

在二维编码图上，每一个正方形的四个角可以作为四个匹配点。在对测量图像进行处理时，要准确确定每一个角点的位置，并通过每一个角点在左右图像中的视差来确定它在空间的位置。

图6是根据实验测得的空间点，用VRML2.0在计算机内进行三维重建的结果。用VRML2.0进行三维重建的好处是可以通过浏览器进行三维浏览。从三维重建的效果来看，基本与实际物体是一致的。

实施例2

测量系统经过实施例1校正后保持恒定，我们对人体模型进行三维测量。用红、绿、蓝三种颜色的正方形按照图2所示的排列次序贴在人体模型表面，用测量系统对模特进行测量。图7、图8分别为左右摄像机得到的采样图。通过计算机程序处理，可以得到每一个正方形四个角点的空间坐标。根据实验测得的空间点，用VRML2.0在计算机内进行三维重建。图9是由人体模型三维测量值在计算机内三维重建的结果。

Claims (7)

1.一种用二维编码对运动物体进行三维跟踪测量的方法，其特征在于包括下述步骤：5)用两台相对位置保持不变但可以整体移动并能对物体进行跟踪测量的摄像机组成三维跟踪测量系统；6)用几何图形在二维面上进行排列组成二维编码图，将二维编码图附着在被测物体的表面；7)用三维跟踪测量系统对附着了二维编码图的三维物体进行测量，并将两台摄像机获得的图像送入计算机；8)计算机通过三维测量软件根据几何图形构成的二维编码图找出两幅图像中的匹配点，并根据匹配点在两幅图像中的视差计算出匹配点所对应的空间位置。

2.根据权利要求1所述的用二维编码对运动物体进行三维跟踪测量的方法，其特征在于所述的几何图形是正方形、三角形、六边形或圆形。

3.根据权利要求2所述的用二维编码对运动物体进行三维跟踪测量的方法，其特征在于所述的几何图形具有颜色。

4.根据权利要求1所述的用二维编码对运动物体进行三维跟踪测量的方法，其特征在于若干个相邻的几何图形组成一组，每一组内的排列次序各不相同。

5.根据权利要求4所述的用二维编码对运动物体进行三维跟踪测量的方法，其特征在于所述的几何图形每一组的排列次序在一个编码周期范围内是唯一的。

6.根据权利要求3所述的用二维编码对运动物体进行三维跟踪测量的方法，其特征在于所述的几何图形采用分立颜色进行排列。

7.根据权利要求1至6任一项所述的用二维编码对运动物体进行三维跟踪测量的方法，其特征在于所述的几何图形是由四个不同颜色的相邻正方形组成一组，每一个非边缘上的正方形都同时是相邻四个组中的一个元素。

Images