CN103366360A - 信息处理设备和信息处理方法 - Google Patents

Abstract

本发明涉及一种信息处理设备和信息处理方法。信息处理设备在考虑到投影装置的透镜畸变的情况下，高速地进行高精度的三维形状测量。信息处理设备的图像输入单元输入在投影仪105投射预定图案光的状态下照相机所拍摄的测量物体的图像数据。关联单元计算测量物体的图像数据上的坐标和预定图案光的图像数据上的坐标之间的关联。三维坐标计算单元计算消除了透镜畸变的照相机视线矢量、以及添加了透镜畸变的投影仪视线矢量。计算单元针对各个关联，计算三维空间中照相机视线矢量和投影仪视线矢量之间交点的坐标。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及一种用于对测量物体的三维形状进行测量的技术。

背景技术

利用图像的对物体表面的三维形状测量用于各种目的，例如，基于实物来生成三维模型，以及测量物体的位置和姿势。在利用图像所进行的三维形状测量技术中，广泛采用了照射被称为结构光的图案光的主动方法，这是由于该方法的测量的可靠性高。作为进行这种图案光的照射的装置，通常使用作为投影型图像显示装置的投影仪。利用投影仪来进行三维形状测量的方法的典型示例包括空间编码方法和相移方法。空间编码方法和相移方法是通过投射二维条纹图案光来进行三维形状测量的方法。

在空间编码方法中，以时间序列来投射二进制条纹图案不同的光束，从而稳定地将所拍摄的图像数据上的坐标与从投影仪投射的图像数据上的坐标相关联。在相移方法中，投射对正弦波条纹图案的相位进行偏移所得到的多个条纹图案光束，并且观察所拍摄的图像数据上各像素的浓度值的改变，由此将所拍摄的图像数据上的坐标与从投影仪投射的图像数据上的坐标相关联。

用于投射条纹图案光的上述方法所使用的照相机和投影仪是用于通过透镜来输入和输出光的装置。因此，在光通过透镜时所产生的被称为畸变像差的畸变被添加至了由照相机所拍摄的图像数据和从投影仪输出的图像数据。为了进行高精度的三维形状测量，需要适当地考虑这种透镜畸变的影响。在校正照相机的透镜畸变时，通常预先校准畸变参数，并且使用该畸变参数来将所拍摄的图像数据上的二维坐标校正为三维形状测量中没有畸变的坐标。同样地，对于投影仪的透镜畸变，类似于对照相机的校正，也可以通过预先进行校准以基于校准结果来进行校正。

然而，在诸如空间编码方法和相移方法等的利用条纹图案光的上述方法中，通常利用投影仪来投射与连接照相机和投影仪的基线的方向大致垂直的条纹图案光，从而进行三维形状的测量。由此，为了校正投影仪的透镜畸变，尽管并非是三维形状测量所必需，但是需要投射与三维形状测量所需的条纹图案光垂直的图案光。另一方面，R.J.Valkenburg和A.M.McIvor的“Aceurate3D measurement using a structured light system，”lmage and Vision Computing，vol.16，no.2，pp.99-110，1998公开了如下的一种方法：通过使作为在忽略透镜畸变的情况下所计算出的坐标而计算出的临时三维坐标最优化，以使得满足包括透镜畸变的投影模型，来在不投射非必需图案光的情况下，对投影仪的透镜畸变进行校正。

然而，为了校正投影仪的透镜畸变而投射与三维形状测量所需的条纹图案光垂直的图案光，这自然会增加要投射的图案光束的数量。这导致拍摄图像数据和处理图像数据所需的时间增加的问题。另一方面，在R.J.Valkenburg和A.M.McIvor，“Accurate3D measurement using a structured light system，”Image and Vision Computing，vol.16，no.2，pp.99-110，1998中所公开的方法中，尽管由于图案光的投射和拍摄是分别进行的而没有增加测量时间，但是需要执行诸如计算临时三维坐标和对三维坐标进行非线性优化等的处理。由于需要针于图像数据上的大量的点来进行这些处理操作，由此带来的以下问题：由于需要执行大量的计算，因此需要很长的时间来完成计算。

发明内容

本发明提供一种信息处理设备，用于利用在图像上的二维位置不是唯一确定的预定图案光，在考虑到投影装置的透镜畸变的情况下，高速地进行高精度的三维形状测量。

根据本发明的第一方面，提供了一种信息处理设备，包括：输入单元，用于输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；关联单元，用于提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；第一视线矢量求出单元，用于求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；第二视线矢量求出单元，用于求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及交点坐标求出单元，用于针对所述关联单元所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。

根据本发明的第二方面，提供了一种信息处理方法，其由信息处理设备来执行，所述信息处理方法包括：输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及针对所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。

根据本发明的第三方面，提供了一种非瞬态存储介质，用于存储用于使计算机用作信息处理设备的各个单元的程序，所述程序包括：输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及针对所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。

根据本发明的第四方面，提供了一种信息处理设备，包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像；以及求出单元，用于通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离，其中，所述求出单元包括：第一校正单元，用于基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及第二校正单元，用于基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。

根据本发明的第五方面，提供了一种信息处理设备的信息处理方法，所述信息处理设备包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；以及摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像，所述信息处理方法包括：通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离；基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。

根据本发明的第六方面，提供了一种非瞬态存储介质，用于存储用于使计算机用作信息处理设备的各个单元的程序，所述信息处理设备包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；以及摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像，所述程序包括：通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离；基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。

根据本发明，可以利用在图像上的二维位置不是绝对确定的预定图案光，在考虑到投影装置的透镜畸变的情况下，高速地进行高精度的三维形状测量。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征将变得明显。

附图说明

图1是根据本发明第一实施例的信息处理设备的结构图。

图2是从投影仪照射的条纹图案光的图。

图3是包括根据本发明第一实施例的信息处理设备的图像处理系统的结构图。

图4是用于说明照相机的投影模型的图。

图5A和5B是用于说明照相机和投影仪之间透镜畸变的差别的图。

图6是由信息处理设备所执行的三维形状测量处理的流程图。

图7是图6的步骤中所执行的三维坐标计算处理的流程图。

具体实施方式

以下将参考示出本发明实施例的附图来详细说明本发明。

首先，将给出本发明第一实施例的说明。在本发明的第一实施例中，将说明在利用空间编码方法来进行三维形状测量时考虑到投影仪的透镜畸变的测量方法。

图1是根据本发明第一实施例的信息处理设备的结构图。如图1所示，由附图标记101所表示的信息处理设备包括图像输入单元110、关联单元120、校准数据存储单元130、以及三维坐标计算单元140。此外，照相机100连接至信息处理设备101。注意，照相机100是摄像设备的示例。

图像输入单元110输入由照相机100所拍摄的图像数据。在空间编码方法中，对于三维形状测量的各个操作，在每次投射图2所示的多个二进制条纹图案光中的一个时拍摄图像数据，并由此将多个图像数据项输入至图像输入单元110。

在本实施例中，为了估计所拍摄的图像数据上的位图案之间的边界，不仅投射了表示5位格雷码的水平条纹图案光，还投射了该条纹图案光的切换了黑色白色的反转图案光。

图3是包括根据本实施例的信息处理设备101的图像处理系统的结构图。在图3所示的图像处理系统中，将照相机100和由附图标记105所表示的投影仪彼此相对固定，并分别连接至信息处理设备101。信息处理设备101向投影仪105发送用于投射图2所示的其中一个条纹光的命令，然后向照相机100发送用于拍摄图像数据的命令。注意，投影仪105是投影设备的示例。

关联单元120将输入至图像输入单元110的多个图像数据项上的各个二维坐标与投影仪105所投射的图像数据上的相应几何基元(geometrie primitive)相关联。在本实施例中，几何基元是水平直线，并且关联单元120将各二维坐标与条纹图案的图像数据上在垂直方向上的相应的线的坐标相关联。校准数据存储单元130存储照相机100和投影仪105的预先经过校准的内部参数、以及照相机100和投影仪105的相对位置和姿势。内部参数包括：焦距、主点位置和畸变参数(本实施例中为径向畸变系数和切向畸变系数)。通过Zhang方法(Z.Zhang，“A flexible newteehnique for camera calibration，”IEEE Transactions on PatternAnalysis and Machine Intelligence，vol.22，no.11，pp.1330-1334，2000)来预先校准照相机100和投影仪105的内部参数。基于在对内部参数进行校准时获得的校准图案和照相机之间的相对位置和姿势、以及该校准图案和投影仪之间的相对位置和姿势，来计算照相机100和投影仪105之间的相对位置和姿势。

针对关联单元120所获得的、拍摄图像数据上的二维坐标与条纹图案的图像数据上的垂直坐标的各个关联，三维坐标计算单元140使用校准数据存储单元130中存储的校准数据来计算三维坐标。

接着，将给出本实施例中照相机100和投影仪105的投影模型的说明。首先，将说明照相机100的投影模型。如图4所示，设置照相机坐标系(三维)，以使得Z轴与光轴一致，并且X轴和Y轴分别与图像数据的水平方向和垂直方向平行。通过使用针孔照相机模型，将在照相机坐标系中具有(X，Y，Z)三维坐标的点投射到由以下等式(1)来表示的标准化图像坐标上：

$x=\frac{X}{Z}$

$y=\frac{Y}{Z}...\left(1\right)$

在本实施例中，当在照相机坐标系中的Z＝1的位置处设置图像平面时，标准化图像坐标表示图像平面上的位置。标准化图像坐标系的原点是光轴(Z轴)与图像平面的交点，并且X轴和Y轴分别与图像数据的水平方向和垂直方向平行。通过将透镜畸变成分相加至(x，y)来获得实际观察到的标准化图像坐标(x’，y’)，如下述等式(2)所示：

x′＝x{1+k_c1(x²+y²)+k_c2(x²+y²)²}+2p_c1xy+p_c2(3x²+y²)

y′＝y{1+k_c1(x²+y²)+k_c2(x²+y²)²}+p_c1(x²+3y²)+2p_c2xy    ...(2)

在上述等式中，k_c1和k_c2分别是针对三阶和五阶径向畸变的畸变系数，并且p_c1和p_c2是切向畸变系数。注意，透镜畸变模型不限于此。尽管等式(2)考虑到高至五阶径向畸变的畸变，但是透镜畸变模型可以是例如三阶或七阶畸变。此外，尽管在等式(2)中考虑到了切线畸变，但是可以假设等式(2)中不存在切线畸变。即，这里可以使用任何其它模型，只要该模型可以将添加了畸变的标准化图像坐标(x’，y’)表示为添加畸变之前的标准化图像坐标(x，y)的函数即可。具有标准化图像坐标(x’，y’)的点在实际图像数据上的坐标(像素坐标)(u_c，v_c)由以下等式(3)表示：

u_e＝f_cxx′+c_cx

v_c＝f_cyy′+c_cy     ...(3)

在上述等式中，f_cx和f_cy均表示焦距，并且c_cx和c_cy均表示主点位置。如上所述，对照相机100的内部参数f_cx、f_cy、c_cx、c_cy、k_c1、k_c2、p_c1和p_c2预先进行校准。

接着，将说明投影仪105的投影模型。在将投影仪105作为采用透镜的光学系统的情况下，照相机1(00和投影仪105之间的不同点仅在于是通过透镜输入图像还是通过透镜输出图像。因此，基本上可以通过使用与照相机100的投影模型相同的模型来说明投影仪105的投影模型。图5A和5B是用于说明照相机100和投影仪105之间的透镜畸变的差别的图。图5A示出照相机100所拍摄的图像数据的畸变，并且图5B示出投影仪105所投射的图像数据的畸变。如图5A和5B所示，在投影仪105的情况下，与通过透镜输入图像的照相机100相反，通过透镜输出图像，由此，投影仪105的具有畸变的标准化图像坐标(x’，y’)和不具有畸变的标准化图像坐标(x，y)之间的关系与照相机100的是相反的。因此，(x’，y’)和(x，y)之间的关系以下述等式(4)来表示：

x＝x′{1+k_p1(x′²+y′²)+k_p2(x′²+y′²)²}+2p_p1x′y′+p_p2(3x′²+y′²)

y＝y′{1+k_p1(x′²+y′²)+k_p2(x′²+y′²)²}+p_p1(x′²+3y′²)+2p_p2x′y′   ...(4)

类似于照相机100的内部参数，同样对投影仪105的内部参数f_px、f_py、c_px、c_py、k_p1、k_p2、p_p1和p_p2进行预先校准。在校准投影仪105的内部参数时，将水平方向和垂直方向两者上的条纹图案光投射到具有平面形状的校准图案上，由此将校准图案上的各坐标与从投影仪105投射出的图像上的各坐标相关联。内部参数的校准是在实际测量之前进行的操作，并且有相对充分的时间来进行操作，因此可以投射水平方向和垂直方向两者上的条纹图案。另一方面，本实施例涉及使用预先校准了的内部参数来实际执行三维形状测量时所进行的投影仪畸变校正，并且目的是尽可能地减少要投射的图案光以加快处理速度。类似于照相机100的畸变模型，这里可以使用任何其它的模型，只要该模型将添加畸变之前的标准化图像坐标(x，y)表示为添加了畸变的标准化图像坐标(x’，y’)的函数即可。

图6是根据本发明第一实施例的信息处理设备所执行的三维形状测量处理的流程图。以下将参考图6来说明第一实施例中的三维形状测量处理。

在步骤S1000中，图像输入单元110输入由照相机100所拍摄的、被条纹图案光照射的场景或物体的图像数据。如上所述，在空间编码方法中，对于一次测量，利用多个条纹图案光照射物体，由此在该步骤中输入多个图像数据项。

在步骤S1010中，关联单元120计算在步骤S1000中所输入的图像数据上的二维坐标和条纹图案的图像数据上的垂直坐标之间的一组关联。更具体地，关联单元120通过对所输入的图像数据的各项进行二值化来计算各像素的位图案(本实施例中为5位)。关联单元120通过使用所计算出的位图案，来将所拍摄的图像数据上的各个二维坐标与条纹图案的图像数据上的各个垂直坐标相关联。接着，关联单元120对边界部分的二维坐标(u_c，v_c)进行估计，其中在该边界部分处，所拍摄的图像数据上的位图案发生改变。例如Inokuchi，Sato，the three-dimensional imagemeasurement，Shokodo，1990所公开的，基于根据在被负条纹图案光照射的状态下所拍摄的图像数据和在被正条纹图案光照射的状态下所拍摄的图像数据而确定的灰度值图，对边界部分进行估计。最后，针对边界部分的所有点，关联单元120基于各个邻接的位图案来确定条纹图案的图像数据上的垂直坐标v_p。

在步骤S1020中，三维坐标计算单元140进行三维坐标计算处理，以基于所拍摄的图像数据上的二维坐标(u_c，v_c)与条纹图案的图像数据上的垂直坐标v_p的关联，来计算以照相机坐标系为基准的各点的三维坐标。计算各个点的三维坐标，作为照相机100的视线矢量(以下称为照相机视线矢量)与投影仪105的视线矢量(以下称为投影仪视线矢量)之间的交点的坐标。在该步骤中，视线矢量表示在照相机100(或投影仪150)的光学中心和图像上的点之间连接的三维矢量。通过使用标准化图像坐标(x，y)，可以将照相机坐标系(或投影仪坐标系)中的照相机视线矢量(或投影仪视线矢量)表示为[xy1]^t。在投影仪105在空间中投射图像时，由透镜引起的畸变被添加至输出光的方向，因此，投影仪视线矢量变为添加了透镜畸变的矢量。另一方面，需要将从空间反射的光入射照相机100的矢量用作照相机视线矢量，因而需要照相机视线矢量是消除了透镜畸变的矢量。在投影仪105投射条纹图案光时，在步骤S1010中所进行的关联，只能确定条纹图案上的一个方向上的各个坐标(本发明中为各个垂直坐标)，因此不能确定投影仪视线矢量。在本实施例中，通过把根据照相机100和投影仪105之间的极线约束(epipolareonstraint)而获得的方程、以及根据投影仪105的透镜畸变模型所获得的方程作为联立方程来求解，来确定投影仪视线矢量。

图7是图6中的步骤S1020中的三维坐标计算处理的流程图。以下参考图7来详细说明步骤S1020中的三维坐标计算处理。

在步骤S1100中，三维坐标计算单元140计算在照相机100所拍摄的图像数据上的点和照相机100的光学中心之间连接的照相机视线矢量。在该步骤中，如上所述，计算出消除了透镜畸变的照相机视线矢量。更具体地，基于所拍摄的图像数据上的坐标(u_c，v_c)，使用等式(2)和(3)，来计算照相机视线矢量x_c(＝[x_cy_c1]^t)。首先，三维坐标计算单元140通过使用等式(3)来计算具有畸变的标准化图像坐标(x′_c，y′_c)，如以下等式(5)所示。注意，步骤S1100是第一视线矢量计算单元所执行的处理的示例。

${x^{\′}}_c=\frac{u_c-c_{\mathrm{cx}}}{f_{\mathrm{cx}}}$

${y^{\′}}_c=\frac{v_c-c_{\mathrm{cy}}}{f_{\mathrm{cy}}}...(5)$

接着，三维坐标计算单元140求解作为联立方程的、将所计算出的x′_c和y′_c代入的等式(2)而获得的x_c和y_c的等式，以计算不具有畸变的标准化图像坐标x_c和y_c。注意，不能解析地求解这些联立方程，因而三维坐标计算单元140提供x_c和y_c的初始值(例如，x′_c和y′_c)，并通过基于例如Newton方法的迭代计算来计算x_c和y_c。根据如上计算出的x_c和y_c来获得照相机视线矢量x_c。

在步骤S1110中，三维坐标计算单元140计算投影仪105所投射的条纹图案的图像数据上的点和投影仪105的光学中心之间连接的投影仪视线矢量。这里，如上所述，对添加了透镜畸变的投影仪视线矢量进行计算。更具体地，根据投影仪105所投射的条纹图案的图像数据的垂直坐标v′_p来计算投影仪视线矢量x′_p(＝[x′_py′_p1]^t)。首先，三维坐标计算单元140通过下述等式(6)来计算坐标v_p的标准化的图像坐标y_p(无畸变)。注意，步骤S1110是第二视线矢量计算单元所执行的处理的示例。

$y_p=\frac{v_p-c_{\mathrm{py}}}{f_{\mathrm{py}}}...\left(6\right)$

三维坐标计算单元140将等式(6)代入等式(4)，从而获得由以下等式(7)所表示的关于x′_c和y′_c的等式：

y_p＝y′_p{1+k_p1(x′_p ²+y′_p ²)+k_p2(x′_p ²+y′_p ²)²}+p_p1(x′_p ²+3y′_p ²)

+2p_p2x′_py′_p...(7)

另一方面，为了基于三角测量原理来估计三维坐标，需要照相机视线矢量和投影仪视线矢量在三维空间中相交于一个点。该条件被称为极线约束，并由以下等式(8)来表示：

$\left[\begin{array}{ccc}{x}_c& y_c& 1\end{array}\right]E\left[\begin{array}{c}{x^{\′}}_p\\ {y^{\′}}_p\\ 1\end{array}\right]=0...\left(8\right)$

然而，E表示被称为本质矩阵(Essential matrix)的3×3矩阵。使用表示投影仪105在照相机坐标系中的位置的三维矢量t＝[t_xt_yt_z]^t、以及表示投影仪105的姿势的3×3的矩阵R，由以下等式(9)表示本质矩阵E。

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$

$E=\left[\begin{array}{ccc}{e}_{11}& e_{12}& e_{13}\\ e_{21}& e_{22}& e_{23}\\ e_{31}& e_{32}& e_{33}\end{array}\right]=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]R$

$=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]...\left(9\right)$

由于照相机100和投影仪105的相对位置和姿势是预先经过校准并且是已知的，因此E矩阵也是已知的。此外，照相机视线矢量x_c也是已知的，因此，根据等式(8)来获得由以下等式(10)所表示的关于x′_p和y′_p的一次方程：

ax′_p+by′_p+c＝0

其中，

a＝x_ce₁₁+y_ce₂₁+e₃₁

b＝x_ce₁₂+y_ce₂₂+e₃₂

c＝x_ce₁₃+y_ce₂₃+e₃₃       ...(10)

三维坐标计算单元140可以在不进行如R.J.Valkenburg andA.M.McIvor，“Accurate3D measurement using a structured lightsystem，”Image and Vision Computing，vol.16，no.2，pp.99-110，1998所公开的计算临时三维坐标的情况下，通过使用等式(7)和(10)作为与x′_p和y′_p相关联的约束条件，来直接计算投影仪视线矢量。注意，(x′_p，y′_p)几何地表示x-y平面上由等式(10)所表示的直线(极线)和由等式(7)所表示的曲线之间的交点的坐标。三维坐标计算单元140求解作为联立方程的x′_p和y′_p的等式(7)和(10)，由此计算x′_p和y′_p。

下面，将详细说明计算x′_p和y′_p的方法。首先，三维坐标计算单元140通过等式(10)而以x’_p表示y’_p来消去等式(7)中的y’_p，由此获得以下述等式(11)所表示的关于x’_p的等式：

Ax′_p ⁵+Bx′_p ⁴+Cx′_p ³+Dx′_p ²+Ex′_p+E＝0

其中，

A＝-k_p2(ab⁴+2a³b²+a⁵)

B＝-k_p2c(b⁴+6a²b²+5a⁴)

c＝-k_p2(6ab²+10a³)c²-k_p1(ab⁴+a³b²)

D＝-2p_p2ab⁴+p_p1(3a²b³+b⁵)-k_p2(2b²+10a²)c³-k_p1(b⁴+3a²b²)c

E＝-2p_p2b⁴c+6p_p1ab³c-5k_p2ac⁴-3k_p1ab²c²-ab⁴

F＝3p_p1b³c²-k_p2c⁵-k_p1b²c³-b⁴c-b⁵y_p     ...(11)

等式(11)是关于x’_p的五次方程。由于不能解析地求解该五次方程，因此三维坐标计算单元140使用以下所示的等式(12)来计算x’_p。首先，三维坐标计算单元140设置x’_p的初始值。针对x’_p的初始值x_p0’，使用例如在等式(10)中设置y’_p＝y_p的情况下所获得的x’_p的值。

${x^{\′}}_{\mathrm{po}}=\frac{-{\mathrm{by}}_p-c}{a}...\left(12\right)$

接着，三维坐标计算单元140针对x’_p0附近的x’_p来对等式(11)的左边进行线性近似，并且建立由以下等式(13)所表示的、满足通过x’_p的微小变化Δx’_p来使得右边变为0的等式。

Ax′_p0 ⁵+Bx′_p0 ⁴+Cx′_p0 ³+Dx′_p0 ²+Ex′_p0+F+(5Ax′_p0 ⁴+4Bx′_p0 ³+3Cx′_p0 ²

+2Dx′_p0+E)Δx′_p＝0            ...(13)

三维坐标计算单元140根据等式(13)来计算Δx’_p，并将x_p0’校正为x_p0’+Δx’_p。三维坐标计算单元140通过将所获得的x_p0’用作新的初始值来重复上述处理，直到解收敛为止。三维坐标计算单元140通过将所获得的解设置为x’_p而根据等式(10)计算y’_p。通过这样计算x’_p和y’_p来获得投影仪视线矢量x’_p。尽管在本实施例中，在计算x’_p和y’_p时通过消去y’_p来计算x’_p，但是不限于此。可以以同样方式通过消去x’_p来计算值y’_p。

在步骤S1120中，三维坐标计算单元140基于步骤S1100中计算出的照相机视线矢量X_c和步骤S1110中计算出的投影仪视线矢量x’_p来计算三维坐标。将各个三维坐标确定为，作为照相机视线矢量X_c的延长线的三维线和作为投影仪视线矢量x’_p的延长线的三维线之间的交点的坐标。通过例如以下方式来计算三维线之间的交点：投影仪视线矢量x’_p在照相机坐标系中延伸α倍的位置处的点的三维坐标(X，Y，Z)以如下等式(14)来表示。注意，步骤S1120是三维坐标计算单元所执行的处理的示例。

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{{\mathrm{\αx}}^{\′}}_p\\ {{\mathrm{\αy}}^{\′}}_p\\ \mathrm{\α}\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]...\left(14\right)$

在连接该点和照相机100的光学中心的矢量与照相机视线矢量X_c一致的情况下，可以获得以下等式(15)：

$x_c=\frac{\mathrm{\α}(r_{11}{x^{\′}}_p+r_{12}{y^{\′}}_p+r_{13})+t_x}{\mathrm{\α}(r_{13}{x^{\′}}_p+r_{32}{y^{\′}}_p+r_{33})+t_z}$

$y_c=\frac{\mathrm{\α}(r_{21}{x^{\′}}_p+r_{22}{y^{\′}}_p+r_{23})+t_x}{\mathrm{\α}(r_{31}{x^{\′}}_p+r_{32}{y^{\′}}_p+r_{33})+t_z}...\left(15\right)$

三维坐标计算单元140针对α求解等式(15)中的第一个等式或第二个等式，由此计算如以下等式(16)所表示的α：

$\mathrm{\α}=\frac{t_x-x_c{t}_z}{x_c(r_{31}{x^{\′}}_p+r_{32}{y^{\′}}_p+r_{33})-(r_{11}{x^{\′}}_p+r_{12}{y^{\′}}_p+r_{13})}$

或者

$\mathrm{\α}=\frac{t_y-y_c{t}_z}{y_c(r_{31}{x^{\′}}_p+r_{32}{y^{\′}}_p+r_{33})-(r_{21}{x^{\′}}_p+r_{22}{y^{\′}}_p+r_{23})}...\left(16\right)$

此外，三维坐标计算单元140将所计算出的α代入等式(11)，由此计算三维坐标(X，Y，Z)。注意，计算三维坐标(X，Y，Z)的方法不限于此。例如，可以基于以下事实来直接计算三维坐标(X，Y，Z)：在将三维坐标(X，Y，Z)投射到所拍摄的图像数据和条纹图案的图像数据的情况下所获得的标准化图像坐标分别为(x_c，y_c)和(x’_p，y’_p)。针对在步骤S1010中所获得的、拍摄到的图像数据上的二维坐标与条纹图案的图像数据上的垂直坐标的所有关联，执行上述三维坐标计算处理。

如上所述，在第一实施例中，给出了三维形状测量方法的说明，其中，在通过投射条纹图案光来进行三维形状测量的情况下，通过对添加了透镜畸变的投影仪视线矢量进行估计来正确地反映透镜畸变。在这种方法中，不需要如传统方法那样计算一次临时三维坐标，因而可以通过对在图像上的二维位置不是唯一确定的图案光进行投射来高速地进行高精度的三维形状测量。

接着，将给出本发明第二实施例的说明。在上述第一实施例中，说明了通过使用用于将没有畸变的理想图像坐标转换为具有畸变的图像坐标的系数(等式(2))，作为表示照相机100和投影仪105的透镜畸变的参数，来对三维坐标进行计算。然而，表示透镜畸变的参数不限于此。在第二实施例中，将说明在表示透镜畸变的参数是用于将具有畸变的图像坐标转换为没有畸变的图像坐标的系数的情况下计算三维坐标的方法。注意，根据第二实施例的信息处理设备和图像处理系统的结构与图1和图3所示的相同，因此这里针对相同的组件使用与图1和图3中相同的附图标记，并且省略其说明。

在第二实施例中，通过下述等式(17)来将用于照相机100的具有畸变的标准化图像坐标(x’，y’)转换为没有畸变的标准化图像坐标(x，y)：

x＝x′{1+k₁(x′²+y′²)+k₂(x′²+y′²)²}+2p₁x′y′+p₂(3x′²+y′²)

y＝y′{1+k₁(x′²+y′²)+k₂(x′²+y′²)²}+p₁(x′²+3y′²)+2p₂x′y′   ...(17)

与通过透镜输入图像的照相机100相反，在使用投影仪105的情况下，通过透镜输出图像，因此，投影仪105的具有畸变的标准化图像坐标(x’，y’)和不具有畸变的标准化图像坐标(x，y)之间的关系与照相机100的是相反的。因此，(x’，y’)和(x，y)之间的关系由以下等式(18)来表示：

x′＝x{1+k₁(x²+y²)+k₂(x²+y²)²}+2p₁xy+p₂(3x²+y²)

y′＝y{1+k₁(x²+y²)+k₂(x²+y²)²}+p₁(x²+3y²)+2p₂xy   ..(18)

注意，与第一实施例类似，畸变模型不限于此。即，在照相机100的情况下，可以使用任何其它模型，只要该模型将添加畸变之前的标准化图像坐标(x，y)表示为添加了畸变的标准化图像坐标(x’，y’)的函数即可。在投影仪105的情况下，可以使用任何其它模型，只要该模型将添加了畸变的标准化图像坐标(x’，y’)表示为添加畸变之前的标准化图像坐标(x，y)的函数即可。

第二实施例中的处理与第一实施例中的处理大致相同，因此，仅说明与第一实施例不同的用于计算照相机视线矢量和投影仪视线矢量的方法。

在第二实施例中，由以下方式计算照相机视线矢量：首先，三维坐标计算单元140根据照相机100所拍摄的图像数据上的坐标(u_c，v_c)，使用等式(5)计算具有畸变的标准化图像坐标(x’_c，y’_c)。接着，三维坐标计算单元140使用等式(17)来计算没有畸变的标准化图像坐标(x_c，y_c)，由此计算照相机视线矢量。

此外，在第二实施例中，由以下方式计算投影仪视线矢量：首先，三维坐标计算单元140使用等式(6)来计算垂直方向上的坐标v_p的标准化图像坐标(无畸变)y_p。接着，三维坐标计算单元140通过将y_p代入等式(18)所获得的结果代入等式(10)，来获得关于x_p的五次方程。最后，三维坐标计算单元140通过求解该五次方程来确定x_p。由于不能解析地求解该五次方程，因此通过使用第一实施例所述的方法来计算x_p。基于由上述处理所获得的照相机视线矢量和投影仪视线矢量，使用与第一实施例相同的方法来计算三维坐标。

如上所述，在第二实施例中，说明了在表示透镜畸变的参数是用于将具有畸变的图像坐标转换为没有畸变的图像坐标的系数的情况下，在考虑到投影仪105的畸变时，对三维形状进行测量的方法。

在上述实施例中，说明了基于用于使用投影仪105利用二进制编码不相同的光以时间序列照射物体的空间编码方法的、在三维形状测量中考虑到投影仪105的透镜畸变的方法。然而，三维形状测量方法不限于空间编码方法。例如，可以采用诸如相移方法等的任何方法，只要该方法与空间编码方法类似地使用条纹图案光即可。此外，可以采用用于利用诸如激光狭缝光等的一维线图案光来照射测量物体的方法，只要该方法是利用通过透镜的条纹图案光来照射物体的方法即可。

此外，在上述实施例中，说明了如下情况：投影仪105所投射的条纹图案光的条纹方向是条纹图案光的图像数据上的水平方向。然而，由投影仪105所投射的图案光不限于是水平方向上的条纹图案光，而可以是诸如垂直方向上的条纹图案光等的任何其它方向上的图案光。这也适用于一维线图案光的线的方向。以下述方式进行在利用垂直方向上的条纹图案光照射物体的情况下的投影仪视线矢量的计算：

首先，三维坐标计算单元140通过以下等式(19)，计算投影仪105所投射的图像的水平方向上的坐标u_p的标准化图像坐标(无畸变)x_p：

$x_p=\frac{u_p-c_{\mathrm{px}}}{f_{\mathrm{px}}}...\left(19\right)$

接着，三维坐标计算单元140将等式(19)代入等式(4)中的第一个等式，从而获得由以下等式(20)所表示的关于x’_p和y’_p的等式：

x_p＝x′_p{1+k₁(x′_p ²+y′_p ²)+k₂(x′_p ²+y′_p ²)²}+2p₁x′_py′_p+p₂(3x′_p ²+y′_p ²)

...(20)

接着，与第一实施例类似，三维坐标计算单元140通过对作为关于x’_p和y’_p的联立方程的等式(10)和(20)进行求解，计算x’_p和y’_p，由此计算投影仪视线矢量。

此外，在上述实施例中，假定具有直至五阶的径向和切向畸变的畸变的模型作为投影仪105的透镜畸变模型。然而，透镜畸变模型不限于此。例如，可以采用不具有切向畸变的模型，或者具有比五阶径向畸变的更低阶或更高阶的模型。如果透镜畸变模型的径向上的透镜畸变的阶是不同的，则根据畸变的阶而改变等式(11)的x’_p的阶。例如，对于具有直至三阶畸变的畸变的模型，等式(11)是关于x’_p的三次方程，而对于具有直至七阶畸变的畸变的模型，等式(11)是关于x’p的七次方程，由此可以只需要求解三次或七次方程。另一方面，在没有切向畸变的情况下，可以获得仅与等式(12)右边不同的相似的方程，因此只需要求解该方程即可。即，即使在透镜畸变模型不同的情况下，通过如上所述求解从照相机100和投影仪105之间的极线约束所获得的方程、以及从透镜畸变模型所获得的方程，也可以计算投影仪视线矢量。

例如，在使用仅具有径向上的直至三阶畸变的模型作为投影仪105的透镜畸变模型的情况下，将等式(7)变形为下述等式(21)：

y_p＝y′_p{1+k_p1(x′_p ²+y′_p ²)}    (21)

根据等式(21)和(10)，获得由以下等式(22)所表示的关于x’_p的三次方程：

Gx′_p ³+Hx′_p ²+Ix′_p+J＝0

其中，

G＝-k_p1(ab⁴+a³b²)

H＝-k_p1(b⁴+3a²b²)c

I＝-3k_p1ab²c²-ab⁴

J＝-k_p1b²c³-b⁴c-b⁵y_p      ...(22)

三维坐标计算单元140可以通过使用等式(22)计算x’_p，由此计算投影仪视线矢量。

根据上述实施例，可以通过投射在图像上的二维位置不是唯一确定的图案光来高速地进行高精度的三维形状测量。

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

本发明要求于2012年4月3日提交的日本专利申请2012-084909的优先权，其全部内容通过引用包含于此。

Claims (10)

1.一种信息处理设备，包括：

输入单元，用于输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；

关联单元，用于提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；

第一视线矢量求出单元，用于求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；

第二视线矢量求出单元，用于求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及

交点坐标求出单元，用于针对所述关联单元所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。

2.根据权利要求1所述的信息处理设备，其中，所述第二视线矢量求出单元求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量，使得所述摄像设备侧的视线矢量和所述投影设备侧的视线矢量在三维空间中相交，并且针对所述投影设备的透镜畸变而进行了校正的、所述投影设备侧的视线矢量和所述投影设备的图像平面之间的交点的坐标与所述关联单元所关联的所述预定图案图像的图像数据上的坐标一致。

3.根据权利要求1所述的信息处理设备，其中，所述预定图案图像是条纹图案图像。

4.根据权利要求3所述的信息处理设备，其中，所述条纹图案图像的条纹的方向是所述条纹图案图像的图像数据上的水平方向或垂直方向。

5.根据权利要求1所述的信息处理设备，其中，所述预定图案图像是线图案图像。

6.根据权利要求5所述的信息处理设备，其中，所述线图案图像的线的方向是所述线图案图像的图像数据上的水平方向或垂直方向。

7.根据权利要求1所述的信息处理设备，其中，所述预定图案图像的图像数据包括用于空间编码方法或相移方法的多个图案。

8.一种信息处理方法，其由信息处理设备来执行，所述信息处理方法包括：

输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；

提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；

求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；

求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及

针对所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。

9.一种信息处理设备，包括：

投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；

摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像；以及

求出单元，用于通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离，

其中，所述求出单元包括：

第一校正单元，用于基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及

第二校正单元，用于基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。

10.一种信息处理设备的信息处理方法，所述信息处理设备包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；以及摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像，

所述信息处理方法包括：

通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离；

基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及

基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。

Images