CN101646919B - 非静止物体的三维图像测量装置，三维图像测量方法以及三维图像测量程序 - Google Patents

Abstract

本发明的非静止物体的三维图像测量装置包括对测量对象物体A投影图形光的图形投影机(1)、对投影了图形光的测量对象物体A进行摄像而摄像图像的照相机(2)、对由照相机(2)摄像的图像的数据进行处理的数据处理装置(3)，由图形投影机(1)和照相机(2)对测量对象物体A投影全面投影用的图形光以及强度调制图形光并摄影图像，根据摄影的全局照明反射图像以及反射图形图像推定测量对象物体A的运动状态，在调节全局照明反射图像以及反射图形图像之后，校正反射图形图像的强度值，根据校正后的反射图形图像的强度值算出形成有投影图形光的个别图形光的投影方位角，算出进深距离，所以能够非接触地得到高精度的三维信息。

Description

非静止物体的三维图像测量装置，三维图像测量方法以及三维图像测量程序

技术领域

本发明涉及对非静止物体投影规定的图形光并且非接触地对三维信息进行测量的三维图像测量装置、三维图像测量方法以及三维图像测量程序。

背景技术

近年来，在质量管理、安全防范或安全管理等各种领域中，在生产线或生产现场等，要求进行非静止生产物的形状测量或所在空间位置的测量等，或者取得移动中或不能静止的人体的脸、躯体、手脚等三维形状数据，期待这些非静止物体的非接触并且高速的三维测量装置的开发。

现有，在三维图像测量中，广泛应用三角测量的原理。图12示出基于三角测量的原理的三维图像测量的原理与坐标关系。此外，作为三维图像测量的方法，有不对测量对象物体照射成为测量辅助的特定光或电波等而进行测量的被动型的方法、和对测量对象物体照射光、声波或电波等并利用其信息进行测量的主动型的方法，被动式三维图像测量的代表方法是立体观察方法。

在图12中，在点O₁和点O₂这两点分别放置照相机1和照相机2，利用照相机1的测量对象物体A上的测量点P的方位角α和照相机2的测量对象物体A上的测量点P的方位角β，计算测量点P的进深距离Z。此处，测量对象物体A的测量点P的三维世界坐标系中的进深距离Z由下式计算。

[数式1]

$Z=\frac{d}{\tan \mathrm{\α}-\tan \mathrm{\β}}\·\·\·\left(1\right)$

此处，d是点O₁和点O₂的这两点间的距离，是已知的，若能够测量测量点的方位角α和β，则能够计算进深距离Z。

立体观察方法的特征在于，仅这样使用两台照相机，从多个视点对测量对象物体的照片进行多张摄影，就能够进行三维图像测量，也能够应对移动物体。但是，对于立体观察这样的被动的三维图像测量方法来说，需要进行测量点P的对应，所以，自动化是困难的。此外，特征较少的部分难以测量，所以，对被照相机摄影的测量对象物体的所有部分的测量、所谓的全视野测量是困难的。

另一方面，作为主动的测量方法，有图形光投影测量方法。在图形光投影测量方法中，在图12的点O₁处放置投光机，在点O₂处放置照相机。并且，从点O₁的投光机以投影角度α向测量点P投影图形光，利用点O₂的照相机对所投影的图形进行观测，根据照相机的图像平面的被观测到的图形的位置，确定观测角度β，并且，利用式(1)计算进深距离Z。因此，若对照相机所观测的测量对象物体的所有部分投影图形光，则能够进行全视野测量。

上述是图形光投影测量最大的特长。但是，在现有的点图形光投影法、缝图形光投影法或空间编码化图形光投影法等方法中，在测量中需要多次图形光投影和摄影，测量要花费时间。特别是，在进行多次图形光投影和摄影时，需要物体静止这样的前提条件。在物体运动的情况下，多次摄影图像中的投影图形的方向信息发生变化，不能够进行三维测量。

此外，为了缩短图形光投影测量方法的测量时间，需要减少投影次数。因此，为了以一次投影检测更多的投影图形条纹信息，提出了如下的测量方法：并非采用黑白二色的投影图形，而投影具有多个强度等级或者多个颜色条纹的强度调制或者色调制图形光。

例如，在专利文献1所提出的方法中，利用图形光投影装置，连续向测量对象物体投影两个条纹图形，利用设置在与投光装置相同的光轴上的照相机1和设置在与投光装置不同的光轴上的照相机2，对各个条纹图形的投影像进行摄影，通过图像处理求出条纹的方向特性，进一步计算测量对象物体的三维信息。但是，在该方法中，在测量中需要两次以上的图形光投影，所以，应对移动物体是困难的。此外，在该方法中，需要设置两台照相机，所以成本较高。此外，两台照相机中的一台需要使光轴与投光装置一致，所以，安装是困难的。此外，该光轴的安装也成为产生测量误差的原因之一。

此外，在专利文件2所提出的方法中，为了利用反射图形图像高速且高精度地对一个一个的个别图形光进行检测，提出了将由不同强度值构成的图形光的强度分布进行最优化的最佳强度组合图形，利用两次摄影，即全面照明光的摄影和最佳强度组合图形光的一次投影以及摄影，能够实现三维图像测量，所以，被设想而应用到移动物体中。但是，对于该方法来说，为了削减测量对象物体的表面色或环境光的影响，需要使用全面照明图像并对反射图形图像的强度值进行校正的除法校正。在除法校正中，需要最佳强度组合图形光的反射图形图像和全面照明图像这两个图像，所以，当在对该两个图像进行摄影期间测量对象物体移动时，两个照片摄影时的测量对象物体的位置发生改变，存在除法校正中出现大的误差的可能性，从而可能导致不能够进行测量本身。

另一方面，作为移动物体的非接触三维形状测量方法，例如，如专利文献3所记载的那样，提出了使用线图像传感器的方法。在该方法中，代替条纹状的投影图形，对以均匀速度移动的测量对象物体投影正弦波状或者余弦波状的强度分布的投影光，以固定的时间间隔对多个线状图形进行摄影，并根据各线状图形的测量点的位置关系，计算测量点的三维空间坐标。然而，运用此手法，即便能够对以均匀速度移动的物体进行三维测量，但是，测量精度依赖于物体的移动速度的均匀性，当物体的移动速度发生变化时，存在测量精度降低的问题。此外，在移动速度不均匀的情况下，或者在移动方向不确定的情况下，不能够进行测量。

专利文献1日本专利申请的特开2006-10416号公报

专利文献2日本专利申请的特开2006-145405号公报

专利文献3日本专利申请的特开2002-286433号公报

如上所述，在专利文献1的方法中，应对移动物体或者测量系统的安装是困难的，在专利文献3的方法中，移动物体的移动速度不均匀的情况下或者在移动方向不确定的情况下，存在不能够进行测量的问题。另一方面，在专利文献2的方法中，由于仅需要一次最佳强度组合图形光的投影，所以，只要解决除法校正的问题，就能够进行移动物体的测量。

发明内容

因此，本法明的目的在于，提供一种解决上述除法校正的问题、构成投影图形的条纹的强度分布被最优化的如最佳强度组合图形光投影这样的强度调制图形光投影方法的非静止物体的三维图像测量装置、三维图像测量方法以及三维图像测量程序。

本发明的非静止物体的三维图像测量装置，具备：投影单元，对测量对象物体投影图形光；摄像单元，对被投影了图形光的测量对象物体进行摄像；全局照明光投影摄影单元，形成强度值或者颜色均匀的全面投影用的图形，通过投影单元对测量对象物体投影全面投影用的图形的光(以下称为“全局照明光”)，利用摄像单元对被投影了全局照明光的测量对象物体的反射光进行摄影，取得图像(以下称为“全局照明反射图像”)；强度调制图形光投影摄影单元，形成强度值或者颜色不同的图形，通过投影单元将强度值或者颜色不同的图形的光(以下称为“强度调制图形光”)投影到测量对象物体，利用摄像单元对被投影了强度调制图形光的测量对象物体的反射光进行摄影，取得图像(以下称为“反射图形图像”)；抽出单元，从全局照明反射图像以及反射图形图像分别抽出测量对象物体；运动状态推定单元，推定由该抽出单元抽出的测量对象物体的运动状态；图像几何变形调节单元，基于由运动状态推定单元推定的测量对象物体的运动状态，进行全局照明反射图像或者反射图形图像中的测量对象物体的图像的几何变形，使全局照明反射图像中的测量对象物体和反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化；投影图形光检测单元，从反射图形图像检测投影了强度调制图形光的图形光(以下称为“投影图形光”)；方位角算出单元，对全局照明反射图像中的测量对象物体和该全局照明反射图像中的测量对象物体的位置、姿势以及大小的偏差被极小化的反射图形图像中的测量对象物体进行比较，算出投影图形光的方位角；方位角校正单元，基于反射图形图像中的投影图形光的强度特性、色分布特性或者形状特性，校正投影图形光的方位角；进深距离算出单元，由算出的方位角算出测量点的进深距离；三维信息算出单元，根据由进深距离算出单元算出的测量点的进深距离，算出测量对象物体的三维信息；输出单元，输出由三维信息算出单元算出的三维信息。

根据本发明，利用投影单元将强度值或者颜色均匀的全面投影用的图形的光(全局照明光)投影到测量对象物体，利用摄像单元对被投影了该全局照明光的测量对象物体的反射光进行摄影，取得全局照明反射图像，同时利用投影单元将强度值或者颜色不同的图形的光(强度调制图形光)投影到测量对象物体，利用摄像单元对投影了该强度调制图形光的测量对象物体的反射光进行摄影，取得反射图形图像。并且，从这些全局照明反射图像以及反射图形图像分别抽出测量对象物体，推定抽出的测量对象物体的运动状态，基于推定的测量对象物体的运动状态，进行全局照明反射图像或者反射图形图像中的测量对象物体的图像的几何变形，使全局照明反射图像中的测量对象物体和反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化。即，即便在测量过程中测量对象物体发生移动，由于进行调整，使得全局照明反射图像中的测量对象物体和反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化，所以，通过将这些图像进行比较，能够容易地算出从反射图形图像中检测的投影图形光的方位角。此外，基于反射图形图像中的投影图形光的强度特性、色分布特性或形状特性对该方位角进行校正，由此得到更加准确的值，根据该校正后的方位角算出测量点的进深距离，根据算出的测量点的进深距离算出测量对象物体的三维信息，并输出该算出的三维信息。

此外，在本发明中，将强度值或者颜色不同的图形的强度调制图形光投影到测量对象物体上，从投影该反射光而取得的反射图形图像检测投影图形光，所以，能够以一次投影检测具有许多个个别图形光的投影图形光。即，能够以一次摄影得到多个投影图形光的信息。另外，图形光以及投影图形光是一个一个的个别图形光的集合体。

此处，对于所述强度调制图形光来说，为了根据反射图形图像高速度且高精度检测一个一个的个别图形光，优选为使得由不同强度值或者颜色构成的图形光的强度分布最优化的最佳强度组合图形，或者使得由不同颜色的条纹状图形构成的图形光的色分布最优化的最佳彩色调制图形的光。通过将由不同的强度值或者颜色构成的图形光的强度分布最优化而形成最佳强度组合图形，由此制成使关注的个别图形和与其相邻的个别图形的各极大值的强度差为最大的强度变化大的最佳强度组合图形。将该最佳强度组合图形的光投影到测量对象物体时，即使在从所摄影的测量对象物体的图像得到的投影图形光中，关注的个别图形光和与其相邻的个别图形光的各极大值的强度差变为最大，使得关注的个别图形光和与其相邻的个别图形光的区别变得容易，关注的个别图形光的特定或方位角的检测变得容易，误检测的可能性减少。因此，能够提高投影图形光的各个别图形光的方位角的算出精度，能够进一步提高三维图像测量的精度。

本发明的非静止物体的三维图像测量方法包括：全局照明光投影摄影步骤，形成强度值或者颜色均匀的全面投影用的图形，通过对测量对象物体投影图形光的投影单元对测量对象物体投影全面投影用的图形的光(全局照明光)，利用摄像单元对被投影了全局照明光的测量对象物体的反射光进行摄影，取得图像(全局照明反射图像)；强度调制图形光投影摄影步骤，形成强度值或者颜色不同的图形，通过投影单元将强度值或者颜色不同的图形的光(强度调制图形光)投影到测量对象物体，利用摄像单元对被投影了强度调制图形光的测量对象物体的反射光进行摄影，取得图像(反射图形图像)；抽出步骤，从全局照明反射图像以及反射图形图像分别抽出测量对象物体；运动状态推定步骤，推定由抽出步骤抽出的测量对象物体的运动状态；图像几何变形调节步骤，基于由运动状态推定步骤推定的测量对象物体的运动状态，进行全局照明反射图像或者反射图形图像中的测量对象物体的图像的几何变形，使全局照明反射图像中的测量对象物体和反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化；投影图形光检测步骤，从反射图形图像检测投影了强度调制图形光的投影图形光；方位角算出步骤，对全局照明反射图像中的测量对象物体和与该全局照明反射图像中的测量对象物体的位置、姿势以及大小的偏差被极小化的反射图形图像中的测量对象物体进行比较，算出投影图形光的方位角；方位角校正步骤，基于反射图形图像中的投影图形光的强度特性、色分布特性或者形状特性，校正投影图形光的方位角；进深距离算出步骤，由算出的方位角算出测量点的进深距离；三维信息算出步骤，根据由进深距离算出步骤算出的测量点的进深距离，算出测量对象物体的三维信息；输出步骤，输出由三维信息算出步骤算出的三维信息。

本发明的非静止物体的三维图像测量程序，使连接有对测量对象物体投影图形光的投影单元和对被投影了图形光的测量对象物体进行摄像的摄像单元的计算机起到如下功能：全局照明光投影摄影单元，形成强度值或者颜色均匀的全面投影用的图形，通过投影单元对测量对象物体投影全面投影用的图形的光(全局照明光)，利用摄像单元对被投影了全局照明光的测量对象物体的反射光进行摄影，取得图像(全局照明反射图像)；强度调制图形光投影摄影单元，形成强度值或者颜色不同的图形，通过投影单元将强度值或者颜色不同的图形的光(强度调制图形光)投影到测量对象物体，利用摄像单元对被投影了强度调制图形光的测量对象物体的反射光进行摄影，取得图像(反射图形图像)；抽出单元，从全局照明反射图像以及反射图形图像分别抽出测量对象物体；运动状态推定单元，推定由抽出单元抽出的测量对象物体的运动状态；图像几何变形调节单元，基于由运动状态推定单元推定的测量对象物体的运动状态，进行全局照明反射图像或者反射图形图像中的测量对象物体的图像的几何变形，使全局照明反射图像中的测量对象物体和反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化；投影图形光检测单元，从反射图形图像检测投影了强度调制图形光的投影图形光；方位角算出单元，对全局照明反射图像中的测量对象物体和与该全局照明反射图像中的测量对象物体的位置、姿势以及大小的偏差被极小化的反射图形图像中的测量对象物体进行比较，算出投影图形光的方位角；方位角校正单元，基于反射图形图像中的投影图形光的强度特性、色分布特性或者形状特性，校正投影图形光的方位角；进深距离算出单元，由算出的方位角算出测量点的进深距离；三维信息算出单元，根据由进深距离算出单元算出的测量点的进深距离，算出测量对象物体的三维信息；输出单元，输出由三维信息算出单元算出的三维信息。

根据本发明的非静止物体的三维图像测量方法或者三维图像测量程序，能够得到与上述本发明的非静止物体的三维图像测量装置相同的作用效果。

发明效果

(1)只投影一次强度调制图形到测量对象物体上，因此投影图形光的方位角不随测量对象物体的移动而变化，能够进行高精度的图形光投影的非静止物体的三维图像测量。另外，为了测量需要全局照明光投影和全局照明反射图像的摄影，但全局照明反射图像用来对反射图形图像进行强度校正，而不使用在投影图形光的方位角(即式(1)中的α以及β)的计算中，因此不直接影响测量目标点的三维信息的计算精度。

(2)根据全局照明反射图像和反射图形图像，推定测量对象物体的运动状态，根据推定出的运动状态调节全局照明反射图像或者是反射图形图像，得到使两张图像上测量对象物体的位置，姿势以及大小的偏差极小化的反射图形图像的强度校正用的最佳图像，由此能够进行最佳的反射图形图像强度校正，能够提高反射图形方向信息的计算精度。由上可知，即便是非静止物体，也能够进行高精度的三维图像测量。

(3)通过将全局照明反射图像中的测量对象物体同使得全局照明反射图像中的测量对象物体的位置、姿势以及大小的偏差极小化的反射图形图像中的测量对象物体相比较，并算出投影图形光的方位角的方位角算出单元，能够提高投影图形光的检测精度，缩短检测时间。

(4)即使测量对象物体在测量过程中发生了运动，以使全局照明反射图像中的测量对象物体和反射图形图像中的测量对象物体的位置、姿势，以及大小的偏差达到极小化而进行调整，通过这些图像的相比较，算出从反射图形图像检测的投影图形光的方位角，因此即使对于不均匀速度的移动物体，也能够进行高精度的三维图像测量。

(5)本发明为算出三维信息，只使用了图像的平行移动、旋转、放大缩小等几何变换、两张摄影图像的除法的图像强度校正等简单的手法，能够进行计算速度快、高速的测量。

附图说明

图1是示出本实施方式的三维图像测量装置的整体结构的图。

图2是示出本实施方式的三维图像测量装置的详细结构的框图。

图3是示出使用本实施方式的三维图像测量装置的三维图像测量的流程的流程图。

图4是示出本实施方式的强度调制图形的一例的图，(a)是图形，(b)是示出强度的空间分布的图。

图5是示出图像几何变形调节的图像的图，(a)是全局照明反射图像，(b)是全局照明反射图像的左右移动，(c)是上下移动，(d)是旋转，(e)是放大、缩小，(f)是反射图形图像。

图6是方位角度校正的说明图。

图7是示出本发明的三维图像测量装置的其它实施方式的图。

图8是示出本发明的三维图像测量装置的其它实施方式的图。

图9是示出本发明的三维图像测量装置的其它实施方式的图。

图10是示出使用本实施方式的三维图像测量装置对移动的兔子模型进行三维图像测量的样子的图，(a)是示出投影全局照明光所摄影的全局照明反射图像的图，(b)是示出最佳强度组合图形即强度调制图形的图，(c)是示出投影强度调制图形所摄影的反射图形图像的图，(d)是示出进行调整后的全局照明反射图像的图，(e)是示出进行强度值校正后的反射图形图像的图，(f)是示出从各种角度以所测量的三维信息为基础进行图解显现的图像的图。

图11是彩色调制图形的一例以及反射图形图像的一例的图像图，(a)是示出彩色调制图形的一例的图，(b)是示出从测量对象物体被反射的彩色反射图形图像的图，(c)是示出校正后的反射图形图像的图，(d)是示出xy色度图中的个别图形以及反射图形的条纹的位置的图。

图12是示出基于三角测量的原理的三维图像测量的原理和坐标关系的图。

附图标记说明

1、1a、1b、1c.图形投影机

2、2a、2b、2c.照相机

3.数据处理装置

3a.接口

4、4a、4b、4c、5、5a、5b、5c.传送电缆

10.存储单元

11.全局照明光投影摄影单元

12.强度调制图形光投影摄影单元

13.抽出单元

14.运动状态推定单元

15.图像几何变形调节单元

16.图像强度校正单元

17.投影图形光检测单元

18.方位角算出单元

19.方位角校正单元

20.进深距离算出单元

21.三维信息算出单元

22.输出单元

具体实施方式

以下，使用附图对本发明实施方式中的三维图像测量装置进行说明。图1是示出本实施方式中的三维图像测量装置的整体结构的图。图2是示出图1的三维图像测量装置的详细结构的框图。

如图1所示，本实施方式的三维图像测量装置包括作为对测量对象物体A投影图形光的投影单元的图形投影机1、作为对投影了图形光的测量对象物体A进行摄像的摄像单元的照相机2、对由该照相机2所摄像的图像的数据进行处理的数据处理装置3。图形投影机1和数据处理装置3、照相机2和数据处理装置3由能够传送各数据的传送电缆4、5连接。

图形投影机1是将由数据处理装置3形成的图形数据转换为图形光，接收对测量对象物体A投影的装置或者数据处理装置3的命令并将规定的图形光投影到测量对象物体A上的装置。例如，能够使用液晶投影仪、DLP(Digital Light Processing：数字光处理，商标)投影仪、激光投影仪、LED(半导体)投影仪或者胶片投影仪(filmprojector)等市场上出售的简单的装置。照相机2是数字式照相机。另外，照相机2若是数字式照相机，则也可以是8位、10位、12位、16位照相机，或者3CCD、1CCD、CMOS等，或静态图像照相机、动态图像照相机、摄像机等中的任何一种。

如图2所示，数据处理装置3具有用于连接图形投影机1以及照相机2的接口3a，通过执行未图示的三维图像测量程序，起到如下作用：存储单元10，对从照相机2传送来的图像数据或者由后述的各单元所算出的结果的数据等进行存储；全局照明光投影摄影单元11，利用图形投影机1投影强度值或者颜色均匀的全面投影用的图形的光(全局照明光)，并且，利用照相机2对该全局照明光投影时的反射光进行摄影，由此，取得图像(全局照明反射图像)；强度调制图形光投影摄影单元12，利用图形投影机1投影强度值或者颜色不同的图形的光(强度调制图形光)，并且，由照相机2对该强度调制图形光投影时的反射光进行摄影，由此，取得图像(反射图形图像)；抽出单元13，从存储单元10中取得全局照明反射图像以及反射图形图像，分别抽出测量对象物体A；运动状态推定单元14，根据由抽出单元13所抽出的测量对象物体A的形状和位置，推定测量对象物体A的运动状态；图像几何变形调节单元15，基于由运动状态推定单元14推定的测量对象物体A的运动状态，进行使全局照明反射图像或者反射图形图像中的测量对象物体A的图像上下、左右移动、旋转、放大、缩小等的几何变形；图像强度校正单元16，使用由图像几何变形调节单元15调节后的反射图形图像以及全局照明反射图像，对反射图形图像的强度值进行校正；投影图形光检测单元17，从由图像强度校正单元16校正后的反射图形图像中检测投影图形光；方位角算出单元18，算出投影图形光的各个别图形光的方位角；方位角校正单元19，基于反射图形图像中的投影图形光的强度特性、色分布特性或者形状特性，对投影图形光方位角进行校正；进深距离算出单元20，根据算出的方位角算出测量点的进深距离；三维信息算出单元21，根据由进深距离算出单元20算出的测量点的进深距离，算出测量对象物体A的三维信息；输出单元22，输出由三维信息算出单元21算出的三维信息。

全局照明光投影摄影单元11形成没有条纹的强度值或者颜色均匀的全面投影用的图形，通过接口3a输出到图形投影机1，利用图形投影机1将该全面投影用的图形的光(全局照明光)投影到测量对象物体A上。或者，全局照明光投影摄影单元11也可以接收来自数据处理装置3的命令，能够利用图形投影机1将规定的全局照明光投影到测量对象物体A上。此外，全局照明光投影摄影单元11利用照相机2对来自投影了该全局照明光的测量对象物体A的反射光进行摄影，通过接口3a取入该摄影的图像(全局照明反射图像)，存储在存储单元10中。

强度调制图形光投影摄影单元12形成有条纹的强度变化或者颜色不同的条(strip)状图形，或者有振幅变化的正弦波状强度分布图形或者余弦波状强度分布图形等的强度调制图形，通过接口3a输出到图形投影机1，利用图形投影机1将该强度调制图形的光投影到测量对象物体A上。或者，强度调制图形光投影摄影单元12也可以接收来自数据处理装置3的命令，以规定时刻利用图形投影机1将强度调制图形光投影到测量对象物体A。此外，强度调制图形光投影摄影单元12利用照相机2对来自投影了这些强度调制图形的任意光的测量对象物体A的反射光进行摄影，通过接口3a取入该摄影后的图像(反射图形图像)，存储在存储单元10中。

抽出单元13从存储单元10中取得测量对象物体A的由全局照明光投影摄影单元11得到的全局照明反射图像以及由强度调制图形光投影摄影单元12得到的反射图形图像，抽出测量对象物体A。运动状态推定单元14从存储单元10中取得由全局照明光投影摄影单元11得到的全局照明反射图像以及由强度调制图形光投影摄影单元12得到的反射图形图像，使用这些全局照明反射图像以及反射图形图像，根据这些不同的图像中的测量对象物体A的位置和姿势，推定测量对象物体A的运动方向或运动速度等运动状态。

图像几何变形调节单元15根据由运动状态推定单元14推定的测量对象物体A的运动状态，进行使全局照明反射图像或者反射图形图像中的测量对象物体A的图像上下以及左右平行移动、向各方向旋转、以及放大缩小的几何变形调节，使反射图形图像中的测量对象物体A和全局照明反射图像中的测量对象物体A的位置、姿势以及大小的偏差极小化。图像强度校正单元16利用由图像几何变形调节单元15调节了测量对象物体A的位置、姿势以及大小后的反射图形图像和全局照明反射图像，使用下式(2)所示的除法校正的方法，对反射图形图像的强度值进行校正，从图像中去除测量对象物体A的色分布信息或环境光的影响等。

[数式2]

$I^{\′}(i,j)=k^{\′}\frac{I_l(i,j)}{I_0(i,j)}=k^{\′}\frac{M\left(n\right)O(x,y)}{P_{0}O(x,y)}=\mathrm{kM}\left(n\right)\·\·\·\left(2\right)$

此处，(i，j)是测量点的图像坐标，I′是投影了强度调制图形光的测量对象物体A的反射图形图像的校正后的强度值，I₁是投影了强度调制图形光的测量对象物体A的反射图形图像的强度值，I₀是投影了无强度变化的全局照明光的测量对象物体A的全局照明反射图像的强度值。M(n)是投影图形光的强度调制函数，n是图形光的条纹序号，O(x，y)是表示物体的表面反射率或环境光的函数，k′、k是调节系数。此外，P₀是全局照明光的强度值。

投影图形光检测单元17从由图像强度校正单元16校正了强度值后的反射图形图像检测投影了的强度调制图形光的强度分布。

方位角算出单元18对投影到测量对象物体A上的强度调制图形光的各个别图形的强度分布的极大值和由图像强度校正单元16校正了强度值的反射图形图像的各个别图形的强度分布的极大值进行比较，求出反射图形图像中的注意的个别图形是不是强度调制图形光中的被推定的个别图形的反射图形的确信度，将该确信度最大的强度调制图形光中的被推定的个别图形的投影角度作为反射图形图像中的注意的个别图形的投影方位角，由此，算出反射图形图像的各个别图形的投影方位角。

方位角校正单元19基于反射图形图像中的投影图形光的强度特性、色分布特性以及形状特性，将由各个别图形反射的图形分类成几组，为使属于同一组的个别图形的投影方位角一致，对由方位角算出单元18算出的各个别图形的投影方位角进行校正。

进深距离算出单元20根据由方位角算出单元19算出的各测量点的投影方位角α和根据反射图形图像中的各测量点的图像坐标算出的观测方位角β，利用式(1)算出各测量点的进深距离。三维信息算出单元21根据由进深距离算出单元20算出的各测量点的进深距离算出测量对象物体A的三维信息。在该三维信息中，包括测量对象物体A的空间坐标、多个测量点间的距离、角度、面积以及体积等。

输出单元22将由三维信息算出单元21算出的测量对象物体A的空间坐标、多个测量点间的距离、角度、面积或者体积等显示在与数据处理装置3连接的显示器(未图示)上，或者存储在硬盘或各种存储器等数据存储装置(未图示)中，或者作为文本文件或图文件进行印刷。

接着，根据图3对本实施方式的三维图像测量装置的测量流程进行说明。如上所述，为了计算进深距离Z，如图12以及式(1)所示，必须求出测量点P的方位角α(在本实施方式中为从图形投影机1的投影角度α)和方位角β(在本实施方式中为照相机2的观测角度β)。图3是示出使用了本实施方式中的三维图像测量装置的三维图像测量的流程的流程图，示出从用于求出投影角度α和观测角度β的图形光投影到算出测量点P的三维信息的算法。

首先，如图12示出的几何关系那样，使图形投影机1和照相机2相离固定的距离d，分别配置在O₁和O₂的位置上。如果能够保持三角测量的关系，也可以将图形投影机1和照相机2分别相反地设置在O₂和O₁，或者设置在其他位置。

投影的图形光具有左右三维图像测量的测量速度以及精度的重要作用。图4是示出本实施方式中的强度调制图形的一例的图，(a)是图形，(b)是示出强度的空间分布的图。在本实施方式中，使用如图4所示的横条纹状的黑白系列的图形光。该图形光中的个别图形是有强度变化的条状条纹。此处，表示条纹的投影方向的方位角设定为等间隔，将各方位角的位置称为条纹的地址。在本实施方式中使用的图形光具有N条条纹，各条纹状图形的地址分别为1、2、3、……、N。此外，各条纹状图形的方位角分别为α₁、α₂、α₃、……、α_N。第i个条纹的强度值是I_i。

此外，作为该强度调制图形，优选采用在专利文献2中记载的最佳强度组合图形。该最佳强度组合图形是如下图形：定义如下式(3)这样的评价函数d(I₁、I₂、……、I_N)，将使该评价函数d(I₁、I₂、……、I_N)的值为最大的组合作为最佳组合，并使用该最佳组合的图形。

[数式3]

$d(I_1,I_2,...,I_N)=\underset{i=M+1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{k}_j|I_i-I_{i-j}|\·\·\·\left(3\right)$

其中，(I₁、I₂、……、I_N)是投影光图形的各条纹状图形的强度分布，k_j是权重系数。此外，N是投影的图形中的条纹的总条数，M是乘以评价函数的滤过宽度(filter width)。

首先，利用数据处理装置3的全局照明光投影摄影单元11形成强度均匀的全局照明图形。所形成的全局照明图形被存储在存储单元10中，并且，由传送电缆4输送到图形投影机1。被输送到图形投影机1中的全局照明图形被投影到测量对象物体A(步骤S101)。全局照明图形利用数据处理装置3而生成，不仅输送到图形投影机1，而且还可以在图形投影机1侧接收来自数据处理装置3的命令，利用其自身具备的投影功能，向测量对象物体A进行投影。

由照相机2对图形投影机1投影到测量对象物体A的全局照明光的反射光进行摄像。所摄像的全局照明反射图像通过传送电缆5被输送到数据处理装置3，并被存储在存储单元10中(步骤S102)。

利用数据处理装置3的强度调制图形光投影摄影单元12形成强度调制图形。所形成的强度调制图形被存储在存储单元10中，同时利用传送电缆4被输送到图形投影机1中。被输送到图形投影机1中的强度调制图形被投影到测量对象物体A(步骤S103)。并且，强度调制图形利用数据处理装置3生成，不仅输送到图形投影机1，而且还可以在图形投影机1侧接收来自数据处理装置3的命令，利用其自身具备的投影功能，向测量对象物体A进行投影。

由照相机2对由图形投影机1投影到测量对象物体A的强度调制图形的反射光进行摄像。所摄像的反射图形图像通过传送电缆5被输送到数据处理装置3，并被存储在存储单元10中(步骤S104)。

接着，抽出单元13从全局照明反射图像以及反射图形图像抽出测量对象物体A。另外，在以下说明中，对测量对象物体A中，将全局照明反射图像中的像作为A₀，将反射图形图像中的像作为A₁。此外，利用全局照明反射图像以及反射图形图像中的测量对象物体A的位置、姿势、大小，通过运动状态推定单元14，推定测量对象物体A的运动状态(步骤S105)。

如图5所示，图像几何变形调节单元15根据所推定的测量对象物体A₀的运动状态，进行使该图(a)的全局照明反射图像中的测量对象物体A₀的位置在上下、左右移动(参照该图(b)、(c))，或者以空间上的X、Y、Z轴为中心旋转(参照该图(d))，为了改变尺寸而放大或缩小(参照该图(e))这样的几何变换，使全局照明反射图像中的测量对象物体A₀和该图(f)的反射图形图像中的测量对象物体A₁的位置、姿势以及大小的偏差极小化(步骤S106)。或者，图像几何变形调节单元15也可以不对全局照明反射图像进行调节，而对反射图形图像进行调节，由此，使得全局照明反射图像中的测量对象物体A₀和反射图形图像中的测量对象物体A₁的位置、姿势以及大小的偏差极小化。

接着，图像强度校正单元16使用反射图形图像和调节后的全局照明反射图像，利用上述的式(2)对反射图形图像的强度值进行校正(步骤S107)。

投影图形光检测单元17从强度值被校正后的反射图形图像检测投影的强度调制图形光的条纹的强度分布(步骤S108)。

方位角算出单元18将投影图形的N条条纹状图形的强度分布设为(I₁、I₂、……、I_N)，将所观测的n条(n≤N)的条纹状图形的强度分布设为使用下式(4)计算第i个关注的条纹状图形的地址是k的概率L_i(k)，将使概率L_i(k)为最大的k作为所关注的条纹状图形的地址(以下称为“条纹地址”)。利用算出的各测量点的条纹地址，进一步进行其投影方位角的计算(步骤S109)。

[数式4]

$L_i\left(k\right)=1-w_1\frac{|{\stackrel{\‾}{I}}_i-I_k|}{S}-w_2\underset{j=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{|{\stackrel{\‾}{I}}_{i-j}-I_{k-j}|}{S}-w_3\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}\frac{|{\stackrel{\‾}{I}}_{i+j}-I_{k+j}|}{S}\·\·\·\·\left(4\right)$

此处，w₁、w₂、w₃是常数，N₁、N₂是计算条纹地址时使用的条纹状图形的条数，S是投影图形光中的条纹的强度变化范围。

方位角校正单元19首先利用连通性或条纹的强度值变化或者色分布等的特性，将观测图形中的各条纹状图形的像分类成若干组，对各组的条纹地址，将属于相同组的关注条纹上的各测量点的投影方位角的计算值(α₁、α₂、α₃、α₄、α₅、α₆、α₇、α₈)的分布进行调查，如图6所示，将测量点的数目最多的投影方位角α₅作为该组的所有测量点的投影方位角(步骤S110)。

进深距离算出单元20使用由方位角算出单元18以及方位角校正单元19算出的投影方位角α和由图形图像中的反射关注点的图像坐标算出的观测方位角β，根据式(1)计算其进深距离值(步骤S111)。

三维信息算出单元21按照投影图形光的各条纹的各测量点即每个像素，使用通过步骤S111的计算得到的进深距离Z，算出测量对象物体A整体的三维信息。在该三维信息中，包括三维空间坐标、距离、角度、面积或者体积等。特别是，在测量对象物体A是人体的情况下，能够进行脸的特征、体型等的算出或人物的识别等，在测量对象物体A是工厂现场的生产物的情况下，能够进行实时的质量管理(步骤S112)。

所有的测量结果能够保存在与数据处理装置3连接的记录媒体中。此外，也可以使用显示器等输出单元22显示在画面上，或者，利用打印机等其他输出单元22作为文本文件或图文件进行输出(步骤S113)。

另外，在本实施方式中，如图3所示，使用了如下的投影摄影方法：在投影强度调制图形光之前投影全局照明光，在摄影全局照明反射图像之后投影强度调制图形光，并摄影反射图形图像。但是，也可以使用如下的投影摄影方法：首先，投影强度调制图形光，对反射图形图像进行摄影之后，投影全局照明光来对全局照明反射图像进行摄影。此外，也可以使用如下投影摄影方法：投影强度调制图形光，在对反射图形图像进行摄影的前后，分别投影全局照明光，并对全局照明反射图像进行摄影。

另外，在本实施方式中，分别使用图形投影机1和照相机2各一台，但是，为了进一步提高测量精度，也可以如图7所示，使用一台图形投影机1和多台照相机2a、2b、……，按局部对测量对象物体A进行摄像后进行合成。由此，能够得到高分辨率图像，通过使用该图像，能够算出更高精度的三维信息。

此外，如图8以及图9所示，也可以将图形投影仪1和照相机2成对地多组设置在测量对象物体A的周围。由此，能够在更短时间内从各个方向实现宽范围的测量，也能够在短时间内高精度地得到测量对象物体A的遍布其全周的三维信息，因此，特别是在测量人体等时能够不对被验者添加负担地进行测量。此外，在生产线中的生产物的测量时，能够在短时间内进行宽范围或者测量对象物体的全周测量。

另外，在本实施方式中，使用了黑白系列的强度调制图形光，但不仅限于此，只要能够区别投影图形中的各条纹，则也可以使用由颜色不同的条纹状图形构成的色调制图形。

此外，在本实施方式中，投影的图形光使用了横条纹状的图形光，但不仅限于此，也可以使用纵条纹状、倾斜形成的条纹状等直线状的条纹形成的图形，或大小不同的同心圆状、圆形状、椭圆状等图样的圆形图形以及多角形的方形图形，或格子状等复杂图样的图形。

实施例1

然后，作为第一实施例，在图10中示出进行作为非静止物体的兔子的模型的三维图像测量的结果。图10是示出使用本实施方式中的三维图像测量装置对运动的兔子的模型进行三维图像测量的样子的图，(a)是示出投影全局照明光而所摄影的全局照明反射图像的图，(b)是示出最佳强度组合图形即强度调制图形的图，(c)是示出投影强度调制图形而所摄影的反射图形图像的图，(d)是示出进行调整后的全局照明反射图像的图，(e)是示出进行强度值校正后的反射图形图像的图，(f)是示出从各种角度以所测量的三维信息为基础进行图解显现的图像的图。

如图10(a)的全局照明反射图像和该图(c)的反射图形图像所示那样，在对两个图像进行摄影的期间，作为测量对象物体的兔子的模型活动，但是，在使用本实施方式中的三维图像测量装置的非静止物体的三维图像测量中，如该图(f)所示，能够得到良好的结果。本实施方式中的三维图像测量精度还依赖于照相机的照片摄影速度或图形光投影的切换速度、测量系统的校准，但如本实施例所示，在切换全局照明光和强度调制图形光的投影摄影时，在测量对象物体在全局照明反射图像和反射图形图像这二者的图像上恰当摄影的情况下，各条纹状图形的方位角的识别率为100％。

实施例2

接着，作为第二实施例，对使用彩色调制图形进行三维图像测量的结果进行说明。图11是彩色调制图形的一例以及反射图形图像的一例的图像图，(a)是示出彩色调制图形的一例的图，(b)是示出从测量对象物体被反射的彩色反射图形图像的图，(c)是示出校正后的反射图形图像的图，(d)是示出xy色度图中的个别图形以及反射图形的条纹的位置的图。另外，图11(a)中虽然以灰色标度(gray scale)进行显示，但是，该彩色调制图形(地址1～7)是从上开始依次由红色的个别图形101、绿色的个别图形102、黄色的个别图形103、粉色的个别图形104、蓝色的个别图形105、茶色的个别图形106、淡蓝色的个别图形107这七条不同颜色的个别图形构成的条纹状的投影图形。

另一方面，投影该彩色调制图形而所摄影的彩色反射图形图像如图11(b)所示是四条反射图形a、b、c、d构成的条纹状图形，但是，该彩色反射图形图像由于测量对象物体的表面色分布、反射特性的影响或测量对象物体的移动等的非静止状态的影响，产生条纹的色强度的变化。因此，从该彩色反射图形图像单纯比较条纹的色分布和投影图形的色分布来判断条纹地址是困难的。例如，图11(b)所示的A点的颜色是黄绿，B点的颜色是天蓝色，成为该图(a)所示的投影图形中不存在的颜色，所以，A点以及B点的条纹地址的判断非常困难。

因此，在本实施方式中，首先取得属于相同组的各条纹状图形的色强度的平均。此外，使用关注点的条纹的颜色以及关注点前后的条纹的色强度信息，进行与投影图形的多个个别图形的条纹的色分布的比较，研究分布的规则性，类似度最高的颜色作为关注的个别图形的条纹的颜色。由此，处理后的四条条纹状的反射图形的色分布如图11(c)所示，成为浅绿色的反射图形110、黄绿色的反射图形111、粉色的反射图形112、蓝色的反射图形113。仅根据这些条纹的一条的反射图形的颜色判断条纹地址是困难的，但是，若综合分析多条反射图形的色分布，则能够简单地判别多条反射图形的组中所存在的各反射图形的地址。例如，如图11(d)所示，反射图形112的颜色处于个别图形104和个别图形107之间，所以，不知道反射图形112的地址是4或7的哪一个，但是反射图形110、111、112、113的条纹组的色分布与个别图形102、103、104、105的组最接近，所以，可知反射图形110、111、112、113的条纹地址分别是2、3、4、5。

这样，若知道条纹的地址，则根据上述方法能求出三维信息。即，通过使用彩色调制图形，也能够实现表面色或反射特性非均匀的非静止物体的三维图像测量。

产业上的可利用性

本发明能够将现有技术仅能够应对静止物体的图形光投影三维图像测量方法应用于非静止物体的三维测量中，作为在不能够静止的测量对象物体、测量机器的情况下的三维测量装置是有用的。例如，将本发明的三维图像测量装置设置在工厂中，用于生产线中的生产物的实时三维形状测量和质量管理，或者，设置在测量用车辆中，一边使车辆行驶一边测量隧道等的形状，或者，设置在机场、银行等地，不使客人停留地测量脸的三维形状，从而进行高精度的脸部确认，或者，测量人体的身体或脚的三维形状，制作更合适的衣服或鞋，或者，进行口腔形状测量，制作恰好的假牙等，能够在生产现场、交通领域、安全领域、医疗领域、服装设计、生活环境整理等领域中利用。此外，也能够根据人体的三维信息进行体型的测量，所以，也能够利用于健康管理、限量饮食等领域。

Claims (3)

1.一种非静止物体的三维图像测量装置，具备：

投影单元，对测量对象物体投影图形光；

摄像单元，对被投影了所述图形光的测量对象物体进行摄像；

全局照明光投影摄影单元，形成强度值或者颜色均匀的全面投影用的图形，通过所述投影单元对测量对象物体投影所述全面投影用的图形的光即全局照明光，利用所述摄像单元对被投影了所述全局照明光的所述测量对象物体的反射光进行摄影，取得图像即全局照明反射图像；

强度调制图形光投影摄影单元，形成强度值或者颜色不同的图形，通过所述投影单元将所述强度值或者颜色不同的图形的光即强度调制图形光投影到所述测量对象物体，利用所述摄像单元对被投影了所述强度调制图形光的所述测量对象物体的反射光进行摄影，取得图像即反射图形图像；

抽出单元，从所述全局照明反射图像以及所述反射图形图像分别抽出所述测量对象物体；

运动状态推定单元，推定由该抽出单元抽出的测量对象物体的运动状态；

图像几何变形调节单元，基于由该运动状态推定单元推定的所述测量对象物体的运动状态，进行所述全局照明反射图像或者所述反射图形图像中的所述测量对象物体的图像的几何变形，使所述全局照明反射图像中的测量对象物体和所述反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化；

投影图形光检测单元，从所述反射图形图像检测投影了所述强度调制图形光的图形光即投影图形光；

方位角算出单元，对所述全局照明反射图像中的测量对象物体和与该全局照明反射图像中的测量对象物体的位置、姿势以及大小的偏差被极小化的所述反射图形图像中的测量对象物体进行比较，算出所述投影图形光的方位角；

方位角校正单元，基于所述反射图形图像中的投影图形光的强度特性、色分布特性或者形状特性，校正所述投影图形光的方位角；

进深距离算出单元，由所述算出的方位角算出测量点的进深距离；

三维信息算出单元，根据由该进深距离算出单元算出的测量点的进深距离，算出测量对象物体的三维信息；

输出单元，输出由该三维信息算出单元算出的三维信息。

2.如权利要求1的非静止物体的三维图像测量装置，其特征在于，

所述强度调制图形光是对由不同强度值或者颜色构成的图形光的强度分布最优化的最佳强度组合图形、或者将由不同颜色的条纹状图形构成的图形光的色分布最优化的最佳彩色调制图形的光。

3.一种非静止物体的三维图像测量方法，包括：

全局照明光投影摄影步骤，形成强度值或者颜色均匀的全面投影用的图形，通过对测量对象物体投影图形光的投影单元对测量对象物体投影所述全面投影用的图形的光即全局照明光，利用摄像单元对被投影了所述全局照明光的所述测量对象物体的反射光进行摄影，取得图像即全局照明反射图像；

强度调制图形光投影摄影步骤，形成强度值或者颜色不同的图形，通过所述投影单元将所述强度值或者颜色不同的图形的光即强度调制图形光投影到所述测量对象物体，利用所述摄像单元对被投影了所述强度调制图形光的所述测量对象物体的反射光进行摄影，取得图像即反射图形图像；

抽出步骤，从所述全局照明反射图像以及所述反射图形图像分别抽出所述测量对象物体；

运动状态推定步骤，推定由该抽出步骤抽出的测量对象物体的运动状态；

图像几何变形调节步骤，基于由该运动状态推定步骤推定的所述测量对象物体的运动状态，进行所述全局照明反射图像或者所述反射图形图像中的所述测量对象物体的图像的几何变形，使所述全局照明反射图像中的测量对象物体和所述反射图形图像中的测量对象物体的位置、姿势以及大小的偏差极小化；

投影图形光检测步骤，从所述反射图形图像检测投影了所述强度调制图形光的图形光即投影图形光；

方位角算出步骤，对所述全局照明反射图像中的测量对象物体和与该全局照明反射图像中的测量对象物体的位置、姿势以及大小的偏差被极小化的所述反射图形图像中的测量对象物体进行比较，算出所述投影图形光的方位角；

方位角校正步骤，基于所述反射图形图像中的投影图形光的强度特性、色分布特性或者形状特性，校正所述投影图形光的方位角；

进深距离算出步骤，由所述算出的方位角算出测量点的进深距离；

三维信息算出步骤，根据由该进深距离算出步骤算出的测量点的进深距离，算出测量对象物体的三维信息；

输出步骤，输出由该三维信息算出步骤算出的三维信息。

Images