CN104792277B - 三维形状测量装置和三维形状测量方法 - Google Patents

三维形状测量装置和三维形状测量方法 Download PDF

Info

Publication number
CN104792277B
CN104792277B CN201510021415.1A CN201510021415A CN104792277B CN 104792277 B CN104792277 B CN 104792277B CN 201510021415 A CN201510021415 A CN 201510021415A CN 104792277 B CN104792277 B CN 104792277B
Authority
CN
China
Prior art keywords
pattern
image
shooting image
shooting
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510021415.1A
Other languages
English (en)
Other versions
CN104792277A (zh
Inventor
小林俊广
肥后智昭
山崎将由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104792277A publication Critical patent/CN104792277A/zh
Application granted granted Critical
Publication of CN104792277B publication Critical patent/CN104792277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了三维形状测量装置和三维形状测量方法。获取投影有第一光图案和坐标检测图案的空间的第一图像，所述第一光图案由亮部和暗部形成，所述坐标检测图案被投影到通过所述第一光图案而分割的所述空间的各区域上。获取投影有第二光图案和坐标检测图案的所述空间的第二图像，所述第二光图案的亮部与暗部之间的边界位置与所述第一光图案不同，所述坐标检测图案被投影到通过所述第二光图案而分割的所述空间的各区域上。选择所述第一图像和所述第二图像中的一者，以基于选择图像执行所述空间中包含的物体的三维形状测量。

Description

三维形状测量装置和三维形状测量方法
技术领域
本发明主要涉及三维形状测量装置和三维形状测量方法，尤其涉及用于对测量对象物体的三维形状进行测量的技术。
背景技术
存在一种广为人知的三维测量装置，当诸如投影仪的投影单元在测量对象上投影由空间编码方法(space encoding method)等代表的条纹图案时，基于摄像单元观测到反射光的位置，通过三角测量原理(triangulation principle)来获得三维坐标。利用上述装置，三维坐标的测量精度很大程度上依赖于测量对象的材质。
通常，对于由诸如塑料等材质制成的测量对象而言，由于被称为子面散射(subsurface scattering)或内部散射(internal scattering)的现象而导致测量精度劣化或不能测量。在测量这样的对象时，对该对象需要例如事先将白色粉末等涂覆在对象表面的处理，从而很大程度上限制了三维测量装置的应用可能性。
专利文献1(日本特开第2008-281399号公报)公开了如下方法，其通过在光路上配设线性偏光板(linearly polarizing plate)以分离表面反射光和内部散射光，来准确地测量待测半透明物体的三维形状。
专利文献2(日本特开第2012-251893号公报)公开了如下方法，其通过事先在测量对象上投影图案以获取参照亮度图案、并且将测量时观测的亮度图案与该参照亮度图案进行比较，来估计物体的反射位置坐标。这种方法不限于半透明物体，并且无论物体的反射特性如何，都能够以高精度执行三维形状测量。
非专利文献1(Tongbo Chen,Hans-Peter Seidel,Hendrik P.A.Lensch,Modulated phase-shifting for 3D scanning,CVPR 2008)提出了一种三维形状测量方法，其通过高频正弦图案来调制相位偏移(phase shift)方法中的正弦图案，从而几乎不会受到内部散射的影响。
非专利文献2(Tatsuhiko Furuse,Shinsaku Hiura,and Kosuke Sato,"3-DShape Measurement Method with Modulated Slit Light Robust for Interreflectionand Subsurface Scattering",MIRU2009,Meeting on Image Recognition andUnderstanding)提出了一种三维形状测量方法，其通过包含高频成分的M-序列来调制缝隙光(slit light)，从而几乎不会受到内部散射的影响。
然而，在专利文献1所述的方法中，光源、光接收单元和测量对象表面之间的几何关系需要满足给定的条件，以利用偏光来分离表面反射光和内部散射光。很难执行满足该条件的测量。
在专利文献2所述的方法中，亮度图案的波形除了取决于测量对象物体的材质之外，还取决于很多参数，例如对象物体的形状、光源和光接收单元之间的几何关系等。因此，为了测量广阔范围的物体，有必要事先获取大量的参照亮度图案以涵盖多种组合。
类似地，在非专利文献1和非专利文献2所述的方法中，为了测量整个对象物体，需要通过投影很多的图案光束来执行拍摄，从而导致较长的测量时间。
发明内容
希望通过以下技术解决上述问题，例如提供了一种三维形状测量技术，其用于在一般的测量环境中以高精度稳定地执行三维测量，而无需为包含半透明部分的测量对象进行大量的事先准备。
根据本发明的第一方面，提供了一种三维形状测量装置，其包括：第一获取单元，其被配置为获取投影有第一光图案的空间的第一拍摄图像，所述第一光图案由亮部和暗部形成；第二获取单元，其被配置为获取投影有第二光图案的所述空间的第二拍摄图像，所述第二光图案由亮部和暗部形成，并且亮部与暗部之间的边界位置与所述第一光图案不同；选择单元，其被配置为针对所述第一拍摄图像或所述第二拍摄图像的至少一个预定区域的各预定区域，基于所述第一拍摄图像中的亮度值和所述第二拍摄图像中的亮度值，选择包含所述至少一个预定区域的所述第一拍摄图像和所述第二拍摄图像中的一者作为要用于三维形状测量的选择图像；以及测量单元，其被配置为基于由所述选择单元选择的所述选择图像，执行所述空间中包含的物体的三维形状测量。
根据本发明的第二方面，提供了一种三维形状测量方法，其包括：第一获取步骤，获取投影有第一光图案的空间的第一拍摄图像，所述第一光图案由亮部和暗部形成；第二获取步骤，获取投影有第二光图案的所述空间的第二拍摄图像，所述第二光图案由亮部和暗部形成，并且亮部与所述暗部之间的边界位置与所述第一光图案不同；选择步骤，针对所述第一拍摄图像或所述第二拍摄图像的各预定区域，基于所述第一拍摄图像中的亮度值和所述第二拍摄图像中的亮度值，选择所述第一拍摄图像和所述第二拍摄图像中的一者作为要用于三维形状测量的选择图像；以及测量步骤，基于由所述选择步骤选择的所述选择图像，执行所述空间中包含的物体的三维形状测量。
仅通过示例的方式并参照下列附图来描述本发明。
附图说明
图1是示出系统的配置的示例的图；
图2是示出系统的功能结构的示例的框图；
图3是示出空间分割图案的示例的图；
图4A和图4B是用于解释编码误差的图；
图5是示出空间分割图案的示例的图；
图6是示出坐标检测图案的示例的图；
图7是示出由控制装置103执行的处理的流程图；
图8A和图8B是各自示出掩模图案的示例的图；
图9是示出掩模结果的图；
图10示出掩模结果；
图11示出坐标检测图案的示例；
图12示出用于生成多个坐标检测图案的处理；
图13是示出由控制装置103执行的处理的流程图；
图14是示出计算机装置的硬件结构的示例的框图。
具体实施方式
以下将参照附图描述本发明的各实施例。请注意，以下要说明的各实施例仅仅是在本发明实际实施情况下的示例，并且是所附权利要求中记载的结构的实际示例。
[第一实施例]
在本实施例中，几乎不会引起编码误差的空间分割图案(space divisionpattern)被投影到测量空间，以将包含测量对象物体的测量空间分割成预定数量的区域。然后，通过投影针对各个分割区域唯一的坐标检测图案，来精确地计算出测量对象物体的三维形状(测量对象物体表面的三维坐标)。
将参照图1描述根据本实施例的系统的配置的示例。根据本实施例的系统100包括：投影单元101，用于在测量对象物体104上投影图案光；摄像单元102，用于对投影有图案光的测量对象物体104的图像进行拍摄；以及控制装置103，用于执行测量对象物体104的三维形状测量。
将参照图2所示的框图来描述用作三维形状测量装置的控制装置103及其外围设备(投影单元101和摄像单元102)的功能结构的示例。
投影单元101基于投影图案生成单元202供给的图案来投影图案光(该步骤在下文中也被简称为“投影单元101投影图案”)。在本实施例中，由投影单元101投影的图案光的投影对象是包含要经历三维形状测量的测量对象物体104的空间。投影单元101作为在水平方向上具有128像素的分辨率的投影仪。这仅仅是用于实际描述的示例，以下描述的本质并不限于此。
摄像单元102对包含已经由投影单元101投影有图案光的测量对象物体104的空间的图像进行拍摄，并且摄像单元102特别对测量对象物体104的表面所反射的光进行拍摄。摄像单元102将拍摄图像发送至控制装置103的图像输入单元204。
如稍后所述，投影单元101在测量对象物体104上投影各种图案光，并且在每次投影图案光时摄像单元102对包含测量对象物体104的空间的图像进行拍摄。也就是说，投影单元101对图案光的投影与摄像单元102对空间的图像的拍摄同步，这样，摄像单元102在各图案光束被投影时对图像进行拍摄。控制装置103的控制单元210执行控制处理(控制投影单元101和摄像单元102、以使图案光的投影与测量对象物体104图像的拍摄同步的处理)。也就是说，摄像单元102接收由控制单元210发送的摄像控制信号，并且根据接收定时以预定的快门速度、f值和焦点位置对图像进行拍摄。控制单元210通过向投影单元101和摄像单元102同时发送控制信号或者至少通过利用同步信息发送控制信号，来控制投影单元101和摄像单元102以同步执行投影和摄像。
投影图案生成单元202生成要供给投影单元101的图案。在本实施例中，图案由空间分割图案和坐标检测图案形成。为了描述简单，假设空间分割图案和坐标检测图案是相同尺寸的图案。
空间分割图案是由投影单元101投影以便将可由投影单元101投影的由光限定的空间(包含测量对象物体104的空间)分割成多个区域并且识别和指定坐标检测图案中的各个图案的图案。
坐标检测图案是为了更详细地对测量对象物体104的三维形状进行测量、而与空间分割图案一起由投影单元101投影的图案。
图3示出了空间分割图案的示例。在图3的左侧，示出了图案(格雷码(Gray code))P1至P4，在P1至P4的各个中，亮部和暗部交替地布置，并且亮度和暗部的结构图案不同(即，亮部和暗部之间的边界位置不同)。图案P1至P4可以被称为正图案(positive pattern)(非反转图案)。
投影单元101将各图案P1至P4(与坐标检测图案一起)依次投影到测量对象物体104上。每次投影图案P1至P4中的各个时，摄像单元102执行摄像。利用该处理，获得了投影有图案P1的测量对象物体104的拍摄图像、以及投影有图案P2的测量对象物体104的拍摄图像。另外，获得了投影有图案P3的测量对象物体104的拍摄图像、以及投影有图案P4的测量对象物体104的拍摄图像。在4个拍摄图像上存在16种(24)亮部和暗部的组合。当投影单元101投影图案的整个空间被分割成16个区域时，能够决定拍摄图像上的各个位置所属的区域。这等同于指定了由照亮图案的各像素的投影单元101所投影的图案的部分。投影单元101在水平方向上的分辨率是128像素。所以，在这种情况下，通过将128像素除以16获得8像素，并以每8像素指定一个区域。
当获得前述的4个拍摄图像时，图像处理单元205向拍摄图像(上述4个拍摄图像中的任一个)上的各个像素位置分配通过对位(bit)进行排列而获得的编码，各个位表示4个拍摄图像中的各个拍摄图像的像素位置中包含亮部和暗部中的哪个。例如，亮部可能被包含在已投影有图案P1的测量对象物体104的拍摄图像中的像素位置(x,y)，而暗部可能被包含在已投影有不同的图案P2的测量对象物体104的拍摄图像中的相同的像素位置(x,y)。类似的，亮部可能被包含在已投影有图案P3的测量对象物体104的拍摄图像中的像素位置(x,y)，并且暗部可能被包含在已投影有图案P4的测量对象物体104的拍摄图像中的像素位置(x,y)。请注意，位“1”被分配给包含亮部的像素位置，并且位“0”被分配给包含暗部的像素位置。在这种情况下，位“1”被分配给已投影有图案P1的测量对象物体104的拍摄图像中的像素位置(x,y)，并且位“0”被分配给已投影有图案P2的测量对象物体104的拍摄图像中的像素位置(x,y)。位“1”被分配给已投影有图案P3的测量对象物体104的拍摄图像中的像素位置(x,y)，最终位“0”被分配给已投影有图案P4的测量对象物体104的拍摄图像中的像素位置(x,y)。通过按照图案的P1、P2、P3和P4的投影顺序，针对已投影有图案的测量对象物体104的拍摄图像中的像素位置(x,y)的位进行排列，获得二进制编码“1010”。在格雷码中，二进制数“1010”被解析为十进制数“14”。因此，像素位置(x,y)属于通过分割上述的空间而获得的16个区域中的第14个区域。通过拍摄图像的像素的、形成相同格雷码的位置来定义第14个区域。在这种情况下，第14个区域对应于拍摄图像的像素，该像素形成图案P1中的亮部、图案P2中的暗部、图案P3中的亮部以及图案P4中的暗部。
另一方面，为了从拍摄图像中读取亮部和暗部的组合，除了图案P1至P4以外，通过将图案P1至P4的亮部和暗部反转而获得的图案N1至N4(图3的右侧)的投影也被广泛地执行。图案N1至N4可以被称为负图案(negative pattern)或反转图案。
例如，投影单元101依次投影图案P1和N1，并且摄像单元102拍摄各图像。当图案P1被投影时，可以由IP1(u,v)代表拍摄图像，图案并且可以由IN1(u,v)代表图案N1被投影时的拍摄图像(u和v分别代表各个拍摄图像中的x坐标值和y坐标值)。此时，图像处理单元205将位“1”分配给满足IP1(u,v)>IN1(u,v)的像素位置(u,v)，并且将位“0”分配给满足IP1(u,v)≤IN1(u,v)的像素位置(u,v)。图像处理单元205以相同的方式为图案P2至P4以及N2至N4分配位，从而以与上述相似的方法给各个像素位置分配编码。
然而，如果部分或所有测量对象物体104为半透明，例如，测量对象物体104的材质是塑料等，则取决于投影单元101的投影方向和测量对象物体104的朝向(orientation)，可能会在亮/暗部确定中发生错误。更具体地，当在测量对象物体104中的散射光被加入到测量对象物体104表面的反射光时，在拍摄图像中观测到的图案的波形会很大程度上失真。因为测量对象物体104内部发生的散射取决于测量对象物体104表面的朝向和入射到测量对象物体104的光的方向，因此仅正图案和负图案中的一者的投影光很大程度上失真，而另一图案的投影光几乎不失真。结果，对于没有发生内部散射的情况，满足上述条件的边界会发生偏移(shift)。可选地，当系统100或作为系统100的组件的投影单元101或摄像单元102产生振动时，也会发生类似的偏移。
将参照图4A和图4B来详细描述该现象。图4A示出了当在不透明的物体上投影图案P1和N1时，在拍摄图像IP1和IN1中，在相同的水平线(u)上的亮/暗边界部附近的亮度变化的示例。图4B示出了当在半透明的物体上投影图案P1和N1时，在拍摄图像IP1和IN1中，在相同水平线上的亮/暗边界部附近的亮度变化的示例。在图4A和图4B中，实线代表在拍摄图像IP1中水平线上的亮/暗边界部附近的亮度变化的示例，而虚线代表在拍摄图像IN1中在相同水平线(u)上的亮/暗边界部附近的亮度变化的示例。此时，满足IP1(u,v)＝IN1(u,v)的u值代表边界，该边界被表示为垂直的实线。参照图4A，相对于垂直的实线，左边的区域被确定为暗部(位“0”)，右边的区域被确定为亮部(位“1”)。
另一方面，参照图4B，由实线所表示的波形很大程度上失真，并且与图4A相比，实线的波形和虚线的波形的交点位置发生偏移。图4B中阴影区域400是本来应该被确定为暗部(位“0”)、但是由于伴有内部散射的波形的失真而被错误地确定为亮部(位“1”)从而导致编码误差的区域。
在本实施例中，除了如图案P1至P4及N1至N4的图案之外，投影图案生成单元202还通过改变图案中亮部和暗部之间的边界位置来生成图案。在图3所示的空间分割图案中，发生上述编码误差的位置被限制在亮部和暗部之间的边界附近区域。所以，在本实施例中，投影图像生成单元202还生成其他空间分割图案，这些空间分割图案的各个在发生编码误差的位置附近，不具有图案的亮部和暗部之间的边界。图5示出了以上的空间分割图案的示例。
通过改变图3中的各图案P1至P4中亮部和暗部之间的边界位置而获得图5所示的各图案P1'至P4'。也就是说，各图案P1至P4中的边界位置不同于对应的各图案P1'至P4'。更具体地，通过将对应的各图案P1至P4中的边界位置偏移最小单位的一半来生成各图案P1'至P4'。例如，如果各图案P1至P4的宽度是32像素，则通过将对应的各图案P1至P4的图案向左偏移1个像素而生成各图案P1'至P4'。图3所示的空间分割图案将在下文被称为格雷码图案，并且图5所示的空间分割图案将在下文被称为偏移格雷码图案。请注意，各图案P1至P4以及对应的各图案P1'至P4'仅需要是具有不同的边界位置的空间分割图案。只要满足该条件，图案P1至P4以及P1'至P4'可以是任意的空间分割图案。
请注意，相对于图3和图5所示的空间分割图案，期望根据测量对象物体104的实际散射度来调整亮部和暗部的宽度。例如，如果图4B中区域400的宽度大，则通过增大亮部和暗部的宽度，能够降低发生编码误差的可能性。如果图案的分辨率相同，则图案的位深度(bit depth)会相应地减小，并且空间分割数也会减小。所以，根据编码误差的容许发生概率以及图案投影操作(也称为拍摄操作)的次数来设置合适的值。
除了上述的空间分割图案以外，投影图案生成单元202还向投影单元101供给坐标检测图案。图6示出了坐标检测图案的示例。图6的坐标检测图案包括多个垂直的实线(坐标检测图案)，并且利用各个实线精确地测量测量对象物体104的三维坐标。另一方面，在本实施例中，以8像素间隔绘制实线，因而一次只有一条实线被投影在由空间分割图案所分割的区域上。因此，图3和图5中所示的空间分割图案被投影，并且亮部和暗部的组合被解码，从而识别空间中的区域，并且指定各个实线。
请注意，前述的空间分割图案和坐标检测图案可以被预先生成并被存储在存储器(未示出)中，并且在需要时通过投影图案生成单元202读出并供给投影单元101。可选地，投影图案生成单元202可以根据需要生成空间分割图案和坐标检测图案，并供给投影单元101。
在接收到由摄像单元102发送的拍摄图像时，图像输入单元204将接收到的拍摄图像传送给图像处理单元205。该传送形式不限于此。例如，图像输入单元204可以将摄像单元102发送的拍摄图像存储在存储器(未示出)中。当用于一次三维形状测量操作的拍摄图像被存储时，图像输入单元204可以将存储在存储器中的拍摄图像组传送至图像处理单元205。
对于从图像输入单元204传送的拍摄图像，图像处理单元205执行图像处理，诸如对包含在拍摄图像中的图案光的解码以及对投影坐标和图像坐标的正规化处理。当拍摄图像具有源于光学系统的失真时，图像处理单元205也执行校正失真和消除失真的处理。针对拍摄图像的各像素，图像处理单元205利用拍摄图像的亮部和暗部，通过将编码分配给拍摄图像的各像素位置，来解码(或指定)投影有图案的空间中对应的区域。
下面将更加详细的描述由图像处理单元205执行的处理。图案P1至Pn(其中n是2或更大的自然数)可以用作格雷码图案的正图案，并且图案N1至Nn可以用作格雷码图案的负图案。类似的，图案P1'至Pn'可以被用作偏移格雷码图案的正图案，并且图案N1'至Nn'可以被用作偏移格雷码图案的负图案。
投影有各个图案P1至Pn(与坐标检测图案一起)的测量对象物体104的拍摄图像由IP1至IPn表示。投影有各个图案N1至Nn(与坐标检测图案一起)的测量对象物体104的拍摄图像由IN1至INn表示。投影有各个图案P1'至Pn'(与坐标检测图案一起)的测量对象物体104的拍摄图像由IP1'至IPn'表示。投影有各个图案N1'至Nn'(与坐标检测图案一起)的测量对象物体104的拍摄图像由IN1'至INn'表示。
此时，图像处理单元205针对满足1≤k≤n的所有K值，根据以下等式获得dpk(u,v)和dpk'(u,v)：
其中，IPk(u,v)表示在拍摄图像IPk(非反转图像)的像素位置(u,v)处的像素的亮度值，INk(u,v)表示在拍摄图像INk(反转图像)的像素位置(u,v)处的像素的亮度值。此外，dpk(u,v)表示考虑各个拍摄图像的明度的、IPk(u,v)和INk(u,v)之间的亮度差分。
此外，IPk'(u,v)表示拍摄图像IPk'中像素位置(u,v)处的像素的亮度值，INk'(u,v)表示拍摄图像INk'中像素位置(u,v)处的像素的亮度值。此外，dpk'(u,v)表示考虑各拍摄图像的明度的、IPk'(u,v)和INk'(u,v)之间的亮度差分。
图像处理单元205根据以下等式获得表示dp1(u,v)至dpn(u,v)的最小值的dp(u,v)、以及表示dp1'(u,v)至dpn'(u,v)的最小值的dp'(u,v)：
当dp或dp'较小时，拍摄图像的像素位置(u,v)更接近于亮部和暗部之间的边界位置。图像处理单元205比较dp(u,v)和dp'(u,v)的大小。如果dp(u,v)>dp'(u,v)，则投影有格雷码图案的测量对象物体104的拍摄图像，即拍摄图像IP1至IPn及IN1至INn被选择为用以决定针对像素位置(u,v)的编码的拍摄图像(选择图像)。另一方面，如果dp(u,v)≤dp'(u,v)，则投影有偏移格雷码图案的测量对象物体104的拍摄图像被选择为用以决定针对像素位置(u,v)的编码的拍摄图像(也称为选择图像)。也就是说，选择了拍摄图像IP1'至IPn'及IN1'至INn'。
在任一情况下，利用通过投影正图案而获得的n个拍摄图像以及通过投影负图案而获得的n个拍摄图像，针对拍摄图像的各像素位置执行亮/暗确定，从而向像素位置分配编码。利用该处理，能够获得针对各像素位置的n位的位串(bit string)(即编码)。
如上所述，投影单元101投影空间分割图案的空间被分割成8像素的区域。结果，通过将表示编码的十进制值乘以8，能够获得与使用拍摄图像IP1至IPn及IN1至INn获得该编码的像素位置相对应的图案上的区域的位置。例如，如果表示编码的十进制值是14，则该编码对应于通过将图案在水平方向上分割而获得的16个区域中的第14个区域。因为第14个区域的位置(第13个和第14个区域之间的边界位置)是14×8＝112，所以与已获得编码的像素位置相对应的图案上的区域的位置是112。
另一方面，如上所述，本实施例的各偏移格雷码图案相对于对应的格雷码图案偏移1/32，因而相对于投影单元101的水平分辨率“128”偏移4像素(128÷32＝4)。结果，通过从将表示编码的十进制值乘以8所获得的值中减去4，可以获得与使用拍摄图像IP1'至IPn'以及IN1'至INn'获得编码的像素位置相对应的图案上的区域的位置。
因为乘法和减法运算的常量依据投影单元101的分辨率、投影图案的数量(也称为区域分割数)以及偏移格雷码图案的结构等而不同，因此根据本实施例有必要设置合适的值。
上述处理使得能够指定图案上特定区域的位置，该位置对应于拍摄图像上分配给各像素位置的编码。图像处理单元205在坐标检测图案中指定与拍摄图像中的各个坐标检测图案相对应的坐标检测图案，从而获得拍摄图像中的坐标检测图案和原始坐标检测图案中的坐标检测图案之间的对应关系。
图像处理单元205从拍摄图像(以下称为用以获得编码的拍摄图像)以高精度来计算被投影在测量对象物体104上的各坐标检测图案的图像坐标。作为计算图像坐标的方法，存在已知的各种方法，诸如从线的最大亮度值估计投影坐标检测图案(线)的投影中心的方法。如果测量对象物体104是半透明的物体，则通过投影线图案而获得的波形由于上述原因而失真。通过应用专利文献2中公开的方法，能够准确地估计线中心的坐标。
通过将各坐标检测图案的位置的较低的3位所表示的值y、与对应于编码的图案上的位置x(该编码与从拍摄图像获得的坐标检测图案Z的图像坐标相对应)相加，图像处理单元205获得位置(x+y)。图像处理单元205指定在坐标检测图案中的位置(x+y)处的、与坐标检测图案Z对应的坐标检测图案Z'。以这种方式，能够在原始坐标检测图案中指定与包含在拍摄图像中的其中一个坐标检测图案相对应的坐标检测图案。这使得能够获得拍摄图像中的坐标检测图案和原始坐标检测图案中的坐标检测图案之间的对应关系。在本实施例中，因为坐标检测图案被投影在8像素的宽度，因此对于所有实线，y值通用(针对各个坐标检测图案定义y值)。
图像处理单元205向三维坐标计算单元208发送拍摄图像中各坐标检测图案的位置(图像坐标)、与原始坐标检测图案中的与拍摄图像中的坐标检测图案相对应的坐标检测图案的位置(投影坐标)之间的对应关系。
参数存储单元206存储要被控制单元210使用的用于控制摄像单元102和投影单元101的控制参数、以及要被三维坐标计算单元208使用的用于执行三维坐标计算处理的参数等。所以，控制单元210和三维坐标计算单元208根据需要读出并使用存储在参数存储单元206中的参数。
三维坐标计算单元208获取从图像处理单元205发送的、图像坐标和投影坐标之间的对应关系、以及存储在参数存储单元206中的投影单元101和摄像单元102的校正数据。三维坐标计算单元208利用所获取的信息并通过已知的方法来测量测量对象物体104的三维形状，并且将测量结果发送至结果输出单元209。
结果输出单元209输出三维坐标计算单元208的测量结果。该输出形式并不限于任何具体的输出形式。测量结果可以被显示在显示单元(未示出)上，或者输出至设置在装置内部或外部的存储器或装置。可选地，测量结果可以被输出给诸如用于操作测量对象物体104的机器人的设备。
上述由控制装置103执行的测量对象物体104的三维形状测量处理将参照图7进行描述，图7示出了例示该处理的流程图。请注意，图7示出的各步骤的处理的内容如上所述，并且各步骤中的处理将会在下面进行简要地说明。
当控制装置103被启动时，例如，控制装置103被通电，控制单元210执行步骤S1000中的系统100的各种初始化处理。在初始化处理中，投影单元101和摄像单元102被启动，诸如投影单元101和摄像单元102的校正数据等的各种参数被存储在参数存储单元206中。
在步骤S1100中，投影图案生成单元202生成空间分割图案和坐标检测图案，并且将空间分割图案与坐标检测图案一起发送给投影单元101。
在步骤S1200中，投影单元101投影空间分割图案和坐标检测图案，摄像单元102执行摄像，这样图像输入单元204获取每次摄像单元102执行图像拍摄而获得的拍摄图像。
在步骤S1300中，图像处理单元205利用由摄像单元102获得的各个拍摄图像来生成针对各像素位置的编码。在步骤S1400中，图像处理单元205从各个拍摄图像获得坐标检测图案的位置，并且获得前述处理的图像坐标和投影坐标之间的对应关系。
在步骤S1500中，三维坐标计算单元208利用步骤S1400获得的图像坐标和投影坐标之间的对应关系以及存储在参数存储单元206中的校正数据，通过已知的方法测量测量对象物体104的三维形状。三维坐标计算单元208将测量结果发送给结果输出单元209，并且结果输出单元209输出三维坐标计算单元208的测量结果。
在步骤S1600中，控制单元210确定是否满足该处理的结束条件，例如，是否已输入该处理的结束指令。如果确定满足该结束条件，则结束该处理；否则，处理返回至步骤S1100以执行后续的处理。
请注意，图7所示步骤S1200至S1500的各个处理步骤不总是以图7所示的顺序来执行。无相互依赖关系的各处理步骤可以并行执行，并且各处理步骤的顺序可以根据需要而改变。
在步骤S1200中，并不总是需要提前投影所有的图案并执行摄像。当获得下一个处理所需的图像时，可以中断步骤S1200中的投影和摄像，以进入到下一个处理。可以被配置为在完成处理后重新开始剩余图案的投影和摄像。
如上所述，根据本实施例，抑制编码误差的空间分割图案被进一步投影，并且包含测量对象物体的测量空间被分割成预定数量的区域。投影单元能够投影针对各分割区域唯一的坐标检测图案，因此能够精确地计算测量对象物体表面的三维坐标。本实施例尤其在测量对象物体包含引起内部散射的半透明部的情况下，具有很大的效果。
总之，在本实施例中，获取空间的第一拍摄图像，在该空间上投影有由亮部和暗部形成的第一光图案、以及在通过投影第一光图案而分割的空间的各区域上投影的坐标检测图案。此外，获取空间的第二拍摄图像，在该空间上投影有由亮部和暗部形成的且亮部和暗部之间的边界位置与第一光图案不同的第二光图案、以及在通过投影第二光图案而分割的空间的各区域上投影的坐标检测图案。利用第一拍摄图像和第二拍摄图像中的亮度值，将第一拍摄图像和第二拍摄图像之一选择为选择图像。利用选择图像中的坐标检测图案和针对选择图像的投影的坐标检测图案之间的对应关系，执行空间中所包含的物体的三维形状测量。
[第二实施例]
在本实施例中，在投影空间分割图案时，遮蔽亮部和暗部之间的边界部，以不投影空间分割图案。这进一步降低了在空间分割时编码误差的可能性，从而使得能够更加稳定地计算测量对象物体表面的三维坐标。
下面主要描述与第一实施例的不同之处，并且省略与第一实施例中的相同点的描述。即，除非特别说明否则详情都与第一实施例相同。
图8A和图8B各自示出了用于遮蔽要被投影单元101投影的图案的掩模图案的示例。图8A示出了用于遮蔽格雷码图案的掩模图案的示例。图8B示出用于遮蔽偏移格雷码图案的掩模图案的示例。
当使用掩模图案来遮蔽并投影格雷码图案(偏移格雷码图案)时，针对掩模图案的白色部分投影图案光，并且针对掩模图案的黑色部分阻挡图案光。也就是说，投影单元101利用掩模图案来遮蔽由投影图案生成单元202供给的格雷码图案(偏移格雷码图案)，然后投影该图案。
设置这些掩模图案中的各个，使得投影单元101仅在相应格雷码图案或偏移格雷码图案的亮/暗边界附近不投影图案光。也就是说，在本实施例中，当测量对象物体104的材质为半透明时，通过投影单元101在引起编码误差的图案的亮部和暗部之间的边界附近不投影图案，来提高解码的准确性。
图9示出了利用图8A所示的掩模图案来遮蔽图3所示的格雷码图案的结果。图10示出利用图8B中的掩模图案来遮蔽图5所示的偏移格雷码图案的结果。
参照图9，附图标记PM1至PM4分别表示利用图8A的掩模图案来遮蔽图3的图案P1至P4的结果；附图标记NM1至NM4分别表示利用图8A的掩模图案来遮蔽图案N1至N4的结果。
参照图10，附图标记PM1'至PM4'分别表示利用图8B的掩模图案来遮蔽图案P1'至P4'的结果；附图标记NM1'至NM4'分别表示利用图8B的掩模图案来遮蔽图案N1'至N4'的结果。
请注意，在本实施例中，如上所述，投影单元101利用掩模图案来遮蔽由投影图案生成单元202供给的格雷码图案(偏移格雷码图案)，然后投影该图案。然而，投影图案生成单元202可以向投影单元101供给利用掩模图案来遮蔽格雷码图案(偏移格雷码图案)的结果。
在本实施例中，决定是使用通过投影格雷码图案而获得的拍摄图像还是使用通过投影偏移格雷码图案而获得的拍摄图像以决定针对各像素位置的编码的处理与第一实施例不同。
假设图案PM1至PMn(例如图9的PM1至PM4)被用作格雷码图案的正图案，并且图案NM1至NMn(例如图9的NM1至NM4)被用作格雷码图案的负图案。还假设图案PM1'至PMn'(例如图10的PM1'至PM4')被用作偏移格雷码图案的正图案，并且图案NM1'至NMn'(例如图10的NM1'至NM4')被用作偏移格雷码图案的负图案。
已投影有各图案PM1至PMn(与坐标检测图案一起)的测量对象物体104的拍摄图像由IPM1至IPMn表示。已投影有各图案NM1至NMn(与坐标检测图案一起)的测量对象物体104的拍摄图像由INM1至INMn表示。已投影有各图案PM1'至PMn'(与坐标检测图案一起)的测量对象物体104的拍摄图像由IPM1'至IPMn'表示。已投影有各图案NM1'至NMn'(与坐标检测图案一起)的测量对象物体104的拍摄图像由INM1'至INMn'表示。
在这种情况下，图像处理单元205根据以下等式获得针对满足1≤k≤n的所有k值的dpmk(u,v)和dpm'k(u,v)。
其中，IPMk(u,v)表示拍摄图像IPMk中像素位置(u,v)处的像素的亮度值，INMk(u,v)表示在拍摄图像INMk中像素位置(u,v)处的像素的亮度值。此外，dpmk(u,v)表示IPMk(u,v)与INMk(u,v)之间的亮度差分。
此外，IPM'k(u,v)表示拍摄图像IPM'k中像素位置(u,v)处的像素的亮度值，INM'k(u,v)表示在拍摄图像INM'k中像素位置(u,v)处的像素的亮度值。此外，dpm'k(u,v)表示IPM'k(u,v)与INM'k(u,v)之间的亮度差分。
在本实施例中，图案的亮部和暗部之间的边界附近的区域被遮蔽以防止图案光被投影单元101投影，这样对于所有的k值而言，值dpmk和dpm'k中的一个较小。也就是说，对于所有的k值，dpmk(u,v)>dpm'k(u,v)或dpmk(u,v)<dpm'k(u,v)总是成立。
所以，针对给定的k，确定是dpmk(u,v)>dpm'k(u,v)还是dpmk(u,v)<dpm'k(u,v)成立。如果dpmk(u,v)>dpm'k(u,v)，则已投影有格雷码图案的测量对象物体104的拍摄图像，即拍摄图像IPM1至IPMn以及INM1至INMn，被选择为将要用于决定针对像素位置(u,v)的编码的拍摄图像。另一方面，如果dpmk(u,v)≤dpm'k(u,v)，则已投影有偏移格雷码图案的测量对象物体104的拍摄图像，被选择为将要用于决定针对像素位置(u,v)的编码的拍摄图像。即，选择了拍摄图像IPM'1至IPM'n以及INM'1至INM'n。
如上所述，与第一实施例相比，在本实施例中能够更可靠地选择格雷码图案或偏移格雷码图案。通过应用掩模图案，以高频率调制所有的空间分割图案。结果，如非专利文献1中所述，能够获得抑制内部散射影响的效果。也就是说，当测量对象物体104包含半透明部分时，能够降低在区域识别时编码误差的发生率，从而实现了稳定的三维测量。
如上所述，根据本实施例，对于要被投影的空间分割图案，设置掩模图案并控制该掩模图案不投影图案的亮/暗边界部分。这进一步降低了在空间分割时编码误差的概率，从而使得能够更加稳定地计算测量对象物体表面的三维坐标。
[第三实施例]
在第一实施例中，如图6所示，利用了由多个线段(line segment)形成的坐标检测图案。在本实施例中，如图11所示，利用了由多个虚线形成的坐标检测图案。通过在测量对象物体104上投影这样的坐标检测图案，消除了在测量对象物体104内发生的内部散射的影响，导致测量对象物体104表面上的三维坐标的计算更加准确。
以下将主要描述与第一实施例的不同之处，并且省略与第一实施例中的相同点的描述。即，除非特别说明否则详情与第一实施例中相同。
在本实施例中，投影图案生成单元202向投影单元101供给由图11所示的多个虚线形成的坐标检测图案，以替代由图6所示的多个线段形成的坐标检测图案。投影单元101在包含测量对象物体104的空间上，投影从投影图案生成单元202供给的、由多个虚线形成的坐标检测图案。如非专利文献2所述，在本实施例中，在测量对象物体104上投影虚线图案，并且消除了测量对象物体104的内部散射的影响，从而使得能够更加精确地计算投影坐标。
投影图案生成单元202针对图11所示的虚线图案，通过在长边方向上(坐标检测图案中的垂直方向)依次地偏移虚线来生成多个图案，并且将生成的图案发送给投影单元101。图12是用于说明通过只提取形成坐标检测图案的一部分虚线来生成多个坐标检测图案的处理的图。
投影图案生成单元202通过在垂直方向上将虚线偏移1个像素而生成图案。在图12中，a表示重复图案的虚线，其中，针对投影单元101的像素，在虚线的长边方向上的2个像素形成亮部，并且虚线的2个像素形成暗部。通过将图12的a所示的虚线向下偏移1个像素，投影图案生成单元202新生成图案(图12的b)，并且将所生成的图案发送至投影单元101。投影单元101向包含测量对象物体104的空间投影图案。每次投影图案时，摄像单元102拍摄包含测量对象物体104的空间。
接下来，投影图案生成单元202通过进一步将虚线向下偏移1个像素来生成图案(图12的c)，并且将所生成的图案发送至投影单元101。投影图案生成单元202通过对虚线的一个周期重复该偏移处理，来生成坐标检测图案。在该示例中，投影图案生成单元202通过在长边方向上偏移虚线而生成4个图案(图12的a至d)，并将所生成的图案发送给投影单元101。
图像处理单元205从通过投影坐标检测图案获得的拍摄图像，来准确地计算图像坐标，在该图像坐标处，在测量对象物体104上观测坐标检测图案。在本实施例中，摄像单元102获取通过投影由偏移虚线图案而生成的4种坐标检测图案而获得的拍摄图像(4个)，并且从4个拍摄图像计算图像坐标。
图像处理单元205针对各像素位置(u,v)指定在4个中的各拍摄图像的像素位置处亮度值的最大值T和最小值S。针对测量对象物体104上要被测量的点，在与投影虚线图案时的暗部对应的像素上，不直接投影图案光，从而只观测内部散射。另一方面，在与亮部对应的点上直接投影图案光，从而可以观测到反射光和内部散射二者。在虚线的频率足够高的条件下，最小值S表示内部散射成分自身，通过从最大值T中减去最小值S所获得的值表示由测量对象物体104表面反射的反射光成分。图像处理单元205从通过投影坐标检测图案获得的多个拍摄图像计算反射光成分。也就是说，针对各像素位置，从针对各像素位置获得的最大值T中减去最小值S的结果被作为针对像素位置的亮度值(反射光成分)而获得。从图像(反射光成分的拍摄图像)检测坐标检测图案的位置，其中，在该图像中在各像素位置处的像素具有所获得的反射成分。因为内部散射的影响已经从反射光成分中消除，因此通过按原样使用反射光成分的拍摄图像，以替代第一实施例中通过投影坐标检测图案获得的拍摄图像，能够获取高准确性的图像坐标。
通过控制装置103执行测量对象物体104的三维形状测量的上述处理将参照图13进行描述，图13示出了例示该处理的流程图。通过将步骤S1350添加到图7的流程图中获得图13中所示的流程图。
在步骤S1350中，如上所述，图像处理单元205通过计算反射光成分生成反射光成分的拍摄图像。所以，在步骤S1400中，图像处理单元205从反射光成分的拍摄图像获得坐标检测图案的位置，从而获得图像坐标和投影坐标之间的对应关系。
如上所述，根据本实施例，虚线图案作为坐标检测图案被投影以消除发生在测量对象物体中的内部散射的影响，从而使得能够更加准确地计算测量对象物体表面上的三维坐标。请注意，根据需要可以组合使用上述各实施例的部分或全部。
在任何的实施例中，能够在利用图案光照射包含半透明部分的测量对象物体时抑制散射等的影响，并且稳定地执行高精度的三维测量。
[第四实施例]
图2所示的控制装置103的各个单元可以通过硬件来实现。然而，图像输入单元204、投影图案生成单元202、三维坐标计算单元208、图像处理单元205、结果输出单元209等可以通过软件(计算机程序)来实现。在这种情况下，具有控制单元210和参数存储单元206的功能且能够执行该计算机程序的装置适用于控制装置103。图14示出了适用于控制装置103的计算机装置的硬件结构的示例。
CPU 1401通过利用存储在RAM 1402和ROM 1403中的计算机程序和数据执行各种处理，来控制计算机装置的整体操作，并且CPU 1401还执行由控制装置103执行的上述各处理。这样，CPU 1401也起到控制单元210的作用。
RAM 1402具有用于临时存储从外部存储设备1406加载的计算机程序和数据、以及经由I/F(接口)1407从外部接收的计算机程序和数据的区域。RAM 1402还具有由CPU 1401使用以执行各种处理的工作区域。也就是说，RAM 1402能够根据需要提供各种区域。ROM1403存储计算机装置的启动程序和设置数据。
操作单元1404由鼠标、键盘等形成，并且能够由计算机装置的用户操作以向CPU1401输入各种指令。例如，能够通过操作该操作单元1404输入处理结束指令、计算机装置的启动指令等。
显示单元1405由CRT、液晶显示屏等形成，并且能够通过图像、字符等显示CPU1401的处理结果。例如，显示单元1405能够被用作结果输出单元209的输出目的地。
外部存储设备1406是诸如硬盘驱动设备的大容量信息存储设备。外部存储设备1406保存用于使CPU 1401执行OS(操作系统)和要由控制装置103执行的上述各处理的数据和计算机程序。计算机程序包括用于使CPU 1401执行要由图像输入单元204、投影图案生成单元202、图像处理单元205、三维坐标计算单元208和结果输出单元209执行的上述各处理的计算机程序。数据包括上述要被保存在参数存储单元206中的信息以及上述作为已知信息的各种信息。即，外部存储设备1406还起到参数存储单元206的作用。
在CPU 1401的控制下，保存在外部存储设备1406的计算机程序和数据根据需要被加载到RAM 1402中，并由CPU 1401处理。
I/F 1407用于将外部设备与计算机装置相连接，并且能够连接摄像单元102和投影单元101。上述的所有各单元与总线1408相连接。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经结合示例性实施例描述了本发明，但是应当理解，本发明并不限于公开的示例性实施例。下列权利要求的范围应当适合最广泛的解释，以便囊括所有变形、等同结构和功能。

Claims (15)

1.一种三维形状测量装置，其包括：
第一获取单元，其被构造为获取投影有第一光图案的空间的第一拍摄图像，所述第一光图案由亮部和暗部形成；
第二获取单元，其被构造为获取投影有第二光图案的所述空间的第二拍摄图像，所述第二光图案由亮部和暗部形成，并且亮部与暗部之间的边界位置与所述第一光图案不同；
选择单元，其被构造为针对所述第一拍摄图像或所述第二拍摄图像的至少一个预定区域的各预定区域，基于所述第一拍摄图像中的亮度值和所述第二拍摄图像中的亮度值，选择包含所述至少一个预定区域的所述第一拍摄图像和所述第二拍摄图像中的一者作为要用于三维形状测量的选择图像；以及
测量单元，其被构造为基于由所述选择单元选择的所述选择图像，执行所述空间中包含的物体的三维形状测量。
2.根据权利要求1所述的三维形状测量装置，其中，所述测量单元利用位于所述选择图像中的所述预定区域中的像素值，能够执行所述物体的三维形状测量。
3.根据权利要求1所述的三维形状测量装置，其中，所述第一拍摄图像和所述第二拍摄图像中的各个由非反转图像和反转图像形成，其中，所述非反转图像作为投影有由亮部和暗部形成的图案的所述空间的拍摄图像，并且所述反转图像作为投影有通过反转所述图案的亮部和暗部而获得的图案的所述空间的拍摄图像，并且
针对各预定区域，所述选择单元能够进行如下操作：
获取作为所述第一拍摄图像的非反转图像内的所述预定区域中的亮度值、与作为所述第一拍摄图像的反转图像内的所述预定区域中的亮度值之间的差分，作为第一差分，并且，获取作为所述第二拍摄图像的非反转图像内的所述预定区域中的亮度值、与作为所述第二拍摄图像的反转图像内的所述预定区域中的亮度值之间的差分，作为第二差分；以及
基于所述第一差分和所述第二差分，选择所述第一拍摄图像和所述第二拍摄图像中的一者作为选择图像。
4.根据权利要求3所述的三维形状测量装置，其中，所述选择单元针对所述第一差分大于所述第二差分的预定区域，能够选择所述第一拍摄图像作为所述选择图像，而针对所述第一差分小于等于所述第二差分的预定区域，能够选择所述第二拍摄图像作为所述选择图像。
5.根据权利要求1所述的三维形状测量装置，其中，
所述第一拍摄图像包括：在通过投影所述第一光图案而分割的所述空间的各区域上投影有坐标检测图案的所述空间的图像，并且
所述第二拍摄图像包括：在通过投影所述第二光图案而分割的所述空间的各区域上投影有坐标检测图案的所述空间的图像。
6.根据权利要求5所述的三维形状测量装置，其中，所述测量单元在通过投影所述选择图像中的图案而分割的所述空间的各区域中，能够指定投影有所述选择图像中的坐标检测图案的区域，并且利用针对所述选择图像而投影的坐标检测图案中的投影在所指定区域上的坐标检测图案、与所述选择图像中的坐标检测图案之间的对应关系，执行所述三维形状测量。
7.根据权利要求5所述的三维形状测量装置，其中，所述坐标检测图案是亮度值不连续的虚线图案。
8.根据权利要求7所述的三维形状测量装置，其中，所述坐标检测图案是通过在相对于虚线的长边方向上依次偏移所述虚线而生成的多个图案。
9.根据权利要求1所述的装置，其中，所述第一光图案和所述第二光图案是亮部与暗部之间的边界部分被遮蔽的图案。
10.根据权利要求1所述的三维形状测量装置，该三维形状测量装置还包括：
被构造为生成通过从所述选择图像中消除所述物体中发生的子面散射的影响而获得的反射光成分的拍摄图像的单元，
其中，所述测量单元利用所述反射光成分的拍摄图像作为所述选择图像，能够执行所述三维形状测量。
11.根据权利要求1所述的三维形状测量装置，其中，所述第一光图案和所述第二光图案是基于格雷码的图案。
12.根据权利要求1所述的三维形状测量装置，其中，
所述第一光图案包括各自由亮部和暗部形成的多个图案，亮部和暗部中的至少一者的宽度在各不同的图案之间不同，
所述第一拍摄图像表示通过拍摄所述多个图案而获得的一组拍摄图像，
所述第二光图案包括各自由亮部和暗部形成的多个图案，亮部和暗部中的至少一者的宽度在各图案之间不同，并且，
所述第二拍摄图像表示通过拍摄所述多个图案而获得的一组拍摄图像。
13.根据权利要求1所述的三维形状测量装置，其中，所述物体是半透明物体。
14.根据权利要求1所述的三维形状测量装置，该三维形状测量装置还包括：
投影单元，其被构造为投影所述第一光图案和所述第二光图案中的各个；以及
摄像单元，其被构造为拍摄投影有所述第一光图案的所述空间的所述第一拍摄图像、以及投影有所述第二光图案的所述空间的所述第二拍摄图像。
15.一种三维形状测量方法，该三维形状测量方法包括：
第一获取步骤，获取投影有第一光图案的空间的第一拍摄图像，所述第一光图案由亮部和暗部形成；
第二获取步骤，获取投影有第二光图案的所述空间的第二拍摄图像，所述第二光图案由亮部和暗部形成，并且亮部与暗部之间的边界位置与所述第一光图案不同；
选择步骤，针对所述第一拍摄图像或所述第二拍摄图像的各预定区域，基于所述第一拍摄图像中的亮度值和所述第二拍摄图像中的亮度值，选择所述第一拍摄图像和所述第二拍摄图像中的一者作为要用于三维形状测量的选择图像；以及
测量步骤，基于由所述选择步骤选择的所述选择图像，执行所述空间中包含的物体的三维形状测量。
CN201510021415.1A 2014-01-17 2015-01-15 三维形状测量装置和三维形状测量方法 Active CN104792277B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014007271A JP6320051B2 (ja) 2014-01-17 2014-01-17 三次元形状計測装置、三次元形状計測方法
JP2014-007271 2014-01-17

Publications (2)

Publication Number Publication Date
CN104792277A CN104792277A (zh) 2015-07-22
CN104792277B true CN104792277B (zh) 2018-04-10

Family

ID=53497939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510021415.1A Active CN104792277B (zh) 2014-01-17 2015-01-15 三维形状测量装置和三维形状测量方法

Country Status (5)

Country Link
US (1) US9557167B2 (zh)
JP (1) JP6320051B2 (zh)
CN (1) CN104792277B (zh)
DE (1) DE102015000386B4 (zh)
GB (1) GB2522551B (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9759553B2 (en) * 2013-07-09 2017-09-12 Auburn University Determining geometric characteristics of reflective surfaces
JP6434788B2 (ja) * 2014-03-06 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測システム、計測方法およびビジョンチップ
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
JP6418884B2 (ja) * 2014-10-10 2018-11-07 キヤノン株式会社 三次元計測装置、三次元計測方法及びプログラム
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10281264B2 (en) * 2014-12-01 2019-05-07 Canon Kabushiki Kaisha Three-dimensional measurement apparatus and control method for the same
US10032279B2 (en) * 2015-02-23 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
JP6681258B2 (ja) * 2015-06-01 2020-04-15 キヤノン株式会社 計測装置、システム、物品の製造方法、算出方法及びプログラム
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) * 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) * 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
KR102368597B1 (ko) * 2015-11-11 2022-03-02 삼성전자주식회사 영상 촬영 장치 및 이의 제어 방법
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN105588511A (zh) * 2015-12-15 2016-05-18 中核（天津）机械有限公司 激光测量透明件尺寸的辅助方法
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10171730B2 (en) 2016-02-15 2019-01-01 Canon Kabushiki Kaisha Information processing apparatus, method of controlling information processing apparatus, and storage medium
US10685490B2 (en) 2016-03-10 2020-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
EP3309616A1 (en) * 2016-10-14 2018-04-18 ASML Netherlands B.V. Method of inspecting a substrate, metrology apparatus, and lithographic system
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6702171B2 (ja) * 2016-12-22 2020-05-27 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
JP6673266B2 (ja) * 2017-03-08 2020-03-25 オムロン株式会社 相互反射検出装置、相互反射検出方法、およびプログラム
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10262428B2 (en) * 2017-04-07 2019-04-16 Massachusetts Institute Of Technology System and method for adaptive range 3D scanning
JP7029654B2 (ja) * 2017-07-12 2022-03-04 パナソニックＩｐマネジメント株式会社 投影撮像システム、計測装置および投影撮像方法
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
JP7178803B2 (ja) 2018-06-04 2022-11-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2020127828A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, vermessungssystem und verfahren zur erfassung einer zumindest teilweise spiegelnden oberfläche unter verwendung zweier spiegelungsmuster
WO2020262389A1 (ja) * 2019-06-28 2020-12-30 キヤノン株式会社 計測装置、撮像装置、計測システム、制御方法及びプログラム
JP2021022807A (ja) * 2019-07-26 2021-02-18 セイコーエプソン株式会社 プロジェクターの制御方法、及び、プロジェクター
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
JP2021060326A (ja) * 2019-10-09 2021-04-15 興和株式会社 表面検査装置
JP2021076531A (ja) * 2019-11-12 2021-05-20 Juki株式会社 ３次元計測装置及び３次元計測方法
CN113155053A (zh) * 2020-01-22 2021-07-23 株式会社三丰 三维几何形状测量装置和三维几何形状测量方法
WO2021258273A1 (zh) * 2020-06-23 2021-12-30 广东省航空航天装备技术研究所 基于三维成像的加工方法、装置、设备及存储介质
CN112414301B (zh) * 2020-10-22 2021-09-03 光华临港工程应用技术研发(上海)有限公司 一种用于线结构光三维测量的设备
CN112762860B (zh) * 2020-12-28 2022-03-15 电子科技大学 一种高帧率正弦条纹场投射模块
WO2022172227A1 (en) * 2021-02-13 2022-08-18 Gupta Arbind Measurement of position and orientation of an object
CN113256798B (zh) * 2021-06-04 2023-05-05 猫岐智能科技（上海）有限公司 光幕遮挡区域生成系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472613A (zh) * 2009-07-29 2012-05-23 佳能株式会社 测量设备、测量方法和程序
CN103438832A (zh) * 2013-08-30 2013-12-11 解则晓 基于线结构光的三维影像测量方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848188A (en) * 1994-09-08 1998-12-08 Ckd Corporation Shape measure device
JP2002164066A (ja) 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP4347614B2 (ja) * 2003-06-10 2009-10-21 Ｊｆｅテクノリサーチ株式会社 ３次元曲面形状の測定装置及び測定方法
JP2005293075A (ja) 2004-03-31 2005-10-20 Brother Ind Ltd ３次元形状検出装置、３次元形状検出方法、３次元形状検出プログラム
JP4501587B2 (ja) 2004-08-18 2010-07-14 富士ゼロックス株式会社 ３次元画像測定装置および方法
WO2006109308A1 (en) 2005-04-12 2006-10-19 Sharon Ehrlich Real-time imaging method and system using structured light
JP4917351B2 (ja) * 2006-05-16 2012-04-18 ローランドディー．ジー．株式会社 ３次元形状測定装置におけるキャリブレーション方法
KR20080043047A (ko) 2006-11-13 2008-05-16 주식회사 고영테크놀러지 새도우 모아레를 이용한 3차원형상 측정장치
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
JP2008281399A (ja) 2007-05-09 2008-11-20 Konica Minolta Sensing Inc 三次元測定装置及び携帯型計測器
US8390822B2 (en) * 2007-11-01 2013-03-05 Dimensional Photonics International, Inc. Intra-oral three-dimensional imaging system
JP2009216650A (ja) * 2008-03-12 2009-09-24 Aisin Seiki Co Ltd 三次元形状測定装置
JP5486182B2 (ja) * 2008-12-05 2014-05-07 キヤノン株式会社 情報処理装置および情報処理方法
JP5698465B2 (ja) * 2010-04-22 2015-04-08 キヤノン株式会社 眼科装置、表示制御方法及びプログラム
JP5576726B2 (ja) * 2010-06-29 2014-08-20 キヤノン株式会社 三次元計測装置、三次元計測方法、及びプログラム
US9007602B2 (en) 2010-10-12 2015-04-14 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
US20120141544A1 (en) * 2010-12-03 2012-06-07 Fuisz Richard C Solid Dosage Form That Promotes Reliable Oral, Esophageal and GI Transit
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
JP5611022B2 (ja) * 2010-12-20 2014-10-22 キヤノン株式会社 三次元計測装置及び三次元計測方法
JP2012208005A (ja) * 2011-03-29 2012-10-25 Hiroshima Univ 計測装置、検査装置及び計測方法
JP5995408B2 (ja) * 2011-04-01 2016-09-21 キヤノン株式会社 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP2012251893A (ja) 2011-06-03 2012-12-20 Seiko Epson Corp 形状計測装置、形状計測装置の制御方法、およびプログラム
US9182221B2 (en) * 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP5918984B2 (ja) * 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6238521B2 (ja) * 2012-12-19 2017-11-29 キヤノン株式会社 ３次元計測装置およびその制御方法
JP6104662B2 (ja) * 2013-03-25 2017-03-29 株式会社東芝 計測装置、方法及びプログラム
JP6101134B2 (ja) * 2013-04-01 2017-03-22 キヤノン株式会社 情報処理装置及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472613A (zh) * 2009-07-29 2012-05-23 佳能株式会社 测量设备、测量方法和程序
CN103438832A (zh) * 2013-08-30 2013-12-11 解则晓 基于线结构光的三维影像测量方法

Also Published As

Publication number Publication date
GB2522551A (en) 2015-07-29
GB2522551B (en) 2018-06-27
US9557167B2 (en) 2017-01-31
JP6320051B2 (ja) 2018-05-09
DE102015000386A1 (de) 2015-07-23
CN104792277A (zh) 2015-07-22
DE102015000386B4 (de) 2018-06-07
JP2015135294A (ja) 2015-07-27
GB201500627D0 (en) 2015-03-04
US20150204662A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
CN104792277B (zh) 三维形状测量装置和三维形状测量方法
US11115633B2 (en) Method and system for projector calibration
CN105026997B (zh) 投影系统、半导体集成电路及图像修正方法
US20180356213A1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US9714826B2 (en) Measurement apparatus and method thereof
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US20160094830A1 (en) System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
TW201520975A (zh) 產生場景深度圖之方法及裝置
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
US10663291B2 (en) Method and system for reproducing visual content
CN104677308A (zh) 一种高频二值条纹的三维扫描方法
US10397481B2 (en) Stabilization and rolling shutter correction for omnidirectional image content
JP2015184056A (ja) 計測装置、方法及びプログラム
KR102492821B1 (ko) 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 방법 및 장치
CN112633181A (zh) 数据处理方法、系统、装置、设备和介质
US7430490B2 (en) Capturing and rendering geometric details
KR102174264B1 (ko) 그림자 렌더링 방법 및 그림자 렌더링 장치
Zhang et al. Simbar: Single image-based scene relighting for effective data augmentation for automated driving vision tasks
KR20150101343A (ko) 영상 투사 시스템
KR102070540B1 (ko) 그레이 패턴 및 위상 시프트 패턴을 이용한 3차원 스캐닝 방법 및 그 시스템
US20130063562A1 (en) Method and apparatus for obtaining geometry information, lighting information and material information in image modeling system
WO2023277906A1 (en) Synthetic images for machine learning
KR102103614B1 (ko) 전방 프로젝션 환경에서 그림자를 제거하기 위한 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant