CN111829456A - 三维形状测定装置以及三维形状测定方法 - Google Patents

三维形状测定装置以及三维形状测定方法 Download PDF

Info

Publication number
CN111829456A
CN111829456A CN202010304396.4A CN202010304396A CN111829456A CN 111829456 A CN111829456 A CN 111829456A CN 202010304396 A CN202010304396 A CN 202010304396A CN 111829456 A CN111829456 A CN 111829456A
Authority
CN
China
Prior art keywords
projection
pixel
imaging
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010304396.4A
Other languages
English (en)
Inventor
宫田薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020071179A external-priority patent/JP7390239B2/ja
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN111829456A publication Critical patent/CN111829456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

抑制多重反射光等所导致的测定精度的降低。具备：关系确定部(45)，其确定第一拍摄像素和对应于与第一拍摄像素所对应的投影坐标相同的投影坐标且位于第一拍摄像素所对应的第二拍摄图像的第一核线上的第二拍摄像素的组合；判定部(46)，其基于具有第一拍摄像素所对应的投影坐标的投影图像的投影像素和具有第二拍摄像素所对应的投影坐标的投影图像的投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素；以及形状测定部(47)，其使用判定为所述第一拍摄像素以及所述第二拍摄像素不为所述不良像素的所述组合所对应的第一拍摄像素或者第二拍摄像素，测定出测定对象物的形状。

Description

三维形状测定装置以及三维形状测定方法
技术领域
本发明涉及对测定对象物的形状进行测定的三维形状测定装置以及三维形状测定方法。
背景技术
提出了如下方法：对投影图案进行投影，并分析拍摄投影图案所投影的测定对象物而获得的拍摄图像，从而不与测定对象物接触地对测定对象物的形状进行测定(例如参照日本特开2017-146298号公报)。
发明内容
发明将要解决的课题
若将投影图案投影到测定对象物，则有引起光在测定对象物所具有的多个表面之间的反射即多重反射的情况。若引起多重反射，则在拍摄图像中将会产生与没有多重反射的情况不同的亮度的区域。在拍摄装置为一台的情况下，需要通过分析从一个拍摄装置获得的拍摄图像来确定多重反射光的影响。例如在日本特开2017-146298号公报所记载的方法中，能够基于拍摄图像的亮度值确定受到了多重反射光的影响的像素。然而，在受到了多重反射光的影响的像素示出了与被直接照射反射光的像素相近的亮度的情况下，存在不能检测受到多重反射光的影响的像素的可能性。
因此，本发明鉴于这些方面而完成，目的在于提供能够抑制多重反射光等所导致的测定精度的降低的三维形状测定装置以及三维形状测定方法。
用于解决课题的手段
本发明的第一方式的三维形状测定装置具备：投影部，其将包含用于确定投影坐标的图案的投影图像投影到测定对象物；第一拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第一拍摄图像；第二拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第二拍摄图像；第一坐标确定部，其基于所述第一拍摄图像所含的所述图案，确定所述第一拍摄图像的第一拍摄像素所对应的所述投影坐标；第二坐标确定部，其基于所述第二拍摄图像所含的所述图案，确定所述第二拍摄图像的第二拍摄像素所对应的所述投影坐标；线确定部，其基于所述第一拍摄部与所述第二拍摄部的配置，确定所述第一拍摄像素所对应的所述第二拍摄图像的第一核线；关系确定部，其确定所述第一拍摄像素和对应于与该第一拍摄像素所对应的所述投影坐标相同的所述投影坐标且位于该第一拍摄像素所对应的所述第二拍摄图像的所述第一核线上的所述第二拍摄像素的组合；判定部，其针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标的所述投影图像的投影像素和具有该第二拍摄像素所对应的所述投影坐标的所述投影图像的投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素；以及形状测定部，其使用判定为所述第一拍摄像素以及所述第二拍摄像素不为所述不良像素的所述组合所对应的所述第一拍摄像素以及所述第二拍摄像素的至少任一方，测定所述测定对象物的形状。
也可以是，所述投影部向所述测定对象物投影包含沿相同的方向延伸的条纹的所述图案的多个所述投影图像，所述线确定部基于所述第二拍摄部与所述投影部的配置，确定所述第二拍摄像素所对应的所述投影图像的第二核线，并且基于所述第一拍摄部与所述投影部的配置，确定所述第一拍摄像素所对应的所述投影图像的第三核线，所述判定部针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标且位于该第一拍摄像素所对应的所述投影图像的所述第三核线上的所述投影像素和具有该第二拍摄像素所对应的所述投影坐标且位于该第二拍摄像素所对应的所述投影图像的所述第二核线上的所述投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素。
也可以是，所述投影部向所述测定对象物投影包含沿相同的方向延伸的条纹的所述图案的多个所述投影图像，所述线确定部基于所述第二拍摄部与所述投影部的配置，确定所述第二拍摄像素所对应的所述投影图像的第二核线，并且基于所述第一拍摄部与所述投影部的配置，确定所述第一拍摄像素所对应的所述投影图像的第三核线，所述判定部针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标且位于该第一拍摄像素所对应的所述投影图像的所述第三核线上的所述投影像素和位于所述第二核线以及所述第三核线的交点的所述投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素。
也可以是，所述投影部向所述测定对象物投影包含条纹的所述图案、并且所述图案所含的该条纹的延伸的方向相互不同的多个投影图像。
也可以是，所述第一坐标确定部针对条纹的延伸的方向相互不同的所述多个投影图像的每一个，分别确定所述第一拍摄像素所对应的所述投影坐标，所述第二坐标确定部针对条纹的延伸的方向相互不同的所述多个投影图像的每一个，分别确定所述第二拍摄像素所对应的所述投影坐标，所述判定部在所述关系确定部所确定的所述第一拍摄像素与所述第二拍摄像素的所述组合中，针对条纹的延伸的方向相互不同的所述多个投影图像的每一个投影图像，求出该第一拍摄像素所对应的所述投影坐标与该第二拍摄像素所对应的所述投影坐标的比较值，通过基于求出的所述比较值的评价值，判定该第一拍摄像素或者该第二拍摄像素的至少一方是否是不良像素。
也可以是，所述第一坐标确定部针对条纹的延伸的方向相互不同的所述多个投影图像的每一个投影图像，确定所述第一拍摄像素所对应的所述投影坐标，所述三维形状测定装置还具备：取得部，其取得所述关系确定部所确定的所述第一拍摄像素以及所述第二拍摄像素的所述组合，在取得的该组合中，从该第二拍摄像素取得规定范围内的多个所述第二拍摄像素作为对应候选像素；候选坐标确定部，其针对条纹的延伸的方向相互不同的所述投影图像的每一个投影图像，分别确定所述多个对应候选像素所对应的所述投影坐标；以及评价部，其针对条纹的延伸方向相互不同的所述投影图像的每一个投影图像，求出所述第一拍摄像素所对应的所述投影坐标和所述对应候选像素所对应的所述投影坐标的比较值，针对所述对应候选像素的每一个求出基于针对每个所述投影图像求出的多个所述比较值的评价值，所述关系确定部基于所述评价部求出的所述评价值，确定所述多个对应候选像素中的任一个所述对应候选像素和所述取得部所取得的组合中的所述第一拍摄像素作为新的组合。
也可以是，所述关系确定部在所述第一拍摄图像所含的多个所述第一拍摄像素和所述第二拍摄图像所含的多个所述第二拍摄像素之间确定多个所述组合，所述判定部在所述关系确定部所确定的所述第一拍摄像素以及所述第二拍摄图像的所述组合中，求出表示具有该第一拍摄像素所对应的所述投影坐标的所述投影图像的投影像素和具有该第二拍摄像素所对应的所述投影坐标的所述投影图像的投影像素的距离的评价值，针对所述多个组合的每一个求出该评价值，在求出的多个所述评价值的统计量超过了基准值的情况下，判定为所述第一拍摄部、所述第二拍摄部以及所述投影部中的任一个的配置产生了不良情况。
本发明的第二方式的三维形状测定装置具备：投影部，其将包含用于确定投影坐标的图案的投影图像投影到测定对象物；第一拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第一拍摄图像；第二拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第二拍摄图像；第一坐标确定部，其基于所述第一拍摄图像所含的所述图案，确定所述第一拍摄图像的第一拍摄像素所对应的所述投影坐标；第二坐标确定部，其基于所述第二拍摄图像所含的所述图案，确定所述第二拍摄图像的第二拍摄像素所对应的所述投影坐标；线确定部，其基于所述第一拍摄部与所述投影部的配置，确定所述第一拍摄像素所对应的所述投影图像的核线，基于所述投影部与所述第二拍摄部的配置，确定所述投影图像的投影像素所对应的所述第二拍摄图像的核线；关系确定部，其确定所述第一拍摄像素和具有该第一拍摄像素所对应的所述投影坐标且位于该第一拍摄像素所对应的所述投影图像的所述核线上的所述投影图像的投影像素的组合；判定部，其针对每个所述第一拍摄像素以及所述投影像素的所述组合，基于对应于与该第一拍摄像素所对应的所述投影坐标相同的所述投影坐标的所述第二拍摄像素即主第二拍摄像素、和对应于该投影像素的所述投影坐标并且位于该投影坐标所对应的所述第二拍摄图像的核线上的所述第二拍摄像素即副第二拍摄像素之间的距离，判定所述第一拍摄像素、主第二拍摄像素或者副第二拍摄像素的至少任一个是否是不良像素；以及形状测定部，其使用判定为所述第一拍摄像素、所述主第二拍摄像素以及所述副第二拍摄像素不为不良像素的所述组合所对应的所述第一拍摄像素、所述主第二拍摄像素或者所述副第二拍摄像素的至少任一方，测定所述测定对象物的形状。
也可以是，所述投影部向所述测定对象物投影包含二进制的条纹的所述图案的所述投影图像和包含具有正弦波状的亮度分布的条纹的所述图案的所述投影图像。
也可以是，所述投影部依次投影包含具有条纹的周期相互不同的正弦波状的亮度分布的条纹的所述图案的多个所述投影图像。
也可以是，所述投影部向所述测定对象物再次投影将所述投影图像所含的多个像素中的、具有由所述判定部判定为不良像素的所述第一拍摄像素以及所述第二拍摄像素中的任一个所对应的所述投影坐标的所述投影像素全部去除的投影图像。
也可以是，所述投影部向所述测定对象物再次投影仅包含所述投影图像所含的多个所述投影像素中的、具有由所述判定部判定为不良像素的所述第一拍摄像素或者所述第二拍摄像素所对应的所述投影坐标的所述投影像素的投影图像。
本发明的第三方式的三维形状测定方法具备如下步骤：将包含用于确定投影坐标的图案的投影图像投影到测定对象物；通过利用第一拍摄部拍摄投影到所述测定对象物的所述投影图像，生成第一拍摄图像；通过利用第二拍摄部拍摄投影到所述测定对象物的所述投影图像，生成第二拍摄图像；基于所述第一拍摄图像所含的所述图案，确定所述第一拍摄图像的第一拍摄像素所对应的所述投影坐标；基于所述第二拍摄图像所含的所述图案，确定所述第二拍摄图像的第二拍摄像素所对应的所述投影坐标；基于所述第一拍摄部与所述第二拍摄部的配置，确定所述第一拍摄像素所对应的所述第二拍摄图像的核线；确定所述第一拍摄像素和对应于与该第一拍摄像素所对应的所述投影坐标相同的所述投影坐标且位于该第一拍摄像素所对应的所述第二拍摄图像的所述核线上的所述第二拍摄像素的组合；针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标的所述投影图像的投影像素和具有该第二拍摄像素所对应的所述投影坐标的所述投影图像的投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素；以及使用判定为所述第一拍摄像素以及所述第二拍摄像素不为所述不良像素的所述组合所对应的所述第一拍摄像素或者所述第二拍摄像素的至少任一方，测定所述测定对象物的形状。
发明效果
根据本发明，起到抑制多重反射光等所导致的测定精度的降低这一效果。
附图说明
图1是用于说明第一实施方式的三维形状测定装置的概要的图。
图2示出投影部向测定对象物投影的投影图像。
图3是表示三维形状测定装置的构成的图。
图4是表示投影控制部所投影的投影图像的种类的例子的图。
图5示出具有正弦波状的亮度分布的灰度的条纹的图案的例子。
图6示出图4中的(c)～图4中的(f)所示的二进制的条纹的图案所对应的格雷码的例子。
图7是表示绝对投影坐标与相对投影坐标的关系的图。
图8示出利用第一拍摄部以及第二拍摄部拍摄测定对象物的情况下的例子。
图9示出第二拍摄图像所对应的投影图像的第二核线的例子。
图10是用于说明多重反射的图。
图11是表示在投影控制部仅投影包含沿相同的方向延伸的条纹的图案的多个投影图像的情况下判定部判定不良像素的方法的图。
图12是表示判定部对是否是不良像素的判定方法的图。
图13是表示投影图像的条纹延伸的方向与多重反射光的关系的图。
图14是表示三维形状测定装置对测定对象物的形状的测定处理的流程图。
图15是表示第二实施方式的三维形状测定装置所具备的控制部的构成的图。
图16是表示评价部对于对应候选像素的评价方法的图。
附图标记说明
1 第一拍摄部
2 第二拍摄部
3 投影部
4 控制部
5 存储部
11 透镜
12 拍摄元件
21 透镜
22 拍摄元件
41 投影控制部
42 拍摄控制部
43 坐标确定部
44 线确定部
45 关系确定部
46 判定部
47 形状测定部
50 控制部
100 三维形状测定装置
431 第一坐标确定部
432 第二坐标确定部
501 取得部
502 候选坐标确定部
503 评价部
具体实施方式
＜第一实施方式＞
[三维形状测定装置100的概要]
图1中的(a)～图1中的(c)是用于说明第一实施方式的三维形状测定装置100的概要的图。图1中的(a)示出了三维形状测定装置100的构成。三维形状测定装置100将投影图像投影到测定对象物的测定面。三维形状测定装置100利用第一拍摄部1以及第二拍摄部2这两个拍摄部，拍摄被投影了投影部3所投影的投影图像的状态下的测定对象物。三维形状测定装置100通过分析三维形状测定装置100生成的拍摄图像，对测定对象物的三维形状进行光学地测定。
投影部3是具有发光二极管或者激光等光源的投影装置。投影部3将包含用于确定投影坐标的图案的投影图像向测定对象物的测定面投影。投影坐标表示构成投影部3所投影的投影图像的投影像素的位置。投影坐标可以是表示投影图像的纵向或者横向中的任一方的位置的一维坐标，也可以是表示投影图像的纵向以及横向这两方的位置的二维坐标。图案例如是条纹的图案。
第一拍摄部1具有透镜11以及拍摄元件12。第一拍摄部1在投影部3将投影图像投影到测定对象物的期间，拍摄投影到测定对象物的投影图像，从而生成第一拍摄图像。第一拍摄部1被配置为第一拍摄部1的光轴与投影部3的光轴成为规定的第一角度。第一拍摄部1配置为第一拍摄部1的光轴与第二拍摄部2的光轴成为规定的第二角度。
第二拍摄部2具有透镜21以及拍摄元件22。第二拍摄部2在投影部3将投影图像投影到测定对象物的期间，拍摄投影到测定对象物的投影图像，从而生成第二拍摄图像。第二拍摄部2被配置为第二拍摄部2的光轴与投影部3的光轴成为规定的第三角度。第二拍摄部2的光轴虽然也可以与第一拍摄部1的光轴以及投影部3的光轴成为同一平面，但并不限定于此。控制部4基于第一拍摄部1以及第二拍摄部2生成的多个拍摄图像对测定对象物的形状进行测定。控制部4例如由计算机实现。
图1中的(b)以及(c)示出在投影部3将投影图像投影到测定对象物的期间由第一拍摄部1生成的拍摄图像的例子。如图1中的(b)以及(c)所示，投影部3将包含二进制的条纹的图案的投影图像向测定对象物投影。二进制的条纹的图案由被投影光的光投影区域和未被投影光的非投影区域构成。图1中的(b)示出了在投影部3将包含二进制的条纹的图案的投影图像朝向无凹凸的测定面投影了的情况下，第一拍摄部1以及第二拍摄部2生成的拍摄图像。白色的区域表示光投影区域，黑色的区域表示非投影区域。在测定面没有凹凸的情况下，第一拍摄部1以及第二拍摄部2生成的拍摄图像的二进制的条纹的图案具有与投影图像的二进制的条纹的图案大概一致的形状。
图1中的(c)是投影部3向包含凸部的测定面投影了二进制的条纹的图案的情况下，第一拍摄部1或者第二拍摄部2生成的拍摄图像。如图1中的(c)的拍摄图像所示，二进制的条纹的图案的一部分的图像产生了变形。在拍摄图像中，二进制的条纹的图案的图像以与凸部的高度相应的量变形。因此，三维形状测定装置100通过基于拍摄图像中的二进制的条纹的图案的图像的变形量确定凸部的各位置的高度，能够测定出测定对象物的形状。
三维形状测定装置100通过分析投影到测定对象物的条纹的图案，对测定对象物的三维形状进行测定。然而，在测定对象物的表面具有光泽的情况下，由于引起来自投影部3的投影光多次反射的多重反射，存在测定精度降低这一问题。因此，三维形状测定装置100在将图案投影到测定对象物的状态下，使用第一拍摄部1以及第二拍摄部2拍摄测定对象物，并分析第一拍摄部1以及第二拍摄部2生成的两个拍摄图像，从而判定拍摄图像所含的拍摄像素是否是受到多重反射光等的影响的不良像素。三维形状测定装置100通过分析除了不良像素之外的拍摄像素，测定出测定对象物的三维形状。
虽然之后详细叙述，三维形状测定装置100选择第一拍摄部1生成的第一拍摄图像所含的第一拍摄像素和第二拍摄部2生成的第二拍摄图像所含的第二拍摄像素的组合。三维形状测定装置100通过在选择出的组合中判定第一拍摄像素以及第二拍摄像素是否与投影图像的大致相同的投影像素对应，能够判定第一拍摄像素或者第二拍摄像素的至少一个是否是受到了多重反射光等的影响的不良像素。因此，三维形状测定装置100能够抑制多重反射光等所导致的测定对象物的形状的测定精度的降低。
[条纹的延伸的方向]
图2中的(a)以及(b)示出投影部3向测定对象物投影的投影图像。图2中的(a)示出沿第一方向延伸的二进制的条纹的图案的例子，图2中的(b)示出沿第二方向延伸的二进制的条纹的图案的例子。投影部3如图2中的(a)所示，投影出沿第一方向(以下，有时称作纵向)延伸的二进制的条纹的图案。第一方向是与包含投影部3的光轴与第一拍摄部1的光轴的平面正交的方向。
投影部3如图2中的(b)所示，投影出沿第二方向(以下，有时称作横向)延伸的二进制的条纹的图案。第二方向是与包含投影部3的光轴与第一拍摄部1的光轴的平面平行的方向。另外，纵向可以是沿着投影图像的任一个方向的方向，横向可以设为与纵向正交的方向。第一拍摄部1、第二拍摄部2以及投影部3被配置为，它们的光轴在用于配置测定对象物的工作台上通过同一直线上的任一个点，但并不限定于此。
在向测定对象物投影了条纹的图案的情况下，对应于测定对象物的三维形状，如图1中的(c)所示，条纹的图案在宽度方向上偏离。另外，条纹的图案的宽度根据测定对象物的三维形状而变动。在条纹的图案沿第一方向延伸的第一拍摄图像中，使投影部3以及第一拍摄部1之间产生了光轴朝向的偏离方向和条纹的图案的宽度方向的偏离等所产生的方向一致。即，将连结投影部3与第一拍摄部1的线段投影到载置有测定对象物的平面所生成的线段的像的方向和条纹的图案的宽度方向的偏离等所产生的方向一致。因而，在条纹的图案沿第一方向延伸的拍摄图像中，检测条纹的图案的宽度方向的偏离等的灵敏度较高。因此，测定测定对象物的三维形状时的分辨率变高。
另一方面，在条纹的图案沿第二方向延伸的拍摄图像中，使投影部3以及第一拍摄部1之间产生了光轴的朝向的偏离的方向与条纹的图案的宽度方向的偏离等所产生的方向正交。即，将连结投影部3与第一拍摄部1的线段投影到载置有测定对象物的平面所生成的线段的像的方向与条纹的图案的宽度方向的偏离等所产生的方向正交。因而，在条纹的图案沿第二方向延伸的拍摄图像中，测定测定对象物的三维形状时的分辨率与条纹的图案沿第一方向延伸的拍摄图像相比变低。
[三维形状测定装置的构成]
图3是表示三维形状测定装置100的构成的图。三维形状测定装置100具有第一拍摄部1、第二拍摄部2、投影部3、存储部5以及控制部4。存储部5包含ROM(Read OnlyMemory)、RAM(Random Access Memory)、硬盘等存储介质。存储部5存储有控制部4所执行的程序。控制部4例如是CPU(Central Processing Unit)，通过执行存储于存储部5的程序，作为投影控制部41、拍摄控制部42、坐标确定部43、线确定部44、关系确定部45、判定部46以及形状测定部47发挥功能。
投影控制部41生成将包含用于确定投影坐标的图案的投影图像向测定对象物投影所用的控制信号，并将生成的控制信号向投影部3输入。例如投影控制部41利用投影部3向测定对象物投影包含沿相同的方向延伸的条纹的图案的多个投影图像。投影控制部41也可以将图案所含的条纹的延伸的方向相互不同的多个投影图像向测定对象物投影。以下，参照图4以及图5，对投影控制部41所投影的条纹的图案的例子进行说明。
[条纹的图案的种类]
投影控制部41将包含二进制的条纹的图案的投影图像向测定对象物投影。图4是表示投影控制部41所投影的投影图像的种类的例子的图。图4中的黑色的区域表示投影部3未投影光的非投影区域，白色的区域表示投影部3投影光的光投影区域。
图4中的(a)是未向测定对象物的整体投影光的基准图案(全黑图案)。图4中的(b)是向测定对象物的整体投影光的基准图案(全白图案)。图4中的(c)至图4中的(f)示出了由光投影区域以及非投影区域构成、针对每个投影图像而使宽度不同的条纹沿同一方向排列的二进制的条纹的图案。虽然之后详细叙述，图4所示的条纹的图案与格雷码对应，为了确定表示拍摄图像的拍摄像素所对应的投影图像的投影像素的位置的投影坐标而使用。
投影控制部41将包含具有正弦波状的亮度分布的灰度条纹的图案的投影图像向测定对象物投影。图5中的(a)～(d)示出具有正弦波状的亮度分布的灰度条纹的图案的例子。图4中的(c)～(f)的二进制的条纹的图案是由黑色的区域与白色的区域构成的二进制图像，相对于此，在图5中的(a)～(d)的灰度的条纹的图案中，从白色的区域到黑色的区域的浓淡沿条纹的宽度方向以正弦波状变化。图5中的(a)～(d)的灰度的条纹的图案的条纹的间隔是一定的，这些灰度的条纹的图案的条纹的空间频率例如是图4中的(f)的二进制的条纹的图案的4倍。
图5中的(a)～(d)的灰度的条纹的图案除了表示亮度分布的正弦波的相位分别相差90度这一点之外，示出相互相同的亮度分布。在本实施方式中，投影控制部41投影图4中的(a)以及(b)所示的2张基准图案、图4中的(c)～(f)所示的4张二进制的条纹的图案以及图5中的(a)～(d)所示的4张灰度的条纹的图案的合计10张投影图像。图5所示的灰度的条纹的图案是为了与图4所示的条纹的图案一同确定投影坐标而使用的。另外，投影控制部41也可以将包含条纹的宽度根据条纹延伸的方向而不同的图案的多个投影图像向测定对象物投影。
如上述那样，图4中的(c)至图4中的(f)所示的二进制的条纹的图案与格雷码对应。图6示出图4中的(c)～图4中的(f)所示的二进制的条纹的图案所对应的格雷码的例子。使格雷码中的0与非投影区域对应，使1与光投影区域对应，从而生成图4中的(c)至图4中的(f)所示的二进制的条纹的图案。
图4以及图6中的x方向的各位置由组合了各格雷码对应的位置的0或者1的数字的代码值表示。图6中的位置0与代码值“0000”对应，位置1与代码值“0001”对应，位置15与代码值“1000”对应。
图3的拍摄控制部42生成利用第一拍摄部1拍摄投影到测定对象物的投影图像而得的第一拍摄图像。拍摄控制部42生成利用第二拍摄部2拍摄投影到测定对象物的投影图像而得的第二拍摄图像。
[投影坐标的确定]
坐标确定部43具备第一坐标确定部431和第二坐标确定部432。第一坐标确定部431基于第一拍摄图像所含的图案，确定第一拍摄图像的第一拍摄像素所对应的投影坐标。第一坐标确定部431通过分析第一拍摄图像所含的图案中的浓淡的变化，确定表示第一拍摄图像所含的拍摄像素所对应的投影像素的位置的投影坐标。
第一坐标确定部431针对每个像素计算出投影了图4中的(a)所示的全黑图案的情况下的亮度值和投影了图4中的(b)所示的全白图案的情况下的亮度值的平均值作为中间值。同样，第一坐标确定部431对于将图4中的(c)～图4中的(f)的二进制的条纹的图案投影到测定对象物的状态的拍摄图像，将4张拍摄图像中的各拍摄像素的亮度值与分别对应的中间值进行比较，从而确定各拍摄像素的代码值。第一坐标确定部431通过确定代码值，能够确定在各拍摄像素的位置显现出朝向哪个位置投影的二进制的条纹。第一坐标确定部431确定出拍摄图像所含的各拍摄像素包含在图6所示的位置0至位置15的哪个位置。
而且，第一坐标确定部431确定出将具有正弦波状的亮度分布的灰度的条纹的图案投影到测定对象物的时生成的拍摄图像中的拍摄像素所对应的正弦波的相位作为投影坐标。投影图像的灰度的条纹的图案具有周期性，因此在投影图像中，多个投影像素具有相同的投影坐标。以下，也将投影图像之中具有周期性的投影坐标称作相对投影坐标。另一方面，也将投影图像之中唯一地确定的投影坐标特别地称作绝对投影坐标。
图7是表示绝对投影坐标与相对投影坐标的关系的图。图7的纵轴表示投影坐标。图7的横轴表示投影图像所含的条纹的宽度方向上的投影像素的位置。宽度方向是与条纹的延伸的方向正交的方向。如图7的实线所示，相对投影坐标具有周期性。相对投影坐标针对具有正弦波状的亮度分布的灰度的条纹的图案所重复的每一个周期示出相同的值。另一方面，如图7的虚线所示，绝对投影坐标在投影图像中被唯一地确定。
第一坐标确定部431通过分析灰度的条纹的图案的浓淡，确定出拍摄像素所对应的相对投影坐标。第一坐标确定部431基于二进制的条纹的图案所示的格雷码，确定出该拍摄像素与位置0至位置15的哪个位置对应，从而确定出拍摄像素所对应的绝对投影坐标。将k(＝1，2)设为表示纵向以及横向的索引。此时，投影图像所含的投影像素的纵向以及横向的成分(ip，jp)相对于各个拍摄像素(i，j)如以下那样表现。
【式1】
Figure BDA0002455182490000131
IAP，k(i，j){其中，k＝1，2}是在投影了具有正弦波状的亮度分布的纵向的条纹的图案以及横向的条纹的图案的状态下拍摄到的拍摄图像中的绝对投影坐标。pk是投影图像的条纹的重复的一个周期所对应的像素数。
向测定对象物的某一测定点照射光的投影像素和接收来自该测定点的光的拍摄像素的对应关系即使在变更向测定对象物投影的投影图像的图案时也是一定的。然而，在产生了多重反射等的情况下，在变更投影控制部41投影的投影图像时，由于多重反射光的强度等变化，第一坐标确定部431有时确定出不同的投影坐标作为相同的拍摄像素所对应的投影坐标。
第一坐标确定部431在变更了投影控制部41投影的投影图像的情况下，调查拍摄像素所对应的投影坐是否标改变。第一坐标确定部431在投影控制部41投影了条纹延伸的方向不同的多个投影图像的情况下，针对条纹延伸的方向不同的每个投影图像，分别确定第一拍摄像素所对应的投影坐标。
第二坐标确定部432与第一坐标确定部431相同，基于第二拍摄图像所含的图案，确定第二拍摄图像的第二拍摄像素所对应的投影坐标。第二坐标确定部432在投影控制部41投影了条纹延伸的方向不同的多个投影图像的情况下，针对条纹延伸的方向不同的每个投影图像，分别确定第二拍摄像素所对应的投影坐标。
[核线的确定]
线确定部44基于第一拍摄部1与第二拍摄部2的配置，确定第一拍摄像素所对应的第二拍摄图像的第一核线。图8表示利用第一拍摄部1以及第二拍摄部2拍摄测定对象物的情况下的例子。
测定点MP所对应的图8的左侧的第一拍摄部1的图像平面中的第一拍摄像素A和相同的测定点MP所对应的右侧的第二拍摄部2的图像平面中的第二拍摄像素B具有基于两个拍摄部的配置的一定的关系。将第一拍摄部1的光学中心设为O1，将从第一拍摄部的光学中心O1通过第一拍摄像素A而向测定点MP延伸的直线投影到右侧的第二拍摄部2的图像平面的直线设为第一核线EBA。
第二拍摄像素B由于几何学上的约束，位于第一核线EBA上的任一个位置。线确定部44读出预先存储于存储部5的表示第一拍摄部1与第二拍摄部2的配置的配置信息，基于读出的配置信息，确定第一拍摄像素A所对应的第二拍摄图像的第一核线EBA。线确定部44使确定的第一核线EBA与第一拍摄像素A建立关联地存储于存储部5。例如线确定部44使第一核线EBA上的各第二拍摄像素的纵向成分的坐标值与横向成分的坐标值和第一拍摄像素A建立关联地存储于存储部5。
线确定部44基于第二拍摄部2与投影部3的配置，确定第二拍摄像素所对应的投影图像的第二核线。图9表示第二拍摄像素B所对应的投影图像的第二核线ECB的例子。在图9的情况下，如果将投影部3视为光线的行进朝向成为相反方向的拍摄部，则第二拍摄部2的第二拍摄像素B与投影部3的投影像素C能够具有与图8相同的对应关系。线确定部44读出预先存储于存储部5的表示第二拍摄部2与投影部3的配置的配置信息，基于读出的配置信息，确定第二拍摄像素B所对应的投影图像的第二核线ECB。
在从投影像素C发出的光线在测定对象物的测定点MP仅反射一次而在第二拍摄像素B中被接收的情况下，投影像素C由于几何学上的约束，位于第二核线ECB上的任一个位置。线确定部44使确定出的第二核线ECB与第二拍摄像素B建立关联地存储于存储部5。例如线确定部44使第二核线ECB上的各投影像素的纵向成分的坐标值与横向成分的坐标值和第二拍摄像素B建立关联地存储于存储部5。
线确定部44基于第一拍摄部1与投影部3的配置，确定第一拍摄像素所对应的投影图像的第三核线(未图示)。第一拍摄部的第一拍摄像素A与投影部3的投影像素C具有与图8相同的对应关系。线确定部44读出预先存储于存储部5的表示第一拍摄部1与投影部3的配置的配置信息，基于读出的配置信息，确定第一拍摄像素A所对应的投影图像的第三核线。
在从投影像素C的发光元件发出的光线在测定对象物被反射一次而在第一拍摄像素A的受光元件中被接收的情况下，投影像素C由于几何学上的约束，位于第三核线上的任一个位置。线确定部44使确定出的第三核线与第一拍摄像素A建立关联地存储于存储部5。例如线确定部44将第三核线上的各投影像素的纵向成分的坐标值与横向成分的坐标值和第一拍摄像素A建立关联地存储于存储部5。
[第一拍摄像素与第二拍摄像素的组合的确定]
关系确定部45确定测定对象物的相同的测定点MP所对应的第一拍摄像素与第二拍摄像素的组合。关系确定部45从存储部5取得与第一拍摄像素A相关联的第二拍摄图像的第一核线EBA。
若将第一拍摄像素A所对应的绝对投影坐标设为I1AP(iA，jA)，则在该第一核线EBA上存在与第一拍摄像素A相同的绝对投影坐标I1AP(iA，jA)所对应的第二拍摄像素。该第二拍摄像素在第二拍摄图像中对应于第一拍摄像素A与测定对象物的同一测定点MP。关系确定部45如图8所示，在第二拍摄图像中选择位于第一核线EBA上、并且和与第一拍摄像素A相同的绝对投影坐标I1AP(iA，jA)对应的第二拍摄像素B。关系确定部45将第一拍摄像素A和选择出的第二拍摄像素B的组合确定为同一测定点MP所对应的组合。
关系确定部45同样在第一拍摄图像所含的多个第一拍摄像素和第二拍摄图像所含的多个第二拍摄像素之间，分别确定测定对象物的共同的测定点所对应的第一拍摄像素与第二拍摄像素的多个组合。关系确定部45将确定出的组合向判定部46输出。
[多重反射]
判定部46判定第一拍摄像素或者第二拍摄像素的至少任一个是否是因多重反射等引起的不良像素。图10中的(a)以及图10中的(b)是用于说明多重反射的图。在测定对象物具有光泽并且测定对象物呈复杂形状的情况下，投影部3发出的光有时在测定对象物的表面重复多次反射然后向第一拍摄部1或者第二拍摄部2入射。在该情况下，如图10中的(a)所示，投影部3发出的光经由两个以上的路径向第一拍摄部1的拍摄元件12的一个拍摄像素入射。
在图10中的(a)的例子中，向拍摄元件12入射的光中存在从投影部3发出的光在测定对象面扩散反射而直接入射到第一拍摄部1或者第二拍摄部2的直接反射光、以及从投影部3发出的光多重反射然后入射到第一拍摄部1或者第二拍摄部2的多重反射光。其结果，在第一拍摄部1或者第二拍摄部2所拍摄的拍摄图像中，有在没有多重反射光的情况下为对应于黑色的亮度值的像素成为与白色对应的亮度值的情况。特别是，由于测定对象物包含容易产生漫反射的金属等，容易产生多重反射。
图10中的(b)是表示受到了多重反射的影响的拍摄图像的例子的图。图10中的(b)与图1中的(c)对应，但斜线所示的部分由于多重反射光的影响，成为与图1中的(c)中的亮度不同的亮度。另外，由于多重反射光的影响，灰度的条纹的图案的亮度分布所示的正弦波形有时产生畸变等。
[是否是不良像素的判定]
判定部46在关系确定部45确定出的第一拍摄像素以及第二拍摄像素的组合中，分别确定具有该第一拍摄像素所对应的投影坐标的投影图像的投影像素和具有该第二拍摄像素所对应的投影坐标的投影图像的投影像素。判定部46基于确定出的两个投影像素之间的距离，判定第一拍摄像素或者第二拍摄像素的至少任一个是否是不良像素。
判定部46如以下所示，在投影控制部41仅投影包含沿相同的方向延伸的条纹的图案的多个投影图像的情况下、以及投影控制部41投影包含条纹的延伸方向相互不同的条纹图案的多个投影图像的情况下，通过不同的方法，判定第一拍摄像素或者第二拍摄像素的至少任一个是否是不良像素。
[单一方向条纹测定]
图11是表示投影控制部41仅投影了包含沿相同的方向延伸的条纹的图案的多个投影图像的情况下由判定部46判定不良像素的方法的图。判定部46在关系确定部45所确定的第一拍摄像素A以及第二拍摄像素B的组合中，确定出具有该第一拍摄像素A所对应的投影坐标((iC，jCA1))的投影图像的投影像素。该投影像素的横向成分iC如以下那样表现。
【式2】
Figure BDA0002455182490000161
式中，p是投影图像中的条纹的重复的一个周期所对应的像素数。如图11所示，在第一拍摄像素A所对应的第三核线ECA上存在与确定出的投影像素的水平成分iC一致的投影像素CA。判定部46确定出该投影像素CA的纵向成分jCA1。
接下来，判定部46在第一拍摄像素A以及第二拍摄像素B的组合中，确定具有该第二拍摄像素B所对应的投影坐标(iC，jCB1)的投影像素。该投影像素的横向成分ic如以下那样表现，与投影像素CA相同。
【式3】
Figure BDA0002455182490000171
如图11所示，在与第二拍摄像素B相关联的第二核线ECB上，存在与确定出的投影像素的水平成分iC一致的投影像素CB。判定部46确定该投影像素CB的纵向成分jCB1。如果第一拍摄像素A以及第二拍摄像素B与测定对象物的相同的测定点对应，则投影像素CA以及投影像素CB大致一致。因此，判定部46能够基于投影像素CA以及投影像素CB的距离，判定第一拍摄像素A或者第二拍摄像素B的至少任一个是否是不良像素。
表示投影像素CA以及投影像素CB的距离的评价值E1如以下那样表现。
【式4】
Figure BDA0002455182490000172
判定部46判定该评价值E1是否比第一阈值大。第一阈值例如根据三维形状测定装置100所要求的测定精度而确定。
判定部46在评价值E1比第一阈值大的情况下，判定为第一拍摄像素A或者第二拍摄像素B的至少任一方是不良像素。判定部46在评价值E1为第一阈值以下的情况下，判定为第一拍摄像素A以及第二拍摄像素B的任一个都不是不良像素。判定部46针对关系确定部45确定出的第一拍摄像素以及第二拍摄像素的多个组合的每一个求出评价值E1，判定求出的评价值E1是否比第一阈值大。判定部46对于多个组合重复判定。
通过这种构成，判定部46在关系确定部45所确定的第一拍摄像素与第二拍摄像素的组合中，判定第一拍摄像素A以及第二拍摄像素B是否与投影图像的大致相同的投影像素对应，从而能够判定第一拍摄像素A或者第二拍摄像素B的至少任一个是否是受到了多重反射光等的影响的不良像素。因而，判定部46能够抑制多重反射光等所引起的测定对象物的形状的测定精度降低。
另外，图11所示的投影像素CA需要与位于第二核线ECB与第三核线ECA的交点的投影像素C大致一致。因此，判定部46也可以基于确定出的投影像素CA与投影像素C的距离，判定第一拍摄像素A或者第二拍摄像素B的至少任一个是否是不良像素。同样，投影像素CB也需要与投影像素C大致一致。判定部46也可以基于确定出的投影像素CB与投影像素C的距离，判定第一拍摄像素A或者第二拍摄像素B的至少任一个是否是不良像素。
[形状的测定]
通过利用三角测量法的原理，形状测定部47使用判定为第一拍摄像素以及第二拍摄像素不为不良像素的组合所对应的投影坐标、以及该组合所对应的第二拍摄像素与其所对应的投影坐标的至少任一方，测定出测定对象物的形状。形状测定部47取得判定部46判定为关系确定部45确定的第一拍摄像素和第二拍摄像素的组合中，第一拍摄像素以及第二拍摄像素不为不良像素的组合。
形状测定部47在取得的第一拍摄像素A与第二拍摄像素的组合中利用三角测量法的原理，从而求出第一拍摄像素A与第二拍摄像素所对应的共同的测定点的三维位置。形状测定部47通过在关系确定部45所确定的多个组合中重复相同的处理，测定出测定对象物的三维形状。形状测定部47将不良像素排除而测定三维形状，因此能够抑制由于多重反射等的影响导致三维形状的测定精度降低。
另外，形状测定部47也可以使用判定部46判定为第一拍摄像素以及第二拍摄像素都不是不良像素的组合所对应的第一拍摄像素和第一拍摄像素所对应的投影坐标，利用三角测量法的原理，从而求出测定点的三维位置。形状测定部47通过对判定部判定为第一拍摄像素以及第二拍摄像素不为不良像素的多个组合所对应的多个第一拍摄像素重复相同的处理，测定出测定对象物的三维形状。同样，形状测定部47也可以使用判定部46判定为第一拍摄像素以及第二拍摄像素不是不良像素的组合所对应的第二拍摄像素和第二拍摄像素所对应的投影坐标来测定测定对象物的三维形状。
[不良像素的判定的变形例]
关系确定部45并不限定于确定测定对象物的相同的测定点MP所对应的第一拍摄像素与第二拍摄像素的组合的例子。例如也可以是关系确定部45确定第一拍摄像素和发出第一拍摄像素所接收的光的投影像素的组合。
线确定部44与图8以及图9相同，基于第二拍摄部2与投影部3的配置，确定第二拍摄图像相对于投影像素C的第四核线EBC。线确定部44读出预先存储于存储部5的表示第二拍摄部2与投影部3的配置的配置信息，基于读出的配置信息，确定投影像素C所对应的第二拍摄图像的第四核线EBC。线确定部44使确定的第四核线EBC与投影像素C建立关联地存储于存储部5。例如线确定部44也可以使第四核线EBC上的各第二拍摄像素的纵向成分的坐标值和相同的第二拍摄像素的横向成分的坐标值和投影像素C建立关联地存储于存储部5。
关系确定部45确定第一拍摄像素和发出第一拍摄像素所接收的光的投影像素的组合。关系确定部45从存储部5取得与第一拍摄像素A相关联的投影图像的第三核线。若将第一拍摄像素A所对应的绝对投影坐标设为I1AP(iA，jA)，则在第三核线上存在与第一拍摄像素A相同的绝对投影坐标I1AP(iA，jA)所对应的投影像素。该投影像素相当于发出第一拍摄像素A所接收的光的投影像素。关系确定部45在与第一拍摄像素A相关联的第三核线上所在的投影像素中选择具有与第一拍摄像素相同的绝对投影坐标的投影像素。关系确定部45确定第一拍摄像素A和选择出的投影像素的组合。
判定部46在关系确定部45确定出第一拍摄像素A与投影像素C的组合的情况下，在该组合中确定与第一拍摄像素A相同的投影坐标((iC，jCA1))所对应的第二拍摄像素。图12是表示判定部46对拍摄像素是否是不良像素的判定方法的图。如图12所示，在与第一拍摄像素A相关联的第二拍摄图像的第一核线EBA上存在与第一拍摄像素A相同的投影坐标所对应的主第二拍摄像素BA。判定部46确定该主第二拍摄像素BA。
接下来，判定部46在关系确定部45确定的第一拍摄像素A以及投影像素C的组合中确定具有投影像素C所对应的投影坐标的第二拍摄图像的第二拍摄像素。在投影像素C所对应的第二拍摄图像的第四核线EBC上存在与投影像素C相同的投影坐标所对应的副第二拍摄像素BC。判定部46确定该副第二拍摄像素BC。
在从投影像素C发出的光在测定对象物仅反射一次而在第一拍摄像素A以及第二拍摄像素B中被接收的情况下，主第二拍摄像素BA以及副第二拍摄像素BC大致一致。因此，判定部46基于主第二拍摄像素BA和副第二拍摄像素素BC之间的距离，判定第一拍摄像素A、主第二拍摄像素BA或者副第二拍摄像素BC的至少任一个是否为不良像素。判定部46判定主第二拍摄像素BA与副第二拍摄像素BC之间的距离是否比第二阈值大。第二阈值根据三维形状测定装置100所要求的测定精度而确定。判定部46在主第二拍摄像素BA与副第二拍摄像素BC之间的距离比第二阈值大的情况下，判定为第一拍摄像素A、主第二拍摄像素BA或者副第二拍摄像素BC的至少任一个是不良像素。判定部46在主第二拍摄像素BA与副第二拍摄像素BC之间的距离为第二阈值以下的情况下，判定为第一拍摄像素A、主第二拍摄像素BA和副第二拍摄像素素BC不是不良像素。形状测定部47使用判定部46判定为第一拍摄像素A、主第二拍摄像素BA以及副第二拍摄像素BC不为不良像素的组合所对应的第一拍摄像素A、主第二拍摄像素BA或者副第二拍摄像素素BC的至少任一方，对测定对象物的形状进行测定
[利用纵向的条纹以及横向的条纹进行的不良像素的判定]
图13中的(a)以及图13中的(b)是表示投影图像的条纹的延伸方向与多重反射光的关系的图。多重反射由于从投影部3发出的光在测定对象物弯曲的部位的周边重复多次反射而引起。如图13中的(a)所示，有如下情况：在多重反射中最初在光投影区域反射的光接着在非投影区域反射之后，向第一拍摄部1或者第二拍摄部2入射。在该情况下，在第一拍摄部1或者第二拍摄部2生成的拍摄图像中，由于多重反射光，非投影区域的亮度看起来较高，因此存在坐标确定部43错误确定拍摄像素的投影坐标的可能性。
另一方面，如图13中的(b)所示，在测定对象物弯曲的部位延伸的朝向与条纹延伸的朝向垂直的情况下，在多重反射中最初在光投影区域反射的光接着也在光投影区域反射的可能性相对变高。在图13中的(b)所示的状态下，从投影部3朝向光投影区域照射的光在另一光投影区域中再次反射之后，向第一拍摄部1或者第二拍摄部2入射。在该情况下，多重反射光给光投影区域以及非投影区域的亮度带来的影响相对较小。因而，判定部46在投影控制部41将包含沿不同的方向延伸的条纹的图案的多个投影图像投影到测定对象物的情况下，使用在投影条纹的延伸方向不同的多个条纹图案的图像的期间拍摄到的拍摄图像判定是否是不良像素，从而能够更加减小产生不良像素的看漏的可能性。
判定部46在投影控制部41将包含沿纵向以及横向延伸的条纹的图案的多个投影图像投影到测定对象物的情况下，分别使用基于沿纵向延伸的条纹的图案的投影坐标和基于沿横向延伸的条纹的图案的投影坐标，确定具有第一拍摄像素A所对应的投影坐标的投影像素。更详细地说，判定部46取得关系确定部45确定出的第一拍摄像素A以及第二拍摄像素B的组合。关系确定部45确定出的组合如前述那样，是第一拍摄像素A和第二拍摄图像中位于第一拍摄像素A所对应的第一核线EBA上(图8)，并且与第一拍摄像素A(iA，jA)相同的绝对投影坐标I1AP(iA，jA)所对应的第二拍摄像素B(iB，jB)的组合。
判定部46在关系确定部45确定出的第一拍摄像素A以及第二拍摄像素B的组合中，确定根据第一坐标确定部确定出的第一拍摄像素A所对应的绝对投影坐标(I1AP，1中的(iA，jA)，I1AP，2中的(iA，jA))求出的投影像素CA。I1AP，1中的(iA，jA)表示绝对投影坐标的横向成分，I1AP，2中的(iA，jA)表示绝对投影坐标的纵向成分。第一拍摄像素A所对应的绝对投影坐标具有横向成分以及纵向成分的两个方向成分，因此判定部46能够如以下那样求出具有与第一拍摄像素A相同的绝对投影坐标的投影像素(iC，jCA2)。
【式5】
Figure BDA0002455182490000211
式中，p1以及p2分别是沿纵向与横向延伸的条纹重复的一个周期所对应的像素数。
在关系确定部45确定出的第一拍摄像素A以及第二拍摄像素B的组合中，第一拍摄像素A所对应的绝对投影坐标的横向成分I1AP，1中的(iA，jA)和第二拍摄像素B所对应的绝对投影坐标的横向成分I2AP，1中的(iA，jA)的值相同。判定部46分别确定第二拍摄像素B(iB，jB)所对应的横向的灰度的条纹图案中的相位和横向的二进制的条纹图案的代码值，从而确定第二拍摄像素B(iB，jB)所对应的绝对投影坐标的纵向成分I2AP，2中的(iB，jB)。判定部46能够如以下那样求出具有与第二拍摄像素B相同的绝对投影坐标的投影像素(iC，jCB2)。
【式6】
Figure BDA0002455182490000212
在第一拍摄像素A与第二拍摄像素B与测定对象物的相同的测定点对应的情况下，需要使投影像素(iC，jCA2)与投影像素(iC，jCB2)大致一致。即，判定部46能够基于两个投影像素的距离判定第一拍摄像素A或者第二拍摄像素B的至少任一个是否是不良像素。
表示投影像素(iC，jCA2)与投影像素(iC，jCB2)的距离的评价值E2如以下那样表现。
【式7】
Figure BDA0002455182490000221
实质上，判定部46能够使用I1AP，2中的(iA，jA)和I2AP，2中的(iB，jB)计算评价值E2。判定部46判定该评价值E2是否比第三阈值大。第三阈值根据三维形状测定装置100所要求的测定精度而确定。判定部46在评价值E2比第三阈值大的情况下，判定为第一拍摄像素A以及第二拍摄像素B的至少一方是不良像素。判定部46在评价值E2是第三阈值以下的情况下，判定为第一拍摄像素A以及第二拍摄像素B都不是不良像素。
[在横向上使用相对投影坐标的不良像素的判定]
判定部46也可以使用横向的绝对投影坐标和纵向的相对投影坐标来判定拍摄像素是否是不良像素。在关系确定部45确定出的第一拍摄像素A与第二拍摄像素B的组合中，第一拍摄像素A的投影坐标设为(I1AP，1中的(iA，jA)，I1RP，2中的(iA，jA))。I1AP，1中的(iA，jA)是横向的绝对投影坐标，I1RP，2中的(iA，jA)是纵向的相对投影坐标。
另外，在关系确定部45确定出的第一拍摄像素A与第二拍摄像素B的组合中，第二拍摄像素B的投影坐标是(I2AP，1中的(iB，jB)，I2RP，2中的(iB，jB))。I2AP，1中的(iB，jB)是横向的绝对投影坐标，I2RP，2中的(iB，jB)是纵向的相对投影坐标。具有与第一拍摄像素A相同的投影坐标的投影像素CA的横向成分iC以及纵向成分jCA3如以下那样表现。
【式8】
Figure BDA0002455182490000222
具有与第二拍摄像素B相同的投影坐标的投影像素CB的横向成分iC以及纵向成分jCB3如以下那样表现。在这种情况下，投影像素CB的横向成分ic也与投影像素CA的横向成分ic相同。
【式9】
Figure BDA0002455182490000231
式中，q2是未知数，但在第一拍摄像素A与第二拍摄像素B中，q2视为共同。表示投影像素(iC，jCA3)与投影像素(iC，jCB3)的距离的评价值E3如以下那样表现。
【式10】
Figure BDA0002455182490000232
判定部46判定该评价值E3是否比第四阈值大。第四阈值根据三维形状测定装置100所要求的测定精度而确定。判定部46在评价值E3比第四阈值大的情况下，判定为第一拍摄像素A以及第二拍摄像素B的至少一方是不良像素。判定部46在评价值E3是第四阈值以下的情况下，判定为第一拍摄像素A以及第二拍摄像素B都不是不良像素。
在相对投影坐标中，如图7那样取值的范围被限制为2π并具有周期性。此时，在值急剧地变化2π的位置，存在因对应的像素的稍微不同而评价值E3的误差变大的可能性。因此，判定部46也可以除了评价值E3之外也计算如下的评价值E3a与评价值E3B，并将这些三个评价值的最小值作为新的评价值使用于判定也可以。评价值E3A以及评价值E3B如以下那样表现。
【式11】
Figure BDA0002455182490000233
【式12】
E3B＝√(jCA3-jCB3-p2)2
[利用三个方向以上的条纹进行的不良像素的判定]
判定部46在投影控制部41将包含沿三个方向以上的不同方向延伸的条纹的图案的多个投影图像投影到测定对象物的情况下，针对包含沿不同的方向延伸的条纹的图案的每一个投影图像，使用第一坐标确定部431所确定的投影坐标，确定具有第一拍摄像素A所对应的投影坐标的投影像素。
判定部46在第一拍摄像素A以及第二拍摄像素B的组合中，使用第一坐标确定部431所确定的第一拍摄像素A所对应的投影坐标(I1AP，1中的(iA，jA)、I1RP，2中的(iA，jA)、I1RP，3中的(iA，jA)、···、I1RP，M(iA，jA))，确定具有与第一拍摄像素A相同的投影坐标的投影像素。第一拍摄像素A所对应的投影坐标的第一方向的成分I1AP，1中的(iA，jA)是绝对投影坐标，第一拍摄像素A所对应的投影坐标的第二方向～第M方向的成分I1RP，2中的(iA，jA)、I1RP，3中的(iA，jA)、···、I1RP，M(iA，jA)都是相对投影坐标。
判定部46在第一拍摄像素A以及第二拍摄像素B的组合中使用第二坐标确定部432所确定的第二拍摄像素B所对应的投影坐标(I2AP，1中的(iB，jB)、I2RP，2中的(iB，jB)、I2RP，3中的(iB，jB)、···、I2RP，M(iB，jB))，确定具有与第二拍摄像素B相同的投影坐标的投影像素。第二拍摄像素B所对应的投影坐标的第一方向的成分I2AP，1中的(iB，jB)是绝对投影坐标，第二拍摄像素B所对应的投影坐标的第二方向～第M方向的成分I2RP，2中的(iB，jB)、I2RP，3中的(iB，jB)、···、I2RP，M(iB，jB)都是相对投影坐标。
判定部46求出评价具有第一拍摄像素A所对应的投影坐标的投影像素、以及具有第二拍摄像素B所对应的投影坐标的投影像素的偏离的评价值E4。
评价值E4如以下那样表现。
【式13】
Figure BDA0002455182490000241
判定部46判定该评价值E4是否比第五阈值大。第五阈值根据三维形状测定装置100所要求的测定精度而确定。判定部46在评价值E4比第五阈值大的情况下，判定为第一拍摄像素A以及第二拍摄像素B的至少任一方是不良像素。判定部46在评价值E4为第五阈值以下的情况下，判定为第一拍摄像素A以及第二拍摄像素B都不是不良像素。
[基于比较值的最大值的不良像素的判定]
另外，判定部46也可以在关系确定部45所确定的第一拍摄像素A与第二拍摄像素B的组合中，针对条纹的延伸方向相互不同的多个投影图像的每一个求出第一拍摄像素A所对应的投影坐标和第二拍摄像素B所对应的投影坐标的比较值。比较值例如是第一拍摄像素A所对应的投影坐标和第二拍摄像素B所对应的投影坐标的差分值，但也可以是第一拍摄像素A所对应的投影坐标和第二拍摄像素B所对应的投影坐标之比的值。
判定部46求出第一拍摄像素A所对应的投影坐标(I1AP，1中的(iA，jA)、I1RP，2中的(iA，jA)、I1RP，3中的(iA，jA)、···、I1RP，M(iA，jA))各自的方向的成分和第二拍摄像素所对应的投影坐标(I2AP，1中的(iB，jB)、I2RP，2中的(iB，jB)、I2RP，3中的(iB，jB)、···、I2RP，M(iB，jB))各自的方向的成分的比较值。
判定部46通过基于所求出的比较值的评价值，判定第一拍摄像素或者该第二拍摄像素的至少一方是否是不良像素。更详细地说，判定部46在求出的比较值((I1AP，1中的(iA，jA)-I2AP，1中的(iB，jB))、(I1RP，2中的(iA，jA)-I2RP，2中的(iB，jB)、(I1RP，3中的(iA，jA)-I2RP，3中的(iB，jB))、···、(I1RP，M(iA，jA)-I2RP，M(iB，jB))中确定成为最大值的方向的成分。
判定部46将确定出的最大值作为评价值E5，判定该评价值E5是否比第六阈值大。第六阈值根据三维形状测定装置100所要求的测定精度而确定。判定部46在评价值E5比第六阈值大的情况下，判定为第一拍摄像素A以及第二拍摄像素B的至少任一方是不良像素。
判定部46在确定出的评价值E5是第六阈值以下的情况下，判定为第一拍摄像素A以及第二拍摄像素B都不是不良像素。判定部46使用不良像素的影响最大的条纹的图案，判定第一拍摄像素与第二拍摄像素的至少任一个是否是不良像素。因此，判定部46能够高精度地抑制不良像素的看漏。
判定部46除此之外，作为比较的方法，也可以使用关于比较值的标准偏差等，将关于其他第一拍摄像素确定的评价值有意变大的第一拍摄像素等判定为不良像素。另外，判定部46也可以使用针对每个条纹方向规定重要性的权重的系数，进行上述的平均值、最大值、标准偏差等计算。例如也可以针对各个条纹方向的每一改变个投影控制部41投影投影图像的数量、条纹周期，并据此使判定部46使用不同的权重的系数计算评价值。
[三维形状测定装置的测定处理]
图14是表示三维形状测定装置100对测定对象物的形状的测定处理的流程图。该处理顺序在操作受理部(未图示)受理了指示测定对象物的形状的测定开始的用户的操作时开始。
首先，投影控制部41利用投影部3将包含用于确定投影坐标的图案的投影图像向测定对象物投影(S101)。接下来，拍摄控制部42生成利用第一拍摄部1拍摄投影到测定对象物的投影图像而得的第一拍摄图像。另外，拍摄控制部42生成利用第二拍摄部2拍摄投影到测定对象物的投影图像而得的第二拍摄图像(S102)。
第一坐标确定部431基于第一拍摄图像所含的图案，确定第一拍摄图像的第一拍摄像素所对应的投影坐标。第二坐标确定部432基于第二拍摄图像所含的图案，确定第二拍摄图像的第二拍摄像素所对应的投影坐标(S103)。关系确定部45从存储部5取得与第一拍摄像素相关联的第二拍摄图像的第一核线(S104)。关系确定部45在位于所取得的第一核线上的第二拍摄像素中选择与第一拍摄像素相同的投影坐标所对应的第二拍摄像素。
关系确定部45将第一拍摄像素和选择出的第二拍摄像素的组合确定为相同的测定点所对应的组合(S105)。关系确定部45同样在第一拍摄图像所含的多个第一拍摄像素和第二拍摄图像所含的多个第二拍摄像素之间确定测定对象物的共用的测定点所对应的多个组合。
判定部46在关系确定部45所确定的第一拍摄像素以及第二拍摄像素的组合中，求出具有第一拍摄像素所对应的投影坐标的投影图像的投影像素和具有第二拍摄像素所对应的投影坐标的投影图像的投影像素之间的距离。判定部46判定表示求出的距离的评价值E1是否比第一阈值大(S106)。
判定部46在评价值E1比第一阈值大的情况下(S106的是)，在关系确定部45所确定的组合中判定为第一拍摄像素以及第二拍摄像素的至少任一方是不良像素(S107)。形状测定部47是否存在判定关系确定部45所确定的其他组合(S108)。
形状测定部47在判定为没有关系确定部45所确定的其他组合的情况下(S108的否)，使用在判定部46判定为第一拍摄像素以及第二拍摄像素不为不良像素的组合所对应的至少一方的像素测定出测定对象物的三维形状(S109)，并结束处理。
判定部46在S106的判定中，在评价值E1为第一阈值以下的情况下(S106的否)，判定为第一拍摄像素以及第二拍摄像素都不是不良像素(S110)，进入S108的处理。形状测定部47在S108的判定中判定为存在关系确定部45所确定的其他组合的情况下，(S108的是)，再次进行S106的处理。
[本发明带来的效果]
判定部46在关系确定部45所确定的第一拍摄像素与第二拍摄像素的组合中，判定第一拍摄像素A以及第二拍摄像素B是否与投影图像的大致相同的投影像素对应，从而能够判定第一拍摄像素A或者第二拍摄像素B的至少任一个是否是受到了多重反射光等的影响的不良像素。因而，判定部46能够抑制因多重反射光等而导致的形状测定部47对测定对象物形状的测定精度降低。
＜第二实施方式＞
[基于多个方向的条纹的组合的再次调整]
在第一实施方式中，说明了关系确定部45使用基于沿单一方向延伸的条纹图案的投影坐标确定测定对象物的相同的测定点所对应的第一拍摄像素与第二拍摄像素的组合的例子。在该情况下，第一拍摄图像中的第一拍摄像素和第二拍摄图像中的第二拍摄像素存在不与测定对象物的相同的位置对应这一情况。因此，第二实施方式中的关系确定部45使用基于沿多个不同的方向延伸的条纹图案的投影坐标，确定第一拍摄像素与第二拍摄像素的组合，从而提高确定测定对象物的相同的测定点所对应的组合的精度。因此，形状测定部47能够提高测定对象物的三维形状的测定精度。
具体而言，在第二实施方式中，关系确定部45使用基于沿多个不同的方向延伸的条纹图案的投影坐标，再次调整测定对象物的相同的测定点所对应的第一拍摄像素与第二拍摄像素的组合。
图15是表示第二实施方式的三维形状测定装置所具备的控制部50的构成的图。控制部50除了图1的控制部4的各模块之外，还具备取得部501、候选坐标确定部502以及评价部503。对与图1的控制部4相同的模块标注相同的附图标记而省略说明。
取得部501首先使用基于沿单一方向延伸的条纹图案的投影坐标取得关系确定部45所确定的第一拍摄像素与第二拍摄像素的组合。取得部501从取得的组合的第二拍摄像素取得规定范围内的多个第二拍摄像素作为对应候选像素。规定范围例如是取得部501取得的组合中的与第二拍摄像素邻接的范围。取得部501也可以取得比像素小的单位的对应候选像素。例如取得部501在像素为1像素单位的情况下，取得副像素单位的多个对应候选像素。副像素表示比1像素单位的像素小的长度。
候选坐标确定部502在投影控制部41投影了条纹的延伸方向不同的多个投影图像的情况下，分别针对条纹的延伸方向不同的每个投影图像确定对应候选像素所对应的投影坐标。候选坐标确定部502分别确定多个对应候选坐标的投影坐标。作为一个例子，候选坐标确定部502分别以副像素单位确定多个对应候选坐标的投影坐标。
评价部503针对条纹的延伸方向相互不同的每个投影图像求出第一拍摄像素所对应的投影坐标和对应候选像素所对应的投影坐标的比较值，针对每个对应候选像素求出基于求出的比较值评价值。比较值例如是第一拍摄像素所对应的投影坐标和对应候选像素所对应的投影坐标的差分值，但也可以是第一拍摄像素所对应的投影坐标和对应候选像素所对应的投影坐标之比的值。图16是表示评价部503对对应候选像素的评价方法的图。
首先，与图11相同，评价部503确定具有与关系确定部45所确定的第一拍摄像素A以及第二拍摄像素B的组合中的第一拍摄像素A相同的投影坐标(I1AP，1中的(iA，jA)、I1RP，2中的(iA，jA)、I1RP，3中的(iA，jA)、···、I1RP，M(iA，jA))的投影像素CA。评价部503确定具有与对应候选像素B1相同的投影坐标(I2AP，1中的(iB1，jiB1)、I2RP，2中的(iB1，jiB1)、I2RP，3中的(iB1，jiB1)···、I2RP，M(iB1，jiB1))的投影像素CB1。评价部503计算基于投影像素CA的投影坐标和投影像素CB1的投影坐标的各方向成分中的比较值的以下的评价值E6。
【式14】
Figure BDA0002455182490000281
评价部503同样确定具有与对应候选像素B2相同的投影坐标的投影像素CB2，计算基于投影像素CA所具有的投影坐标和投影像素CB1所具有的投影坐标的各方向成分中的比较值的评价值E6。另外，评价部503对于具有与关系确定部45所确定的第一拍摄像素A以及第二拍摄像素B的组合中的第二拍摄像素B相同的投影坐标的投影图像CB同样计算出评价值E6。
关系确定部45基于评价部503求出的评价值E6，确定多个对应候选像素中的任一个对应候选像素和取得部501取得的组合中的第一拍摄像素A作为新的组合。例如由关系确定部45选择评价部503计算出的评价值E6为最小的对应候选像素，确定第一拍摄像素A和该对应候选像素的组合作为新的组合。
根据本实施方式，关系确定部45使用基于沿多个方向延伸的条纹的图案的投影坐标，能够更高精度地确定测定对象物的相同的测定点所对应的第一拍摄像素与第二拍摄像素的组合。因此，利用判定部46判定拍摄像素是否是不良像素的精度也会提高，因此形状测定部47对测定对象物的形状的测定精度提高。
[利用除了不良像素之外的投影图像进行的再测定处理]
不良像素大多因多重反射光而产生，因此如果投影除了判定为不良像素的拍摄像素所对应的投影坐标的投影像素之外的投影图像，则能够抑制多重反射光的影响。因此，投影控制部41也可以在判定部46判定为第一拍摄像素或者第二拍摄像素的至少任一个是不良像素的情况下，向测定对象物再次投影将投影图像所含的多个投影像素中的、具有判定部46判定为第一拍摄像素以及第二拍摄像素不是不良像素的组合所对应的第一拍摄像素以及第二拍摄像素中的任一个所对应的投影坐标的投影像素全部去除的投影图像(以下，称作第一选择投影图像)。
不良像素存在受到多重反射光的影响的可能性，因此投影控制部41通过投影除了不良像素之外的第一选择投影图像，能够抑制多重反射光的影响。因此，第一坐标确定部431能够高精度地确定第一拍摄像素所对应的投影坐标。同样，第二坐标确定部432能够高精度地确定第二拍摄像素所对应的投影坐标。
[使用仅包含不良像素的投影图像的再测定处理]
也考虑多重反射带来的不良像素由于同时向测定对象物投影包含多个像素的投影图像而产生。因此，投影控制部41也可以在判定部46判定为第一拍摄像素或者第二拍摄像素的至少任一个是不良像素的情况下，以减少同时投影投影像素的数量为目的，向测定对象物再次投影仅包含投影图像所含的多个投影像素中的、具有由判定部46判定为不良像素的组合所对应的第一拍摄像素或者第二拍摄像素所对应的投影坐标的投影像素的投影图像(以下，称作第二选择投影图像)并再次执行测定。
投影控制部41通过投影第二选择投影图像，与将投影图像全部投影的情况相比，减少同时投影的像素的数量。第一坐标确定部431以及第二坐标确定部432通过再次确定判定部46判定为不良像素的第一拍摄像素或者第二拍摄像素所对应的投影坐标，能够增加测定对象物的三维形状的测定所使用的拍摄像素的数量。
[包含周期不同的条纹图案的多个投影图像的投影]
另外，投影控制部41也可以依次投影包含条纹的周期具有相互不同的正弦波状的亮度分布的条纹的图案的多个投影图像。例如投影控制部41也可以在将包含沿第一方向延伸的条纹图案的投影图像投影到测定对象物之后，将包含沿第一方向延伸并且周期不同的条纹的图案的投影图像追加地向测定对象物投影。
另外，投影控制部41也可以在将包含沿第二方向延伸的条纹的图案的投影图像投影到测定对象物之后，将包含沿第二方向延伸并且周期不同的条纹的图案的投影图像追加地向测定对象物投影。如果将在测定对象物的测定面上仅反射一次而在拍摄像素中接收的光设为直接反射光，则在投影了包含周期不同的条纹的图案的投影图像的情况下，与直接反射光重叠的多重反射光的相位变化。因此，判定部46能够更高精度地检测受到了多重反射光的影响的像素。
另外，在第一以及第二实施方式中，说明了投影控制部41投影包含周期不同的二进制的条纹图案的多个投影图像和包含具有正弦波状的亮度分布的条纹的图案的投影图像的情况下的例子。然而，本发明并不限定于此。例如投影控制部41也可以取代包含二进制的条纹图案的多个投影图像，而将包含具有周期不同的正弦波状的亮度分布的条纹的图案的多个投影图像向测定对象物投影。
[系统的不良情况的检知]
判定部46并不限定于判定拍摄像素是否为不良像素的例子，也可以判定第一拍摄部1、第二拍摄部2以及投影部3中的任一个的配置是否产生了不良情况。判定部46使用针对关系确定部45所确定的第一拍摄像素与第二拍摄像素的多个组合的每一个求出的多个评价值E1的统计量，判定第一拍摄部1、第二拍摄部2以及投影部3中的任一个的配置是否产生了不良情况。
判定部46在求出的多个评价值E1的统计量超过了基准值的情况下，判定为第一拍摄部1、第二拍摄部2以及投影部3中的任一个的配置产生了不良情况。配置的不良情况例如是指第一拍摄部1、第二拍摄部2以及投影部3中的任一个的配置偏离了预先存储于存储部5的配置。
统计量例如是判定部46针对第一拍摄像素以及第二拍摄图像的多个组合的每一个求出的多个评价值E1的平均值。基准值是作为表示关系确定部45所确定的第一拍摄像素与第二拍摄像素的组合的精度因多重反射光以外的重要因素降低的值而确定的值。通过这种构成，判定部46能够判定第一拍摄部1、第二拍摄部2以及投影部3中的任一个的配置是否产生了不良情况。
在第一实施方式以及第二实施方式中，说明了三维形状测定装置100具备第一拍摄部1、第二拍摄部2以及投影部3的情况下的例子。然而，本发明并不限定于此。三维形状测定装置100也可以具备3台以上的拍摄部、2台以上的投影部，以这些拍摄部、投影部的任意的组合为对象，重复第一实施方式以及第二实施方式所记载的一系列的处理。
以上，使用实施方式说明了本发明，但本发明的技术范围不被上述实施方式所记载的范围限定，能够在其主旨的范围内进行各种变形以及变更。例如装置的全部或者一部分可以以任意的单位在功能或者物理上分散·统一地构成。另外，通过多个实施方式的任意组合产生的新的实施方式也包含在本发明的实施方式中。通过组合产生的新的实施方式的效果也同时具有实施方式的效果。

Claims (13)

1.一种三维形状测定装置，其特征在于，具备：
投影部，其将包含用于确定投影坐标的图案的投影图像投影到测定对象物；
第一拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第一拍摄图像；
第二拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第二拍摄图像；
第一坐标确定部，其基于所述第一拍摄图像所含的所述图案，确定所述第一拍摄图像的第一拍摄像素所对应的所述投影坐标；
第二坐标确定部，其基于所述第二拍摄图像所含的所述图案，确定所述第二拍摄图像的第二拍摄像素所对应的所述投影坐标；
线确定部，其基于所述第一拍摄部与所述第二拍摄部的配置，确定所述第一拍摄像素所对应的所述第二拍摄图像的第一核线；
关系确定部，其确定所述第一拍摄像素和对应于与该第一拍摄像素所对应的所述投影坐标相同的所述投影坐标且位于该第一拍摄像素所对应的所述第二拍摄图像的所述第一核线上的所述第二拍摄像素的组合；
判定部，其针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标的所述投影图像的投影像素和具有该第二拍摄像素所对应的所述投影坐标的所述投影图像的投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素；以及
形状测定部，其使用判定为所述第一拍摄像素以及所述第二拍摄像素不为所述不良像素的所述组合所对应的所述第一拍摄像素以及所述第二拍摄像素的至少任一方，测定所述测定对象物的形状。
2.根据权利要求1所述的三维形状测定装置，其特征在于，
所述投影部向所述测定对象物投影包含沿相同的方向延伸的条纹的所述图案的多个所述投影图像，
所述线确定部基于所述第二拍摄部与所述投影部的配置，确定所述第二拍摄像素所对应的所述投影图像的第二核线，并且基于所述第一拍摄部与所述投影部的配置，确定所述第一拍摄像素所对应的所述投影图像的第三核线，
所述判定部针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标且位于该第一拍摄像素所对应的所述投影图像的所述第三核线上的所述投影像素和具有该第二拍摄像素所对应的所述投影坐标且位于该第二拍摄像素所对应的所述投影图像的所述第二核线上的所述投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素。
3.根据权利要求1所述的三维形状测定装置，其特征在于，
所述投影部向所述测定对象物投影包含沿相同的方向延伸的条纹的所述图案的多个所述投影图像，
所述线确定部基于所述第二拍摄部与所述投影部的配置，确定所述第二拍摄像素所对应的所述投影图像的第二核线，并且基于所述第一拍摄部与所述投影部的配置，确定所述第一拍摄像素所对应的所述投影图像的第三核线，
所述判定部针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标且位于该第一拍摄像素所对应的所述投影图像的所述第三核线上的所述投影像素和位于所述第二核线以及所述第三核线的交点的所述投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素。
4.根据权利要求1所述的三维形状测定装置，其特征在于，
所述投影部向所述测定对象物投影包含条纹的所述图案、并且所述图案所含的该条纹的延伸的方向相互不同的多个投影图像。
5.根据权利要求4所述的三维形状测定装置，其特征在于，
所述第一坐标确定部针对条纹的延伸的方向相互不同的所述多个投影图像的每一个，分别确定所述第一拍摄像素所对应的所述投影坐标，
所述第二坐标确定部针对条纹的延伸的方向相互不同的所述多个投影图像的每一个，分别确定所述第二拍摄像素所对应的所述投影坐标，
所述判定部在所述关系确定部所确定的所述第一拍摄像素与所述第二拍摄像素的所述组合中，针对条纹的延伸的方向相互不同的所述多个投影图像的每一个投影图像，求出该第一拍摄像素所对应的所述投影坐标与该第二拍摄像素所对应的所述投影坐标的比较值，通过基于求出的所述比较值的评价值，判定该第一拍摄像素或者该第二拍摄像素的至少一方是否是不良像素。
6.根据权利要求4或5所述的三维形状测定装置，其特征在于，
所述第一坐标确定部针对条纹的延伸的方向相互不同的所述多个投影图像的每一个投影图像，确定所述第一拍摄像素所对应的所述投影坐标，
所述三维形状测定装置还具备：
取得部，其取得所述关系确定部所确定的所述第一拍摄像素以及所述第二拍摄像素的所述组合，在取得的该组合中，从该第二拍摄像素取得规定范围内的多个所述第二拍摄像素作为对应候选像素；
候选坐标确定部，其针对条纹的延伸的方向相互不同的所述投影图像的每一个投影图像，分别确定所述多个对应候选像素所对应的所述投影坐标；以及
评价部，其针对条纹的延伸方向相互不同的所述投影图像的每一个投影图像，求出所述第一拍摄像素所对应的所述投影坐标和所述对应候选像素所对应的所述投影坐标的比较值，针对所述对应候选像素的每一个求出基于针对每个所述投影图像求出的多个所述比较值的评价值，
所述关系确定部基于所述评价部求出的所述评价值，确定所述多个对应候选像素中的任一个所述对应候选像素和所述取得部所取得的组合中的所述第一拍摄像素作为新的组合。
7.根据权利要求1至5中任一项所述的三维形状测定装置，其特征在于，
所述关系确定部在所述第一拍摄图像所含的多个所述第一拍摄像素和所述第二拍摄图像所含的多个所述第二拍摄像素之间确定多个所述组合，
所述判定部在所述关系确定部所确定的所述第一拍摄像素以及所述第二拍摄图像的所述组合中，求出表示具有该第一拍摄像素所对应的所述投影坐标的所述投影图像的投影像素和具有该第二拍摄像素所对应的所述投影坐标的所述投影图像的投影像素的距离的评价值，针对所述多个组合的每一个求出该评价值，在求出的多个所述评价值的统计量超过了基准值的情况下，判定为所述第一拍摄部、所述第二拍摄部以及所述投影部中的任一个的配置产生了不良情况。
8.一种三维形状测定装置，其特征在于，具备：
投影部，其将包含用于确定投影坐标的图案的投影图像投影到测定对象物；
第一拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第一拍摄图像；
第二拍摄部，其通过拍摄投影到所述测定对象物的所述投影图像，生成第二拍摄图像；
第一坐标确定部，其基于所述第一拍摄图像所含的所述图案，确定所述第一拍摄图像的第一拍摄像素所对应的所述投影坐标；
第二坐标确定部，其基于所述第二拍摄图像所含的所述图案，确定所述第二拍摄图像的第二拍摄像素所对应的所述投影坐标；
线确定部，其基于所述第一拍摄部与所述投影部的配置，确定所述第一拍摄像素所对应的所述投影图像的核线，基于所述投影部与所述第二拍摄部的配置，确定所述投影图像的投影像素所对应的所述第二拍摄图像的核线；
关系确定部，其确定所述第一拍摄像素和具有该第一拍摄像素所对应的所述投影坐标且位于该第一拍摄像素所对应的所述投影图像的所述核线上的所述投影图像的投影像素的组合；
判定部，其针对每个所述第一拍摄像素以及所述投影像素的所述组合，基于对应于与该第一拍摄像素所对应的所述投影坐标相同的所述投影坐标的所述第二拍摄像素即主第二拍摄像素、和对应于该投影像素的所述投影坐标并且位于该投影坐标所对应的所述第二拍摄图像的核线上的所述第二拍摄像素即副第二拍摄像素之间的距离，判定所述第一拍摄像素、主第二拍摄像素或者副第二拍摄像素的至少任一个是否是不良像素；以及
形状测定部，其使用判定为所述第一拍摄像素、所述主第二拍摄像素以及所述副第二拍摄像素不为不良像素的所述组合所对应的所述第一拍摄像素、所述主第二拍摄像素或者所述副第二拍摄像素的至少任一个，测定所述测定对象物的形状。
9.根据权利要求1至5、8中任一项所述的三维形状测定装置，其特征在于，
所述投影部向所述测定对象物投影包含二进制的条纹的所述图案的所述投影图像和包含具有正弦波状的亮度分布的条纹的所述图案的所述投影图像。
10.根据权利要求1至5、8中任一项所述的三维形状测定装置，其特征在于，
所述投影部依次投影包含具有条纹的周期相互不同的正弦波状的亮度分布的条纹的所述图案的多个所述投影图像。
11.根据权利要求1至5、8中任一项所述的三维形状测定装置，其特征在于，
所述投影部向所述测定对象物再次投影将所述投影图像所含的多个像素中的、具有由所述判定部判定为不良像素的所述第一拍摄像素以及所述第二拍摄像素中的任一个所对应的所述投影坐标的所述投影像素全部去除的投影图像。
12.根据权利要求1至5、8中任一项所述的三维形状测定装置，其特征在于，
所述投影部向所述测定对象物再次投影仅包含所述投影图像所含的多个所述投影像素中的、具有由所述判定部判定为不良像素的所述第一拍摄像素或者所述第二拍摄像素所对应的所述投影坐标的所述投影像素的投影图像。
13.一种三维形状测定方法，其特征在于，具备如下步骤：
将包含用于确定投影坐标的图案的投影图像投影到测定对象物；
通过利用第一拍摄部拍摄投影到所述测定对象物的所述投影图像，生成第一拍摄图像；
通过利用第二拍摄部拍摄投影到所述测定对象物的所述投影图像，生成第二拍摄图像；
基于所述第一拍摄图像所含的所述图案，确定所述第一拍摄图像的第一拍摄像素所对应的所述投影坐标；
基于所述第二拍摄图像所含的所述图案，确定所述第二拍摄图像的第二拍摄像素所对应的所述投影坐标；
基于所述第一拍摄部与所述第二拍摄部的配置，确定所述第一拍摄像素所对应的所述第二拍摄图像的核线；
确定所述第一拍摄像素和对应于与该第一拍摄像素所对应的所述投影坐标相同的所述投影坐标且位于该第一拍摄像素所对应的所述第二拍摄图像的所述核线上的所述第二拍摄像素的组合；
针对每个所述第一拍摄像素以及所述第二拍摄像素的所述组合，基于具有该第一拍摄像素所对应的所述投影坐标的所述投影图像的投影像素和具有该第二拍摄像素所对应的所述投影坐标的所述投影图像的投影像素之间的距离，判定所述第一拍摄像素或者所述第二拍摄像素的至少任一个是否是不良像素；以及
使用判定为所述第一拍摄像素以及所述第二拍摄像素不为所述不良像素的所述组合所对应的所述第一拍摄像素或者所述第二拍摄像素的至少任一方，测定所述测定对象物的形状。
CN202010304396.4A 2019-04-19 2020-04-17 三维形状测定装置以及三维形状测定方法 Pending CN111829456A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019079916 2019-04-19
JP2019-079916 2019-04-19
JP2020071179A JP7390239B2 (ja) 2019-04-19 2020-04-10 三次元形状測定装置及び三次元形状測定方法
JP2020-071179 2020-04-10

Publications (1)

Publication Number Publication Date
CN111829456A true CN111829456A (zh) 2020-10-27

Family

ID=72660193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304396.4A Pending CN111829456A (zh) 2019-04-19 2020-04-17 三维形状测定装置以及三维形状测定方法

Country Status (3)

Country Link
US (2) US11361458B2 (zh)
CN (1) CN111829456A (zh)
DE (1) DE102020002357A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007031157A1 (de) * 2006-12-15 2008-06-26 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
JP6795993B2 (ja) 2016-02-18 2020-12-02 株式会社ミツトヨ 形状測定システム、形状測定装置及び形状測定方法
EP3258211B1 (en) * 2016-06-17 2023-12-13 Hexagon Technology Center GmbH Determining object reflection properties with respect to particular optical measurement
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
US11025887B2 (en) * 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10282857B1 (en) * 2017-06-27 2019-05-07 Amazon Technologies, Inc. Self-validating structured light depth sensor system
FR3069941B1 (fr) * 2017-08-03 2020-06-26 Safran Procede de controle non destructif d'une piece aeronautique et systeme associe
JP7253323B2 (ja) * 2018-02-14 2023-04-06 オムロン株式会社 ３次元計測システム及び３次元計測方法
US10877622B2 (en) * 2018-08-29 2020-12-29 Facebook Technologies, Llc Detection of structured light for depth sensing

Also Published As

Publication number Publication date
DE102020002357A1 (de) 2020-10-22
US20200334844A1 (en) 2020-10-22
US20220270274A1 (en) 2022-08-25
US11361458B2 (en) 2022-06-14
US11636614B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
CN107091617B (zh) 形状测定系统、形状测定装置以及形状测定方法
CN107525479B (zh) 识别物体表面点或区域的方法、光学传感器以及存储介质
JP5576726B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
US5615003A (en) Electromagnetic profile scanner
US9074879B2 (en) Information processing apparatus and information processing method
US6369401B1 (en) Three-dimensional optical volume measurement for objects to be categorized
CN105960569B (zh) 使用二维图像处理来检查三维物体的方法
CN109099860B (zh) 三维几何形状测量装置和三维几何形状测量方法
JP3411829B2 (ja) 表面形状の評価方法および評価装置
JP5385703B2 (ja) 検査装置、検査方法および検査プログラム
JP2017003331A (ja) 被計測物の形状を計測する計測装置、算出装置、算出方法及びプログラム
CN110906884B (zh) 三维几何形状测量设备和三维几何形状测量方法
CN111829456A (zh) 三维形状测定装置以及三维形状测定方法
JP7390239B2 (ja) 三次元形状測定装置及び三次元形状測定方法
JP6566903B2 (ja) 表面欠陥検出方法および表面欠陥検出装置
JP6552230B2 (ja) 計測装置
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
US11948321B2 (en) Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法
JP2003035514A (ja) 縞解析用領域抽出方法
JP2017156197A (ja) 計測装置および計測方法
CN113029038A (zh) 三维几何形状测量装置和三维几何形状测量方法
Tao et al. Calibration and image enhancement algorithm of portable structured light 3D gauge system for improving accuracy
JP2021060214A (ja) 測定装置、及び測定方法
JP2017032449A (ja) 計測装置および計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination