CN111566439A - 三维测定装置、三维测定方法以及三维测定程序 - Google Patents

三维测定装置、三维测定方法以及三维测定程序 Download PDF

Info

Publication number
CN111566439A
CN111566439A CN201980007537.1A CN201980007537A CN111566439A CN 111566439 A CN111566439 A CN 111566439A CN 201980007537 A CN201980007537 A CN 201980007537A CN 111566439 A CN111566439 A CN 111566439A
Authority
CN
China
Prior art keywords
exposure time
dimensional
point group
dimensional point
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980007537.1A
Other languages
English (en)
Other versions
CN111566439B (zh
Inventor
付星斗
清水隆史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111566439A publication Critical patent/CN111566439A/zh
Application granted granted Critical
Publication of CN111566439B publication Critical patent/CN111566439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种三维测定装置等，可缩短摄像部的曝光时间，而缩短为了对测定对象物的三维形状进行测定所需要的时间。三维测定装置包括：投影部，向测定对象物投影图案光；摄像部，以规定的曝光时间来拍摄经投影图案光的测定对象物的图像；计算部，基于图像所含的多个特征点，计算表示测定对象物的三维形状的、三维点群的位置；以及决定部，以多个特征点的个数及三维点群的个数的至少一者成为基于任一者的最大值所规定的阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间。

Description

三维测定装置、三维测定方法以及三维测定程序
技术领域
本公开涉及一种三维测定装置、三维测定方法以及三维测定程序。
背景技术
以往，使用下述三维测定装置，即：在向测定对象物投影图案光的状态下进行拍摄，根据图像上的图案的位置，通过三角测距的原理来计算表示测定对象物的三维形状的、三维点群的位置。
下述专利文献1中记载了一种摄像装置，此摄像装置基于由多个摄像部所拍摄的多个拍摄图像来生成视差信息，以映出拍摄区域内的对象物的、图像部分的视差值群所含的视差值的个数增加的方式，决定多个摄像部在后续拍摄时所用的曝光量。此处，摄像装置获取由使用多个曝光量分别拍摄的拍摄图像所生成的、与各曝光量对应的视差信息，确定与所获取的视差信息中视差值的个数最多的视差信息对应的曝光量，决定多个摄像部在后续拍摄时所用的曝光量。
现有技术文献
专利文献
专利文献1：日本专利特开2016-134723号公报
发明内容
发明所要解决的问题
专利文献1的图4中，纵轴表示视差点数，横轴表示曝光时间，表示了以具有视差点数的曝光时间取最大值。专利文献1所记载的摄像装置为基于多个摄像部的视差信息来对测定对象物的三维形状进行测定的装置，以视差值的个数达到最多的方式来决定多个摄像部的曝光量。因此，在将摄像部的光圈值设为一定的情况下，有时以视差值的个数达到最多的方式，将摄像部进行的拍摄的曝光时间决定得相对较长。
根据专利文献1所记载的摄像装置，能够以所计算的三维点群的个数达到最大的方式来决定摄像部的曝光时间。但是，发明人等人实际研究了曝光时间和所计算的三维点群的个数后发现，若纵轴表示所计算的三维点群的个数，横轴表示曝光时间，则例如有时如图8的“阶段(phase)2”那样，产生所计算的三维点群的个数相对于曝光时间的变化而几乎未变化的区间。此种情况下，专利文献1所记载的摄像装置有时会将摄像部的曝光时间不必要地调整得长，例如，对在制造线上移动的多个测定对象物的三维形状进行测定的情况等，连续地测定多个测定对象物的三维形状的情况下，专利文献1所记载的摄像装置有时能够进行测定的时间间隔受限。
因此，本发明提供一种三维测定装置、三维测定方法以及三维测定程序，可缩短摄像部的曝光时间，而缩短为了对测定对象物的三维形状进行测定所需要的时间。
解决问题的技术手段
本公开的一方式的三维测定装置包括：投影部，向测定对象物投影图案光；摄像部，以规定的曝光时间来拍摄经投影图案光的测定对象物的图像；计算部，提取图像所含的多个特征点，基于多个特征点来计算表示测定对象物的三维形状的、三维点群的位置；以及决定部，以多个特征点的个数及三维点群所含的点的个数的至少一者成为基于多个特征点的个数及三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间。此处，所谓图案光，为包含随机点图案或经编码的图案的光，既可为可见光，也可为红外线等不可见的光。而且，所谓曝光时间，为向摄像部所具有的摄像元件照射光的时间。
根据所述方式，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对多个特征点的个数及三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间，由此可相较于三维点群所含的点的个数减少的缺点而放大曝光时间减少的优点，以较三维点群所含的点的个数成为最大的曝光时间更短的曝光时间来拍摄测定对象物，而可缩短摄像部的曝光时间，缩短为了对测定对象物的三维形状进行测定所需要的时间。
所述方式中，摄像部也可改变曝光时间来拍摄多个图像，所述三维测定装置还包括：推定部，基于多个图像，推定多个特征点的个数及三维点群所含的点的个数的至少一者相对于曝光时间如何变化，决定部基于推定部给出的推定结果来决定曝光时间。
根据所述方式，推定多个特征点的个数及三维点群所含的点的个数的至少一者相对于曝光时间如何变化，由此可根据相对较少张数的图像来推定多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上的曝光时间，可缩短决定曝光时间的处理所需要的时间。
所述方式中，推定结果也可包含：第一阶段，随着曝光时间变长，多个特征点的个数及三维点群所含的点的个数增加；以及第二阶段，邻接于第一阶段，随着曝光时间变长，多个特征点的个数及三维点群所含的点的个数较第一阶段更缓慢地变化，多个特征点的个数及三维点群的个数的至少一者为阈值以上，决定部基于第一阶段与第二阶段的交界来决定曝光时间。
根据所述方式，基于第一阶段与第二阶段的交界来决定曝光时间，由此可设为多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上的最短的曝光时间，可缩短摄像部的曝光时间来对测定对象物的三维形状进行测定。
所述方式中，推定结果也可还包含：第三阶段，邻接于第二阶段，随着曝光时间变长，多个特征点的个数及三维点群所含的点的个数减少，使曝光时间变化规定量时的多个特征点的个数及三维点群所含的点的个数的变化量的绝对值在第二阶段的情况下小于第三阶段的情况。
根据所述方式，使曝光时间变化规定量时的多个特征点的个数及三维点群所含的点的个数的变化量的绝对值在第二阶段的情况下小于第三阶段的情况，因此即便在第二阶段的情况下使曝光时间变化，多个特征点的个数及三维点群所含的点的个数的变化也相对较小。因此，能够以多个特征点的个数及三维点群所含的点的个数的任一者的最大值与阈值之差变得相对较小的方式来设定阈值，可充分增加多个特征点的个数及三维点群所含的点的个数，并且进一步缩短曝光时间。
所述方式中，推定部也可通过包含一个或多个参数的函数来推定第一阶段及第二阶段中的、曝光时间与多个特征点的个数及三维点群所含的点的个数的关系。
根据所述方式，通过推定一个或多个参数，从而可高精度地推定多个特征点的个数及三维点群所含的点的个数相对于曝光时间如何变化，可减少决定曝光时间的处理的运算负荷，缩短处理所需要的时间。
所述方式中，在将曝光时间表示为t，将一个或多个参数表示为N0及τ时，推定部也可将函数设为N(t)＝N0(1－exp(-t/τ))，推定第一阶段及第二阶段中的、曝光时间与多个特征点的个数及三维点群所含的点的个数的关系。
根据所述方式，通过假设函数N(t)＝N0(1－exp(-t/τ))来推定两个参数N0及τ，从而可高精度地推定曝光时间与多个特征点的个数及三维点群所含的点的个数的非线性关系，可减少决定曝光时间的处理的运算负荷，缩短处理所需要的时间。
所述方式中，在将阈值表示为大于0且1以下的A时，决定部也可利用t＝τln(1/(1－A))来决定曝光时间。
根据所述方式，通过推定参数τ，从而可计算多个特征点的个数及三维点群所含的点的个数的至少一者与阈值一致的曝光时间，可减少决定曝光时间的处理的运算负荷，缩短处理所需要的时间。
所述方式中，决定部也能够以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间或投影部的光量。
根据所述方式，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对多个特征点的个数及三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间或投影部的光量，由此可相较于三维点群所含的点的个数减少的缺点而放大曝光时间或光量减少的优点，以较三维点群所含的点的个数成为最大的光量更少的光量来拍摄测定对象物，使投影部的消耗电力降低而对测定对象物的三维形状进行测定。
本公开的另一方式的三维测定方法包括：向测定对象物投影图案光；以规定的曝光时间来拍摄经投影图案光的测定对象物的图像；提取图像所含的多个特征点，基于多个特征点来计算表示测定对象物的三维形状的、三维点群的位置；以及以多个特征点的个数及三维点群所含的点的个数的至少一者成为基于多个特征点的个数及三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间。
根据所述方式，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对多个特征点的个数及三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间，由此可相较于三维点群所含的点的个数减少的缺点而放大曝光时间减少的优点，以较三维点群所含的点的个数成为最大的曝光时间更短的曝光时间来拍摄测定对象物，可缩短摄像部的曝光时间，而缩短为了对测定对象物的三维形状进行测定所需要的时间。
本公开的另一方式的三维测定程序使三维测定装置所包括的运算装置作为计算部及决定部而运行，所述三维测定装置包括：投影部，向测定对象物投影图案光；以及摄像部，以规定的曝光时间来拍摄经投影图案光的测定对象物的图像，所述计算部提取图像所含的多个特征点，基于多个特征点来计算表示测定对象物的三维形状的、三维点群的位置，所述决定部以多个特征点的个数及三维点群所含的点的个数的至少一者成为基于多个特征点的个数及三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间。
根据所述方式，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对多个特征点的个数及三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间，由此可相较于三维点群所含的点的个数减少的缺点而放大曝光时间减少的优点，以较三维点群所含的点的个数成为最大的曝光时间更短的曝光时间来拍摄测定对象物，可缩短摄像部的曝光时间，而缩短为了对测定对象物的三维形状进行测定所需要的时间。
发明的效果
本发明提供一种三维测定装置、三维测定方法以及三维测定程序，可缩短摄像部的曝光时间，而缩短为了对测定对象物的三维形状进行测定所需要的时间。
附图说明
图1为本发明的实施方式的三维测定装置的功能框图。
图2为表示本实施方式的三维测定装置的物理构成的图。
图3为由本实施方式的三维测定装置执行的决定处理的流程图。
图4为由本实施方式的三维测定装置执行的推定处理的流程图。
图5为由本实施方式的三维测定装置拍摄的测定对象物的多个图像的示例。
图6为表示由本实施方式的三维测定装置推定的曝光时间与三维点群所含的点的个数的关系的示例。
图7为由本实施方式的三维测定装置执行的三维测定处理的流程图。
图8为表示由本实施方式的三维测定装置测定的三维点群所含的点的个数与曝光时间的关系的示例。
图9为由变形例的三维测定装置执行的决定处理的流程图。
具体实施方式
以下，基于附图对本发明的一方面的实施方式(以下表述为“本实施方式”)进行说明。此外，各图中，标注相同符号的部分具有相同或同样的构成。
§1适用例
首先，使用图1对适用本发明的场景的一例进行说明。本实施方式的三维测定装置100包括：投影部20，向测定对象物OB投影图案光；摄像部30，以规定的曝光时间来拍摄经投影图案光的测定对象物OB的图像；以及运算装置10。此处，所谓图案光，为包含随机点图案或经编码的图案的光，既可为可见光，也可为红外线等不可见的光。而且，所谓曝光时间，为向摄像部30所具有的摄像元件照射光的时间。曝光时间例如可设为几十毫秒(ms(millisecond))～几百毫秒。摄像部30拍摄经投影图案光的测定对象物OB的图像，运算装置10对由摄像部30所拍摄的图像进行分析，提取图像所含的多个特征点，基于多个特征点的位置，通过三角测距的原理来计算表示测定对象物OB的三维形状的、三维点群的位置。此外，为了对测定对象物的三维形状进行测定所需要的时间为如下的时间之和，即：为了通过摄像部30拍摄测定对象物所需要的时间、为了传输所拍摄的图像所需要的时间、及为了基于所拍摄的图像来计算表示测定对象物的三维形状的三维点群的位置所需要的时间。
三维测定装置100通过运算装置10，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上的方式，来决定摄像部30的曝光时间。此处，阈值为可任意设定的值，例如可设为三维点群所含的点的个数的最大值Nmax的95％的值、即0.95Nmax，或三维点群所含的点的个数的最大值Nmax的99％的值、即0.99Nmax，或多个特征点的个数的最大值nmax的95％的值、即0.95nmax，或多个特征点的个数的最大值nmax的99％的值、即0.99max。而且，阈值例如可设为由三维点群所含的点的个数的最大值Nmax减去规定的值C所得的值、即(Nmax－C)，或由多个特征点的个数的最大值nmax减去规定的值C所得的值、即(nmax－C)。而且，阈值也可由相对于多个特征点的个数的最大值nmax或三维点群所含的点的个数的最大值Nmax之比来表示，也可为0.95或0.99等值。此外，即便在阈值是基于多个特征点的个数的最大值所规定的情况下，只要多个特征点的个数及三维点群所含的点的个数的至少一者为阈值以上即可。而且，即便在阈值是基于三维点群所含的点的个数的最大值所规定的情况下，只要多个特征点的个数及三维点群所含的点的个数的至少一者为阈值以上即可。而且，在阈值是基于多个特征点的个数的最大值或三维点群所含的点的个数的最大值所规定的情况下，多个特征点的个数及三维点群所含的点的个数两者也可为阈值以上。
可由运算装置10提取的多个特征点的个数及可由运算装置10计算的三维点群所含的点的个数在下述情况下成为最大值，即：通过投影部20以适当的光量向测定对象物OB投影图案光，且通过摄像部30以适当的曝光时间拍摄测定对象物OB。此处，若使投影部20所投影的图案光的光量降低，或缩短摄像部30的曝光时间，则图像的亮度下降，图案光的检测变得困难，提取的多个特征点的个数及计算的三维点群所含的点的个数变少。因此，以往有时以提取的多个特征点的个数及计算的三维点群所含的点的个数成为最大值的方式，使由投影部20所得的图案光的光量及摄像部30的曝光时间最优化。但是，发明人发现，使摄像部30的曝光时间从最优的值起缓缓变短的情况下的、提取的多个特征点的个数及计算的三维点群所含的点的个数的变化微小。
因此，本实施方式的三维测定装置100中，以提取的多个特征点的个数及计算的三维点群所含的点的个数的至少一者成为基于多个特征点的个数及三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且曝光时间较针对提取的多个特征点的个数及计算的三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间。例如，在利用计算的三维点群所含的点的个数的最大值Nmax的99％的值来设定阈值时，三维测定装置100能够以如下方式决定曝光时间，即：相对于使三维点群所含的点的个数达到最大值的曝光时间tmax，例如曝光时间成为0.5tmax左右。基于提取的多个特征点的个数的最大值来规定阈值的情况也同样如此。通过以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对多个特征点的个数及三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间，从而可相较于三维点群所含的点的个数减少的缺点而放大曝光时间减少的优点，以较三维点群所含的点的个数成为最大值的曝光时间更短的曝光时间来拍摄测定对象物OB，可缩短摄像部30的曝光时间，而缩短为了对测定对象物的三维形状进行测定所需要的时间。
由此，例如对在制造线上移动的多个测定对象物OB的三维形状进行测定的情况等，对测定对象物OB的三维形状连续地进行测定的情况下，可缩短能够进行测定的时间间隔，增加线速度，可提高制造效率。而且，即便在测定以相对较高的速度移动的测定对象物OB的三维形状的情况下，也将摄像部30的曝光时间设定得相对较短，因此可拍摄模糊少的测定对象物OB的图像，计算表示测定对象物OB的三维形状的、三维点群的位置。
§2构成例
[功能构成]
接下来，使用图1对本实施方式的三维测定装置100的功能构成的一例进行说明。三维测定装置100包括投影部20、摄像部30及运算装置10。
＜投影部的构成＞
投影部20可为投影可见光或不可见的光的投影仪(projector)，向测定对象物OB投影图案光。投影部20能够以与摄像部30的相对位置成为规定位置的方式配置。而且，投影部20可基于来自运算装置10的指令而向测定对象物OB投影图案光。投影部20可为能够使投影的图案光的光量变化的投影部，可基于来自运算装置10的指令而设定光量。
投影部20可包含光源及用于生成图案光的光掩模(photomask)，例如可包含激光光源及折射光学元件。而且，投影部20可为具有形成固定图案的光学元件、及作为光调变元件的数字光处理(Digital Light Processing，DLP)等的投影仪，可包含使投影图案的大小调变的调变元件。投影部20可使来自激光光源的光入射至折射光学元件，利用形成于折射光学元件的表面的折射图案来生成具有二维结构的光。此外，投影部20可含有透镜等任意的光学构件，从光源出射的光的波长不限于可见区域，也可为红外区域或紫外区域的波长。
＜摄像部的构成＞
摄像部30可为利用一个或多个透镜将光聚集于光接收元件，利用电荷耦合器件(Charge-Coupled Device，CCD)传感器或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)传感器等摄像元件将所接收的光转换电信号的相机(camera)，以规定的曝光时间来拍摄经投影图案光的测定对象物OB的图像。摄像部30可基于来自运算装置10的指令而设定曝光时间。此外，本实施方式的三维测定装置100中，将摄像部30的光圈值设为一定，通过使曝光时间变化从而使曝光变化，但通常也可设为使摄像部30的光圈值及曝光时间变化。而且，本实施方式的三维测定装置100包括一台摄像部30，但摄像部的台数为任意，三维测定装置100也可包括多个摄像部。
摄像部30可在满足规定条件的情况下，改变曝光时间来拍摄测定对象物OB的多个图像。此处，规定条件可包含与摄像部30的运转时间有关的条件及与摄像部30的休止时间有关的条件的至少任一个。更具体而言，摄像部30可在运转时间成为一定时间以上的情况下，为了调整曝光时间，而改变曝光时间来拍摄测定对象物OB的多个图像。此处，运转时间可为由摄像部30进行图像拍摄的累计时间。而且，摄像部30可在休止时间成为一定时间以上的情况下，为了调整曝光时间，而改变曝光时间来拍摄测定对象物OB的多个图像。此处，休止时间可为未由摄像部30进行图像拍摄的累计时间。
通过在满足规定条件的情况下，改变曝光时间来拍摄多个图像，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上的方式来决定曝光时间，从而可在不满足规定条件的情况下省略决定曝光时间的处理，可缩短为了对测定对象物OB的三维形状进行测定所需要的时间。
而且，通过在摄像部30的运转时间及摄像部30的休止时间的至少任一个满足规定条件的情况下，改变曝光时间来拍摄多个图像，以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上的方式来决定曝光时间，从而可在不满足规定条件的情况下省略决定曝光时间的处理，可缩短为了对测定对象物OB的三维形状进行测定所需要的时间。
＜运算装置的构成＞
运算装置10具有获取部11、计算部12、推定部13、决定部14及设定部15。获取部11获取由摄像部30所拍摄的、经投影图案光的测定对象物OB的图像。
计算部12提取由摄像部30拍摄的图像所含的多个特征点，基于多个特征点来计算表示测定对象物OB的三维形状的、三维点群的位置。此处，多个特征点可为图案光所含的特征点，图像上的位置可根据测定对象物OB的形状而变化。计算部12可将所投影的图案光的特征点的位置、与所拍摄的图像上的特征点的位置进行比较，通过三角测距的原理来计算表示测定对象物OB的三维形状的、三维点群的位置。
而且，在通过摄像部30改变曝光时间来拍摄测定对象物OB的多个图像的情况下，计算部12可针对多个图像分别计算表示测定对象物OB的三维形状的、三维点群的位置。
推定部13基于由摄像部30改变曝光时间所拍摄的测定对象物OB的多个图像，推定由计算部12提取的多个特征点的个数及计算的三维点群所含的点的个数的至少一者相对于曝光时间如何变化。关于推定部13进行的具体处理的内容，将在下文中使用后图进行详细说明。
决定部14以多个特征点的个数及三维点群所含的点的个数的至少一者成为基于多个特征点的个数及三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间。决定部14能够以如下方式来决定曝光时间，即：三维点群所含的点的个数成为阈值以上，所决定的曝光时间相对于使三维点群所含的点的个数达到最大值的曝光时间的减少率，大于阈值相对于三维点群所含的点的个数的最大值的减少率。决定部14也可基于从改变曝光时间而拍摄的测定对象物OB的多个图像中提取的多个特征点的个数及计算的三维点群所含的点的个数的至少一者，来决定曝光时间。而且，决定部14也可基于推定部13给出的推定结果来决定曝光时间。通过利用推定部13来推定多个特征点的个数及三维点群所含的点的个数的至少一者相对于曝光时间如何变化，从而可根据相对较少张数的图像来推定多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上的曝光时间，可缩短决定曝光时间的处理所需要的时间。
决定部14也能够以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定摄像部30的曝光时间及投影部20的光量的至少任一者。而且，决定部14也能够以如下方式来决定摄像部30的曝光时间及投影部20的光量的至少任一者，即：三维点群所含的点的个数成为阈值以上，所决定的曝光时间及光量的任一者相对于使三维点群所含的点的个数达到最大值的曝光时间及光量的减少率，大于阈值相对于三维点群所含的点的个数的最大值的减少率。例如，决定部14也可将摄像部30的曝光时间设为一定，且以如下方式将投影部20的光量决定得尽可能小，即：三维点群所含的点的个数成为阈值以上，所决定的光量相对于使三维点群所含的点的个数达到最大值的光量的减少率，大于阈值相对于三维点群所含的点的个数的最大值的减少率。通过以多个特征点的个数及三维点群所含的点的个数的至少一者成为阈值以上，且曝光时间较针对多个特征点的个数及三维点群所含的点的个数的任一者的最大值的曝光时间更短的方式，来决定曝光时间及投影部20的光量的至少任一者，从而可相较于三维点群所含的点的个数减少的缺点而放大曝光时间或光量减少的优点，以较三维点群所含的点的个数成为最大的光量更少的光量来拍摄测定对象物，可使投影部20的消耗电力降低而对测定对象物OB的三维形状进行测定。
设定部15将摄像部30的曝光时间设定为由决定部14所决定的曝光时间。设定部15也可将投影部20的光量设定为由决定部14所决定的光量。而且，设定部15也可设定由投影部20所投影的图案光的图案。
[硬件构成]
接下来，使用图2对本实施方式的运算装置10的硬件构成的一例进行说明。运算装置10具有相当于运算部的中央处理器(Central Processing Unit，CPU)10a、相当于存储部的随机存取存储器(Random Access Memory，RAM)10b、相当于存储部的只读存储器(Readonly Memory，ROM)10c、通信部10d、输入部10e及显示部10f。这些各构成经由总线而可相互收发数据地连接。此外，本例中对运算装置10包含一台计算机的情况进行说明，但运算装置10也可使用多个计算机来实现。
CPU 10a为控制部，进行与RAM 10b或ROM 10c中存储的程序的执行有关的控制或数据的运算、加工。CPU 10a为执行下述程序(三维测定程序)的运算部，即：基于经投影图案光的测定对象物OB的图像，计算表示测定对象物OB的三维形状的、三维点群的位置，以三维点群所含的点的个数成为阈值以上的方式，来决定摄像部30的曝光时间。CPU 10a从输入部10e或通信部10d接收各种输入数据，将输入数据的运算结果显示于显示部10f，或者保存于RAM 10b或ROM 10c。
RAM 10b可在存储部中改写数据，例如可包含半导体存储元件。RAM 10b存储CPU10a执行的三维测定程序、或从摄像部30获取的测定对象物OB的图像、与计算的三维点群有关的数据、阈值、摄像部30的曝光时间及投影部20的光量等数据。此外，这些为例示，RAM10b中也可存储这些以外的数据，也可不存储这些的一部分。
ROM 10c可仅在存储部中读出数据，例如可包含半导体存储元件。ROM 10c例如存储三维测定程序或不进行改写的数据。
通信部10d为将运算装置10连接于通信网络的接口。通信部10d可通过例如局域网(Local Area Network，LAN)而与投影部20及摄像部30连接，对投影部20发送与图案光有关的信息，对摄像部30发送与曝光时间有关的信息。而且，通信部10d可从摄像部30接收测定对象物OB的图像。而且，通信部10d也可连接于国际互联网(Internet)等通信网络。
输入部10e从用户受理数据的输入，例如可包含键盘(keyboard)、鼠标(mouse)及触摸屏(touch panel)。
显示部10f以视觉形式显示CPU 10a得出的运算结果，例如可包含液晶显示器(Liquid Crystal Display，LCD)。显示部10f例如可显示由摄像部30拍摄的测定对象物OB的图像，或显示表示曝光时间与计算的三维点群所含的点的个数的关系的图表。
三维测定程序可存储于RAM 10b或ROM 10c等计算机可读取的存储介质而提供，也可经由通过通信部10d连接的通信网络而提供。运算装置10通过CPU 10a执行三维测定程序，从而实现使用图1所说明的各种运行。此外，这些物理构成为例示，也可未必为独立的构成。例如，运算装置10也可包括CPU 10a、RAM 10b和ROM 10c一体化的大规模集成电路(Large-Scale Integration，LSI)。
§3运行例
图3为由实施方式的三维测定装置100执行的决定处理的流程图。决定处理为决定摄像部30的曝光时间或投影部20的光量的处理。此图中，表示决定处理的内容的一例。
首先，三维测定装置100通过投影部20以规定的光量向测定对象物OB投影图案光(S10)。此外，在初次进行决定处理的情况下，规定的光量可为预定的、存储于运算装置10且由设定部15设定的光量。接下来，通过摄像部30使曝光时间变化来拍摄经投影图案光的测定对象物OB的多个图像(S11)。
然后，三维测定装置100通过运算装置10的计算部12，针对多个图像分别提取多个特征点，基于多个特征点来计算三维点群的位置(S12)。接下来，通过推定部13来推定三维点群所含的点的个数相对于摄像部30的曝光时间如何变化(S13)。关于推定处理(S13)的详情，将使用后图进行说明。
三维测定装置100通过运算装置10的决定部14，基于推定部13的推定结果，以三维点群所含的点的个数成为阈值以上，且曝光时间较针对三维点群所含的点的个数的最大值的曝光时间更短的方式，来决定摄像部30的曝光时间或投影部20的光量(S14)。此外，三维测定装置100也可将投影部20的光量设为一定，通过运算装置10的决定部14，基于推定部13的推定结果，以三维点群所含的点的个数成为阈值以上，且曝光时间较针对三维点群所含的点的个数的最大值的曝光时间更短的方式，来决定摄像部30的曝光时间。
三维测定装置100通过运算装置10的设定部15，在投影部20设定由决定部14所决定的光量，在摄像部30设定由决定部14所决定的曝光时间(S15)。可在将曝光时间设定得较推定部13给出的推定结果更短的情况下，增加投影部20的光量，在将曝光时间设定得较推定部13给出的推定结果更长的情况下，减少投影部20的光量。光量的调整方法例如可为通用的数字相机所用的方法。通过以上操作，决定处理结束。
图4为由本实施方式的三维测定装置100执行的推定处理的流程图。此图中，表示决定处理中进行的推定处理(S13)的内容的一例。
推定部13通过包含一个或多个参数的函数来推定曝光时间与三维点群所含的点的个数的关系。更具体而言，在将曝光时间表示为t，将两个参数表示为N0及τ时，推定部13将函数设为N(t)＝N0(1－exp(-t/τ))，推定曝光时间与三维点群所含的点的个数的关系。关于曝光时间与三维点群所含的点的个数的关系，在以多个曝光时间拍摄测定对象物OB的多个图像的情况下，以通过函数N(t)来再现所计算的三维点群所含的点的个数的变化方式进行推定。推定可通过利用最小平方法来决定一个或多个参数而进行。
三维测定装置100通过运算装置10的推定部13来计算针对曝光时间t所计算的三维点群所含的点的个数、与函数N(t)＝N0(1－exp(-t/τ))的残差(S131)。即，在将基于以曝光时间t拍摄的图像由计算部12计算的三维点群所含的点的个数表示为Ncalc(t)时，推定部13计算残差(Ncalc(t)－N(t))。
进而，推定部13针对由摄像部30进行拍摄的多个曝光时间t1、t2、…、tN，计算残差的平方和(S132)。即，推定部13计算Σt＝t1 tN(Ncalc(t)－N(t))2。
接下来，推定部13以平方和Σt＝t1 tN(Ncalc(t)－N(t))2成为最小的方式决定参数N0及τ(S133)。此外，在使曝光时间变化来拍摄测定对象物的多个图像的情况下，推定部13能够以如下方式推定参数N0，即：相对于计算的三维点群所含的点的个数的最大值Nmax，成为N0＝Nmax。通过以上操作，推定处理结束。
这样，通过推定一个或多个参数，从而可高精度地推定三维点群所含的点的个数相对于曝光时间如何变化，可减少决定曝光时间的处理的运算负荷，缩短处理所需要的时间。
而且，通过假设函数N(t)＝N0(1－exp(-t/τ))来推定两个参数N0及τ，从而可高精度地推定曝光时间与三维点群所含的点的个数的非线性关系，可减少决定曝光时间的处理的运算负荷，缩短处理所需要的时间。
此外，以上的说明中，表示了推定三维点群的个数相对于曝光时间如何变化的处理的示例，但关于推定从图像中提取的多个特征点的个数相对于曝光时间如何变化的处理，也可假设相同的函数来执行。具体而言，在将基于以某曝光时间t拍摄的图像所提取的特征点的个数表示为n(t)时，假设函数n(t)＝n0(1－exp(-t/τ0))来推定参数n0及τ0，由此可推定曝光时间与特征点的个数的关系。
图5为由本实施方式的三维测定装置100拍摄的测定对象物的多个图像的示例。此图中，表示使摄像部30的曝光时间变化为0ms(毫秒)、20ms、40ms、60ms、80ms、100ms、120ms及140ms而拍摄8张图像的情况。
本例的测定对象物为经散装的法兰(flange)。如图5所示，曝光时间为0ms的情况下当然无法确认测定对象物，曝光时间为20ms的情况下可确认多个测定对象物中的一部分的轮廓，随着曝光时间从40ms延长至80ms，可确认轮廓的测定对象物的个数逐渐增加。接下来，若曝光时间达到100ms以上，则可确认多个测定对象物全部的轮廓、配置。
一般来说，摄像部30有时以如下方式来自动设定曝光时间，即：图像足够亮至人可确认图像的详情的程度。根据本例可知，为了让人基于图像来确认测定对象物的轮廓或配置，需要将曝光时间设定得较100ms左右更长。因此，以往的摄像部30有时将曝光时间设定得较100ms左右更长。实际利用通用的相机以与本例相同的照明条件来自动设定曝光时间，结果曝光时间成为160ms。
图6为表示通过本实施方式的三维测定装置100推定的曝光时间与三维点群所含的点的个数的关系的示例。此图中，横轴以毫秒单位来表示摄像部30的曝光时间(Exposuretime(ms))，纵轴表示由计算部12计算的三维点群的个数(Number of reconstructed 3DPoints)。图6中，以实线表示由推定部13基于图5所示的8个图像及将曝光时间设为160ms所拍摄的图像而推定的曝光时间、与三维点群所含的点的个数的关系。而且，图6中，以虚线表示由计算部12基于图5所示的8个图像及将曝光时间设为160ms所拍摄的图像而计算的三维点群的个数、与曝光时间的关系。
更具体而言，图6中虚线所示的曲线图D是以直线将曝光时间t1＝0ms时计算的三维点群的个数Ncalc(t1)、曝光时间t2＝20ms时计算的三维点群的个数Ncalc(t2)、曝光时间t3＝40ms时计算的三维点群的个数Ncalc(t4)、曝光时间t4＝60ms时计算的三维点群的个数Ncalc(t4)、曝光时间t5＝80ms时计算的三维点群的个数Ncalc(t5)、曝光时间t6＝100ms时计算的三维点群的个数Ncalc(t6)、曝光时间t7＝120ms时计算的三维点群的个数Ncalc(t7)、曝光时间t8＝140ms时计算的三维点群的个数Ncalc(t8)及曝光时间t9＝160ms时计算的三维点群的个数Ncalc(t9)连结而成。此处，曝光时间t9＝160ms时，计算的三维点群的个数Ncalc(t9)达到最大值。
而且，图6中实线所示的曲线图P是以直线将曝光时间t1＝0ms时推定的三维点群的个数N(t1)、曝光时间t2＝20ms时推定的三维点群的个数N(t2)、曝光时间t3＝40ms时推定的三维点群的个数N(t4)、曝光时间t4＝60ms时推定的三维点群的个数N(t4)、曝光时间t5＝80ms时推定的三维点群的个数N(t5)、曝光时间t6＝100ms时推定的三维点群的个数N(t6)、曝光时间t7＝120ms时推定的三维点群的个数N(t7)、曝光时间t8＝140ms时推定的三维点群的个数N(t8)及曝光时间t9＝160ms时推定的三维点群的个数N(t9)连结而成。
而且，在图6的纵轴中表示阈值Th。本例中，阈值Th为12000。在图6的横轴中表示由决定部14决定的曝光时间T。本例中，由决定部14决定的曝光时间T为40ms。本例的情况下，决定部14利用由推定部13推定的曲线图P成为阈值Th以上的最小的曝光时间来决定曝光时间T。
此处，若以相对于三维点群所含的点的个数的最大值Nmax(＝Ncalc(t9))之比A来表示阈值Th，则本例的阈值Th对应于A＝0.99。即，在使曝光时间变化来拍摄测定对象物的多个图像的情况下，本例的阈值Th是设定为计算的三维点群所含的点的个数的最大值Nmax的99％。此处，阈值Th相对于三维点群所含的点的个数的最大值Nmax的减少率为1％。此时，决定部14能够以如下方式决定曝光时间，即：所决定的曝光时间T相对于使三维点群所含的点的个数达到最大值Nmax的曝光时间t9的减少率，大于阈值Th相对于最大值Nmax的减少率。本例的情况下，决定部14以所决定的曝光时间T(40ms)相对于使三维点群所含的点的个数达到最大值Nmax的曝光时间t9(160ms)的减少率成为75％的方式，来决定曝光时间。而且，决定部14可通过T＝τln(1/(1－A))来决定曝光时间。本例的情况下，A＝0.99，因而决定部14可通过T≈4.6τ来决定曝光时间。由此，通过推定参数τ，从而可利用简单的运算来计算三维点群所含的点的个数与阈值Th一致的曝光时间T，可减少决定曝光时间的处理的运算负荷，缩短处理所需要的时间。
图7为由本实施方式的三维测定装置100执行的三维测定处理的流程图。三维测定处理为下述处理，即：以由决定部14所决定且由设定部15所设定的曝光时间或光量来拍摄测定对象物OB的图像，基于图像来计算表示测定对象物OB的三维形状的、三维点群的位置。
首先，三维测定装置100通过投影部20以由设定部15所设定的光量向测定对象物OB投影图案光(S20)。此外，投影部20的光量也可未必由决定部14决定，由设定部15设定的投影部20的光量也可为一定。接下来，通过摄像部30以由设定部15所设定的曝光时间来拍摄经投影图案光的测定对象物OB的图像(S21)。此处，摄像部30只要拍摄一张测定对象物OB的图像即可。
然后，三维测定装置100通过运算装置10的计算部12来提取所拍摄的图像所含的多个特征点，基于多个特征点来计算三维点群的位置(S22)。通过以上操作，三维测定处理结束。
本例的情况下，摄像部30进行的拍摄能够以决定部14所决定的曝光时间即40ms完成。另外，运算装置10能够以大致130ms通过获取部11从摄像部30获取图像，并通过计算部12计算三维点群的位置。因此，本实施方式的三维测定装置100能够以大致170ms进行三维测定处理。假设采用基于人的视认性而自动设定的曝光时间的情况下，曝光时间成为160ms，因而若将为了通过获取部11获取图像并通过计算部12计算三维点群的位置所需要的时间设为大致130ms，则为了进行三维测定处理需要290ms。因此，根据本实施方式的三维测定装置100，可将三维测定处理所需要的时间缩短为大致一半。另一方面，计算的三维点群所含的点的个数仅减少1％。
图8为表示由本实施方式的三维测定装置100所测定的三维点群所含的点的个数与曝光时间的关系的示例。此图中，横轴以毫秒单位表示摄像部30的曝光时间(Exposuretime(ms))，纵轴表示由计算部12所计算的三维点群的个数(Number of reconstructed 3DPoints)。图8中，使曝光时间以10ms为单位从0ms变化到150ms，以100ms为单位从200ms变化到700ms，拍摄测定对象物的多个图像，针对各个图像通过计算部12计算三维点群的位置，对计算的三维点群所含的点的个数进行绘图。而且，图8中，表示通过推定部13推定三维点群所含的点的个数与曝光时间的关系所得的推定结果中出现的三个阶段(phase 1、phase2、phase 3)。
推定部13给出的推定结果包含：第一阶段(phase 1)，随着曝光时间变长，三维点群所含的点的个数增加；以及第二阶段(phase 2)，邻接于第一阶段，随着曝光时间变长，三维点群所含的点的个数较第一阶段更缓慢地变化，三维点群的个数为阈值Th以上。本例中，阈值Th为12000，从图8中读取出，在推定结果的第二阶段中，计算的三维点群所含的点的个数成为阈值Th以上。而且可确认，在第一阶段中，随着曝光时间变长，三维点群所含的点的个数以指数形式增加，在第二阶段中，三维点群的个数保持与阈值Th相比几乎未变化的状态而略微增加。
决定部14可基于第一阶段(phase 1)与第二阶段(phase 2)的交界来决定曝光时间T。本例中，决定部14以和第一阶段(phase 1)与第二阶段(phase 2)的交界一致的方式来决定曝光时间T。通过这样基于第一阶段与第二阶段的交界决定曝光时间，从而可设为三维点群所含的点的个数成为阈值以上的最短的曝光时间，可缩短摄像部30的曝光时间而对测定对象物的三维形状进行测定。
推定部13给出的推定结果还包含：第三阶段(phase 3)，邻接于第二阶段(phase2)，随着曝光时间变长，三维点群所含的点的个数减少。此外，在第二阶段与第三阶段之间，也可包含三维点群所含的点的个数出现相对较小的一个或多个波峰的其他阶段，此时，可将三维点群所含的点的个数单调减少的阶段定义为第三阶段。从图8中读取出，在推定结果的第三阶段中，计算的三维点群所含的点的个数成为阈值Th以下。而且可确认，第三阶段中，随着曝光时间变长，三维点群所含的点的个数大致呈抛物线状减少。
而且，使曝光时间变化规定量时的三维点群所含的点的个数的变化量的绝对值在第二阶段的情况下小于第三阶段的情况。例如读取出，在使曝光时间增加100ms时，在第二阶段的情况下三维点群所含的点的个数略微增加，但在第三阶段的情况下，三维点群所含的点的个数减少2000左右。这也可以说，曝光时间与三维点群所含的点的个数的关系的斜率的绝对值在第二阶段的情况下小于第三阶段的情况。
使曝光时间变化规定量时的三维点群所含的点的个数的变化量的绝对值在第二阶段的情况下小于第三阶段的情况，因而即便在第二阶段的情况下使曝光时间变化，三维点群所含的点的个数的变化也相对较小。因此，能够以三维点群所含的点的个数的最大值与阈值之差变得相对较小的方式来设定阈值，可充分增多三维点群所含的点的个数，并且进一步缩短曝光时间。
此外，以上的说明中，表示了推定三维点群的个数相对于曝光时间如何变化的结果的示例，但关于推定从图像中提取的多个特征点的个数相对于曝光时间如何变化的结果，也同样地包含第一阶段、第二阶段及第三阶段。
§4变形例
＜4.1＞
图9为由本实施方式的变形例的三维测定装置100执行的决定处理的流程图。本变形例的三维测定装置100在以下方面与本实施方式的三维测定装置不同，即：为了决定摄像部30的曝光时间，不使用三维点群所含的个数，而使用为了计算三维点群的位置而提取的多个特征点的个数。即，本变形例的三维测定装置100通过计算部12来提取由摄像部30所拍摄的图像所含的多个特征点，基于多个特征点来计算三维点群的位置，并通过决定部14，以多个特征点的个数成为基于多个特征点的个数的最大值所规定的阈值以上，且曝光时间较针对最大值的曝光时间更短的方式，来决定曝光时间。关于其他构成，本变形例的三维测定装置100包括与本实施方式的三维测定装置同样的构成。
此处，基于多个特征点的个数的最大值所规定的阈值可与基于三维点群的最大值所规定的阈值不同，但也可为相同的值。基于多个特征点的个数的最大值所规定的阈值为本变形例的三维测定装置100所使用的阈值，也可为基于三维点群的最大值所规定的阈值以上。
首先，三维测定装置100通过投影部20以规定的光量向测定对象物OB投影图案光(S30)。此外，在初次进行决定处理时，规定的光量可为预定的、存储于运算装置10且由设定部15设定的光量。接下来，通过摄像部30使曝光时间变化来拍摄经投影图案光的测定对象物OB的多个图像(S31)。
然后，三维测定装置100通过运算装置10的计算部12针对多个图像分别提取特征点(S32)。接下来，通过推定部13来推定三维点群所含的点的个数相对于摄像部30的曝光时间如何变化(S33)。关于推定处理(S33)的详情，可与图4所示同样。即，推定部13可在将基于以某曝光时间t拍摄的图像所提取的特征点的个数表示为n(t)时，假设函数n(t)＝n0(1－exp(-t/τ0))来推定参数n0及τ0，由此推定曝光时间与特征点的个数的关系。
三维测定装置100通过运算装置10的决定部14，基于推定部13的推定结果，以提取的特征点的个数成为阈值以上，且曝光时间较针对提取的特征点的个数的最大值的曝光时间更短的方式，来决定摄像部30的曝光时间或投影部20的光量(S34)。此外，三维测定装置100也可将投影部20的光量设为一定，通过运算装置10的决定部14，基于推定部13的推定结果，以提取的特征点的个数成为阈值以上，且曝光时间较针对提取的特征点的个数的最大值的曝光时间更短的方式，来决定摄像部30的曝光时间。
三维测定装置100通过运算装置10的设定部15，在投影部20设定由决定部14所决定的光量，或在摄像部30设定由决定部14所决定的曝光时间(S35)。可在将曝光时间设定得较推定部13给出的推定结果更短的情况下，增加投影部20的光量，在将曝光时间设定得较推定部13给出的推定结果更长的情况下，减少投影部20的光量。光量的调整方法例如可为通用的数字相机所用的方法。通过以上操作，决定处理结束。
根据本变形例的三维测定装置100，以为了计算三维点群的位置而提取的多个特征点的个数成为阈值以上，且曝光时间较针对提取的特征点的个数的最大值的曝光时间更短的方式，来决定曝光时间，由此可相较于提取的多个特征点的个数减少的缺点而放大曝光时间减少的优点，可在决定处理中省略计算三维点群的位置的处理，可与以三维点群所含的点的个数成为阈值以上的方式决定曝光时间的情况相比减少运算负荷，可缩短决定曝光时间的处理所需要的时间。
以上说明的实施方式是为了容易地理解本发明，并非用于限定性地解释本发明。实施方式所包括的各元件以及其配置、材料、条件、形状及尺寸等不限定于例示，可适当变更。而且，可将不同实施方式所示的构成彼此局部地替换或组合。
[附记1]
一种三维测定装置(100)，包括：
投影部(20)，向测定对象物投影图案光；
摄像部(30)，以规定的曝光时间来拍摄经投影所述图案光的所述测定对象物的图像；
计算部(12)，提取所述图像所含的多个特征点，基于所述多个特征点来计算表示所述测定对象物的三维形状的、三维点群的位置；以及
决定部(14)，以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为基于所述多个特征点的个数及所述三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间。
[附记2]
根据附记1所记载的三维测定装置(100)，其中，
所述摄像部(30)改变所述曝光时间来拍摄多个所述图像，
所述三维测定装置(100)还包括：推定部(13)，基于多个所述图像，推定所述多个特征点的个数及所述三维点群所含的点的个数的至少一者相对于所述曝光时间如何变化，
所述决定部(14)基于所述推定部(13)给出的推定结果来决定所述曝光时间。
[附记3]
根据附记2所记载的三维测定装置(100)，其中，
所述推定结果包含：
第一阶段，随着所述曝光时间变长，所述多个特征点的个数及所述三维点群所含的点的个数增加；以及
第二阶段，邻接于所述第一阶段，随着所述曝光时间变长，所述多个特征点的个数及所述三维点群所含的点的个数较所述第一阶段缓慢地增加，所述多个特征点的个数及所述三维点群的个数的至少一者为所述阈值以上，
所述决定部(14)基于所述第一阶段与所述第二阶段的交界来决定所述曝光时间。
[附记4]
根据附记3所记载的三维测定装置(100)，其中，
所述推定结果还包含：第三阶段，邻接于所述第二阶段，随着所述曝光时间变长，所述多个特征点的个数及所述三维点群所含的点的个数减少，
使所述曝光时间变化规定量时的所述多个特征点的个数及所述三维点群所含的点的个数的变化量的绝对值在所述第二阶段的情况下小于所述第三阶段的情况。
[附记5]
根据附记3或4所记载的三维测定装置(100)，其中，
所述推定部(13)通过包含一个或多个参数的函数来推定所述第一阶段及所述第二阶段中的、所述曝光时间与所述多个特征点的个数及所述三维点群所含的点的个数的关系。
[附记6]
根据附记5所记载的三维测定装置(100)，其中，
在将所述曝光时间表示为t，将所述一个或多个参数表示为N0及τ时，
所述推定部(13)将所述函数设为N(t)＝N0(1－exp(-t/τ))，推定所述第一阶段及所述第二阶段中的、所述曝光时间与所述多个特征点的个数及所述三维点群所含的点的个数的关系。
[附记7]
根据附记6所记载的三维测定装置(100)，其中，
在将所述第一阈值表示为大于0且1以下的A时，
所述决定部(14)通过t＝τln(1/(1－A))来决定所述曝光时间。
[附记8]
根据附记1至7中任一项所记载的三维测定装置(100)，其中，
所述决定部(14)以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为所述阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间或所述投影部(20)的光量。
[附记9]
一种三维测定方法，包括：
向测定对象物投影图案光；
以规定的曝光时间来拍摄经投影所述图案光的所述测定对象物的图像；
提取所述图像所含的多个特征点，基于所述多个特征点来计算表示所述测定对象物的三维形状的、三维点群的位置；以及
以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为基于所述多个特征点的个数及所述三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间。
[附记10]
一种三维测定程序，使三维测定装置(100)所包括的运算装置(10)作为计算部(12)及决定部(14)而运行，所述三维测定装置(100)包括：投影部(20)，向测定对象物投影图案光；以及摄像部(30)，以规定的曝光时间来拍摄经投影所述图案光的所述测定对象物的图像，
所述计算部(12)提取所述图像所含的多个特征点，基于所述多个特征点来计算表示所述测定对象物的三维形状的、三维点群的位置，
所述决定部(14)以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为基于所述多个特征点的个数及所述三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间。

Claims (10)

1.一种三维测定装置，其特征在于，包括：
投影部，向测定对象物投影图案光；
摄像部，以规定的曝光时间来拍摄经投影所述图案光的所述测定对象物的图像；
计算部，提取所述图像所含的多个特征点，基于所述多个特征点来计算表示所述测定对象物的三维形状的、三维点群的位置；以及
决定部，以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为基于所述多个特征点的个数及所述三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间。
2.根据权利要求1所述的三维测定装置，其中，
所述摄像部改变所述曝光时间来拍摄多个所述图像，
所述三维测定装置还包括：推定部，基于多个所述图像，来推定所述多个特征点的个数及所述三维点群所含的点的个数的至少一者相对于所述曝光时间如何变化，
所述决定部基于所述推定部给出的推定结果来决定所述曝光时间。
3.根据权利要求2所述的三维测定装置，其中，
所述推定结果包含：
第一阶段，随着所述曝光时间变长，所述多个特征点的个数及所述三维点群所含的点的个数增加；以及
第二阶段，邻接于所述第一阶段，随着所述曝光时间变长，所述多个特征点的个数及所述三维点群所含的点的个数较所述第一阶段更缓慢地变化，所述多个特征点的个数及所述三维点群的个数的至少一者为所述阈值以上，
所述决定部基于所述第一阶段与所述第二阶段的交界来决定所述曝光时间。
4.根据权利要求3所述的三维测定装置，其中，
所述推定结果还包含：第三阶段，邻接于所述第二阶段，随着所述曝光时间变长，所述多个特征点的个数及所述三维点群所含的点的个数减少，
使所述曝光时间变化规定量时的所述多个特征点的个数及所述三维点群所含的点的个数的变化量的绝对值在所述第二阶段的情况下小于所述第三阶段的情况。
5.根据权利要求3或4所述的三维测定装置，其中，
所述推定部通过包含一个或多个参数的函数来推定所述第一阶段及所述第二阶段中的、所述曝光时间与所述多个特征点的个数及所述三维点群所含的点的个数的关系。
6.根据权利要求5所述的三维测定装置，其中，
在将所述曝光时间表示为t，将所述一个或多个参数表示为N0及τ时，
所述推定部将所述函数设为N(t)＝N0(1－exp(-t/τ))，推定所述第一阶段及所述第二阶段中的、所述曝光时间与所述多个特征点的个数及所述三维点群所含的点的个数的关系。
7.根据权利要求6所述的三维测定装置，其中，
在将所述阈值表示为大于0且1以下的A时，
所述决定部通过t＝τln(1/(1－A))来决定所述曝光时间。
8.根据权利要求1至7中任一项所述的三维测定装置，其中，
所述决定部以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为所述阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间或所述投影部的光量。
9.一种三维测定方法，其特征在于，包括：
向测定对象物投影图案光；
以规定的曝光时间来拍摄经投影所述图案光的所述测定对象物的图像；
提取所述图像所含的多个特征点，基于所述多个特征点来计算表示所述测定对象物的三维形状的、三维点群的位置；以及
以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为基于所述多个特征点的个数及所述三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间。
10.一种三维测定程序，使三维测定装置所包括的运算装置作为计算部及决定部而运行，所述三维测定装置包括：投影部，向测定对象物投影图案光；以及摄像部，以规定的曝光时间来拍摄经投影所述图案光的所述测定对象物的图像，
所述计算部提取所述图像所含的多个特征点，基于所述多个特征点来计算表示所述测定对象物的三维形状的、三维点群的位置，
所述决定部以所述多个特征点的个数及所述三维点群所含的点的个数的至少一者成为基于所述多个特征点的个数及所述三维点群所含的点的个数的任一者的最大值所规定的阈值以上，且所述曝光时间较针对所述最大值的曝光时间更短的方式，来决定所述曝光时间。
CN201980007537.1A 2018-02-07 2019-01-31 三维测定装置、三维测定方法以及三维测定存储介质 Active CN111566439B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018019998A JP6770254B2 (ja) 2018-02-07 2018-02-07 ３次元測定装置、３次元測定方法及び３次元測定プログラム
JP2018-019998 2018-02-07
PCT/JP2019/003333 WO2019155974A1 (ja) 2018-02-07 2019-01-31 ３次元測定装置、３次元測定方法及び３次元測定プログラム

Publications (2)

Publication Number Publication Date
CN111566439A true CN111566439A (zh) 2020-08-21
CN111566439B CN111566439B (zh) 2021-09-21

Family

ID=67548464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007537.1A Active CN111566439B (zh) 2018-02-07 2019-01-31 三维测定装置、三维测定方法以及三维测定存储介质

Country Status (5)

Country Link
US (1) US11313676B2 (zh)
EP (1) EP3751230B1 (zh)
JP (1) JP6770254B2 (zh)
CN (1) CN111566439B (zh)
WO (1) WO2019155974A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117136A1 (ja) * 2019-12-10 2021-06-17 オリンパス株式会社 撮像システム及び内視鏡システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275555A (ja) * 2005-03-28 2006-10-12 Canon Inc 表面形状測定方法、表面形状測定装置、露光方法、及び露光装置
JP2009168658A (ja) * 2008-01-17 2009-07-30 Nikon Corp 三次元形状計測装置
WO2015023483A1 (en) * 2013-08-06 2015-02-19 Smart Picture Technology, Inc. 3d mapping device for modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
JP2016134723A (ja) * 2015-01-19 2016-07-25 株式会社リコー 撮像装置、撮像方法及び撮像動作制御プログラム
CN106454149A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 图像拍摄方法、装置及终端设备
CN104270575B (zh) * 2014-10-22 2017-12-12 中国科学院光电研究院 成像光谱仪自适应调整曝光时间的方法及装置
JP2018017653A (ja) * 2016-07-29 2018-02-01 セイコーエプソン株式会社 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271530A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
US9633426B2 (en) * 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
TW201329419A (zh) * 2011-09-09 2013-07-16 尼康股份有限公司 形狀測定裝置、構造物製造系統、形狀測定方法、構造物製造方法、形狀測定程式產品、電腦可讀取之記錄媒體
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US8929644B2 (en) * 2013-01-02 2015-01-06 Iowa State University Research Foundation 3D shape measurement using dithering
WO2016113861A1 (ja) * 2015-01-14 2016-07-21 株式会社ニコン 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム
JP6566737B2 (ja) * 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN105651203B (zh) * 2016-03-16 2018-09-04 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
JP6691838B2 (ja) * 2016-06-27 2020-05-13 株式会社キーエンス 測定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275555A (ja) * 2005-03-28 2006-10-12 Canon Inc 表面形状測定方法、表面形状測定装置、露光方法、及び露光装置
JP2009168658A (ja) * 2008-01-17 2009-07-30 Nikon Corp 三次元形状計測装置
WO2015023483A1 (en) * 2013-08-06 2015-02-19 Smart Picture Technology, Inc. 3d mapping device for modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
CN104270575B (zh) * 2014-10-22 2017-12-12 中国科学院光电研究院 成像光谱仪自适应调整曝光时间的方法及装置
JP2016134723A (ja) * 2015-01-19 2016-07-25 株式会社リコー 撮像装置、撮像方法及び撮像動作制御プログラム
JP2018017653A (ja) * 2016-07-29 2018-02-01 セイコーエプソン株式会社 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
CN106454149A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 图像拍摄方法、装置及终端设备

Also Published As

Publication number Publication date
EP3751230A1 (en) 2020-12-16
EP3751230A4 (en) 2021-10-27
US11313676B2 (en) 2022-04-26
US20210356259A1 (en) 2021-11-18
CN111566439B (zh) 2021-09-21
WO2019155974A1 (ja) 2019-08-15
JP6770254B2 (ja) 2020-10-14
JP2019138686A (ja) 2019-08-22
EP3751230B1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
US9961329B2 (en) Imaging apparatus and method of controlling same
US10070047B2 (en) Image processing apparatus, image processing method, and image processing system
US20190188860A1 (en) Detection system
US20140037135A1 (en) Context-driven adjustment of camera parameters
US20110248942A1 (en) Image pick-up apparatus, detection-frame adjustment method, and program
EP1400924A2 (en) Pseudo three dimensional image generating apparatus
US20200320683A1 (en) Skin diagnostic device and skin diagnostic method
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
JP6337614B2 (ja) 制御装置、ロボット、及び制御方法
US10240913B2 (en) Three-dimensional coordinate measuring apparatus and three-dimensional coordinate measuring method
US10726569B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20180075621A1 (en) Detection system and picture filtering method thereof
US10345685B2 (en) Image processing device, image projection apparatus, and image processing method
CN111566439B (zh) 三维测定装置、三维测定方法以及三维测定存储介质
US10803625B2 (en) Detection system and picturing filtering method thereof
US8922706B2 (en) Image system and denoising method therefor
JP2015119344A (ja) 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020020640A (ja) ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム
JPWO2018012524A1 (ja) 投影装置、投影方法および投影制御プログラム
JP2015207090A (ja) 画像処理装置、及びその制御方法
JP6412372B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
EP3062516A1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN112468723A (zh) 对焦方法及支付设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant