CN104601899A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN104601899A
CN104601899A CN201410601537.3A CN201410601537A CN104601899A CN 104601899 A CN104601899 A CN 104601899A CN 201410601537 A CN201410601537 A CN 201410601537A CN 104601899 A CN104601899 A CN 104601899A
Authority
CN
China
Prior art keywords
image
parameter
pattern
unit
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410601537.3A
Other languages
English (en)
Other versions
CN104601899B (zh
Inventor
吉川博志
内山晋二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013225819A external-priority patent/JP6267486B2/ja
Priority claimed from JP2013225821A external-priority patent/JP6346427B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104601899A publication Critical patent/CN104601899A/zh
Application granted granted Critical
Publication of CN104601899B publication Critical patent/CN104601899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供图像处理装置和图像处理方法。获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像。根据所获取的捕获图像中的所述图案的亮度值，调整第一参数和第二参数中的至少任意一个，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。

Description

图像处理装置和图像处理方法
技术领域
本发明主要涉及一种图像处理装置和图像处理方法，尤其涉及一种用于针对目标物体进行距离测量的技术。
背景技术
已知如下方法：使用诸如投影仪的投影单元将图案光投影到目标物体，并且根据通过由诸如照相机的图像捕获单元捕获目标物体而获得的捕获图像，来指定图案光的位置，由此测量距离。
目标物体的表面反射率和放置目标物体的姿态(orientation)是各种各样的。因此，捕获图像中的从投影单元投影的图案光的图像亮度(luminance)灰度值发生各种变化。为了在各种条件下指定图案光的位置，需要适当地进行图案光的辉度(brightness)调整和图像捕获单元的曝光量调整。如果这些调整不正确，则捕获图像中的图案光饱和，或者导致阴影细节丢失，并且无法指定图案光的位置。此外，如果这些调整不足，虽然可以指定图案光的位置，但是位置指定精度下降。
在专利文献1(日本特开2012-68176号公报)中，预先基于在投影均匀图案光之后捕获的图像的图像亮度灰度值来确定最大反射率，并且基于反射率确定图案光的辉度和图像捕获单元的曝光量。
在专利文献2(日本特开2009-250844号公报)中，使用在投影光切割线之后捕获的图像的图像亮度灰度值的直方图，来调整图像捕获单元的曝光量。更具体来说，在图像亮度灰度值直方图中，调整与光切割线部分相对应的第一峰、和与由测量环境中的照明光产生的背景光相对应的第二峰之间的差，使其等于或大于阈值。此外，调整第一峰，使其不超过预先设置的上限值。
在专利文献1中公开的方法中，基于不是用来指定位置的图案光、而是均匀图案光的图像亮度灰度值，确定图案光的辉度和图像捕获单元的曝光量。因此，未考虑例如在用来指定位置的图案光中产生的、由于投影光学系统或者图像捕获光学系统中的模糊而出现的图案光的对比度降低的影响。其结果是，图案光的调整变得不足，并且图案位置指定精度可能降低。此外，基于图像亮度灰度值的最大值来确定最大反射率和曝光量。当目标物体的光泽度非常高时，受局部产生的光晕影响，无法在整个帧上进行适当的调整。
在投影光的图像亮度灰度值直方图的峰和背景光的峰清楚地分开的情况下，在专利文献2中公开的发明有效地起作用。然而，在背景光的亮度高，并且几乎等于投影光的亮度的情况下，难以辨别投影光和背景光的图像亮度灰度值直方图的峰，该发明无法有效地起作用。
已知一种识别处理装置，其基于被构造为进行上述距离测量的距离测量装置的距离测量结果，估计多个堆叠的目标物体的位置和姿态。可以构造一种系统，其中，通过向机器人控制装置输出识别处理装置对目标物体的位置和姿态的估计结果，机器人可以自动拾取堆叠的目标物体。
假设堆叠了许多目标物体的场景，从装置到目标物体的距离依据堆叠的高度而发生变化。如果从装置到目标物体的距离发生变化，则投影图案光的亮度和捕获图像的辉度发生变化。更具体来说，捕获图像的辉度与从装置到目标物体的距离的平方成比例地降低。
此外，根据目标物体在捕获图像中的位置和目标物体在投影范围中的位置，在边缘处出现光量下降，并且捕获图像的辉度发生改变。也就是说，捕获图像朝向帧的中心变得更亮，而朝向边缘变得更暗。例如，捕获图像基于余弦四次方定律变暗。
以这种方式，捕获图像中的从投影单元投影的图案光的图像亮度灰度值，根据到目标物体的距离或者在捕获图像中的位置发生各种变化。如果捕获图像变暗，则图像捕获元件的噪声的影响增大，并且距离测量精度降低。距离测量精度的降低甚至使识别处理装置对目标物体的位置和姿态的估计精度降低。拾取系统可能产生诸如机器人拾取目标物体失败的故障。
为了与距离或者在捕获图像中的位置无关地以高精度进行距离测量，需要根据距离或者在帧中的位置，适当地进行图案光的辉度调整和图像捕获单元的曝光量调整。如果这些调整不正确，则捕获图像中的图案光饱和，或者导致阴影细节丢失，并且无法进行距离测量。如果这些调整不足，虽然可以进行距离测量，但是测量精度下降。
专利文献3(日本特开2000-292133号公报)公开了布置透射率在中心低并且越靠边缘越大的元件，以抵消边缘处的光量下降的影响的方法。专利文献4(日本特开2000-241131号公报)公开了基于大致距离的测量结果对来自光源的光输出进行控制的测距仪装置。
在专利文献3中公开的方法中，对于放置在相同距离处的目标物体，照明的亮度变得恒定，并且能够抑制由于边缘处的光量下降而导致的精度降低。相反，对于不同深度处的目标物体，亮度不会变得恒定。由于该原因，在专利文献3中公开的方法使精度降低。
在专利文献4中公开的方法中，基于大致距离来调整整个帧的曝光量。然而，对于放置在投影区域中的特定位置处的目标物体，未实现最佳曝光量调整。
发明内容
作出了本发明以解决上述问题，本发明提供一种用于以高精度可靠地指定图案光的位置的技术。
本发明还提供一种用于以较高的精度针对各个目标物体进行距离测量的技术。
根据本发明的第一方面，提供一种图像处理装置，其包括：获取单元，被构造为获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；以及调整单元，被构造为基于所获取的捕获图像中的所述图案，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
根据本发明的第二方面，提供一种图像处理装置，其包括：获取单元，被构造为获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；被构造为指定为了从所述捕获图像中检测所述图案的位置而参照的各个像素的像素值中的最大像素值，并且获取所述最大像素值的分布的单元；以及调整单元，被构造为使用所述分布，调整第一参数或第二参数，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
根据本发明的第三方面，提供一种由图像处理装置执行的图像处理方法，其包括：获取步骤，获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；以及调整步骤，基于所获取的捕获图像中的所述图案，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
根据本发明的第四方面，提供一种由图像处理装置执行的图像处理方法，其包括：获取步骤，获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；指定为了从所述捕获图像中检测所述图案的位置而参照的各个像素的像素值中的最大像素值，并且获取所述最大像素值的分布的步骤；以及调整步骤，使用所述分布，调整第一参数或第二参数，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
根据本发明的第五方面，提供一种图像处理装置，其包括：获取单元，被构造为获取通过由图像捕获单元捕获投影单元投影了图案的目标物体而获得的捕获图像；得出单元，被构造为使用所述捕获图像，得出从所述图像捕获单元到所述目标物体的距离；以及调整单元，被构造为根据所得出的距离，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从所述投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
根据本发明的第六方面，提供一种由图像处理装置执行的图像处理方法，其包括：获取步骤，获取通过由图像捕获单元捕获投影单元投影了图案的目标物体而获得的捕获图像；得出步骤，使用所述捕获图像，得出从所述图像捕获单元到所述目标物体的距离；以及调整步骤，根据所得出的距离，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从所述投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出图像处理装置的功能布置的示例的框图；
图2A至2G是各自示出投影光的示例的图；
图3是示出4位格雷码的图；
图4是示出图像捕获单元20、投影单元30和目标物体5之间的关系的示意图；
图5A和5B是用于说明图案位置指定精度的曲线图；
图6A至6C是用于说明在改变曝光时间时的亮度灰度值的改变的曲线图；
图7是用于说明使用具有高光泽度的目标物体作为目标物体5的情况的图；
图8是示出要由图像处理单元40进行的处理的流程图；
图9是示出步骤S4105中的处理的细节的流程图；
图10是示出图像处理装置的功能布置的示例的框图；
图11是示出要由图像处理单元40进行的处理的流程图；
图12是示出步骤S4123中的处理的细节的流程图；
图13A和13B是用于说明步骤S4222和S4223中的处理的曲线图；
图14是示出在变型例中使用的图案光的示例的图；
图15A至15D是示出亮度灰度值和差分值的曲线图；
图16是示出适用于图像处理单元40的装置的硬件布置的示例的框图；
图17是示出目标物体拾取系统508的功能布置的示例的框图；
图18A至18C是用于说明多个堆叠部件的高度的改变的图；
图19A至19C是用于说明捕获图像中的亮度值和到图像捕获目标的距离之间的关系的曲线图；
图20是示出要由图像处理单元5040进行的处理的流程图；
图21A和21B是用于说明步骤S50106中的处理的图；
图22是示出要由图像处理单元5040进行的处理的流程图；
图23是用于说明三角测量校正量Czt的图；
图24是示出目标物体拾取系统508的功能布置的示例的框图；
图25是用于说明目标物体的位置和姿态与相对于目标物体的视角θ之间的关系的图；
图26是示出要由图像处理单元5040进行的处理的流程图；
图27A和27B是示出步骤S50300中的处理的细节的流程图；以及
图28是示出步骤S50310中的处理的细节的流程图。
具体实施方式
现在，参照附图描述本发明的实施例。注意，下面描述的实施例是本发明的具体实施方式的示例，并且是在所附权利要求中描述的布置的具体示例。
[第一实施例]
首先，参照图1的框图，描述根据第一实施例的图像处理装置(距离测量装置)的功能布置的示例。如图1所示，图像处理装置包括：投影单元30，其向目标物体5投影图案光；图像捕获单元20，其捕获向其投影了图案光的目标物体5；以及图像处理单元40，其对投影单元30和图像捕获单元20进行控制，并且基于空间编码方法针对目标物体5进行距离测量。
首先，说明投影单元30。如图1所示，投影单元30包括光源31、照明光学系统32、显示元件33、投影光圈(stop)34和投影光学系统35。
光源31例如是诸如卤素灯和LED的各种发光元件中的一个。照明光学系统32是具有向显示元件33引导由光源31发出的光的功能的光学系统。例如，使用诸如克勒(Koehler)照明或者散射板的适合于使亮度均匀的光学系统。显示元件33是具有根据提供的图案在空间上控制从照明光学系统32行进的光的透射率和反射率的功能的元件。例如，使用透射型LCD、反射型LCOS或DMD。对于向显示元件33的图案的提供，可以依次向显示元件33提供保持在投影单元30中的多种类型的图案。可选地，可以依次获取并且向显示元件33提供保持在外部装置(例如图像处理单元40)中的多种类型的图案。投影光学系统35是被构造为将从显示元件33引导的光(图案光)在目标物体5的特定位置形成为图像的光学系统。投影光圈34用于控制投影光学系统35的f数。
接下来，说明图像捕获单元20。如图1所示，图像捕获单元20包括图像捕获光学系统23、图像捕获光圈22和图像捕获元件21。
图像捕获光学系统23是被构造为在图像捕获元件21上对目标物体5的特定位置进行成像的光学系统。图像捕获光圈22用于控制图像捕获光学系统23的f数。图像捕获元件21例如是诸如CMOS传感器和CCD传感器的各种光电转换元件中的一个。注意，由图像捕获单元20中的控制单元(未示出)对图像捕获元件21进行了光电转换的模拟信号进行采样和量化，并且将其转换为数字图像信号。此外，该控制单元根据数字图像信号生成各个像素具有亮度灰度值(浓度值和像素值)的图像(捕获图像)。该控制单元向图像捕获单元20中的存储器或者向图像处理单元40适当地发送捕获图像。
注意，每次投影单元30投影不同的图案光时，图像捕获单元20捕获目标物体5。更具体来说，图像捕获单元20和投影单元30同步工作，并且图像捕获单元20能够捕获向其投影了各个不同的图案光的目标物体5的图像。
接下来，说明图像处理单元40。如图1所示，图像处理单元40包括调整单元41、亮/暗部分确定单元42、图案位置指定单元43、距离测量单元44、图案光辉度控制单元45和捕获图像曝光量控制单元46。
图案位置指定单元43获取由图像捕获单元20捕获的图像，并且从获取的捕获图像中指定捕获图像中的图案光的位置(图案位置)。
亮/暗部分确定单元42获取由图像捕获单元20捕获的图像，并且使用构成所获取的捕获图像的各个像素的亮度灰度值和图案位置指定单元43从捕获图像中指定的图案位置，进行亮/暗部分确定。
根据亮/暗部分确定单元42进行的确定的结果，调整单元41确定用于控制图像捕获单元20下一次要捕获的图像的亮/暗部分的参数。“用于控制图像捕获单元20下一次要捕获的图像的亮/暗部分的参数”包括针对图像捕获单元20的参数和针对投影单元30的参数。可以确定这两个参数或者两个参数中的任意一个。
当调整单元41确定“针对投影单元30的参数”时，图案光辉度控制单元45根据该参数，控制从投影单元30投影的图案光的辉度。控制图案光的辉度的方法例如包括以下三种方法。
第一种方法是控制光源31的发光亮度。在卤素灯的情况下，当施加电压增大时，发光亮度增大。在LED的情况下，当提供的电流增大时，发光亮度增大。在这种情况下，“针对投影单元30的参数”是用于控制光源31的发光亮度的参数。
第二种方法是控制显示元件33的显示灰度值。在LCD的情况下，当显示灰度值增大时，透射率增大，并且图案光变亮。在LCOS的情况下，当显示灰度值增大时，反射率增大，并且图案光变亮。在DMD的情况下，当显示灰度值增大时，每帧的ON(接通)计数增大，并且图案光变亮。在这种情况下，“针对投影单元30的参数”是用于控制显示元件33的显示灰度值的参数。
第三种方法是控制投影光圈34。当光圈打开时，图案光变亮。相反，当光圈变窄时，图案光变暗。当控制投影光圈34时，投影光学系统的景深也改变，因此需要考虑这种影响。在这种情况下，“针对投影单元30的参数”是用于控制投影光圈34的参数。
当调整单元41确定“针对图像捕获单元20的参数”时，捕获图像曝光量控制单元46根据该参数控制图像捕获单元20进行图像捕获时的曝光量，由此控制捕获图像的亮度灰度值。控制图像捕获单元20的曝光量的方法例如包括以下两种方法。
第一种方法是控制图像捕获元件21的曝光时间(快门速度)。当曝光时间延长时，捕获图像的亮度灰度值增大。相反，当曝光时间缩短时，亮度灰度值减小。在这种情况下，“针对图像捕获单元20的参数”是用于控制图像捕获元件21的曝光时间(快门速度)的参数。
第二种方法是控制图像捕获光圈22。当光圈打开时，捕获图像的亮度灰度值增大。相反，当光圈变窄时，捕获图像的亮度灰度值减小。当控制图像捕获光圈22时，图像捕获光学系统的景深也改变，因此需要考虑这种影响。在这种情况下，“针对图像捕获单元20的参数”是用于控制图像捕获光圈22的参数。
每次投影单元30投影多种类型的图案光束中的各个时，距离测量单元44获取由图像捕获单元20捕获的图像。然后，距离测量单元44使用从所获取的捕获图像中解码的空间代码和图案位置指定单元43针对所获取的捕获图像指定的图案位置，通过三角测量原理，测量从图像捕获单元20(图像捕获光学系统23)到目标物体5的距离。
虽然如上所述，在本实施例中基于空间编码方法进行距离测量，但是存在空间编码方法的多种衍生形式。本实施例采用在日本特开2011-47931号公报中公开的方法。简要说明这种方法的原理。
图2A至2G示出了4位空间编码方法中的投影图案(图案光束)。图2A所示的投影图案(全点灯(light-on)图案)和图2B所示的投影图案(全熄灯(light-off)图案)用来检测阴影区域，并且确定亮/暗部分确定阈值。图2C至2F中的投影图案(分别为1位至4位正图案)用来确定空间代码。图2G中的投影图案(4位负图案)用来与4位正图案一起以高精度指定图案位置。
对于4位，空间代码的数量是16。设N是投影图案的位数，则空间代码的数量为2N。在图2A至2G所示的1位至4位的投影图案中，基于称为格雷码的符号来确定图案的亮和暗(白色和黑色)部分的布局。图3示出了4位格雷码。格雷码是相邻代码之间的汉明(Hamming)距离为1的图案。即使代码确定错误，也能够使误差最小。因此，在空间编码方法中，经常使用格雷码作为投影图案。
接下来，说明从捕获图像中对空间代码进行解码的方法。将图2A至2G所示的1位至4位的投影图案投影到测量目标物体，并且捕获向其投影了各个投影图案的测量目标物体的图像。基于通过图像捕获获得的各个捕获图像中的各个像素的亮度灰度值，确定该像素是用投影图案的亮部分照射的部分，还是用暗部分照射的部分。该确定的确定标准可以使用全点灯图案和全熄灯图案的亮度灰度值的平均值。更具体来说，对于捕获图像中的各个像素，如果像素的亮度灰度值等于或大于平均值，则确定该像素是亮部分；如果像素的亮度灰度值低于平均值，则确定该像素是暗部分。对确定是亮部分的像素分配位值“1”，并且对确定是暗部分的像素分配位值“0”。针对1位至4位的投影图案的捕获图像中的各个进行该处理，从而向捕获图像中的各个像素给出4位的位值(4位的格雷码)。通过将4位格雷码转换为空间代码，能够唯一地指定从投影单元的出射方向。例如，当对给定像素分配代码“0110”时，如图3所示，格雷码为6。将该格雷码转换为空间代码4。
如图4所示，根据捕获图像中的像素位置确定光到图像捕获单元(更具体来说为图像捕获单元的主点位置)的入射方向。当确定了像素位置的空间代码时，指定从投影单元的出射方向。在确定两个方向之后，可以基于三角测量原理针对测量目标物体进行距离测量。这是基于空间编码方法的距离测量原理。
空间编码方法可以通过还使用通过将投影图案的亮部分和暗部分反转而获得的图案光(在图2A至2G中为图2G中的4位负图案)来减少误差。随后参照图4说明误差减小方法。
由于从投影单元的出射方向具有与一个空间代码的宽度相对应的扩散，因此产生ΔZ的距离测量误差。为了降低误差，进一步投影通过将最低有效位(在图2A至2G中为第四位)的投影图案(在图2A至2G中为图2F中的4位正图案)的亮部分和暗部分反转而获得的负图案(在图2A至2G中为图2G中的4位负图案)。将由构成向其投影了正图案的目标物体的捕获图像的各个像素的亮度值形成的亮度值波形，与由构成向其投影了负图案的目标物体的捕获图像的各个像素的亮度值形成的亮度值波形之间的交点位置，设置为图案位置。该图案位置用于进行距离测量。该交点位置是相邻空间代码之间的边界位置，并且理想的是没有宽度。实际上，因为当作为数字图像信号接收到捕获图像时执行量化和采样，并且捕获图像的亮度灰度值包含图像捕获元件噪声，因此宽度不为0。然而，距离测量误差能够大大降低。图案位置指定单元43执行指定交点位置的处理。对降低距离测量误差的方法进行了说明。
接下来，参照图5A和5B说明图案位置指定精度。图5A是横坐标表示图像坐标，纵坐标表示亮度灰度值的曲线图。沿着横坐标的图像坐标是与捕获图像中的投影图案的条纹的方向垂直的方向上的坐标。实线指示由与正图案的条纹的方向垂直的方向上的一个线上的各个像素的亮度值形成的亮度值波形(正图案波形)。虚线指示由与负图案的条纹的方向垂直的方向上的一个线上的各个像素的亮度值形成的亮度值波形(负图案波形)。注意，各个波形是由各个捕获图像中的同一位置处的线上的各个像素的亮度值形成的亮度值波形。图5B是示出由粗实线包围的区域中的各个波形的放大图。
在图5B中，注意正图案波形和负图案波形之间的交点附近的四个点(全部在正图案波形或者负图案波形上)。PL是交点位置左侧的两个点(它们的图像坐标(沿着横坐标的值)相同)中的正图案波形上的点处的亮度灰度值，并且NL是负图案波形上的点处的亮度灰度值。此外，PR是交点位置右侧的两个点(它们的图像坐标(沿着横坐标的值)相同)中的正图案波形上的点处的亮度灰度值，并且NR是负图案波形上的点处的亮度灰度值。DL是亮度灰度值之间的差(PL-NL)的绝对值，并且DR是亮度灰度值之间的差(PR-NR)的绝对值。
对交点附近的亮度波形进行线性近似(分别用直线对亮度灰度值PL的点和亮度灰度值PR的点之间的亮度波形以及亮度灰度值NL的点和亮度灰度值NR的点之间的亮度波形进行近似)。然后，由下式给出各个直线之间的交点位置C(图像坐标)：
C＝L+DL/(DL+DR)...(1)其中，L是亮度灰度值PL的点(亮度灰度值NL的点)的图像坐标(沿着横坐标的值)。为了方便描述，作为使用亮度灰度值PL的点(亮度灰度值NL的点)的图像坐标作为基准的相对位置，来说明交点位置C。因此，C＝DL/(DL+DR)。
假设亮度灰度值PL、PR、NL和NR仅具有图像捕获元件噪声σ的波动。这时，甚至交点位置仅具有宽度ΔC的波动。该宽度是交点的子像素位置估计误差。子像素位置估计误差ΔC可以由下式计算：
ΔC＝σ/(DL+DR)...(2)
随着交点的子像素位置估计误差ΔC变得越小，距离测量误差变得越小。方程式(2)揭示了通过增大分母(作为亮度灰度值之间的差的DL或DR值)，可以使子像素位置估计误差ΔC减小。亮度灰度值之间的差DL(DR)与亮度灰度值成比例地增大。此外，图像捕获元件噪声σ中的散粒噪声分量经常展示散粒噪声分量与亮度灰度值的平方根的值成比例的特性。因此，通过增大亮度灰度值，噪声σ的影响相对减小。为了增大亮度灰度值，存在两种方法：增大图像捕获单元20中的曝光量和增大图案光的辉度。
可以执行这两种方法两者或者任一种。在本实施例中，例如，仅执行控制图像捕获单元20中的曝光量的方法。此外，在曝光量控制方法中，仅控制曝光时间。然而，对曝光量的控制可以通过控制曝光时间之外的方法来实现，而不局限于特定方法。在曝光量控制方法中，控制甚至适用控制图像捕获光圈22的方法。控制还适用对光源31的发光亮度的控制、对显示元件33的显示灰度值的控制和对投影光圈34的控制，来作为控制图案光的辉度的方法。方法不局限于仅控制单个受控变量的方法，也可以同时控制多个受控变量。
接下来，参照图6A至6C，描述改变曝光时间时的亮度灰度值的改变。N是当前曝光时间。图6A示出了以曝光时间N捕获的图像的亮度灰度值的波形。在图6A的状态下，没有亮度灰度值的波形达到饱和水平，因此有提高精度的空间。然而，不希望不必要地延长曝光时间。
图6B示出了将曝光时间加倍到2N时的亮度灰度值的波形。波形在中央超过了饱和水平。为了方便，图6B示出了超过饱和水平的波形。实际上，超过饱和水平的波形在饱和水平的亮度灰度值处截止并且输出。在图6B中，交点位置在饱和水平的亮度灰度值处截止，并且无法指定交点位置。为了实现指定交点位置和减小子像素估计误差两者，希望是如下状态：将亮度灰度值的波形中的用于指定图案位置的交点位置附近的亮度灰度值，调整到比饱和水平少一个步长的水平。
图6C示出了将曝光时间乘以1.5到1.5N时的亮度灰度值的波形。在图6C中，全点灯图案的波形以及正图案和负图案的波形部分超过了饱和水平，但是用来指定图案位置的交点位置附近的亮度灰度值没有超过饱和水平。由于该原因，能够指定交点位置，并且因为交点附近的亮度灰度值变大，因此能够减小子像素位置估计误差。
注意，当使用诸如金属的光泽度高的目标物体作为目标物体5时，仅在目标物体的一部分处正反射条件成立，并且亮度灰度值可能变得相当大。图7示出了该示例。假设在作为光泽度高的目标物体的目标物体5上的点51处，在来自投影单元的入射光和朝向图像捕获单元的反射光之间，正反射条件成立。正反射条件是入射光的入射角和反射光的反射角变得相等的条件。这时，当目标物体5的光泽度高时，来自该区域的反射光变得比周围光更亮，其结果是，亮度灰度值变得相当大。如果将该部分处的亮度值调整为没有达到饱和水平，则除了该部分之外的整个图像的亮度降低，并且整个图像的距离测量精度降低。为了解决这，本实施例引入了允许图像中的相对于整个目标区域(例如包括目标物体5的区域)的像素的总数的特定数量的像素达到饱和水平的机制。将在关于亮/暗部分确定单元42的描述中详细说明这种机制。
如上所述，本实施例提供了调整捕获图像的曝光量和图案光的辉度，使得将用来指定图案位置的像素的亮度灰度值设置为比饱和水平少一个步长的水平的方法。相应地，能够以高精度指定图案位置。此外，本实施例提供了设置饱和水平的容许范围，以甚至针对在部分区域中亮度灰度值过度饱和的目标物体，在牺牲该部分区域的同时，提高整个图像中的图案位置指定精度的方法。
接下来，参照示出图像处理单元40为了调整图像捕获单元20的曝光量而进行的处理的流程图的图8，来说明该处理。首先，在步骤S4101中，调整单元41设置预先设置或者用户经由操作单元(未示出)设置的曝光量的初始值(参数)。捕获图像曝光量控制单元46根据曝光量的初始值，对图像捕获单元20的曝光量进行控制。调整单元41设置预先设置或者用户经由操作单元(未示出)设置的图案光的辉度的初始值(参数)。图案光辉度控制单元45根据图案光的辉度的初始值，对从投影单元30投影的图案光的辉度进行控制。调整单元41设置曝光量的改变量的初始值(参数)。曝光量的改变量的初始值是例如曝光量的初始值的1/2足以。毋庸置疑，曝光量的改变量的初始值不局限于此。
在步骤S4102中，调整单元41设置值AN(AN是2或者更大的整数)作为曝光量的调整次数的上限值。随着调整次数变得越大，能够进行越精细的调整，但是直到曝光量的调整结束为止花费的时间变得越长。根据经验，调整次数理想地是大约十几次。在步骤S4103中，调整单元41在用于对曝光量的调整次数进行计数的计数器k中设置值“1”。
在步骤S4104中，投影单元30逐个依次选择上面描述的多个投影图案，并且用选择的投影图案照射目标物体5。图像捕获单元20捕获目标物体5。投影图案的类型是四种：全点灯图案、全熄灯图案、正图案(在图2A至2G中为图2C至2F中的四个正图案)和负图案(在图2A至2G中为图2G中的负图案)。4位空间编码方法使用4位正图案作为正图案，并且使用4位负图案作为负图案。每次投影选择的图案光时，图像捕获单元20捕获目标物体5。
在步骤S4105中，亮/暗部分确定单元42和图案位置指定单元43使用图像捕获单元20捕获的图像，进行亮/暗部分确定。稍后将参照图9的流程图，描述步骤S4105中的处理的细节。如果作为亮/暗部分确定的结果，确定像素是亮部分，则处理前进到步骤S4106。如果确定像素是暗部分，则处理前进到步骤S4107。
在步骤S4106中，调整单元41将表示图像捕获单元20的当前曝光量的参数改变所述改变量，使得图像捕获单元20下一次要捕获的图像变得比当前捕获图像更暗。捕获图像曝光量控制单元46根据调整后的参数，对图像捕获单元20的曝光量进行控制。
在步骤S4107中，调整单元41将表示图像捕获单元20的当前曝光量的参数改变所述改变量，使得图像捕获单元20下一次要捕获的图像变得比当前捕获图像更亮。捕获图像曝光量控制单元46根据调整后的参数，对图像捕获单元20的曝光量进行控制。
在步骤S4108中，调整单元41确定计数器k的值是否超过了AN。如果确定k>AN，则处理结束。如果确定k≤AN，则处理前进到步骤S4109。
在步骤S4109中，调整单元41将计数器k的值递增1。在步骤S4110中，调整单元41更新曝光量的改变量。期望的是随着调整次数的增加，逐渐减小改变量。例如，可以想到诸如二值搜索的方法。根据这种方法，将改变量更新为先前的改变量的1/2。
在步骤S4110中更新改变量之后，在满足k≤AN时，重复执行步骤S4104至S4110中的处理。随着调整次数增加，以搜索的方式更新曝光量，并且逐渐接近适当的曝光量。
接下来，参照图9的流程图，说明上述步骤S4105中的处理的细节。亮/暗部分确定单元42使用四个捕获图像In1至In4进行亮/暗部分确定，并且输出Out1：暗部分确定和Out2：亮部分确定中的任意一个，作为亮/暗部分确定的结果。捕获图像In1是投影了全点灯图案的目标物体5的捕获图像。捕获图像In2是投影了全熄灯图案的目标物体5的捕获图像。捕获图像In3是投影了正图案的目标物体5的捕获图像。捕获图像In4是投影了负图案的目标物体5的捕获图像。
以两个阶段执行亮/暗部分确定。在第一阶段中，使用捕获图像In1和In2进行大致亮/暗部分确定。在第二阶段中，使用捕获图像In3和In4进行详细亮/暗部分确定。在本实施例的描述中，在第一和第二两个阶段中进行亮/暗部分确定。然而，也可以省略第一阶段中的亮/暗部分确定，而仅进行第二阶段中的亮/暗部分确定。
首先说明第一阶段中的亮/暗部分确定。
在步骤S4201中，亮/暗部分确定单元42在捕获图像In1或In2中设置调整区域。例如，在显示单元(未示出)上显示捕获图像In1或In2，作为显示目标图像，并且用户对操作单元(未示出)进行操作，以指定(设置)显示目标图像中的目标物体5的区域作为调整区域。当然，调整区域设置方法不局限于此。当预先确定或者通过识别处理确定了捕获图像In1或In2中的目标物体5的区域时，可以将目标物体5的该区域设置为调整区域，而不需用户操作介入。假设当在一个捕获图像中设置了调整区域时，也在另一捕获图像中的同一位置处进行设置。在步骤S4202中，亮/暗部分确定单元42作为“调整区域中的像素的数量X”，对调整区域中的像素的数量进行计数。
在步骤S4203中，亮/暗部分确定单元42从捕获图像In1中的调整区域或者捕获图像In2中的调整区域中，检测看起来是阴影的区域(阴影区域)。例如，阴影区域检测方法如下。更具体来说，计算捕获图像In1中的调整区域内的像素和捕获图像In2中的调整区域内的像素中的、位置彼此相对应的像素之间的亮度灰度值的差分值。将由差分值小于预先设置的阈值(阴影区域阈值)的像素位置处的像素形成的区域，确定为阴影区域。然而，甚至在捕获图像In2中的调整区域内的亮度灰度值接近或达到饱和水平的情况下，差分值变小。仅通过上述确定方法，将该区域确定为阴影区域。为了应对这种情况，最好引入如下确定方程式：当通过将阴影区域阈值的值与捕获图像In2的亮度灰度值相加而获得的值超过饱和水平时，从阴影区域中排除该亮度灰度值。毋庸置疑，从图像中指定阴影区域的方法不局限于上述方法。
在步骤S4204中，亮/暗部分确定单元42通过从在步骤S4202中计数的调整区域中的像素的数量中，减去在步骤S4203中检测到的阴影区域中的像素的数量，获得其余像素的数量，作为非阴影区域中的像素的数量Y。非阴影区域中的像素的数量是通过从调整区域中排除阴影区域而获得的其余区域中的像素的数量。
在步骤S4205中，亮/暗部分确定单元42确定通过将非阴影区域中的像素的数量Y除以调整区域中的像素的数量X而获得的值(非阴影区域中的像素的数量Y与调整区域中的像素的数量X的比)是否超过了预先设置的阈值A。当阴影区域占据大部分调整区域时，Y/X取相对小的值。如果Y/X≤阈值A(等于或低于阈值)，则阴影区域占据大部分调整区域。因此，亮/暗部分确定单元42输出“暗部分确定(Out1)”，作为亮/暗部分确定结果。
相反，当非阴影部分占据大部分调整区域时，Y/X取相对大的值。因此，如果Y/X>阈值A，则处理前进到步骤S4206，以执行第二阶段中的亮/暗部分确定。
随后，说明第二阶段中的亮/暗部分确定。如上所述，第二阶段中的亮/暗部分确定使用捕获图像In3和In4。在步骤S4206中，图案位置指定单元43在捕获图像In3(捕获图像In4)中的调整区域内，进行估计前述交点位置作为图案位置的处理。例如，P1是捕获图像In3中的像素位置(x-1,y)处的亮度灰度值，并且P2是捕获图像In3中的像素位置(x+1,y)处的亮度灰度值。Q1是捕获图像In4中的像素位置(x-1,y)处的亮度灰度值，并且Q2是捕获图像In4中的像素位置(x+1,y)处的亮度灰度值。这时，满足“如果P1>Q1，则P2<Q2”(条件1)或者“如果P1<Q1，则P2>Q2”(条件2)，则确定像素位置(x,y)是交点位置。如果既不满足条件1，也不满足条件2，则确定像素位置(x,y)不是交点位置。以这种方式，通过针对捕获图像In3(捕获图像In4)中的调整区域内的所有像素位置(x,y)进行该条件确定，可以确定各个像素位置是否是交点位置。在步骤S4207中，图案位置指定单元43对在步骤S4206中估计的交点位置(测量像素)的数量进行计数，作为“测量像素的数量Z”。
在步骤S4208中，亮/暗部分确定单元42确定通过将测量像素的数量Z除以非阴影区域中的像素的数量Y而获得的值(测量像素的数量Z与非阴影区域中的像素的数量Y的比：等同于测量像素的检测量)是否超过了预先设置的阈值B。当交点位置的数量与非阴影区域中的像素的数量的比低时，认为因为调整区域中的许多像素的亮度灰度值达到了饱和水平，而未获得太多交点位置。例如，在图6B中的中央附近，交点位置处的像素的亮度灰度值超过了饱和水平。其结果是，无法获得这些交点位置，并且Z/Y值变得相对小。如果Z/Y≤阈值B，则亮/暗部分确定单元42输出“亮部分确定(Out2)”，作为亮/暗部分确定结果。如果Z/Y>阈值B，则可以计算许多交点位置，并且处理前进到步骤S4209。
在步骤S4209中，亮/暗部分确定单元42针对各个交点位置，确定交点位置附近的位置处的像素的亮度灰度值是否已经饱和。更具体来说，亮/暗部分确定单元42参照接近交点位置的正图案波形上的两个点和负图案波形上的两个点、即总共四个点(在图5B中为具有亮度灰度值PR、PL、NR和NL的四个点)的亮度灰度值。如果这四个点包括亮度灰度值等于或大于饱和水平的一个或更多个点，则将该交点位置处的像素确定为饱和测量像素。针对获得的各个交点位置进行该处理。在步骤S4210中，亮/暗部分确定单元42对在步骤S4209中被确定为饱和测量像素的像素的数量进行计数，作为“饱和测量像素的数量g”。
在步骤S4211中，亮/暗部分确定单元42确定通过将“饱和测量像素的数量g”除以“测量像素的数量Z”而获得的值(饱和测量像素的数量g与测量像素的数量Z的比)是否超过了预先设置的阈值C。如果g/Z>阈值C，则亮/暗部分确定单元42输出“亮部分确定(Out2)”，作为亮/暗部分确定结果。如果g/Z≤阈值C，则亮/暗部分确定单元42输出“暗部分确定(Out1)”，作为亮/暗部分确定结果。
如上所述，对于诸如金属的高光泽度目标物体，在入射光和反射光之间正反射条件成立的部分处，亮度灰度值变得相当大。在步骤S4209至S4211中引入了允许特定数量的相邻像素超过饱和水平的机制。因此，即使对于高光泽度目标物体，也能够在不受正反射区域影响的情况下，适当地进行亮/暗部分确定。其结果是，即使对于高光泽度部分，曝光量调整处理也正确地起作用。
<变型例>
第一实施例描述了使用空间编码方法中的正图案波形和负图案波形之间的交点位置来指定图案位置的方法。然而，图案位置指定方法不局限于此。例如，可以使用亮度灰度波形的峰位置来指定图案位置。作为图案光，例如，可使用图14所示的由多个线光束形成的图案光。作为获得亮度灰度波形中的峰位置的方法，在许多情况下，采用获得亮度灰度波形的差分值(微分值)并且将差分值为0的位置设置为峰位置的方法。
图15A和15B是横坐标表示图像坐标，纵坐标表示亮度灰度值的曲线图。图15A和15B是示出峰位置附近的范围的放大图。图15C和15D是横坐标表示图像坐标，纵坐标表示亮度灰度值的差分值的曲线图。差分值是关注像素和相邻像素的亮度灰度值之间的差。
图15A示出了不超过饱和水平的亮度灰度波形，图15C示出了相应的图像亮度灰度值的差分值的波形。图15B示出了超过饱和水平的亮度灰度波形，图15D示出了相应的图像亮度灰度值的差分值的波形。
从图15C很明显，唯一地获得峰位置检测结果。在图15D中，图15B中的亮度灰度波形在饱和水平截止，差分值为0的范围宽，并且峰位置检测结果误差变大。甚至当亮度灰度波形不超过饱和水平时，由于图像捕获元件的噪声的影响，随着亮度灰度值变得越大，峰位置检测精度变得越高。也就是说，甚至在通过峰位置检测来指定图案光的位置的方法中，将亮度灰度值调整到比饱和水平少一个步长的水平的状态是有利的。上面描述的亮/暗部分确定处理和调整单元中的处理的概要适用。变型例中的亮/暗部分确定处理与第一实施例的不同之处在于以下的点。
在第一实施例中，在空间编码方法中，需要捕获图像In3和In4，以获得交点位置。然而，在该变型例(使用峰位置的方法)中，仅使用投影了图14所示的图案光的目标物体5的捕获图像。在步骤S4206的处理中，代替交点位置，指定捕获图像中的亮度灰度值的差分值为0的像素的位置。后续处理与在第一实施例中相同。
由于基于测量使用的像素的亮度灰度值调整曝光量，因此能够提高测量精度。此外，由于进一步利用允许特定数量的像素超过饱和水平的机制，因此即使对于高光泽度部分，也能够调整曝光量，以提高整个图像的测量精度。
在第一实施例中，执行基于搜索的曝光量调整。搜索伴随着多次图像捕获，因此对于曝光量调整，搜索花费时间，但是当没有关于目标物体的知识时，搜索是有效的。当不清楚调整参数和捕获图像的亮度之间的关系时，搜索也是有效的。
[第二实施例]
参照图10的框图，描述根据第二实施例的图像处理装置的功能布置的示例。在图10中，与在图1中相同的附图标记表示相同的功能单元，并且不重复关于这些功能单元的描述。在图10所示的布置中，适当曝光量计算单元47替换图1的布置中的亮/暗部分确定单元42。
适当曝光量计算单元47根据初始曝光量，根据由图像捕获单元20捕获的图像计算下一个适当曝光量。与第一实施例不同，第二实施例不需要进行搜索，因此调整花费的时间缩短，但是需要将初始曝光量在一定程度上调整到正确的范围。另外，需要掌握调整参数和亮度灰度值之间的关系。如果图像捕获单元的曝光时间是调整参数，则线性度高，从而当将曝光时间加倍时，捕获图像的亮度灰度值几乎也加倍。因此，曝光时间是对其应用本实施例的有利调整参数。然而，适用本实施例的调整参数不局限于具有高线性度的参数。仅需要预先找出调整参数和亮度灰度值之间的关系。例如，当使用LED作为光源时，电流值和亮度灰度值之间的关系通常是非线性的。这时，预先测量LED电流值和亮度灰度值之间的关系。
参照示出根据本实施例的图像处理单元40为了调整曝光量而进行的处理的流程图的图11，来说明该处理。在步骤S4121中，调整单元41设置预先设置或者用户经由操作单元(未示出)设置的曝光量的初始值(参数)。假设预先将本实施例中的初始曝光量在一定程度上调整到了正确的范围。例如，预先执行根据第一实施例的曝光量调整，并且将其设置为初始曝光量。根据曝光量的初始值，捕获图像曝光量控制单元46对图像捕获单元20的曝光量进行控制。调整单元41设置预先设置或者用户经由操作单元(未示出)设置的图案光的辉度的初始值(参数)。图案光辉度控制单元45根据图案光的辉度的初始值，对从投影单元30投影的图案光的辉度进行控制。
在步骤S4122中，投影单元30逐个依次选择正图案和负图案，并且用选择的投影图案照射目标物体5。图像捕获单元20捕获目标物体5。4位空间编码方法使用4位图案。每次投影选择的图案光时，图像捕获单元20捕获目标物体5。
在步骤S4123中，适当曝光量计算单元47和图案位置指定单元43使用图像捕获单元20捕获的图像，进行计算适当曝光量(参数)的处理。稍后将参照图12的流程图，描述步骤S4123中的处理的细节。在步骤S4124中，捕获图像曝光量控制单元46根据在步骤S4123中计算的参数，对图像捕获单元20进行图像捕获时的曝光量进行控制。
稍后参照图12的流程图，描述步骤S4123中的处理的细节。与步骤S4206中的处理类似，在步骤S4221中，图案位置指定单元43进行在捕获图像In3(捕获图像In4)中的调整区域内估计上述交点位置的处理。
在步骤S4222中，适当曝光量计算单元47参照接近交点位置的正图案波形上的两个点和负图案波形上的两个点、即总共四个点(在图5B中为具有亮度灰度值PR、PL、NR和NL的四个点)的亮度灰度值。将所参照的四个点处的亮度灰度值中的最大值，设置为该交点位置处的亮度灰度值。针对各个交点位置进行该处理。
在步骤S4223中，适当曝光量计算单元47创建针对各个交点位置在步骤S4222中获得的亮度灰度值的直方图(分布)。在步骤S4224中，适当曝光量计算单元47计算曝光量，利用该曝光量，使得通过将直方图中的各自具有等于或大于饱和水平的亮度灰度值的交点位置的数量(像素的数量)除以交点位置的总数而获得的值，变为等于特定范围内的特定阈值。
参照图13A和13B说明步骤S4222和S4223中的处理。图13A示出了调整之前的直方图。注意，横坐标表示亮度灰度值，纵坐标表示像素的数量。预先已经掌握了亮度灰度值和调整参数之间的关系。由于该原因，唯一地确定使得(等于或高于饱和水平的像素的总数)/(测量像素的总数)≈阈值的调整参数。图13B示出了调整之后的直方图。根据计算的参数，捕获图像曝光量控制单元46对图像捕获单元20进行图像捕获时的曝光量进行控制。
在本实施例的描述中，仅调整曝光量。然而，可以调整针对投影单元30的参数，或者可以调整曝光量和针对投影单元30的参数两者。
[第三实施例]
构成图像处理单元40的各个功能单元可以用硬件或软件(计算机程序)构成。在这种情况下，在安装计算机程序时执行计算机程序的装置适用于图像处理单元40。参照图16的框图，描述适用于图像处理单元40的装置的硬件布置的示例。
CPU1601通过使用存储在RAM1602和ROM1603中的计算机程序和数据执行处理，来对整个装置的操作进行控制。另外，CPU1601执行在上面的描述中由图像处理单元40进行的各个处理。
RAM1602具有用于临时从外部存储设备1606加载的存储计算机程序和数据、经由I/F(接口)1607从外部接收到的数据等的区域。此外，RAM1602具有在CPU1601执行各种处理时使用的工作区。也就是说，RAM1602能够适当地提供各种区域。ROM1603例如存储装置的设置数据和引导程序。
操作单元1604由键盘、鼠标等构成。装置的用户能够对操作单元1604进行操作，以向CPU1601输入各种指令。例如，可以通过对操作单元1604进行操作，来指定上述调整区域。
显示单元1605由CRT、液晶显示器等构成，其能够作为图像、字符等显示由CPU1601进行的处理的结果。例如，显示单元1605可以显示包括捕获图像In1和In2的用于指定调整区域的画面。
外部存储设备1606是以硬盘驱动器设备为代表的大容量信息存储设备。外部存储设备1606保存用于使CPU1601执行OS(操作系统)或者在上面的描述中由图1或10所示的图像处理单元40中的各个功能单元进行的各个处理的计算机程序和数据。数据甚至包括在上面的描述中作为已知信息说明的信息。保存在外部存储设备1606中的计算机程序和数据在CPU1601的控制下正确地加载到RAM1602，并且由CPU1601进行处理。
当装置与外部设备进行通信时，使用I/F1607。例如，上面描述的图像捕获单元20或投影单元30可以连接到I/F1607。上述所有单元连接到总线1608。
[第四实施例]
参照图17的框图，描述根据第四实施例的目标物体拾取系统508的功能布置的示例。目标物体拾取系统508包括图像处理装置(距离测量装置)501；目标物体位置和姿态识别单元507，其使用图像处理装置501进行的距离测量的结果，识别目标物体505的位置和姿态；机器人控制单元5062，其使用识别结果对机器人5061进行控制；以及机器人5061。机器人5061用来拾取目标物体505。
图像处理装置501包括：投影单元5030，其向目标物体505投影图案光；图像捕获单元5020，其捕获向其投影了图案光的目标物体505；以及图像处理单元5040，其对投影单元5030和图像捕获单元5020进行控制，并且基于空间编码方法针对目标物体505进行距离测量。
首先，说明投影单元5030。如图17所示，投影单元5030包括光源5031、照明光学系统5032、显示元件5033、投影光圈5034和投影光学系统5035。
光源5031例如是诸如卤素灯和LED的各种发光元件中的一个。照明光学系统5032是具有向显示元件5033引导由光源5031发出的光的功能的光学系统。例如，使用诸如克勒照明或者散射板的适合于使亮度均匀的光学系统。显示元件5033是具有根据提供的图案在空间上控制从照明光学系统5032行进的光的透射率和反射率的功能的元件。例如，使用透射型LCD、反射型LCOS或DMD。对于向显示元件5033的图案的提供，可以依次向显示元件5033提供保持在投影单元5030中的多种类型的图案。可选地，可以依次获取并且向显示元件5033提供保持在外部装置(例如图像处理单元5040)中的多种类型的图案。投影光学系统5035是被构造为将从显示元件5033引导的光(图案光)在目标物体505的特定位置形成为图像的光学系统。投影光圈5034用于控制投影光学系统5035的f数。
接下来，说明图像捕获单元5020。如图17所示，图像捕获单元5020包括图像捕获光学系统5023、图像捕获光圈5022和图像捕获元件5021。图像捕获光学系统5023是被构造为在图像捕获元件5021上对目标物体505的特定位置进行成像的光学系统。图像捕获光圈5022用于控制图像捕获光学系统5023的f数。图像捕获元件5021例如是诸如CMOS传感器和CCD传感器的各种光电转换元件中的一个。注意，由图像捕获单元5020中的控制单元(未示出)对图像捕获元件5021进行了光电转换的模拟信号进行采样和量化，并且将其转换为数字图像信号。此外，该控制单元根据数字图像信号生成各个像素具有亮度灰度值(浓度值和像素值)的图像(捕获图像)。该控制单元向图像捕获单元5020中的存储器或者向图像处理单元5040适当地发送捕获图像。
注意，每次投影单元5030投影不同的图案光时，图像捕获单元5020捕获目标物体505。更具体来说，图像捕获单元5020和投影单元5030同步工作，并且图像捕获单元5020能够捕获向其投影了各个不同的图案光的目标物体505的图像。
接下来，说明图像处理单元5040。如图17所示，图像处理单元5040包括调整单元5041、大致距离计算单元5042、距离计算单元5043、图案光辉度控制单元5044和捕获图像曝光量控制单元5045。
调整单元5041确定用于控制图像捕获单元5020下一次要捕获的图像的亮/暗部分的参数。“用于控制图像捕获单元5020下一次要捕获的图像的亮/暗部分的参数”包括针对图像捕获单元5020的参数和针对投影单元5030的参数。可以确定这两个参数或者两个参数中的任意一个。
每次投影单元5030投影多种类型的图案光束中的各个时，距离计算单元5043获取由图像捕获单元5020捕获的图像。然后，距离计算单元5043使用从所获取的捕获图像中解码的空间代码和针对所获取的捕获图像指定的图案位置，通过三角测量原理测量(得出)从图像捕获单元5020(图像捕获光学系统5023)到目标物体505的距离。大致距离计算单元5042根据由距离计算单元5043计算的距离，获得大致距离。
当调整单元5041确定“针对投影单元5030的参数”时，图案光辉度控制单元5044根据该参数，控制从投影单元5030投影的图案光的辉度。控制图案光的辉度的方法例如包括以下三种方法。
第一种方法是控制光源5031的发光亮度。在卤素灯的情况下，当施加电压增大时，发光亮度增大。在LED的情况下，当提供的电流增大时，发光亮度增大。在这种情况下，“针对投影单元5030的参数”是用于控制光源5031的发光亮度的参数。
第二种方法是控制显示元件5033的显示灰度值。在LCD的情况下，当显示灰度值增大时，透射率增大，并且图案光变亮。在LCOS的情况下，当显示灰度值增大时，反射率增大，并且图案光变亮。在DMD的情况下，当显示灰度值增大时，每帧的ON(接通)计数增大，并且图案光变亮。在这种情况下，“针对投影单元5030的参数”是用于控制显示元件5033的显示灰度值的参数。
第三种方法是控制投影光圈5034。当光圈打开时，图案光变亮。相反，当光圈变窄时，图案光变暗。当控制投影光圈5034时，投影光学系统的景深也改变，因此需要考虑这种影响。更具体来说，在各个投影光圈处，基于诸如图像亮度波形的对比度的指标，对图案光的分辨率进行评价，并且检查在进行距离测量时，是否出现了严重的精度劣化。在这种情况下，“针对投影单元5030的参数”是用于控制投影光圈5034的参数。
当调整单元5041确定“针对图像捕获单元5020的参数”时，捕获图像曝光量控制单元5045根据该参数控制图像捕获单元5020进行图像捕获时的曝光量，由此控制捕获图像的亮度灰度值。控制图像捕获单元5020的曝光量的方法例如包括以下三种方法。
第一种方法是控制图像捕获元件5021的曝光时间(快门速度)。当曝光时间延长时，捕获图像的亮度灰度值增大。相反，当曝光时间缩短时，亮度灰度值减小。在这种情况下，“针对图像捕获单元5020的参数”是用于控制图像捕获元件5021的曝光时间(快门速度)的参数。
第二种方法是控制图像捕获光圈5022。当光圈打开时，捕获图像的亮度灰度值增大。相反，当光圈变窄时，捕获图像的亮度灰度值减小。当控制图像捕获光圈5022时，图像捕获光学系统的景深也改变，因此需要考虑这种影响。更具体来说，在各个图像捕获光圈处，基于诸如图像亮度波形的对比度的指标，对图案光的分辨率进行评价，并且检查在进行距离测量时，是否出现了严重的精度劣化。在这种情况下，“针对图像捕获单元5020的参数”是用于控制图像捕获光圈5022的参数。
第三种方法是将同一图案投影多次，捕获图像，并且将图像亮度值相加(将每次投影图案时的捕获图像合成)。在延长曝光时间的方法中，由于传感器的动态范围出现图像饱和。然而，在上述将同一图案投影多次并且通过将在每次投影时捕获的各个图像相加生成一个合成图像的方法中，能够在防止图像饱和的同时，增加曝光量。在通过这种方法获得的合成图像中，图像捕获元件的噪声分量降低。更具体来说，设σb是捕获一个图像时的图像捕获元件的噪声量，当捕获N次图像并相加时产生的噪声量是σb/√N。虽然在上面的描述中多次捕获图像并相加，但是即使通过计算多次捕获的图像的平均图像的方法，也能够获得相同的效果。
目标物体505是随机堆叠的一组目标物体。
目标物体位置和姿态识别单元507使用图像处理装置501进行的距离测量的结果，识别目标物体505(实际上是目标物体505中的从图像捕获单元5020可观察到的各个目标物体)在由机器人5061处置的坐标系(机器人坐标系)中的位置和姿态。作为位置和姿态识别方法，可以使用各种已知识别方法。例如，可以采用通过基于距离测量结果的3D点组数据与CAD模型之间的匹配处理，来识别目标物体的位置和姿态的方法。
注意，目标物体位置和姿态识别单元507可以是图像处理装置501中的单元，或者与图像处理装置501分开的装置。在任何情况下，目标物体位置和姿态识别单元507可以采取任何形式，只要其能够根据图像处理装置501进行的距离测量的结果，识别目标物体505的位置和姿态，并且向机器人控制单元5062发送识别出的位置和姿态即可。
机器人控制单元5062根据目标物体位置和姿态识别单元507识别出的位置和姿态，对机器人5061进行控制，并且使机器人5061拾取识别出了位置和姿态的目标物体。将拾取的目标物体运送到下一步骤。随着目标物体被拾取，堆叠的高度逐渐降低。随着这种情况，与图像捕获单元5020的距离增大。
虽然如上所述，在本实施例中基于空间编码方法进行距离测量，但是存在空间编码方法的多种衍生形式。本实施例采用在日本特开2011-47931号公报中公开的方法。已经参照图2A至5B描述了这种方法的原理。除非另外指出，否则这种方法与第一实施例中的方法相同。
假设噪声σ的许多分量是散粒噪声，需要将图案光的辉度或者图像捕获单元5020中的曝光量乘以n2，以使误差降低到1/n。例如，为了使误差降低到1/2，需要将图案光的辉度或者图像捕获单元5020中的曝光量变为四倍。当曝光量变为四倍时，分母(DL+DR)变为四倍。当曝光量变为四倍时，作为分子的噪声σ变为√4，也就是说，因为噪声与图像亮度灰度值的平方根的值成比例，因此噪声加倍。由于分子加倍，而分母变为四倍，因此误差变为1/2。
在拾取多个堆叠部件(目标物体505)中的识别出了位置和姿态的部件的情况下，随着部件被移除，堆叠的高度改变，如图18A至18C所示。当堆叠的高度高时，从图像捕获单元5020到图像捕获目标的距离变短，如图18A所示。当堆叠的高度低时，从图像捕获单元5020到图像捕获目标的距离变长，如图18C所示。这时，由图像捕获单元5020捕获的图像中的部件的亮度值，与从图像捕获单元5020到图像捕获目标的距离的平方成比例地降低。
参照图19A至19C，说明由图像捕获单元5020捕获的图像中的亮度值与从图像捕获单元5020到图像捕获目标的距离之间的关系。假设图像捕获单元5020的曝光量在从图像捕获单元5020到图像捕获目标的距离Zm(中间距离)处被设置为最佳，如图19B所示。在图19B中，全点灯图案的波形以及正图案和负图案的波形部分超过了饱和水平，但是用来指定图案位置的交点位置附近的亮度灰度值未超过饱和水平。由于该原因，能够指定交点位置，并且因为交点附近的亮度灰度值变大，因此能够降低子像素位置估计误差。
图19A示出了从图像捕获单元5020到图像捕获目标的距离为小于Zm的Zn(短距离)时的亮度灰度值的波形。波形在中央超过了饱和水平。为了方便，图19A示出了超过饱和水平的波形。实际上，超过饱和水平的波形在饱和水平的亮度灰度值处截止并且输出。在图19A中，交点位置在饱和水平的亮度灰度值处截止，并且无法指定交点位置。
图19C示出了从图像捕获单元5020到图像捕获目标的距离为大于Zm的Zf(长距离)时的亮度灰度值的波形。在图19C的状态下，没有亮度灰度值的波形达到饱和水平，并且距离测量精度低。
根据上面的描述，为了在短距离、中间距离和长距离处以高精度可靠地进行距离测量，需要根据距离调整“用于控制图像捕获单元5020下一次要捕获的图像的亮部分和暗部分的参数”。
接下来，参照示出图像处理单元5040为了调整图像捕获单元5020的曝光量(曝光时间)而进行的处理的流程图的图20，来说明该处理。符合图20的流程图的处理包括：获得作为基准的曝光量(基准曝光量)和使用以基准曝光量捕获的图像测量的距离(基准距离)的处理(步骤S50100)；以及调整曝光量的处理(步骤S50110)。
首先，说明步骤S50100中的处理。在步骤S50101中，捕获图像曝光量控制单元5045根据当前设置的曝光量的参数，对图像捕获单元5020的曝光量进行控制。图案光辉度控制单元5044根据当前设置的图案光的辉度的参数，对从投影单元5030投影的图案光的辉度进行控制。
在步骤S50101中，投影单元5030逐个依次选择上面描述的多个投影图案，并且用选择的投影图案照射目标物体505。图像捕获单元5020捕获目标物体505。投影图案的类型是四种：全点灯图案、全熄灯图案、正图案(在图2A至2G中为图2C至2F中的四个正图案)和负图案(在图2A至2G中为图2G中的负图案)。4位空间编码方法使用4位正图案作为正图案，并且使用4位负图案作为负图案。每次投影选择的图案光时，图像捕获单元5020捕获目标物体505。
在步骤S50102中，调整单元5041使用由图像捕获单元5020捕获的图像，进行亮/暗部分确定。步骤S50102中的处理的细节与符合图9的流程图的处理的细节相同(代替亮/暗部分确定单元42，由调整单元5041执行符合图9的流程图的处理)，因此不重复其描述。
注意，在步骤S50102中进行的针对捕获图像的亮/暗部分确定处理不局限于符合图9的流程图的处理，而可以采用另一种方法。
在步骤S50103中，如果步骤S50102中的确定结果是“亮部分”，则调整单元5041调整图像捕获单元5020的参数，以将图像捕获单元5020的当前曝光量调整为更小(以将当前曝光时间调整为更短)。如果步骤S50102中的确定结果是“暗部分”，则调整单元5041调整图像捕获单元5020的参数，以将图像捕获单元5020的当前曝光量调整为更大(以将当前曝光时间调整为更长)。例如可以通过二值搜索来调整曝光时间。调整单元5041在捕获图像曝光量控制单元5045中设置调整后的图像捕获单元5020的参数。捕获图像曝光量控制单元5045从下一次开始根据调整后的参数对图像捕获单元5020进行控制。
之后，处理返回到步骤S50101。在步骤S50101中，进行基于在步骤S50103中调整后的曝光时间的图像捕获。以这种方式，将步骤S50101至S50103中的处理重复进行多次。在步骤S50104中，调整单元5041获得作为重复的结果获得的曝光量(在这种情况下为曝光时间)，作为基准曝光量Exb。
在步骤S50105中，捕获图像曝光量控制单元5045根据基准曝光量Exb，对图像捕获单元5020的曝光量进行控制。图案光辉度控制单元5044根据当前设置的图案光的辉度的参数，对从投影单元5030投影的图案光的辉度进行控制。投影单元5030逐个依次选择上面描述的多个投影图案，并且用选择的投影图案照射目标物体505。图像捕获单元5020捕获目标物体505。通过使用由图像捕获单元5020捕获的各个图像进行上述处理，距离计算单元5043测量到捕获图像中的各个目标物体的距离。
在步骤S50106中，大致距离计算单元5042获得作为到捕获图像中的各个目标物体的距离中的一般距离的基准距离(基准大致距离)Zb。参照图21A和21B，说明根据到捕获图像中的各个目标物体的距离获得基准距离Zb的处理。图21A示出了堆叠的高度高时的基准距离Zb的示例。图21B示出了堆叠的高度为中间时的基准距离Zb的示例。例如，可以将到捕获图像中的各个目标物体的距离的平均距离设置为基准距离，或者可以使用最大值、最小值、中值等作为基准距离。
接下来，说明步骤S50110中的处理。在步骤S50111中，捕获图像曝光量控制单元5045根据当前设置的曝光量(在第一次的步骤S50111中为基准曝光量Exb，而在第二次和后续次的步骤S50111中为在前一步骤S50116中调整后的曝光量Ext)，对图像捕获单元5020的曝光量进行控制。图案光辉度控制单元5044根据当前设置的图案光的辉度的参数，对从投影单元5030投影的图案光的辉度进行控制。投影单元5030逐个依次选择上面描述的多个投影图案，并且用选择的投影图案照射目标物体505。图像捕获单元5020捕获目标物体505。
在步骤S50112中，通过使用由图像捕获单元5020捕获的各个图像进行上述处理，距离计算单元5043测量到捕获图像中的各个目标物体的距离。
在步骤S50113中，大致距离计算单元5042进行与上述步骤S50106中的处理相同的处理，由此获得到捕获图像中的各个目标物体的距离中的一般距离(大致距离)Zt。
在步骤S50114中，调整单元5041使用基准距离Zb和距离Zt，获得当前设置的曝光量的调整量(光学校正量)Czo。基于图像中的亮度值与距离的平方成比例地变暗的光学特性，计算光学校正量Czo。更具体来说，通过对下式求解来获得光学校正量Czo：
Czo＝(Zt/Zb)2...(3)
在步骤S50115中，调整单元5041使用光学校正量Czo，调整基准曝光量Exb。例如，根据下式调整基准曝光量Exb：
Czo×Exb→Ext...(4)
在步骤S50116中，调整单元5041在捕获图像曝光量控制单元5045中设置在步骤S50115中调整后的曝光量Ext。然后，处理返回到步骤S50111，重复进行后续处理。
如上所述，根据第四实施例，在堆叠的高度高的情况下，将曝光量设置为小，而在堆叠的高度低的情况下，将曝光量设置为大。能够根据堆叠的高度来设置适当的曝光量。也就是说，捕获图像的亮度值能够相对于堆叠的高度的改变几乎保持恒定。
在第四实施例中，基于空间编码方法进行针对目标物体505的距离测量。然而，可以通过其它方法来执行针对目标物体505的距离测量。例如，可以采用诸如光切断法和相位偏移法的基于各种图案投影的距离测量方法。
[第五实施例]
在第五实施例中，不仅考虑光学校正量，还考虑三角测量误差，来调整曝光量。主要说明与第四实施例的不同之处，除非另外指出，否则其余部分与在第四实施例中相同。
参照示出图像处理单元5040为了调整图像捕获单元5020的曝光量而进行的处理的流程图的图22，来说明该处理。在图22的流程图中，与在图20中相同的步骤编号表示相同的处理步骤，并且不重复对这些处理步骤的描述。
在步骤S50215中，调整单元5041使用基准距离Zb和距离Zt，获得三角测量误差的调整量(三角测量校正量)Czt。基于三角测量误差与距离的平方成比例地增大的特性，来计算该校正量。如图23所示，当距离为n倍时，距离测量误差为n2倍。为了保持测量误差恒定，需要子像素位置估计误差ΔC为1/n2。为了将子像素估计误差ΔC设置为1/n2，如上所述，需要图案光的辉度或者曝光量为n4倍。Czt能够根据下式获得：
Czt＝(Zt/Zb)4...(5)
在步骤S50216中，调整单元5041使用光学校正量Czo和三角测量校正量Czt，调整基准曝光量Exb。例如，根据下式调整基准曝光量Exb：
Czo×Czt×Exb→Ext...(6)
在步骤S50217中，调整单元5041在捕获图像曝光量控制单元5045中设置在步骤S50216中调整后的曝光量Ext。然后，处理返回到步骤S50111，重复进行后续处理。
注意，当基准距离Zb与距离Zt的比高时，如果曝光量Ext＝曝光时间，并且曝光时间为(Czo×Czt)倍，则捕获图像可能饱和。在这种情况下，将Ext中的曝光时间乘以光学校正量Czo，并且将要捕获的图像的数量乘以Czt。这能够在不使捕获图像饱和的情况下，减小测量误差。
如上所述，根据第五实施例，在堆叠的高度高的情况下，将曝光量设置为小，而在堆叠的高度低的情况下，将曝光量设置为大。能够根据堆叠的高度来设置适当的曝光量。也就是说，捕获图像的亮度值能够相对于堆叠的高度的改变几乎保持恒定。由于甚至考虑三角测量误差，因此捕获图像的亮度和测量误差能够相对于堆叠的高度的改变几乎保持恒定。
[第六实施例]
参照图24的框图，描述根据第六实施例的目标物体拾取系统508的功能布置的示例。在图24中，与在图17中相同的附图标记表示相同的功能单元，并且不重复关于这些功能单元的描述。图24所示的布置与图17的布置的不同之处在于，不仅向机器人控制单元5062、还向调整单元5041提供由目标物体位置和姿态识别单元507识别出的位置和姿态。
第六实施例不仅考虑到目标物体的距离改变时的光量的改变，还考虑由边缘处的光量下降引起的光量的改变。为此，调整单元5041需要掌握目标物体在捕获图像中的位置(换句话说，相对于目标物体所在的范围的视角)。为了掌握目标物体在捕获图像中的位置，使用来自目标物体位置和姿态识别单元507的输出结果。
主要说明与第四实施例的不同之处，除非另外指出，否则其余部分与在第四实施例中相同。首先，参照图25，描述目标物体的位置和姿态与相对于目标物体的视角θ之间的关系。假设从目标物体位置和姿态识别单元507输出的目标物体的位置是(Xr,Yr,Zr)。将坐标原点O设置为与由图像处理单元5040处置的坐标系的原点一致。设r是在深度Zr处在X-Y平面上从Z轴到目标物体的距离，r由下式计算：
r＝√(Xr2+Yr2)...(7)
视角θ可以使用r和Zr计算：
θ＝tan-1(r/Zr)...(8)
也就是说，可以根据方程式(8)掌握目标物体的位置(Xr,Yr,Zr)和视角θ之间的关系。
接下来，参照示出图像处理单元5040为了调整图像捕获单元5020的曝光量而进行的处理的流程图的图26，来说明该处理(还部分包括由目标物体位置和姿态识别单元507执行的处理)。符合图26的流程图的处理包括：获得基准曝光量Exb、基准距离Zb和基准平面内位置θb的处理(步骤S50300)；以及调整针对各个目标物体的曝光量的处理(步骤S50310)。
首先，参照图27A和27B的流程图，说明步骤S50300中的处理的细节。图27A所示的流程图和图27B所示的流程图两者都是适用于步骤S50300的处理的流程图。在图27A和27B中，与图20所示的步骤编号相同的步骤编号表示相同的处理步骤，并且不重复对这些处理步骤的描述。
首先，说明符合图27A的流程图的处理。
在步骤S50306中，捕获图像曝光量控制单元5045根据基准曝光量Exb，对图像捕获单元5020的曝光量进行控制。图案光辉度控制单元5044根据当前设置的图案光的辉度的参数，对从投影单元5030投影的图案光的辉度进行控制。投影单元5030逐个依次选择上面描述的多个投影图案，并且用选择的投影图案照射目标物体505。图像捕获单元5020捕获目标物体505。通过使用由图像捕获单元5020捕获的各个图像进行上述处理，距离计算单元5043测量到捕获图像中的各个目标物体的距离。
目标物体位置和姿态识别单元507使用由距离计算单元5043计算的到各个目标物体的距离，识别目标物体的位置和姿态。调整单元5041获取由目标物体位置和姿态识别单元507识别出的各个目标物体的位置(Xr,Yr,Zr)。
在步骤S50307中，调整单元5041将目标物体的Zr，设置为针对捕获图像中的各个目标物体的基准距离Zb。
在步骤S50308中，调整单元5041通过下式，基于方程式(7)和(8)计算针对捕获图像中的各个目标物体的基准平面内位置θb：
θb＝tan-1(√(Xr2+Yr2)/Zr)...(9)
接下来，说明符合图27B的流程图的处理。在图27B中，整个堆叠的大致距离是基准大致距离Zb，并且捕获图像的中心(视角为0°的位置)是基准视角θb。在步骤S50308'中，调整单元5041将捕获图像中的各个目标物体共同的基准平面内位置θb设置为0。
接下来，参照示出步骤S50310中的处理的流程图的图28，描述该处理的细节。在图28中，与图20所示的步骤编号相同的步骤编号表示相同的处理步骤，并且不重复关于这些处理步骤的描述。
在步骤S50313中，目标物体位置和姿态识别单元507使用距离计算单元5043针对在步骤S50111中捕获的图像中的目标物体计算的距离，识别各个目标物体的位置和姿态。这时，目标物体位置和姿态识别单元507向机器人控制单元5062，发送先前向调整单元5041输出的目标物体(候选对象1)的位置。此外，目标物体位置和姿态识别单元507向调整单元5041输出尚未输出的一个目标物体(候选对象2)的位置。除了位置之外，还可以向机器人控制单元5062输出姿态。
在目标物体位置和姿态识别单元507的第一输出中，不存在与候选对象1相对应的目标物体。因此，将具有识别出的各个目标物体的位置中的最小Zr的目标物体设置为候选对象1。
例如，假设目标物体位置和姿态识别单元507识别出了目标物体1的位置和姿态、目标物体2的位置和姿态、目标物体3的位置和姿态以及目标物体4的位置和姿态。此外，假设目标物体3的Zr在目标物体1至4的Zr中最小。在第一次，目标物体位置和姿态识别单元507向机器人控制单元5062输出作为候选对象1的目标物体3的位置(还可以输出姿态)，并且向调整单元5041输出作为候选对象2的目标物体1的位置。在第二次，目标物体位置和姿态识别单元507向机器人控制单元5062输出作为候选对象1的目标物体1的位置(还可以输出姿态)，并且向调整单元5041输出作为候选对象2的目标物体2的位置。在第三次，目标物体位置和姿态识别单元507向机器人控制单元5062输出作为候选对象1的目标物体2的位置(还可以输出姿态)，并且向调整单元5041输出作为候选对象2的目标物体3的位置。在第四次，目标物体位置和姿态识别单元507向机器人控制单元5062输出作为候选对象1的目标物体3的位置(还可以输出姿态)，并且向调整单元5041输出作为候选对象2的目标物体4的位置。在第五次，目标物体位置和姿态识别单元507向机器人控制单元5062输出目标物体4的位置。
以这种方式，向调整单元5041输出第二候选对象的位置。将先前作为第二候选对象的目标物体在这次设置为第一候选对象。然后，向机器人控制单元5062输出这次的第一候选对象的位置(还可以输出姿态)。
在步骤S50314中，在接收到第二候选对象的位置(Xr2,Yr2,Zr2)时，调整单元5041在大致距离Zt中设置Zr2。
在步骤S50315中，调整单元5041通过使用基准距离Zb和大致距离Zt对上述方程式(3)求解，来获得光学校正量Czo。
在步骤S50316中，调整单元5041通过使用基准距离Zb和大致距离Zt对上述方程式(5)求解，来获得三角测量校正量Czt。
在步骤S50317中，调整单元5041通过使用第二候选对象的位置(Xr2,Yr2,Zr2)对上述方程式(9)求解，来获得相对于第二候选对象的视角θr。
在步骤S50318中，调整单元5041通过使用在上面描述的步骤S50300(或者步骤S50300')中计算的基准平面内位置θb和在步骤S50317中获得的视角θr，对方程式(10)求解，来获得视角校正量Cθ：
Cθ＝cos4θb/cos4θr...(10)
已知光量下降基于所谓的余弦四次方定律出现。根据该定律，光量下降与余弦的四次方成比例地出现。
在步骤S50319中，调整单元5041通过对表达式(11)求解来调整基准曝光量Exb，并且作为调整的结果获得针对第二候选对象的曝光量Ext：
Czo×Czt×Cθ×Exb→Ext...(11)
也就是说，每次调整单元5041接收到第二候选对象的位置时，其计算针对第二候选对象的Ext。根据本实施例，即使除了堆叠的高度之外，在帧中识别出的目标物体的位置也发生了改变，也能够设置适当的曝光量。在视角小的帧的中心附近，将曝光量设置为小，而在视角大的帧的边缘处，将曝光量设置为大。
本实施例描述了基于目标物体的识别结果的位置和姿态，掌握目标物体在捕获图像中的位置的示例。然而，不总是需要使用目标物体的位置和姿态识别结果。例如，将捕获图像中的捕获目标物体的区域分割为多个区域，并且针对各个分割区域计算大致距离。将分割区域中的具有最小大致距离的区域的中心位置视为目标物体所在的位置。
在上面描述的步骤S50318中，假设边缘处的光量下降基于余弦四次方定律，用公式表示依据捕获图像中的位置(视角)的边缘处的光量下降。然而，本发明不局限于此。当光学系统的特性不基于余弦四次方定律时，可以根据该特性使用正确的方程式。作为另选方案，还可以使用在不使用多项式的情况下，基于测量数据将视角和辉度之间的关系作成表，并且根据目标物体在捕获图像中的位置，参照相应的视角的值的方法。
[第七实施例]
构成图像处理单元5040的各个功能单元可以由硬件或软件(计算机程序)构成。在这种情况下，在安装计算机程序时执行计算机程序的装置适用于图像处理单元5040。作为适用于图像处理单元5040的装置的硬件布置的示例，例如，图16的框图所示的布置可适用。
其它实施例
本发明的实施例还能够由系统或装置的计算机以及系统或装置的计算机执行的方法来实现，所述计算机读出并执行记录在存储介质(其还可以被更完整地称为‘非易失性计算机可读存储介质’)上的计算机可执行指令(例如一个或更多个程序)，以执行上述实施例中的一个或更多个的功能，和/或所述计算机包括一个或更多个电路(例如专用集成电路(ASIC))，用于执行上述实施例中的一个或更多个的功能，所述方法例如从存储介质中读出并执行计算机可执行指令，以执行上述实施例中的一个或更多个的功能，和/或控制一个或更多个电路，执行上述实施例中的一个或更多个的功能。所述计算机可以包括一个或更多个处理器(例如中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质向计算机提供计算机可执行指令。存储介质例如可以包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(例如紧凑盘(CD)、数字通用盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或更多个。
虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (29)

1.一种图像处理装置，其包括：
获取单元，被构造为获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；以及
调整单元，被构造为基于所获取的捕获图像中的所述图案，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
2.根据权利要求1所述的图像处理装置，其中，
所述调整单元获得由构成投影了第一图案的所述目标物体的第一捕获图像的各个像素的亮度值形成的亮度值波形，与由构成投影了第二图案的所述目标物体的第二捕获图像的各个像素的亮度值形成的亮度值波形之间的交点，所述第二图案是通过将所述第一图案中的亮部分和暗部分反转而获得的，并且
所述调整单元根据所述交点的数量与所述捕获图像的像素的数量的比，来调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数和用于控制所述图像捕获单元的曝光量的所述第二参数中的至少一个。
3.根据权利要求2所述的图像处理装置，其中，当所述比不高于阈值时，所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数，以使所述图案更暗，或者调整用于控制所述图像捕获单元的曝光量的所述第二参数，以减小曝光量。
4.根据权利要求2所述的图像处理装置，其中，当所述比不高于阈值时，所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数，以使所述图案更暗，并且调整用于控制所述图像捕获单元的曝光量的所述第二参数，以减小曝光量。
5.根据权利要求3所述的图像处理装置，其中，
当所述比超过了阈值时，所述调整单元获得通过参照像素值饱和的像素而获得的交点的数量与所述交点的数量的比，作为第二比，
当所述第二比超过了阈值时，所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数，以使所述图案更暗，或者调整用于控制所述图像捕获单元的曝光量的所述第二参数，以减小曝光量，并且
当所述第二比不高于所述阈值时，所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数，以使所述图案更亮，或者调整用于控制所述图像捕获单元的曝光量的所述第二参数，以增加曝光量。
6.根据权利要求3所述的图像处理装置，其中，
当所述比超过了阈值时，所述调整单元获得通过参照像素值饱和的像素而获得的交点的数量与所述交点的数量的比，作为第二比，
当所述第二比超过了阈值时，所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数，以使所述图案更暗，并且调整用于控制所述图像捕获单元的曝光量的所述第二参数，以减小曝光量，并且
当所述第二比不高于所述阈值时，所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数，以使所述图案更亮，并且调整用于控制所述图像捕获单元的曝光量的所述第二参数，以增加曝光量。
7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：被构造为使用由所述图像捕获单元捕获的图像针对所述目标物体进行距离测量的单元。
8.根据权利要求1所述的图像处理装置，其中，所述捕获图像是由所述图像捕获单元捕获的图像中的、捕获了所述目标物体的区域中的图像。
9.根据权利要求1至8中的任一项所述的图像处理装置，其中，所述第一参数用于控制所述投影单元的光源的发光亮度、所述投影单元的显示元件的显示灰度值和所述投影单元的投影光圈中的至少任意一个。
10.根据权利要求1至8中的任一项所述的图像处理装置，其中，所述第二参数用于控制所述图像捕获单元的曝光时间和所述图像捕获单元的图像捕获光圈中的至少任意一个。
11.一种图像处理装置，其包括：
获取单元，被构造为获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；
被构造为指定为了从所述捕获图像中检测所述图案的位置而参照的各个像素的像素值中的最大像素值，并且获取所述最大像素值的分布的单元；以及
调整单元，被构造为使用所述分布，调整第一参数或第二参数，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
12.根据权利要求11所述的图像处理装置，其中，
所述调整单元调整用于控制从所述投影单元投影的所述图案的辉度的所述第一参数、或者用于控制所述图像捕获单元的曝光量的所述第二参数，以使通过将各自具有不低于饱和水平的像素值的像素的数量除以位置的数量而获得的值，等于阈值。
13.一种由图像处理装置执行的图像处理方法，其包括：
获取步骤，获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；以及
调整步骤，基于所获取的捕获图像中的所述图案，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
14.一种由图像处理装置执行的图像处理方法，其包括：
获取步骤，获取通过由图像捕获单元捕获投影了图案的目标物体而获得的捕获图像；
指定为了从所述捕获图像中检测所述图案的位置而参照的各个像素的像素值中的最大像素值，并且获取所述最大像素值的分布的步骤；以及
调整步骤，使用所述分布，调整第一参数或第二参数，所述第一参数用于控制从被构造为投影所述图案的投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
15.一种图像处理装置，其包括：
获取单元，被构造为获取通过由图像捕获单元捕获投影单元投影了图案的目标物体而获得的捕获图像；
得出单元，被构造为使用所述捕获图像，得出从所述图像捕获单元到所述目标物体的距离；以及
调整单元，被构造为根据所得出的距离，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从所述投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
16.根据权利要求15所述的图像处理装置，所述图像处理装置还包括：
第一单元，被构造为根据所述捕获图像的亮度，调整所述第一参数和所述第二参数中的至少一个；以及
第二单元，被构造为在由所述第一单元进行调整之后，获取通过由其中设置了所述第二参数的所述图像捕获单元，捕获其中设置了所述第一参数的所述投影单元投影了图案的目标物体而获得的捕获图像，并且使用所获取的捕获图像，计算从所述图像捕获单元到所述目标物体的距离，作为基准距离，
其中，所述调整单元使用由所述得出单元得出的距离与所述基准距离的比，来调整所述第一参数和所述第二参数中的至少一个。
17.根据权利要求16所述的图像处理装置，其中，所述调整单元通过将所述第一参数和所述第二参数中的调整目标乘以通过对所述比求平方而获得的值，来对所述调整目标进行调整。
18.根据权利要求16所述的图像处理装置，其中，所述调整单元通过将包含在所述第二参数中的用于控制曝光时间的参数，乘以通过对所述比求平方而获得的值，并且将包含在所述第二参数中的用于控制图像捕获计数的参数，乘以通过对所述比求四次方而获得的值，来对所述第二参数进行调整。
19.根据权利要求15所述的图像处理装置，其中，所述调整单元根据所述距离和所述目标物体的位置，来调整所述第一参数和所述第二参数中的至少一个。
20.根据权利要求16所述的图像处理装置，其中，
所述第一单元获得由构成投影了第一图案的所述目标物体的第一捕获图像的各个像素的亮度值形成的亮度值波形，与由构成投影了第二图案的所述目标物体的第二捕获图像的各个像素的亮度值形成的亮度值波形之间的交点，所述第二图案是通过将所述第一图案中的亮部分和暗部分反转而获得的，并且
所述第一单元根据所述交点的数量，来调整所述第一参数和所述第二参数中的至少一个。
21.根据权利要求20所述的图像处理装置，其中，当所述交点的数量与所述第一捕获图像或者所述第二捕获图像中的被指定为非阴影区域的区域中的像素的数量的比不高于阈值时，所述第一单元调整所述第一参数，以使所述图案更暗，或者调整所述第二参数，以减小曝光量。
22.根据权利要求20所述的图像处理装置，其中，当所述交点的数量与所述第一捕获图像或者所述第二捕获图像中的被指定为非阴影区域的区域中的像素的数量的比不高于阈值时，所述第一单元调整所述第一参数，以使所述图案更暗，并且调整所述第二参数，以减小曝光量。
23.根据权利要求20所述的图像处理装置，其中，
当所述交点的数量与所述第一捕获图像或者所述第二捕获图像中的被指定为非阴影区域的区域中的像素的数量的比超过了阈值时，所述第一单元获得通过参照像素值饱和的像素而获得的交点的数量与所述交点的数量的比，作为第二比，并且
当所述第二比超过了阈值时，所述第一单元调整所述第一参数，以使所述图案更暗，或者调整所述第二参数，以减小曝光量。
24.根据权利要求20所述的图像处理装置，其中，
当所述交点的数量与所述第一捕获图像或者所述第二捕获图像中的被指定为非阴影区域的区域中的像素的数量的比超过了阈值时，所述第一单元获得通过参照像素值饱和的像素而获得的交点的数量与所述交点的数量的比，作为第二比，并且
当所述第二比超过了阈值时，所述第一单元调整所述第一参数，以使所述图案更暗，并且调整所述第二参数，以减小曝光量。
25.根据权利要求20所述的图像处理装置，其中，
当所述交点的数量与所述第一捕获图像或者所述第二捕获图像中的被指定为非阴影区域的区域中的像素的数量的比超过了阈值时，所述第一单元获得通过参照像素值饱和的像素而获得的交点的数量与所述交点的数量的比，作为第二比，并且
当所述第二比不高于阈值时，所述第一单元调整所述第一参数，以使所述图案更亮，或者调整所述第二参数，以增加曝光量。
26.根据权利要求20所述的图像处理装置，其中，
当所述交点的数量与所述第一捕获图像或者所述第二捕获图像中的被指定为非阴影区域的区域中的像素的数量的比超过了阈值时，所述第一单元获得通过参照像素值饱和的像素而获得的交点的数量与所述交点的数量的比，作为第二比，并且
当所述第二比不高于阈值时，所述第一单元调整所述第一参数，以使所述图案更亮，并且调整所述第二参数，以增加曝光量。
27.根据权利要求15至26中的任一项所述的图像处理装置，其中，所述第一参数用于控制所述投影单元的光源的发光亮度、所述投影单元的显示元件的显示灰度值和所述投影单元的投影光圈中的至少任意一个。
28.根据权利要求15至26中的任一项所述的图像处理装置，其中，所述第二参数用于控制所述图像捕获单元的曝光时间和所述图像捕获单元的图像捕获光圈中的至少任意一个。
29.一种由图像处理装置执行的图像处理方法，其包括：
获取步骤，获取通过由图像捕获单元捕获投影单元投影了图案的目标物体而获得的捕获图像；
得出步骤，使用所述捕获图像，得出从所述图像捕获单元到所述目标物体的距离；以及
调整步骤，根据所得出的距离，调整第一参数和第二参数中的至少一个，所述第一参数用于控制从所述投影单元投影的所述图案的辉度，所述第二参数用于控制所述图像捕获单元的曝光量。
CN201410601537.3A 2013-10-30 2014-10-30 图像处理装置和图像处理方法 Active CN104601899B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-225819 2013-10-30
JP2013-225821 2013-10-30
JP2013225819A JP6267486B2 (ja) 2013-10-30 2013-10-30 画像処理装置、画像処理方法
JP2013225821A JP6346427B2 (ja) 2013-10-30 2013-10-30 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
CN104601899A true CN104601899A (zh) 2015-05-06
CN104601899B CN104601899B (zh) 2018-09-11

Family

ID=51794711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410601537.3A Active CN104601899B (zh) 2013-10-30 2014-10-30 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (2) US9819872B2 (zh)
EP (1) EP2869023B1 (zh)
CN (1) CN104601899B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257916A (zh) * 2015-06-18 2016-12-28 佳能株式会社 信息处理装置及信息处理方法
CN107532889A (zh) * 2015-10-05 2018-01-02 Ckd株式会社 三维测量装置
CN107532890A (zh) * 2015-10-16 2018-01-02 Ckd株式会社 三维测量装置
CN108240800A (zh) * 2016-12-23 2018-07-03 致茂电子(苏州)有限公司 表面形貌的量测方法
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN113014826A (zh) * 2021-02-18 2021-06-22 科络克电子科技（上海）有限公司 一种图像感光强度参数调整方法、装置、设备及介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6338421B2 (ja) 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP2015206950A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム
CN104185001B (zh) * 2014-09-09 2018-08-31 联想(北京)有限公司 一种控制方法和装置
WO2016129160A1 (ja) * 2015-02-12 2016-08-18 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP2017003469A (ja) * 2015-06-11 2017-01-05 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法及びプログラム
CN105072429B (zh) * 2015-08-17 2018-06-01 联想(北京)有限公司 一种投影方法及装置
KR101737518B1 (ko) * 2015-10-27 2017-05-18 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 시간 및 횟수 결정 방법과 시스템
JP6024841B1 (ja) * 2016-01-27 2016-11-16 株式会社リコー 照明装置、パターン照射装置およびシステム
CN108603745B (zh) * 2016-02-04 2020-04-28 富士胶片株式会社 信息处理装置、信息处理方法及程序
JP6758903B2 (ja) * 2016-05-06 2020-09-23 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
WO2018066454A1 (ja) * 2016-10-04 2018-04-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US10277842B1 (en) * 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
DE102017000908A1 (de) 2017-02-01 2018-09-13 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
JP6997541B2 (ja) * 2017-05-31 2022-01-17 株式会社キーエンス 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6917781B2 (ja) * 2017-05-31 2021-08-11 株式会社キーエンス 画像検査装置
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
DE102018102159A1 (de) * 2018-01-31 2019-08-01 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
US11061234B1 (en) * 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
CN108955575B (zh) * 2018-08-22 2019-09-17 江南大学 一种基于单幅干涉条纹高精度地恢复波面的方法
JP7398884B2 (ja) * 2019-05-14 2023-12-15 キヤノン株式会社 撮像装置、発光制御装置、撮像方法、発光制御方法、及びプログラム
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
CN112082508B (zh) * 2020-08-10 2022-07-12 中国科学院深圳先进技术研究院 反光物体的三维测量方法、装置及终端设备
EP4138384A3 (en) * 2021-08-16 2023-04-19 Canon Kabushiki Kaisha Imaging apparatus, imaging method, and storage medium
CN114683504B (zh) * 2022-03-07 2023-10-31 佳睦拉索（上海）有限公司 一种注塑产品成型控制方法及控制设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079581A1 (en) * 2008-09-30 2010-04-01 Texas Instruments Incorporated 3d camera using flash with structured light
US20120075878A1 (en) * 2009-06-08 2012-03-29 National University Corporation Nagoya Institute Of Technology Three-dimensional information presentation device
US20130141544A1 (en) * 2011-12-06 2013-06-06 Canon Kabushiki Kaisha Information processing apparatus, control method for the same and storage medium
CN103369252A (zh) * 2012-04-04 2013-10-23 佳能株式会社 图像处理装置、图像处理装置的控制方法及图像拍摄装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0726543B1 (en) 1995-02-07 2003-09-10 Canon Kabushiki Kaisha Image processing method and apparatus therefor
DE69622900T2 (de) 1995-03-17 2003-04-10 Canon Kk Verfahren und Gerät zur dreidimensionalen Bildverarbeitung
JPH10255081A (ja) 1997-03-10 1998-09-25 Canon Inc 画像処理方法及び画像処理装置
JPH10255069A (ja) 1997-03-10 1998-09-25 Canon Inc 画像処理システム
JP2000241131A (ja) 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd レンジファインダ装置および撮像装置
US6876392B1 (en) 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
JP2000292133A (ja) 1999-04-02 2000-10-20 Nippon Steel Corp パターン投影装置
JP4532856B2 (ja) 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
WO2006134778A1 (ja) * 2005-06-14 2006-12-21 The University Of Electro-Communications 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
JP2008032608A (ja) * 2006-07-31 2008-02-14 Aisin Seiki Co Ltd 三次元形状測定装置及び三次元形状測定方法
DE102006048234A1 (de) * 2006-10-11 2008-04-17 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
JP5256745B2 (ja) * 2008-01-17 2013-08-07 株式会社ニコン 三次元形状計測装置
JP2009250844A (ja) 2008-04-08 2009-10-29 Toyota Motor Corp 三次元形状計測方法および三次元形状計測装置
CN102150418B (zh) * 2008-12-22 2014-10-15 松下电器产业株式会社 图像放大装置、方法以及集成电路
US9046355B2 (en) 2009-07-29 2015-06-02 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
JP2012068176A (ja) 2010-09-27 2012-04-05 Panasonic Corp 三次元形状計測装置
JP2012141252A (ja) * 2011-01-06 2012-07-26 Nikon Corp 三次元形状測定装置
JP6029394B2 (ja) * 2012-09-11 2016-11-24 株式会社キーエンス 形状測定装置
JP6061616B2 (ja) 2012-10-29 2017-01-18 キヤノン株式会社 測定装置及びその制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079581A1 (en) * 2008-09-30 2010-04-01 Texas Instruments Incorporated 3d camera using flash with structured light
US20120075878A1 (en) * 2009-06-08 2012-03-29 National University Corporation Nagoya Institute Of Technology Three-dimensional information presentation device
US20130141544A1 (en) * 2011-12-06 2013-06-06 Canon Kabushiki Kaisha Information processing apparatus, control method for the same and storage medium
CN103369252A (zh) * 2012-04-04 2013-10-23 佳能株式会社 图像处理装置、图像处理装置的控制方法及图像拍摄装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257916A (zh) * 2015-06-18 2016-12-28 佳能株式会社 信息处理装置及信息处理方法
US10334147B2 (en) 2015-06-18 2019-06-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN107532889A (zh) * 2015-10-05 2018-01-02 Ckd株式会社 三维测量装置
CN107532889B (zh) * 2015-10-05 2020-01-24 Ckd株式会社 三维测量装置
CN107532890A (zh) * 2015-10-16 2018-01-02 Ckd株式会社 三维测量装置
CN108240800A (zh) * 2016-12-23 2018-07-03 致茂电子(苏州)有限公司 表面形貌的量测方法
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN109510948B (zh) * 2018-09-30 2020-11-17 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN113014826A (zh) * 2021-02-18 2021-06-22 科络克电子科技（上海）有限公司 一种图像感光强度参数调整方法、装置、设备及介质
CN113014826B (zh) * 2021-02-18 2023-05-05 科络克电子科技（上海）有限公司 一种图像感光强度参数调整方法、装置、设备及介质

Also Published As

Publication number Publication date
CN104601899B (zh) 2018-09-11
US20150116582A1 (en) 2015-04-30
EP2869023B1 (en) 2018-06-13
US10257428B2 (en) 2019-04-09
EP2869023A1 (en) 2015-05-06
US9819872B2 (en) 2017-11-14
US20180020146A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
CN104601899A (zh) 图像处理装置和图像处理方法
USRE48595E1 (en) Method and system for determining optimal exposure of structured light based 3D camera
JP6346427B2 (ja) 画像処理装置、画像処理方法
US10885626B2 (en) Identifying apparatus, identifying method, and program
US7961908B2 (en) Detecting objects in an image being acquired by a digital camera or other electronic image acquisition device
US10417476B2 (en) Exposure time determination method for image sensing operation
US8538075B2 (en) Classifying pixels for target tracking, apparatus and method
US9152839B2 (en) Method and apparatus for optical fingerprint recognition using multiple exposure
CN108270975B (zh) 图像感测的曝光时间决定方法
US9232121B2 (en) Image sensor defect identification using blurring techniques
CN104519271B (zh) 图像处理设备和方法和程序
US10378886B2 (en) Three dimensional measurement apparatus, control method for three dimensional measurement apparatus, and storage medium
WO2010021633A1 (en) Image analysis method and system
US20160205306A1 (en) Optical distance measurement system with dynamic exposure time
JP6267486B2 (ja) 画像処理装置、画像処理方法
US20120274606A1 (en) Optical navigation system with object detection
CN112699697B (zh) 读码器和用于读取光学代码的方法
JP2014115264A (ja) ３次元形状測定装置及びその制御方法
US20060215234A1 (en) Image resolution multiplier
US20110033085A1 (en) Image processing apparatus and image processing method
CN110418068A (zh) 一种聚焦方法、装置、电子设备及存储介质
WO2018198916A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN111161211B (zh) 一种图像检测方法及装置
EP3062516A1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
JP2014035294A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant