CN106257916A - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN106257916A
CN106257916A CN201610422620.3A CN201610422620A CN106257916A CN 106257916 A CN106257916 A CN 106257916A CN 201610422620 A CN201610422620 A CN 201610422620A CN 106257916 A CN106257916 A CN 106257916A
Authority
CN
China
Prior art keywords
exposure
time
ambient light
camera head
information processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610422620.3A
Other languages
English (en)
Inventor
中岛匡贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106257916A publication Critical patent/CN106257916A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开一种信息处理装置及信息处理方法。为了即便是在通过被设置为环境光的闪烁周期的整数倍却没有获得适当的曝光量时也能执行高精确度的形状测量，信息处理装置包括：确定单元，被配置为确定在执行所述目标物的三维测量时是否将所述摄像装置的曝光时间设置为所述环境光的闪烁周期的整数倍；控制单元，被配置为执行控制，以在所述确定单元确定所述摄像装置的所述曝光时间被设置为所述环境光的所述闪烁周期的整数倍时将所述曝光时间设置为所述环境光的所述闪烁周期的整数倍；以及测量单元，被配置为基于所述控制单元的控制结果而控制所述投影装置和所述摄像装置，以对所述目标物执行三维测量。

Description

信息处理装置及信息处理方法
技术领域
本发明涉及一种通过拍摄测量目标的图像而测量该测量目标的三维形状的方法。
背景技术
已知有利用相机拍摄被检物(下文称为被检目标物)的图像、并从所拍摄图像中测量被检目标物的形状的三维形状测量法。在该方法中，当存在于被检目标物周围的光源包括闪烁(flickering)时，一个或更多个所拍摄图像在亮度上存在差异，从而可能不能以高精确度测量被检目标物的形状。
为了解决该问题，在日本JP特开2012-154828号公报中讨论的技术中，在图像测量设备中，在使用自动聚焦的图像拍摄时将曝光时间设置为闪烁周期的整数倍，并将照明设备的发光频率设置为50Hz或60Hz的整数倍。通过该设置，在消除由于照明光的闪烁而出现的曝光量的变化的同时，消除了闪烁的影响。
然而，在日本JP特开2012-154828号公报中讨论的方法中，即使通过将照明光的发光频率设置为闪烁周期的整数倍而消除了图像拍摄期间亮度的变化，但仍可能不会获得适于测量的曝光量。
发明内容
根据本发明的一方面，信息处理装置被配置为在以闪烁周期闪烁的环境光下、基于由摄像装置拍摄的图像而对被投影装置投影了预定图案的目标物执行三维测量，所述信息处理装置包括：确定单元，被配置为确定在执行所述目标物的三维测量时是否将所述摄像装置的曝光时间设置为所述环境光的闪烁周期的整数倍；控制单元，被配置为执行控制，以在所述确定单元确定所述摄像装置的所述曝光时间被设置为所述环境光的所述闪烁周期的整数倍时将所述曝光时间设置为所述环境光的所述闪烁周期的整数倍；以及测量单元，被配置为基于所述控制单元的控制结果而控制所述投影装置和所述摄像装置，以对所述目标物执行三维测量。
根据本发明，即使环境光中存在闪烁，也能够以高精确度测量被检目标物的形状。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是例示使用根据示例性实施例的信息处理装置的系统的图。
图2例示了根据本发明的第一示例性实施例的处理流程图。
图3例示了根据本发明的示例性实施例用于在测量环境光的发光强度时设置曝光时间的方法。
图4A至图4J例示了在根据本发明的示例性实施例的形状测量方法中要被投影的图案光的示例。
图5例示了在根据本发明的示例性实施例的形状测量方法中的空间代码。
图6例示了在闪烁的环境光下所拍摄图像中的辉度的变化的示例。
图7是根据本发明的第二示例性实施例的处理流程图。
图8是根据本发明的第三示例性实施例的处理流程图。
图9例示了根据本发明的示例性实施例的信息处理装置的硬件结构的示例。
具体实施方式
图1例示了根据本发明的示例性实施例的三维测量装置。三维测量装置包括信息处理装置7、投影装置8以及摄像装置9。
将描述构成投影装置8的各个单元。
光源1是例如发射光通量的发光二极管(LED)。图案生成单元2生成要被投影在被检目标物4上的图案，并调制该图案。在本示例性实施例中，生成周期性排列有亮部和暗部的格子图案来作为要被投影到被检目标物4上的图案。尽管规律地排列有遮光部和非遮光部的掩模图案可以被用作图案生成单元2，但也可以利用液晶元件或数字微镜器件(DMD)来生成诸如单色图案或正弦波状图案等任何图案。投影透镜3a和3b被用来利用图案光照射被检目标物4。
接下来，将描述构成摄像装置9的各个单元。
集光透镜5a和5b收集从被检目标物4反射的图案光。图像传感器6获取从被检目标物4扩散并反射的光通量的强度。图像传感器6能够包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
信息处理装置7控制光源1的发光和要被图案生成单元2投影的图案以及图像传感器6的曝光时间和增益，以根据关于从图像传感器6获得的光通量的强度信息来计算被检目标物4的形状。图9是例示根据本发明的信息处理装置7的硬件结构的视图。在图9中，信息处理装置7包括中央处理单元(CPU)1910，总线1900，只读存储器(ROM)1920，随机存取存储器(RAM)1930，输入接口(I/F)1940和输出I/F 1950。如图9所示，当中央处理单元(CPU)1910将存储在只读存储器(ROM)1920中的程序加载到随机存取存储器(RAM)1930中、并根据下文描述的各个流程图执行处理时，实施构成信息处理装置7的各个功能单元。如果配置硬件作为使用CPU 1910的软件处理的替换，则可以配置例如与各个功能单元的处理对应的计算单元或电路。
以下将描述构成信息处理装置7的各个单元。
光源控制单元7a控制光源1的发光强度和发光时间。
投影图案控制单元7b控制要被图案生成单元2投影的图案的变化。
图像传感器控制单元7c改变图像传感器6的曝光时间，并控制摄像装置9拍摄图像。图像传感器控制单元7c获取摄像装置9拍摄的图像。
分析单元7d经由图像传感器控制单元7c获得摄像装置9拍摄的图像，比较闪烁光源(发出环境光的光源)的发光强度和照明光的强度，确定曝光时间是否被设置为预定闪烁周期的整数倍，并计算被检目标物4的形状。更具体地，在改变光源控制单元7a设置的发光强度和投影图案控制单元7b设置的要被投影在检查目标物体4上的图案光的同时，图像传感器6基于图像传感器控制单元7c设置的曝光时间和增益来多次执行被投影的图案光(图案)的强度的摄像。基于图像传感器6拍摄的多个图像，分析单元7d根据图案生成单元2和图像传感器6之间的几何关系来测量被检目标物4的三维形状。
在本示例性实施例中，将描述利用空间编码图案投影法的装置，该空间编码投影法是在测量被检目标物4的三维形状时将图案光投影到被检目标物4上并根据图案位置的偏移来测量被检目标物4的形状的方法。然而，用于测量被检目标物4的三维形状的方法并不限于空间编码图案投影法。
根据能获得适于形状测量的曝光量的曝光时间、闪烁光源的每单位时间的平均发光强度以及照明光的发光强度，确定摄像期间的曝光时间是否被设置为闪烁周期的整数倍。当曝光时间被设置为闪烁周期的整数倍时，曝光时间期间的照明光的发光量被调整为适于测量的曝光量。
图2是例示根据本发明第一示例性实施例的信息处理装置执行的处理过程的流程图。
在步骤S101中，光源控制单元7a关闭照明灯，以测量闪烁光源的平均发光强度。
在步骤S102中，图像传感器控制单元7c设置用于测量闪烁光源的平均发光强度的曝光时间。依赖于非变频器型的荧光灯所引起的电源频率而生成的闪烁的频率为电源频率的两倍。因此，在电源频率为50Hz的区域中，曝光时间被设置为10msec，而在电源频率为60Hz的区域中，曝光时间被设置为8.3msec。如果之前已知电源频率，则可以相应地设置曝光时间。然而，如果电源频率未知，则在图3所示的过程中可以获悉适当的曝光时间。
在图3所示的步骤S102-1中，在照明灯关闭的状态下，图像传感器控制单元7c使摄像装置9在10msec的曝光时间(即电源频率为50Hz时的一个闪烁周期)中、以不等的间隔拍摄多个图像。当图像间的拍摄间隔为不等间隔时，即使图像传感器6的帧频为闪烁频率的整数倍，仍能够准确地确定闪烁频率。
在步骤S102-2中，分析单元7d计算多个所拍摄图像的关注区域中各辉度值间的偏差σ10msec。
在步骤S102-3中，在照明灯关闭的状态下，图像传感器控制单元7c使摄像装置9在8.3msec的曝光时间(即电源频率为60Hz时的闪烁周期)中、以不等的间隔拍摄多个图像。曝光时间为10msec时的摄像和曝光时间为8.3msec时的摄像的顺序可以颠倒。
在步骤S102-4中，分析单元7d计算多个所拍摄图像的关注区域中各辉度值间的偏差σ8.3msec。
在步骤S102-5中，分析单元7d比较偏差σ10msec和偏差σ8.3msec以确定哪个偏差较小，并将较小偏差的曝光时间设置为用于测量闪烁光源的平均发光强度的曝光时间。通过该操作，即使是之前不知道电源频率，也能够指定依赖于电源频率的闪烁周期。
在图2所示的步骤S103中，在照明灯关闭的状态下，图像传感器控制单元7c在步骤S102中设置的曝光时间下执行摄像，并且分析单元7d根据所获得图像的辉度来计算闪烁光源的每单位时间的平均发光强度。此时，可以通过下述等式1计算发光强度：
Iflicker＝L/(G×T) (等式1)
这里，Iflicker为闪烁的发光强度，L为图像辉度值，G为图像传感器6的增益，T为曝光时间。调整图像传感器6的增益G，从而使图像辉度值L不饱和以正确测量闪烁的发光强度Iflicker。图像辉度值L可以包括所拍摄图像的特定部分中的辉度值和整个图像的平均辉度值。
在步骤S104中，图像传感器控制单元7c根据步骤S103中已测量的闪烁光源的平均发光强度和照明光的发光强度来计算作为适于被检目标物4的形状测量的图像辉度值的曝光时间。需要具有合适辉度值的图像，以减少图像传感器6的散粒噪声(shot noise)和由于干扰引起的噪声的影响，并避免辉度值的饱和以实施高精确度的形状测量。当根据适于形状测量的精确度来定义的图像的辉度值为Lideal时，通过以下等式表示获得该辉度值所需的曝光时间Tmeasure：
Tmeasure＝Lideal/(G×(Iflicker+Iillumination)) (等式2)
G为图像传感器6的增益，Iflicker为闪烁光源的每单位时间的平均发光亮度，Iillumination为照明光的发光强度。如果照明光的发光强度未知，则可以利用下述等式根据步骤S103中已使用的曝光时间下拍摄的图像的辉度值来计算照明光的发光强度Iillumination：
Iillumination＝Lmeasure/G×Tmeasure-Iflicker (等式3)
这里，Lmeasure是测量的图像辉度。当测量照明光的发光强度Iillumination时，在闪烁的影响下，图像的辉度值会变化。因此，期望拍摄多个图像以将图像的关注区域中的各辉度值的平均值用作Lmeasure。
在步骤S105中，分析单元7d根据步骤S103中已测量的闪烁光源的平均发光强度、照明光的发光强度和步骤S104中已计算出的曝光时间来确定用于摄像的曝光时间是否被设置为闪烁周期的整数倍。基于步骤S103中已测量的闪烁光源的平均发光强度和照明光的发光强度的比率以及步骤S104中已计算出的适于测量的曝光时间来执行上述确定。
在作为本实施例中的三维测量方法的空间编码图案投影法中，要被投影的图案包括图4A至图4J中所示的要被顺次投影的图案。在该示例中，要被投影的图案为空间编码图案投影法中的4位格雷码图案。在空间编码图案投影法中，根据关于与各个比特位(bit)对应的图案光强度图像的辉度信息来执行明暗确定，以对摄像范围的各个区域增加空间代码。例如，在与第一比特位对应的图案光强度图像中执行明暗确定。在增加空间代码时所执行的明暗确定中，在图4B所示的正图案图像和图4G所示的负图案图像中的各相同像素处，正图案图像的辉度和负图案图像的辉度的平均值被设置为阈值，并且比阈值更明和更暗的像素被各自确定为1和0以增加空间代码。针对与各个比特位对应的图案光强度图像执行上述处理。如图5所示，当针对与第一至第四比特位的图案光强度图像执行上述处理时，能够增加空间代码。根据所增加的空间代码和图案生成单元2与图像传感器6之间的几何关系来计算被检目标物4的形状。
在该情况下，当测量环境中存在闪烁光源时，在相同像素处，正图案照射期间和负图案照射期间的辉度值不同。根据闪烁光源的平均发光强度、照明光的发光强度以及曝光时间的组合，不能正确执行明暗确定。因此，可能不能正确测量被检目标物4的三维形状。当闪烁光源造成的图像辉度值的偏差变为近似5％时，根据被检目标物4和测量状态，空间编码错误变少。
图6例示了在闪烁的环境光下所拍摄图像中的辉度的偏差。如果照明光的发光强度除以闪烁的平均发光强度为10或更大，则如图6中点划线所示，任意曝光时间下拍摄的图像的辉度值的偏差也会变为小于在曝光时间下平均获得的图像辉度值的5％。因此，如果照明光的发光强度除以闪烁的平均发光强度为10或更大，则确定曝光时间未被设置为闪烁周期的整数倍(步骤S105中为“否”)，然后处理推进至步骤S107。
另一方面，如果照明光的发光强度除以闪烁的平均发光强度小于10，则确定曝光时间被设置为闪烁周期的整数倍(步骤S105中为“是”)，然后处理推进至步骤S106。在步骤S106中，图像传感器控制单元7c将作为闪烁周期的整数倍的曝光时间设置为最接近步骤S104中算出的曝光时间，并控制照明光的光量，从而在作为闪烁周期的整数倍的已设置的曝光时间下获得恰当的图像辉度以执行摄像。在本示例性实施例中，将描述通过控制辉度强度(投影强度)来控制照明光的光量的情况。当被设置为减少闪烁造成的图像辉度值的偏差的曝光时间为Tantiflicker时，通过下述等式表达获得恰当曝光量所需的照明光的发光强度I’illumination：
这里，G是图像传感器6的增益，Iflicker是闪烁光源的每单位时间的平均发光强度，Tmeasure是步骤S103中算出的曝光时间，Iillumination是进行控制之前的照明光的发光强度。当照明光的发光强度除以闪烁光源的平均发光强度为1且适当的曝光时间为7.5msec(闪烁周期的0.75倍)时，曝光时间被设置为10msec(以100Hz的闪烁频率)。根据等式4，以下述等式5表达照明光的发光强度：
I’illumination＝0.25×Iillumination (等式5)
通过光源控制单元7a控制光源，从而获得照明光的发光强度以执行摄像。
另一方面，如果曝光时间未被设置为闪烁周期的整数倍(步骤S105中为“否”)，则处理推进至步骤S107。在步骤S107中，图像传感器控制单元7c基于步骤S104中算出的曝光时间和照明光的发光强度Iillumination执行摄像。
在步骤S108中，分析单元7d接下来根据步骤S106或S107中已拍摄的图像(摄像结果)来测量被检目标物4的三维形状。在本发明中，空间编码图案投影法被用作形状测量法。因此，如图4A至图4J所示，当与第一至第四比特位对应的图案光强度图像被投影时，如图5所示，能够增加空间代码。根据所增加的空间代码和图案生成单元2与图像传感器6之间的几何关系来计算被检目标物4的形状。
如上文所述，根据本示例性实施例，即使是在出现闪烁的环境下，通过恰当控制曝光时间，也能以高精确度执行三维测量。
(变形例)
在上文所述的第一示例性实施例中，仅基于照明光的发光强度除以闪烁的平均发光强度而确定曝光时间是否被设置为闪烁周期。然而，也能够通过合并曝光时间进行该确定。即使照明光的发光强度除以闪烁的平均发光强度小于10(例如5)，但如果曝光时间大于闪烁周期的一倍，则图像辉度值的偏差仍小于5％。因此，作为用于确定曝光时间是否被设置为闪烁周期的确定标准，照明光的发光强度除以闪烁的平均发光强度能够被设置为5或更大，曝光时间能被设置为闪烁周期的一倍或更大。能够基于测量方法和测量所需的精确度来设置确定标准。因此，以上所列的数值为示例。
在第二示例性实施例中，通过控制照明光的照明时间(发光时间)来控制照明灯的光量。
实施本示例性实施例所需的装置结构与第一实施例(图1)中类似。单元的相应功能与第一实施例中类似。
图7中例示了根据本示例性实施例的测量方法。与第一示例性实施例中一样，在步骤S201中，光源控制单元7a首先关闭照明光。
与第一示例性实施例中一样，在步骤S202中，图像传感器控制单元7c设置用于测量闪烁光源的平均发光强度的曝光时间。
在步骤S203中，在照明灯关闭的状态下，图像传感器控制单元7c在步骤S202中设置的曝光时间下执行摄像，并且分析单元7d基于等式1根据所获得图像的辉度来计算闪烁光源的每单位时间的平均发光强度。
在步骤S204中，图像传感器控制单元7c基于等式2根据步骤S203中已测量的闪烁光源的平均发光强度和照明光的发光强度来计算作为适于被检目标物4的形状测量的图像辉度值的曝光时间。
在步骤S205中，分析单元7d根据步骤S203中已测量的闪烁光源的平均发光强度和步骤S204已计算出的曝光时间来确定用于摄像的曝光时间是否被设置为闪烁周期的整数倍，以便确定是通过控制照明光执行摄像从而在曝光时间内获得适当光量、还是在步骤S204中已算出的曝光时间下执行摄像。
如果曝光时间被设置为闪烁周期的整数倍(步骤S205中为“是”)，则处理推进至步骤S206。在步骤S206中，图像传感器控制单元7c将作为闪烁周期的整数倍的曝光时间设置为最接近步骤S204中算出的曝光时间，并控制照明光的光量，从而在作为闪烁周期的整数倍的已设置的曝光时间下获得适当的图像辉度来执行摄像。在本示例性实施例中，将描述用于利用照明光的照明时间来控制照明光的光量的方法。当被设置为减少闪烁造成的图像辉度值的偏差的曝光时间为Tantiflicker时，通过下述等式表达获得恰当曝光量所需的照明光的照明时间Tillumination：
这里，G是图像传感器6的增益，Iflicker是闪烁光源的每单位时间的平均发光强度，Tmeasure是步骤S203中算出的曝光时间，Iillumination是进行控制之前的照明光的发光强度。当被设置为减少闪烁造成的图像辉度值的偏差的曝光时间为Tantiflicker且曝光期间照明光的照明时间为Tillumination时，用于摄像的曝光时间自身能够获得与第一示例性实施例中类似的效果。曝光期间的照明光的照明时间可以是曝光期间的任何定时。在预定周期中可以重复打开和关闭照明光以便照明时间满足Tillumination。
另一方面，如果曝光时间未被设置为闪烁周期的整数倍(步骤S205中为“否”)，则处理推进至步骤S207。在步骤S207中，图像传感器控制单元7c基于步骤S204中算出的曝光时间和照明光的发光强度Iillumination以及照明光的照明时间Tillumination执行摄像。
在步骤S208中，与第一示例性实施例中一样，分析单元7d根据步骤S206或S207中已拍摄的图像来测量被检目标物4的三维形状。在本发明中，空间编码图案投影法被用作形状测量法。因此，如图4A至图4J所示，当与第一至第四比特位对应的图案图像被投影时，如图5所示，能够增加空间代码。根据所增加的空间代码和图案生成单元2与图像传感器6之间的几何关系来计算被检目标物4的形状。
上文描述的方法能够实现将闪烁的影响保持为最小以便以高精确度测量被检目标物4的形状。
因此，根据本示例性实施例，不控制照明光的光量，而是通过照明时间控制曝光量。因此，即使是不能控制照明光的光量时也能减少闪烁的效果，从而能够实现高精确度的三维测量。
在第一和第二示例性实施例中，基于照明光的发光强度除以闪烁的平均发光强度来确定曝光时间是否被设置为闪烁周期的整数倍。然而，在实际测量现场，照明光的发光强度可能高于闪烁的平均发光强度。因此，在第三示例性实施例中，当先前已知照明光的发光强度足够高于闪烁光源的发光强度时，不考虑照明光的发光强度除以闪烁的平均发光强度、而是仅基于曝光时间来确定曝光时间是否被设置为闪烁周期的整数倍。
图8是例示本示例性实施例中的处理的流程图。
在步骤S301中，图像传感器控制单元7c计算曝光时间Tmeasure。在本示例性实施例中，不测量闪烁的平均发光强度。因此，不是基于等式3，而是在曝光时间Tmeasure被改变的同时拍摄图像，并且获得最佳曝光时间Tmeasure，在该曝光时间下，所拍摄图像中的目标部分的辉度变为最佳辉度。
在步骤S302中，分析单元7d基于步骤S301中已获得的曝光时间Tmeasure确定曝光时间是否被设置为闪烁周期的整数倍。
如图6中所示，当曝光时间大于闪烁周期的两倍时，除了照明光的发光强度变为低于闪烁光源的平均发光强度的环境之外，图像辉度的偏差均小于5％。因此，如果步骤S301中获得的曝光时间Tmeasure大于闪烁周期的两倍，则确定曝光时间未被设置为闪烁周期的整数倍(步骤S302中为“否”)，然后处理推进至步骤S304。另一方面，如果曝光时间小于闪烁周期的两倍，则确定曝光时间被设置为闪烁周期的整数倍(步骤S302中为“是”)，然后处理推进至步骤S303。基于测量方法和测量所需的精确度来设置确定的标准。
在步骤S303中，与第一示例性实施例中一样，图像传感器控制单元7c控制照明光的光量，从而在闪烁周期的整数倍的曝光时间下获得适当的图像辉度以执行摄像。与第二示例性实施例中一样，可以控制照明光的照明时间。
在步骤S304中，由于曝光时间不需变为闪烁周期的整数倍，因此图像传感器控制单元7c基于步骤S301中已获得的曝光时间Tmeasure来执行摄像。
在步骤S305中，与第一示例性实施例中一样，分析单元7d根据步骤S303或S304中已拍摄的图像来测量被检目标物4的三维形状。
因此，根据本示例性实施例，不需测量闪烁的平均发光强度。因此，在短时间内确定曝光时间是否被设置为闪烁周期的整数倍，从而能够实现高速度和高精确度的三维测量。
上文描述了本说明书中由光源1发出的光的强度以及发光的时间的调整。然而，本发明并不限于此。例如，当光源1发出的光的强度以及发光的时间固定时，可以通过利用掩模对图案遮光来调整经由投影透镜3a和3b从投影装置实际投影的图案的发光强度和发光时间。更具体地，在本说明书中，发光强度和发光时间不仅包括光源1发出的光的强度以及发光的时间，也包括从投影装置实际投影的图案的发光强度和发光时间。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (13)

1.一种信息处理装置，其被配置为在以闪烁周期闪烁的环境光下、基于摄像装置拍摄的图像而对被投影装置投影了预定图案的目标物执行三维测量，所述信息处理装置包括：
确定单元，被配置为确定在执行所述目标物的三维测量时是否将所述摄像装置的曝光时间设置为所述环境光的闪烁周期的整数倍；
控制单元，被配置为执行控制，以在所述确定单元确定所述摄像装置的所述曝光时间被设置为所述环境光的所述闪烁周期的整数倍时将所述曝光时间设置为所述环境光的所述闪烁周期的整数倍；以及
测量单元，被配置为基于所述控制单元的控制结果而控制所述投影装置和所述摄像装置，以对所述目标物执行三维测量。
2.根据权利要求1所述的信息处理装置，其中，当所述确定单元确定所述摄像装置的所述曝光时间被设置为所述环境光的闪烁周期的整数倍时，所述控制单元进一步调整由所述投影装置投影的图案的发光强度或发光时间。
3.根据权利要求2所述的信息处理装置，其中，所述控制单元调整所述图案的发光强度或发光时间，从而在被设置为所述环境光的周期的整数倍的曝光时间下拍摄的图像中获得期望的辉度。
4.根据权利要求1所述的信息处理装置，其中，当所述确定单元未确定所述摄像装置的所述曝光时间被设置为所述环境光的闪烁周期的整数倍时，所述控制单元不改变所述摄像装置的曝光时间。
5.根据权利要求1所述的信息处理装置，其中，所述确定单元基于所投影图案的发光强度执行确定。
6.根据权利要求1所述的信息处理装置，其中，所述确定单元基于所述环境光的发光强度执行确定。
7.根据权利要求6所述的信息处理装置，所述信息处理装置还包括：发光强度测量单元，其被配置为测量所述环境光的发光强度。
8.根据权利要求1所述的信息处理装置，其中，所述确定单元基于所述摄像装置中当前设置的曝光时间执行确定。
9.根据权利要求8所述的信息处理装置，其中，当所述摄像装置中当前设置的曝光时间小于环境光的所述闪烁周期的预定倍数时，所述确定单元将所述摄像装置的曝光时间设置为所述环境光的所述闪烁周期的整数倍。
10.根据权利要求1所述的信息处理装置，其中，所述确定单元基于所投影图案的发光强度、所述环境光的发光强度以及所述摄像装置中当前设置的曝光时间中的至少一个执行确定。
11.根据权利要求8所述的信息处理装置，其中，当所述确定单元确定所述摄像装置的曝光时间被设置为所述环境光的所述闪烁周期的整数倍时，所述控制单元进一步调整所述投影装置投影的图案的发光强度或发光时间。
12.根据权利要求1所述的信息处理装置，其中，所述图案为具有明暗部分的空间编码图案。
13.一种用于控制信息处理装置的方法，所述信息处理装置被配置为在以闪烁周期闪烁的环境光下、基于摄像装置拍摄的图像而对被投影装置投影了预定图案的目标物执行三维测量，所述方法包括：
确定在执行所述目标物的三维测量时是否将所述摄像装置的曝光时间设置为所述环境光的闪烁周期的整数倍；
执行控制，以在所述确定单元确定所述摄像装置的所述曝光时间被设置为所述环境光的所述闪烁周期的整数倍时将所述曝光时间被设置为所述环境光的所述闪烁周期的整数倍；以及
基于所述控制单元的控制结果而控制所述投影装置和所述摄像装置，以对所述目标物执行三维测量。
CN201610422620.3A 2015-06-18 2016-06-15 信息处理装置及信息处理方法 Pending CN106257916A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015123161A JP6566737B2 (ja) 2015-06-18 2015-06-18 情報処理装置、情報処理方法、プログラム
JPJP2015-123161 2015-06-18

Publications (1)

Publication Number Publication Date
CN106257916A true CN106257916A (zh) 2016-12-28

Family

ID=57467336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610422620.3A Pending CN106257916A (zh) 2015-06-18 2016-06-15 信息处理装置及信息处理方法

Country Status (4)

Country Link
US (1) US10334147B2 (zh)
JP (1) JP6566737B2 (zh)
CN (1) CN106257916A (zh)
DE (1) DE102016111014A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120863A (zh) * 2018-10-23 2019-01-01 Oppo广东移动通信有限公司 拍摄方法、装置、存储介质及移动终端
CN109151256A (zh) * 2018-08-31 2019-01-04 惠州华阳通用电子有限公司 一种基于传感器检测的摄像头闪烁消除方法及装置
CN109547704A (zh) * 2018-12-29 2019-03-29 与德科技有限公司 一种防闪屏的拍照方法、装置、终端及存储介质
WO2021184905A1 (zh) * 2020-03-19 2021-09-23 闻泰科技(深圳)有限公司 摄像头模组、控制方法、装置、电子设备和存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003469A (ja) * 2015-06-11 2017-01-05 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法及びプログラム
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
KR102370763B1 (ko) 2017-09-26 2022-03-04 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
CN113141472A (zh) * 2017-09-30 2021-07-20 深圳市大疆创新科技有限公司 补光控制方法、补光控制模块及无人飞行器
JP6770254B2 (ja) * 2018-02-07 2020-10-14 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
US11991808B2 (en) * 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
CN112422934A (zh) * 2019-08-23 2021-02-26 中强光电股份有限公司 投影装置及其亮度调整方法
CN111163270A (zh) * 2019-12-30 2020-05-15 Oppo广东移动通信有限公司 消除闪烁的方法、电子装置和存储介质
JP7231139B2 (ja) * 2020-01-31 2023-03-01 メディット コーポレーション 外部光干渉除去方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193210A (zh) * 2006-11-23 2008-06-04 中兴通讯股份有限公司 一种消除摄像头条纹的方法
US20120307106A1 (en) * 2011-05-31 2012-12-06 Kurt Eugene Spears Synchronized Exposures For An Image Capture System
CN102954770A (zh) * 2011-08-15 2013-03-06 佳能株式会社 三维测量设备和三维测量方法
CN104601899A (zh) * 2013-10-30 2015-05-06 佳能株式会社 图像处理装置和图像处理方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000002519A (ja) * 1998-06-18 2000-01-07 Minolta Co Ltd ３次元入力装置
JP4111592B2 (ja) 1998-06-18 2008-07-02 コニカミノルタセンシング株式会社 ３次元入力装置
JP2004212385A (ja) * 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
JP2005073227A (ja) * 2003-08-04 2005-03-17 Sharp Corp 撮像装置
KR100578647B1 (ko) * 2004-04-27 2006-05-11 매그나칩 반도체 유한회사 이미지센서의 인티그레이션 방법
US7561190B2 (en) * 2006-04-19 2009-07-14 Nethra Imaging Inc. Method and system to reduce flicker artifacts in captured images
JP2008224808A (ja) 2007-03-09 2008-09-25 Canon Inc 自動合焦装置および撮像装置
US8294762B2 (en) * 2008-10-10 2012-10-23 Fujifilm Corporation Three-dimensional shape measurement photographing apparatus, method, and program
JP2010133712A (ja) * 2008-12-02 2010-06-17 Nikon Corp 形状測定装置
FI20086180A0 (fi) 2008-12-09 2008-12-09 Helsingin Yliopisto Menetelmä pintojen interferometriseksi havaitsemiseksi
TW201043015A (en) * 2009-05-18 2010-12-01 Chip Goal Electronics Corp Adaptive de-flicker device and method for adaptive de-flicker
JP5257618B2 (ja) * 2009-08-07 2013-08-07 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および露出調整方法
WO2011059502A1 (en) * 2009-11-13 2011-05-19 Steven Donald Edelson Monitoring and camera system and method
US8330829B2 (en) * 2009-12-31 2012-12-11 Microsoft Corporation Photographic flicker detection and compensation
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
KR101816170B1 (ko) * 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
JP5584873B2 (ja) 2011-01-27 2014-09-10 株式会社ミツトヨ 画像測定装置
US8866114B2 (en) 2011-01-20 2014-10-21 Mitutoyo Corporation Vision measuring device
US20120236175A1 (en) * 2011-03-18 2012-09-20 Uri Kinrot Methods and Systems for Flicker Correction
US8711245B2 (en) * 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
JP5366028B2 (ja) * 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
JP6251962B2 (ja) * 2012-03-01 2017-12-27 日産自動車株式会社 カメラ装置及び画像処理方法
KR101679720B1 (ko) * 2012-11-13 2016-11-25 교도 인사쯔 가부시키가이샤 이차원 코드, 이차원 코드 생성 시스템 및 분석 프로그램
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US10126252B2 (en) * 2013-04-29 2018-11-13 Cyberoptics Corporation Enhanced illumination control for three-dimensional imaging
US9554057B2 (en) * 2013-07-16 2017-01-24 Texas Instruments Incorporated Wide dynamic range depth imaging
JP6267486B2 (ja) * 2013-10-30 2018-01-24 キヤノン株式会社 画像処理装置、画像処理方法
JP6225000B2 (ja) * 2013-11-20 2017-11-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6343910B2 (ja) * 2013-11-20 2018-06-20 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
US9686505B2 (en) * 2014-01-03 2017-06-20 Mediatek Singapore Pte. Ltd. Method for flicker detection and associated circuit
KR102130798B1 (ko) * 2014-01-13 2020-07-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
US9838622B2 (en) * 2015-03-13 2017-12-05 Apple Inc. Flicker detection using semiconductor light source
CN105389845B (zh) * 2015-10-19 2017-03-22 北京旷视科技有限公司 三维重建的图像获取方法和系统、三维重建方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193210A (zh) * 2006-11-23 2008-06-04 中兴通讯股份有限公司 一种消除摄像头条纹的方法
US20120307106A1 (en) * 2011-05-31 2012-12-06 Kurt Eugene Spears Synchronized Exposures For An Image Capture System
CN102954770A (zh) * 2011-08-15 2013-03-06 佳能株式会社 三维测量设备和三维测量方法
CN104601899A (zh) * 2013-10-30 2015-05-06 佳能株式会社 图像处理装置和图像处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151256A (zh) * 2018-08-31 2019-01-04 惠州华阳通用电子有限公司 一种基于传感器检测的摄像头闪烁消除方法及装置
CN109151256B (zh) * 2018-08-31 2020-12-08 惠州华阳通用电子有限公司 一种基于传感器检测的摄像头闪烁消除方法及装置
CN109120863A (zh) * 2018-10-23 2019-01-01 Oppo广东移动通信有限公司 拍摄方法、装置、存储介质及移动终端
CN109547704A (zh) * 2018-12-29 2019-03-29 与德科技有限公司 一种防闪屏的拍照方法、装置、终端及存储介质
WO2021184905A1 (zh) * 2020-03-19 2021-09-23 闻泰科技(深圳)有限公司 摄像头模组、控制方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP6566737B2 (ja) 2019-08-28
DE102016111014A1 (de) 2016-12-22
JP2017009351A (ja) 2017-01-12
US10334147B2 (en) 2019-06-25
US20160373628A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
CN106257916A (zh) 信息处理装置及信息处理方法
JP4891408B2 (ja) カメラ及びカメラにおける方法
CN103583038B (zh) 摄像系统、摄像方法
US9613433B2 (en) Method of characterizing a light source and a mobile device
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
JP6362050B2 (ja) 撮影装置、照明制御装置および照明制御方法
TWI608735B (zh) 影像擷取裝置及亮度調整方法
TWI801637B (zh) 用於相機之紅外光預閃光
TWI594631B (zh) 自動調光方法及其相關的攝影機
CN109945794B (zh) 图像处理系统、计算机可读记录介质及图像处理方法
US10321534B1 (en) Color error corrected segmented LED array
US8285133B2 (en) Dynamic lighting control in hybrid camera-projector device
CN111630449B (zh) 颜色误差校正的分段式led阵列
CN102387321B (zh) 摄像装置
EP3175291B1 (en) Image projection and capture with adjustment for white point
CN103905738B (zh) 高动态范围图像生成系统及方法
CN111398975A (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
CN115280360A (zh) 照明部分的确定
KR20120000234A (ko) 조도 센서를 이용한 백색광 3차원 스캐너의 자동 노출 제어 방법
CN109931881B (zh) 图像处理系统、计算机可读记录介质及图像处理方法
TWI424248B (zh) 相機
EP2461574A1 (en) Dynamic lighting control in hybrid camera-projector device
JP2020101395A (ja) ヘッドライトテスター、プログラム、記憶媒体
JP2014190853A (ja) 外観検査システム
US20170124683A1 (en) Super-resolution processing method, super-resolution processing apparatus, and super-resolution processing system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161228