CN111982023A - 图像捕捉装置组件、三维形状测量装置和运动检测装置 - Google Patents

图像捕捉装置组件、三维形状测量装置和运动检测装置 Download PDF

Info

Publication number
CN111982023A
CN111982023A CN202010844515.5A CN202010844515A CN111982023A CN 111982023 A CN111982023 A CN 111982023A CN 202010844515 A CN202010844515 A CN 202010844515A CN 111982023 A CN111982023 A CN 111982023A
Authority
CN
China
Prior art keywords
image
image signal
image capturing
reference light
light pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010844515.5A
Other languages
English (en)
Other versions
CN111982023B (zh
Inventor
浜口雄一
大森士郎
沼田肇
平间正秀
小田康正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111982023A publication Critical patent/CN111982023A/zh
Application granted granted Critical
Publication of CN111982023B publication Critical patent/CN111982023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

本发明公开了图像捕捉装置组件、三维形状测量装置和运动检测装置。一种图像捕捉装置组件，设置有：光源(110)，发射参考光图案；图像捕捉装置(120)；以及控制装置(130)，控制光源和图像捕捉装置。在控制装置(130)的控制下，光源(110)以高亮度和低亮度向对象(140)发射参考光图案。图像捕捉装置(120)，在高亮度照射状态下，捕捉参考光图案和对象(140)的图像，并且向控制装置(130)输出第一图像信号。在低亮度照射状态下，图像捕捉装置(120)捕捉至少对象(140)的图像，并且向控制装置(130)输出第二图像信号。控制装置(130)根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。

Description

图像捕捉装置组件、三维形状测量装置和运动检测装置
本申请是分案申请，其母案申请的申请号为201580066652.8，申请日为2015年9月4日，发明名称为“图像捕捉装置组件、三维形状测量装置和运动检测装置”。
技术领域
本公开涉及一种图像捕捉装置组件、三维形状测量装置和运动检测装置。
背景技术
作为以非接触方式测量到对象的距离或者测量对象的三维形状的方法，已知使用并行设置的两个图像捕捉装置和三角测量原理进行测量的立体方法，以及使用并行设置的一个光源和一个图像捕捉装置进行测量的主动立体方式(后者参照专利文献1)。具体地，在主动立体方法中，例如，从包括激光装置的光源发射基于红外光的参考光图案，并且用参考光图案照射对象。作为参考光图案，例如，可使用线和间隔图案、网格图案或点图案。进一步地，由图像捕捉装置捕捉用参考光图案照射的对象的图像。这里，如图14A的概念图所示，当光源和图像捕捉装置之间的距离(基线的长度)为L时，由照射到对象的发射光(光束)与基线形成的角为α，由将与发射光碰撞的对象的一部分与图像捕捉装置连接的直线与基线形成的角度为β，光源设置在坐标系的原点(0,0)处，与发射光束碰撞的对象的部分的坐标为(x，y)，(x，y)表示为下面的表达式(A)。进一步地，立体方法是使用两个图像捕捉装置的方法，其中主动立体方法中的光源由一个图像捕捉装置代替，但是如图14B的概念图所示，可以想到具有这样的配置的方法，在该配置中，单独设置光源。
x＝L·tan(β)/{(tan(α)+tan(β))
y＝L·tan(β)·tan(α)/{tan(α)+tan(β)} (A)
引文列表
专利文献
专利文献1：JP 2007-183181A
发明内容
技术问题
但是，在使用参考光图案的主动立体方法或立体方法中，有必要通过图像捕捉装置获得照射到对象的参考光图案作为图像数据。但是，问题在于，由于环境光(日光、室内照明等)的影响频繁发生，难以获得照射到对象的参考光图案的图像数据。即使图像捕捉装置的灵敏度增加，由于图像捕捉装置相对于环境光的灵敏度也增加，这不可能是根本解决方案。还可以考虑使用滤光片从环境光去除与光源发射的光的波长相同的波长的光的方法，但是滤光片的频带存在限制，并且难以高效去除这种来自环境光的光。在增加光源的亮度的方法中，存在光源的功率消耗增加以及根据环境视觉识别参考光图案的问题。
因此，本公开的目的是提供一种图像捕捉装置组件，该组件能够通过图像捕捉装置可靠地获得照射到对象的参考光图案作为图像数据，而没有使用参考光图案的立体方法或主动立体方法中环境光的影响；三维形状测量装置和使用该图像捕捉装置组件的运动检测装置。
问题的解决方案
为了实现上述目的，根据本公开的第一方面的图像捕捉装置组件包括：
光源，发射参考光图案；
图像捕捉装置；和
控制装置，控制所述光源和所述图像捕捉装置。
在所述控制装置的控制下，所述光源分别以高亮度和低亮度向对象发射所述参考光图案，
所述图像捕捉装置捕捉在高亮度照射状态下的所述参考光图案和所述对象的图像，并且向所述控制装置输出第一图像信号，并且捕捉在低亮度照射状态下的至少所述对象的图像，并且向所述控制装置输出第二图像信号，并且
所述控制装置根据所述第一图像信号和所述第二图像信号之间的差生成参考光图案图像信号。
为了实现上述目的，根据本公开的第二方面的图像捕捉装置组件包括：
光源，发射偏振的参考光图案；
图像捕捉装置；和
控制装置，控制所述光源和所述图像捕捉装置。
所述图像捕捉装置包括第一偏振器和第二偏振器，所述第一偏振器具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，所述第二偏振器具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴，
图像捕捉装置将基于通过所述第一偏振器的偏振光获得的第一图像信号输出到所述控制装置，并且将基于通过所述第二偏振器的偏振光获得的第二图像信号输出到所述控制装置，并且
所述控制装置根据所述第一图像信号和所述第二图像信号之间的差生成参考光图案图像信号。
为了实现上述目的，本公开的三维形状测量装置包括根据本公开的第一和第二方面的图像捕捉装置组件。
为了实现上述目的，本公开的运动检测装置包括根据本公开的第一和第二方面的图像捕捉装置组件。
发明的有益效果
根据图像捕捉装置组件，其根据本公开的第一方面或第二方面，包括根据本公开的第一方面或第二方面的图像捕捉装置组件的本公开的三维形状测量装置和运动检测装置，由于根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号，所以可能从参考光图案图像信号去除环境光的影响。本说明书中公开的效果不是限制性的，而是说明性的，并且可实现另外的效果。
附图说明
图1A是示出根据实例1的图像捕捉装置组件(根据本公开的第一方面的图像捕捉装置组件)的概念图，图1B是示出根据实例2的图像捕捉装置组件的概念图。
图2A和2B是示意性地示出在根据实例1的图像捕捉装置组件中分别获取第一图像信号的状态和获取第二图像信号的状态的图。
图3A和图3B是示意性地示出在根据实例2的图像捕捉装置组件中分别获取第一图像信号的状态和获取第二图像信号的状态的图。
图4A是示出根据实例4的图像捕捉装置组件(根据本公开的第二方面的图像捕捉装置组件)的概念图，图4B是示出根据实例5的图像捕捉装置组件的概念图。
图5A和图5B是示意性地示出在根据实例4的图像捕捉装置组件中分别获取第一图像信号的状态和获取第二图像信号的状态的图。
图6A和6B是示意性地示出在根据实例5的图像捕捉装置组件中分别获取第一图像信号的状态和获取第二图像信号的状态的图。
图7是示出根据实例6的图像捕捉装置组件的概念图，其是示意性地示出获取第一图像信号的状态和获取第二图像信号的状态的图。
图8A和8B是示出根据实例4的图像捕捉装置组件的概念图，以及示意性地示出分别使用第一偏振器和第二偏振器的偏振状态的图。
图9A和9B是示意性地示出形成根据实例4的图像捕捉装置组件的图像捕捉装置中的图像捕捉元件的局部截面图和示意性地示出线栅偏振器的布置状态的图。
图10是示出在形成根据实例4的图像捕捉装置组件的图像捕捉装置中具有拜耳阵列(Bayer array)的图像捕捉元件阵列的概念图。
图11A、11B和11C是示意性地示出每个图像捕捉帧的图像捕捉时间T1和T2的图。
图12A和12B是示意性地示出每个图像捕捉帧的图像捕捉时间T1和T2的图。
图13A和13B是示意性地示出每个图像捕捉帧的图像捕捉时间T1和T2的图。
图14A和14B是示出用于分别描述主动立体方法和立体方法的图像捕捉装置等的布置的概念图。
具体实施方式
在下文中，将参照附图基于实例描述本公开。本公开不限于实例，并且实例中所示的各种数值和材料是说明性的。注意，将按照以下顺序提供描述。
1.根据本公开的第一和第二方面的图像捕捉装置组件，本公开的三维形状测量装置和本公开的运动检测装置的整体描述
2.实例1(根据本公开的第一方面的图像捕捉装置组件)
3.实例2(实例1的变形例)
4.实例3(实例1和实例2的变形例)
5.实例4(根据本公开的第二方面的图像捕捉装置组件)
6.实例5(实例4的变形例)
7.实例6(实例4的另一变形例)
8.其他
<根据本公开的第一和第二方面的图像捕捉装置组件，本公开的三维形状测量装置和本公开的运动检测装置的整体描述>
根据本公开的第一方面和第二方面的图像捕捉装置组件或在本公开的三维形状测量装置中提供的根据本公开的第一方面和第二方面的图像捕捉装置组件，以及本公开的运动检测装置可统称为“本公开的图像捕捉装置组件等”。根据本公开的第一方面的图像捕捉装置组件，或在本公开的三维形状测量装置中提供的根据本公开的第一方面的图像捕捉装置组件，以及根据本公开的第三方面的运动检测装置可统称为“根据本公开的第一方面的图像捕捉装置组件等”。进一步，根据本公开的第二方面的图像捕捉装置组件，或在本公开的三维形状测量装置中提供的根据本公开的第二方面的图像捕捉装置组件，以及本公开的运动检测装置可统称为“根据本公开的第二方面的图像捕捉装置组件等”。
在本公开的图像捕捉装置组件等中，控制装置包括帧存储器，并且可被配置为将第一图像信号和第二图像信号中的一个存储在帧存储器中。帧存储器可采用具有已知的配置和结构的帧存储器。这里，为了根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号，可使用用作帧存储器的硬件，但是本公开不限于此。相反，第一图像信号和第二图像信号之间的差可通过基于软件的计算来计算。
在根据包括上述优选形式的本公开的第一方面的图像捕捉装置组件等中，当将在高亮度照射状态下捕捉参考光图案和对象的图像的图像捕捉时间表示为T1，并且将以在低亮度照射状态下捕捉至少对象的图像的图像捕捉时间为表示为T2，则可满足T1>T2。基于来自图像捕捉装置组件的用户的指令，使图像捕捉时间T1和T2可变，或使T1和T2的比率可变。
可替代地，在根据包括上述优选配置的本公开的第一方面的图像捕捉装置组件等中，一个图像捕捉帧可被划分为多个时段，多个时段中的一个时段可设置为处于低亮度照射状态，并且剩余时段可设置为处于高亮度照射状态。进一步地，在这种情况下，尽管不是限制性的，但是图像捕捉帧速率可以是每秒30帧，并且一个图像捕捉帧可被划分为两个或更多个时段(例如，两个到四个)。
在本说明书中，“一个图像捕捉帧”是指用于根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号的一个图像捕捉帧，并且不意味着用于获得视频图像的每秒图像的数目。这同样适用于根据本公开的第二方面的图像捕捉装置组件等。
可替代地，在根据包括上述优选形式的本公开的第一方面的图像捕捉装置组件等中，重复在高亮度照射状态下捕捉参考光图案和对象的图像的图像捕捉时段和在低亮度照射状态下捕捉至少对象的图像的图像捕捉时段，并且前一图像捕捉时段可长于后一图像捕捉时段。
进一步地，在根据包括上述各种优选形式和配置的本公开的第一方面的图像捕捉装置组件等中，所述图像捕捉装置可包括以二维矩阵形式在第一方向和第二方向上布置的图像捕捉元件，图像捕捉装置可包括滚动快门机构，并且控制装置可控制光源和图像捕捉装置，使得所有图像捕捉元件在高亮度照射状态下捕捉参考光图案和对象的图像，并将所述第一图像信号输出到控制装置，并且使得所有的图像捕捉元件在低亮度照射状态下捕捉至少对象的图像，并将第二图像信号输出到控制装置。
在根据包括优选形式和配置的本公开第一方面的图像捕捉装置组件等中，光源在高亮度照射状态下可处于操作状态(即，在光源发射参考光图案的状态下)，并且在低亮度照射状态下可处于非操作状态(即，在光源不发射参考光图案的状态下)。可通过各种测试来适当地确定从光源发射的参考光图案的亮度(由光源发射的光的光强度)。可替代地，用户可通过例如在室内模式和室外模式之间切换来切换或改变从光源发射的参考光图案的亮度(由光源发射的光的光强度)。即使将光源设置为在低亮度照射状态下处于操作状态(即，在光源发射参考光图案的状态下)，如果合适地选择高亮度照射状态或低亮度照射状态，可能通过计算第一图像信号和第二图像信号之间的差，从参考光图案图像信号中去除环境光的影响。
在根据包括上述各种优选形式和配置的本公开第一方面的图像捕捉装置组件等中，可提供一个图像捕捉装置，并且图像捕捉装置可由立体图像捕捉装置配置。进一步地，在根据包括上述各种优选形式和配置的本公开的第二方面的图像捕捉装置组件等中，可提供一个图像捕捉装置，并且图像捕捉装置可包括第一偏振器和第二偏振器。可替代地，可提供两个图像捕捉装置，其中一个图像捕捉装置可包括第一偏振器，并且另一个图像捕捉装置可包括第二偏振器。进一步地，可不提供偏振器。
包括上述各种优选形式和配置的本公开的三维形状估计装置进一步包括运算单元，其中运算单元可根据参考光图案图像信号计算对象的三维形状。
此外，包括上述各种优选形式和配置的本公开的运动检测装置进一步可包括运算单元。运算单元可根据参考光图案图像信号计算对象的三维形状，可根据计算出的三维形状提取对象的特征点，可计算对象的特征点的位置，以及可根据计算的特征点的位置的变化检测对象的运动。
在包括上述各种优选形式和配置的本公开的图像捕捉装置组件等中，优选地，例如，光源是发射波长为780nm至980nm的红外光的光源，但是这不限于此。光源可由半导体激光装置和诸如发光二极管(LED)或超发光二极管(SLD)的半导体发光装置配置。光源可在照射期间根据形成光源的发光装置的形式被连续地驱动，或者可以是脉冲驱动的。在脉冲驱动的情况下的占空比可适当地确定。
作为参考光图案，例如，可使用线和间隔形状图案、网格图案或点图案，但是这不限于此，并且可以实质上使用任意图案。为了获得线和间隔形状图案、网格图案和点图案，例如衍射光栅等可设置在光源的光发射侧，并且图案可由MEMS镜生成。可替代地，可使用密度梯度图案、方格网格图案、圆锥图案等。为了获得偏振参考光图案，可在光源的光发射侧设置偏振器。在从光源发射的光本身被偏振的情况下，可不在光源的光发射侧设置偏振器。通常，将振动方向仅为特定方向的光称为“偏振光”，将振动方向称为“偏振方向”或“偏振轴”。
在本公开的图像捕捉装置组件等中，图像捕捉装置可采用已知的图像捕捉装置，其例如包括电荷耦合器件(CCD)型图像捕捉元件、互补金属氧化物半导体(CMOS)型图像捕捉元件、电荷调制器件(CMD)型信号放大图像捕捉元件或称为接触图像传感器(CIS)图像的图像捕捉元件(图像传感器)。图像捕捉装置可包括适于捕捉对象的图像的图像捕捉元件和适于捕捉参考光图案的图像的图像捕捉元件，并且例如可由检测红光的图像捕捉元件、检测绿光的图像捕捉元件、检测蓝光的图像捕捉元件和检测红外光的图像捕捉元件的组合配置。图像捕捉装置本身可具有已知的配置和结构。进一步地，图像捕捉装置可采用表面照射型固态图像捕捉装置或背面照射型固态图像捕捉装置，并且例如，可由数字静态照相机、摄像机或摄录像机构造。图像捕捉装置可包括能够将具有上述波长的光转换为信号的图像捕捉元件(具体地，例如，接收红外光的图像捕捉元件)。除了接收红外光的图像捕捉元件之外，图像捕捉装置还可包括接收红光的图像捕捉元件、接收绿光的图像捕捉元件、接收蓝光的图像捕捉元件等。在以参考光图案照射的对象的三维形状的测量或其运动的检测中，在最小处，可以以参考光图案(例如，红外光)的波长进行图像捕捉。这里，除了接收红外光的图像捕捉元件，通过进一步包括接收红光的图像捕捉元件、接收绿光的图像捕捉元件、接收蓝光的图像捕捉元件等，可能提高测量或检测的精度，并且与三维形状的测量或运动的检测同时地执行对象的图像的捕捉。
在根据本公开的第一方面的图像捕捉装置组件等中，在提供一个图像捕捉装置的形式中，可基于主动立体方法来计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。进一步地，在提供了两个图像捕捉装置的形式中，可基于立体方法来计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。在根据本公开的第二方面的图像捕捉装置组件等中，在提供一个图像捕捉装置的形式中，可基于主动立体方法来计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。进一步地，在提供两个图像捕捉装置并且两个图像捕捉装置中的每一个包括第一偏振器和第二偏振器的形式中，可基于主动立体方法或立体方法来计算从一个图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。此外，在提供两个图像捕捉装置并且一个图像捕捉装置第一偏振器，另一图像捕捉装置包括第二偏振器的形式中，可基于立体方法来计算从一个图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。在根据本公开的第一方面或第二方面的图像捕捉装置组件中，所谓的快门机构可以是全局快门机构和滚动快门机构中的任一个。
在本公开的图像捕捉装置组件等的优选形式中，如上所述，优选的是图像捕捉时间T1和T2满足T1>T2，因此，可能实现从光源发射的参考光图案的亮度(由光源发射的光的光强度)的降低。这里，本公开不限于此，例如，可将图像捕捉时间T1和T2满足设置为满足T1/T2＝1。可基于图像捕捉装置的规格来确定图像捕捉时间T1和T2。
图像捕捉装置可包括滤光片，该滤光片透射具有与从光源发射的光的波长相同的波长的光。在用具有预定波长(例如，约850nm的波长)的参考光图案照射对象的情况下，和在其最小值上在测量被照射对象的三维形状或检测其运动的情况下，图像捕捉装置能够仅捕捉预定波长分量(参考光图案的波长分量)的图像就足够了。因此，可在图像捕捉装置的入射光侧提供具有期望特性的波长选择滤光片，例如，仅透射具有约850nm波长的光的带通滤光片。因此，可能尽可能地减少环境光中除850nm以外的波长分量的影响，并且实现较少受环境光影响的三维测量装置或运动检测装置。波长选择滤光片的特性不限于带通滤光片，并且可根据环境光的波长分布或图像捕捉装置的频率特性适当地确定。
这个主题基本上是任意的。本公开的图像捕捉装置组件等可在室外或室内使用。本公开的图像捕捉装置组件等可应用于例如运动传感器、监视摄像机系统、深度传感器、三维形状传感器、二维形状传感器、三维位置传感器、二维位置传感器、距离传感器、范围传感器、车辆防碰撞传感器、质量管理或质量检查系统。
从图像捕捉方法的观点，根据第一方面的图像捕捉方法基本上是使用根据本公开第一方面的图像捕捉装置组件的图像捕捉方法，并且包括用参考光图案分别以高亮度和低亮度照射对象；在高亮度照射状态下捕捉参考光图案和对象的图像以获得第一图像信号，并且在低亮度照射状态下捕捉至少对象的图像以获得第二图像信号；以及根据所述第一图像信号和所述第二图像信号之间的差生成参考光图案图像信号。
进一步地，根据第二方面的图像捕捉方法基本上是使用根据本公开第二方面的图像捕捉装置组件的图像捕捉方法，并且包括用偏振参考光图案照射对象；基于在平行于参考光图案的偏振方向的方向上偏振的偏振光获得第一图像信号，以及基于在垂直于参考光图案的偏振方向上偏振的偏振光或不依赖偏振方向的光获得第二图像信号；以及根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。
从三维形状测量方法的观点来看，根据第一方面的三维形状测量方法基本上是使用根据本公开的第一方面的图像捕捉装置组件的三维形状测量方法，并且包括用参考光图案分别以高亮度和低亮度照射对象；在高亮度照射状态下捕捉参考光图案和对象的图像以获得第一图像信号，并且在低亮度照射状态下捕捉至少对象的图像以获得第二图像信号；根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号；以及根据参考光图案图像信号计算三维形状。
进一步地，根据第二方面的三维形状测量方法基本上是使用根据本公开的第二方面的图像捕捉装置组件的三维形状测量方法，并且包括用偏振参考光图案照射对象；基于在平行于参考光图案的偏振方向的方向上偏振的偏振光获得第一图像信号，以及基于在垂直于参考光图案的偏振方向上偏振的偏振光或不依赖偏振方向的光获得第二图像信号；根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号；以及根据参考光图案图像信号计算三维形状。
从运动检测方法的观点，根据第一方面的运动检测方法基本上是使用根据本公开第一方面的图像捕捉装置组件的运动检测方法，并且包括用参考光图案分别以高亮度或低亮度照射对象；在高亮度照射状态下顺序地捕捉参考光图案和对象的图像，以顺序地获得第一图像信号，并且在低亮度照射状态下顺序地捕捉至少对象的图像，以顺序地获得第二图像信号；根据第一图像信号和第二图像信号之间的差顺序地生成参考光图案图像信号；以及基于参考光图案图像信号顺序地计算对象的三维形状，根据计算出的三维形状顺序地提取所述对象的特征点，顺序地计算对象的特征点的位置，以及根据所计算的特征点的位置的变化来检测对象的运动。
进一步地，根据第二方面的运动检测方法基本上是使用根据本公开第二方面的图像捕捉装置组件的运动检测方法，并且包括用偏振参考光图案照射对象；基于在平行于参考光图案的偏振方向的方向上偏振的偏振光顺序地获得第一图像信号，以及基于在垂直于参考光图案的偏振方向上偏振的偏振光或不依赖偏振方向的光顺序地获得第二图像信号；根据第一图像信号和第二图像信号之间的差顺序地生成参考光图案图像信号；以及基于参考光图案图像信号顺序地计算对象的三维形状，根据计算出的三维形状顺序地提取对象的特征点，顺序地计算对象的特征点的位置，以及根据所计算的特征点的位置的变化来检测对象的运动。
[实例1]
实例1涉及根据本公开的第一方面的图像捕捉装置组件，本公开的三维形状测量装置和本公开的运动检测装置。
如图1A的概念图所示，实例1的图像捕捉装置组件1001包括光源110，光源110发射参考光图案(由在图中的横向方向上延伸的多个虚线表示)；图像捕捉装置120和控制装置130，控制装置130控制光源110和图像捕捉装置120。进一步地，在控制装置130的控制下，光源110朝向对象140分别发射高亮度和低亮度的参考光图案(参见图2A和2B)。图像捕捉装置120捕捉在高亮度照射状态下的参考光图案和对象140的图像，并且将第一图像信号输出到控制装置130。图像捕捉装置120捕捉在低亮度照射状态下的至少对象140的图像，并且将第二图像信号输出到控制装置130。控制装置130根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。
实例1的三维形状测量装置和运动检测装置包括实例1的图像捕捉装置组件。这里，本公开的三维形状测量装置进一步包括运算单元，并且运算单元根据参考光图案图像信号计算对象的三维形状。进一步地，实例1的运动检测装置进一步包括运算单元，并且运算单元根据参考光图案信号计算对象的三维形状，根据计算出的三维形状提取对象的特征点，计算对象的特征点的位置，并且根据计算的特征点的位置的变化来检测对象的运动。
在实例1或实例2至实例6(将在后文描述)中，控制装置130或控制装置230包括帧存储器131或231，并且将第一图像信号和第二图像信号中的任一个存储在帧存储器131或231中。光源110或光源210是发射例如波长为850nm的红外光的光源，并且例如由半导体激光装置构造。作为参考光图案，使用线和间隔形状图案，但是参考光图案不限于此。为了获得线和间隔形状图案，根据需要在光源110或210的光输出侧设置衍射光栅(未示出)。图像捕捉装置120或220由已知的摄像机或摄录像机配置，使得CMOS型图像捕捉元件(CMOS图像传感器)以二维矩阵形式排列，在该形式中，M个元素沿第一方向(行方向)布置，N个元件沿第二方向(列方向)布置。进一步地，图像捕捉装置120或220由检测红光的图像捕捉元件、检测绿光的图像捕捉元件、检测蓝光的图像捕捉元件以及检测红外光的图像捕捉元件的组合构造。这里，本公开不限于此，并且图像捕捉装置120或220可仅由检测红外光的图像捕捉元件构造。
实例1的图像捕捉装置组件1001包括一个图像捕捉装置120。图像捕捉装置120中的快门机构可以是全局快门机构和滚动快门机构中的任一个。
在下文中，将描述使用实例1的图像捕捉装置组件的图像捕捉方法的概述。在图像捕捉方法中，例如，基于主动立体方法来计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。进一步地，在实例1的本公开的三维形状测量装置中，基于已知的处理算法，根据基于通过使用实例1的图像捕捉装置组件的图像捕捉方法获得的参考光图案图像信号的图像数据来测量对象的三维形状。在实例1的运动检测装置中，基于已知的处理算法，根据基于通过使用实例1的图像捕捉装置组件的图像捕捉方法获得的参考光图案图像信号的图像数据来检测对象的运动。
在控制装置130的控制下，光源110分别以高亮度和低亮度朝向对象140发射参考光图案。也就是说，光源110分别以具有高亮度和低亮度的参考光图案照射对象140。在实例1中，将捕捉在低亮度照射状态下的参考光图案和对象的图像的图像捕捉时间T1和捕捉在高亮度照射状态下的至少对象的图像的图像捕捉时间T2设定为满足T1＝T2，使得每个图像捕捉帧的图像捕捉时间T1和T2被示意性地示出在图11A、11B和11C中。这些图示出了采用滚动快门机构作为快门机构的情况。在图11A至11C中，以及在图12A、12B、13A和13B(将在后面描述)中，高亮度照射状态和低亮度照射状态中的每一个由实心矩形表示。
这里，图像捕捉装置120包括以二维矩阵形式布置在第一方向和第二方向上的图像捕捉元件。图像捕捉装置120包括滚动快门机构，并且控制装置130控制光源110和图像捕捉装置120，使得所有图像捕捉元件捕捉在高亮度照射状态下的参考光图案和对象的图像并且将第一图像信号输出到控制装置130，并且使得所有图像元件捕捉在低亮度照射状态下的至少对象的图像，并且将第二图像信号输出到控制装置130。
在图11A所示的实例中，每秒捕捉的图像的帧数被设置为15(图像捕捉帧速率：15fps)，并且一个图像捕捉帧时段被划分为两个时段(“时段-1”和“时段-2”)。进一步地，在图11B和11C示出的实例中，将每秒捕捉的图像的帧数设置为30(图像捕捉帧速率：30fps)。在图11B中，一个图像捕捉帧时段被划分为两个时段(“时段-1”和“时段-2”)，在图11C中，一个图像帧时段被划分为四个时段(“时段-1”、“时段-2”、“时段-3”和“时段4”)。划分的时段的时间长度相同。随着每秒捕捉的图像的帧数增加，并且随着一个图像捕捉帧时段中的划分时段的数量增加，示意性地示出一个图像捕捉帧的平行四边形的形状改变。具体地，随着每秒捕捉的图像的帧数变多并且一个图像捕捉帧时段中的划分时段的数量变得更多，从左上部分延伸到右下部分的斜边的倾斜角变大。也就是说，随着每秒的图像捕捉帧的数量变得更多，并且随着一个图像捕捉帧时段中的划分时段的数量变得更多，在使用滚动快门机构的情况下的感光时间变得更长。结果，可延长能够被设置为高亮度照射状态的时间长度。
如果在一个图像捕捉帧中用同样光强度的参考光图案照射所有的图像捕捉元件的时间不存在，则难以精确地去除环境光的影响。在图11A所示的实例中，图像捕捉时间T1和T2的时间长度对应于“时段-1”和“时段-2”的时间长度的约10％。因此，优选的是每秒捕捉的图像的帧数等于或大于15(图像捕捉帧速率：15fps)，并且一个图像捕捉帧中的划分时段的数量等于或大于2。进一步地，如上所述，由于随着每秒捕捉的图像的帧数(图像捕捉帧速率)变得更多，并且一个图像捕捉帧时段中的划分时段的数量变得更多，可能延长在一个图像捕捉帧中用同样光强度的参考光图案照射所有的图像捕捉元件的时间，更优选的是每秒捕捉的图像的帧数等于或大于30(图像捕捉帧速率：30fps以上)，并且一个图像捕捉帧中的划分时段的数目等于或大于2，并且甚至更优选地，每秒捕捉的图像的帧数等于或大于30(图像捕捉帧速率：30fps以上)，并且一个图像捕捉帧中的划分时段的数量等于或大于3。如图11B和图11C所示的实例中，图像捕捉时间T1和T2的时间长度为“时段-1”和“时段-2”的时间长度的约50％和70％。
在高亮度照射状态下，光源110被设置为处于操作状态(即，在光源发射参考光图案的状态下)，并且在低亮度照射状态下，光源110被设置为处于非操作状态(即，在光源110不发射参考光图案的状态下)。在图11A、11B和11C中，所有图像捕捉元件在从时间点t11到时间点t12的图像捕捉时间T1中处于高亮度照射状态，并且所有图像捕捉元件在从时间点t21到时间点t22的图像捕捉时间T1中处于低亮度照射状态。
图像捕捉装置120在高亮度照射状态下捕捉参考光图案和对象140的图像，并将第一图像信号输出到控制装置130，并且在低亮度照射状态下捕捉至少对象140的图像状态(在实例1中在低亮度照射状态下捕捉对象140的图像)，并将第二图像信号输出到控制装置130。也就是说，图像捕捉装置120在高亮度照射状态下捕捉参考光图案和对象140的图像140，以获得第一图像信号(见图2A)。进一步地，图像捕捉装置120在低亮度照射状态下捕捉至少对象140的图像，以获得第二图像信号。具体地，在环境光下，捕捉对象140的图像以获得第二图像信号(见图2B)。作为图像捕捉装置120的获得图像信号的操作或各种处理，以及与将图像信号传输到控制装置130相关的操作或各种处理，已知的操作和处理可以使用。这同样适用于下文描述的各种实例。获得第一图像信号和第二信号的时间顺序基本上是任意的，并且例如，可使用在获得第二图像信号之后获得第一图像信号的配置。第二图像信号被存储在帧存储器131中。
进一步地，例如，在一个图像捕捉帧终止之后，控制装置130根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。也就是说，控制装置130执行从获得的第一图像信号中减去存储在帧存储器131中的第二图像信号的处理。
控制装置130根据获得的参考光图案图像信号计算图14A所示的角度α和β，基于表达式(A)计算坐标(x，y)，并计算z坐标。结果，控制装置130可例如基于主动立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。其处理算法可以是已知的处理算法。这同样适用于下面将描述的各种实例。
在实例1中，第二图像信号是在不存在参考光图案的状态下获得的图像信号，并且第一图像信号是在存在参考光图案的状态下获得的图像信号。因此，通过计算第一图像信号和第二图像信号之间的差，可能获得参考光图案图像信号。也就是说，环境光包括在第一图像信号或第二图像信号中。因此，通过计算第一图像信号和第二图像信号之间的差，可能从参考光图案图像信号中去除环境光的影响。也就是说，可能在不增加参考光图案的亮度的情况下，通过图像捕捉装置捕捉参考光图案。进一步地，可能解决诸如光源中的功率消耗的增加的问题，并且解决根据情况可视地识别参考光图案的问题。此外，在更自由的环境中(在不依赖于室内或室外照度的环境中或在户外使用)，可能测量从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。进一步地，尽管在位于远离光源的对象或具有宽视角的对象中参考光图案变暗，但是仍然可能通过图像捕捉装置可靠地捕捉参考光图案，并且减小距离局限性。另外，能够降低光源的光强度，因此即使在例如由半导体激光装置构造光源的情况下，也可能确保高安全性。这同样适用于下面描述的实例。
[实例2]
实例2是实例1的变形例。如图1B的概念图所示，在实例2的图像捕捉装置组件1002中，图像捕捉装置由立体图像捕捉装置构造。具体地，图像捕捉装置由第一图像捕捉装置120A和第二图像捕捉装置120B构造。也就是说，将实例1的图像捕捉装置组件中的光源110替换为第一图像捕捉装置120A以及单独提供的光源210。图像捕捉装置120A和120B中的快门机构可以是全局快门机构和滚动快门机构中的任一个。
以下，将描述使用实例2的图像捕捉装置组件的图像捕捉方法的概述。在图像捕捉方法中，例如，基于立体方法来计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动。
在控制装置130的控制下，光源110分别以高亮度和低亮度朝向对象140发射参考光图案。在实例2中，与实例1类似，将T1和T2设置为满足T1＝T2，并且每秒捕捉的图像的帧数为30(图像捕捉帧速率：30fps)。进一步地，在高亮度照射状态下，光源110被设置为处于操作状态(即，在光源110发射参考光图案的状态下)，并且在低亮度照射状态下，光源110被设置为处于非操作状态(即，在光源110不发射参考光图案的状态下)。
图像捕捉装置120A和120B中的每一个在高亮度照射状态下捕捉参考光图案和对象140的图像，并且将第一图像信号输出到控制装置130，并且在低亮度照射状态下捕捉至少对象140的图像(在实例2中在低亮度照射状态下捕捉对象140的图像)，并且将第二图像信号输出到控制装置130。也就是说，图像捕捉装置120A和120B中的每一个在高亮度照射状态下捕捉参考光图案和对象140的图像以获得第一图像信号(见图3A)。从第一图像捕捉装置120A获得的第一图像信号被称为“第一信号-A”，从第二图像捕捉装置120B获得的第一图像信号被称为“第一图像信号-B”。进一步地，图像捕捉装置120A和120B中的每一个在低亮度照射状态下捕捉至少对象140的图像，以获得第二图像信号。具体地，在环境光下，图像捕捉装置120A和120B中的每一个捕捉对象140的图像以获得第二图像信号(见图3B)。从第一图像捕捉装置120A获得的第二图像信号被称为“第二信号-A”，从第二图像捕捉装置120B获得的第二图像信号被称为“第二图像信号-B”。第一图像信号-A和第一图像信号-B以及第二图像信号-A和第二图像信号-B存储在帧存储器131A和133B中。
例如，在一个图像捕捉帧终止之后，控制装置130根据第一图像信号-A和第二图像信号-A之间的差以及第一图像信号-B和第二图像信号-B之间的差生成参考光图案图像信号(从第一图像捕捉装置130A获得的参考光图案图像信号-A和从第二图像捕捉装置130B获得的参考光图案图像信号-B)。也就是说，控制装置130在所获得的第一图像信号-A和第一图像信号-B以及第二图像信号-A和第二图像信号-B之间执行减法处理。
控制信号130根据所获得的参考光图案图像信号-A和参考光图案图像信号-B计算图14B中所示的角度α和β，并且进一步基于表达式(A)计算坐标(x，y)，并计算z坐标。结果，控制装置130可基于例如主动立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。其处理算法可以是已知的处理算法。这同样适用于下面将描述的各种实例。
在实例2中，第二图像信号-A和第二图像信号-B是在不存在参考光图案的状态下获得的图像信号，并且第一图像信号-A和第一图像信号-B是存在参考光图案的状态下获得的图像信号。因此，通过计算第一图像信号-A和第二图像信号-A之间的差以及第一图像信号-B和第二图像信号-B之间的差，可能获得参考光图案图像信号-A和参考光图案图像信号-B。环境光包含在第一图像信号-A和第一图像信号-B，以及第二图像信号-A和第二图像信号-B中的任何信号中。因此，通过计算第一图像信号和第二图像信号之间的差，可能从参考光图案图像信号去除环境光的影响。
[实例3]
实例3是实例1至实例2的变形例。在实例1至实例2中，将T1和T2设置为满足T1＝T2。另一方面，在实例3中，将T1和T2设置为满足T1>T2。作为快门机构，可使用全局快门机构和滚动快门机构中的任一个。图12A、12B、13A和13B示意性地示出了在使用滚动快门机构作为快门机构的情况下每图像捕捉帧的图像捕捉时间。在图12A、12B、13A和13B中示出的示例中，将每秒捕捉的图像的帧数设置为30(图像捕捉帧速率：30fps)，并且将一个图像捕捉帧划分为两个或更多个时段，具体而言，等分为四个时段。在各图中，从时间点t11到时间点t12的时段对应于高亮度照射状态。进一步地，从时间点t21到时间点t22的时段对应于低亮度照射状态。
在图12A所示的实例中，T1/T2＝Q的值超过3，“时段-1”的一部分处于低亮度照射状态，“时段-2”的一部分、“时段-3”的全部和“时段-4”的一部分处于高亮度照射状态。在图12B所示的实例中，T1/T2＝Q的值为3，“时段-1”的一部分处于低亮度照射状态，“时段-2”的一部分、“时段-3”的一部分和“时段-4”的一部分处于高亮度照射状态。在图13A所示的实例中，T1/T2＝Q的值为1，“时段-2”的全部处于高亮度照射状态，并且“时段-4”的全部处于低亮度照射状态。在图13B所示的实例中，T1/T2＝Q的值超过1，“时段-1”的一部分、“时段-2”的全部、“时段-3”的一部分和“时段-4”的全部处于高亮度照射状态，并且“时段-1”的剩余部分和“时段-3”的剩余部分处于低亮度照射状态。基于来自图像捕捉装置组件的用户的指令，可使图像捕捉时间T1和T2可变，并且可使T1和T2的比率可变。
在图12A、12B和13A所示的实例中，一个图像捕捉帧被划分为多个时段，并且其中的一个时段被设置为处于低亮度照射状态，并且剩余时段被设置为处于高亮度照射状态。可替代地，在图12A、12B、13A和13B所示的实例中，具体而言，在图13B所示的实例中，重复在高亮度照射状态下捕捉参考光图案和对象的图像的图像捕捉时段和在低亮度照射状态下捕捉至少对象的图像的图像捕捉时段，并且前一图像捕捉时段长于后一图像捕捉时段。
例如，在图12A所示的实例中，可以根据从时间点t11到时间点t12获得的第一图像信号与从时间点t21到时间点t22获得的第二图像信号之间的差获得参考光图案图像信号，并且将其存储在帧存储器131中。这里，为了获得参考光图案图像信号，有必要执行以下校正。
(第一图像信号)—{2+(时段-3的时间长度)/(T2的时间长度)}×(第二图像信号)
在图12B所示的实例中，例如，可以将在“时段-1”中获得的第二图像信号存储在帧存储器131中，并且可基于在“时段-2”中获得的图像信号与在“时段-1”中获得的图像信号之间的差；在“时段-3”中获得的图像信号与“时段-1”中获得的图像信号之间的差；以及在“时段-4”中获得的图像信号与在“时段-1”中获得的图像信号之间的差，从参考光图案图像信号中去除环境光的影响。
在图13A所示的实例中，可将在“时段-1”中获得的第二图像信号存储在帧存储器131中，并且可基于在“时段-3”中获得的图像信号与“时段-1”中获得的图像信号之间的差，从参考光图案图像信号中去除环境光的影响。
在图13B所示的实例中，在“时段-1”中获得的第二图像信号可存储在帧存储器131中，并且可基于第一图像信号和第二图像信号之间的差从参考光图案图像信号中去除环境光的影响，其中，第一图像信号和第二图像信号在“时段-1”的一部分，“时段-2”的全部和“时段-3”的一部分中获得。
在难以获得参考光图案图像信号的情况下，优选的是增加Q的值。进一步地，在环境光不足的情况下，优选的是改变和优化Q的值。例如，在环境光几乎不存在的情况下，Q的值可被设置为极大的值，或者Q可被设置为∞。
进一步地，在实例3中，根据情况，第一图像信号的信号强度变为第二图像信号的信号强度的Q倍。因此，当计算第一图像信号和第二图像信号之间的差时，第二图像信号的信号强度可设置为Q倍，或者第一图像信号的信号强度可以设置为(1/Q)倍。
由于除了上述各点之外，实例3的图像捕捉装置组件或图像捕捉方法可被配置为类似于实例1至2的图像捕捉装置组件或图像捕捉方法，因此将不再重复其详细描述。
[实例4]
实例4涉及根据本公开的第二方面的图像捕捉装置。
如图4A的概念图所示，实例4的图像捕捉装置组件2001包括光源210，发射经偏振的参考光图案；图像捕捉装置220；和控制装置230，控制光源210和图像捕捉装置220。进一步地，图像捕捉装置220包括第一偏振器221和第二偏振器222，第一偏振器221具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，第二偏振器222具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴。图像捕捉装置220将基于经过第一偏振器221的偏振光获得的第一图像信号输出到控制装置230，并且将基于经过第二偏振器222的偏振光获得的第二图像信号输出到控制装置230。控制装置230根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。在图中，偏振器221和222由这样的图表示，在该图中，多个细线由矩形围绕。多条细线延伸的方向表示偏振轴。
形成实例4的图像捕捉装置组件2001的图像捕捉装置220的概念图在图8A中示出，基于第一偏振器221和第二偏振器222的偏振状态在图8B中示意性地示出。进一步地，图像捕捉装置220中的图像捕捉元件的局部截面图在图9A中示意性地示出，线栅偏振器的布置状态在图9B中示意性地示出。另外，在图像捕捉装置220中具有拜耳阵列的图像捕捉元件阵列的概念图在图10中示出。在下面的描述中，光前进方向被称为Z轴方向，平行于参考光图案偏振方向的方向被称为X轴方向，垂直于参考光图案偏振方向的方向称为Y轴方向。
实例4，或者实例5和6(稍后将描述)的图像捕捉装置包括：透镜系统20，会聚来自对象的光；以及图像捕捉元件阵列40，其中图像捕捉元件41布置成在X轴方向和Y轴方向上的二维矩阵形式，并且图像捕捉元件阵列40被配置为在光入射侧包括第一偏振器221和第二偏振器222并且将由透镜系统20会聚的光转换为电信号。每个偏振器221或222的消光比例如等于或大于3，更具体地，等于或大于10。
这里，透镜系统20例如包括图像捕捉透镜21、光圈22和成像透镜23(并且例如用作变焦透镜)。图像捕捉透镜21是用于会聚来自对象的入射光的透镜。图像捕捉透镜21包括用于聚焦的聚焦透镜，用于放大对象的变焦透镜等，并且通常通过用于校正色差等的多个透镜的组合来实现。光圈22具有用于缩小以调节会聚光的强度的功能，并且通常通过组合多个板状翼(叶片)配置。至少在光圈22的位置处，来自对象上的一点的光变为平行光。成像透镜23在图像捕捉元件阵列40上成像光。图像捕捉元件阵列40设置在相机主体11中。在上述配置中，相比到成像透镜23，入射光瞳设置成更靠近相机主体。例如，数字静态照相机、摄像机或摄录像机由图像捕捉装置构造。
除了图像捕捉元件阵列40之外，相机主体11例如还包括图像处理单元12和图像存储单元13。图像捕捉元件阵列40例如由CMOS图像传感器等实现。图像处理单元12将从图像捕捉元件阵列40输出的电信号转换为图像数据，并将转换后的图像数据存储在图像存储单元13中。
如图9A和图9B所示，图9A是示出了示意性局部截面图的图，图9B是示出形成第一偏振器221和第二偏振器222的线栅偏振器67的布置状态的图，图像捕捉元件41被配置为使得光电转换元件61设置在硅半导体基板60上，并且例如在其上层叠有第一平坦化膜62、滤光片63、片上透镜64、第二平坦化膜65、无机绝缘接地层66和线栅偏振器67。附图标记69A和69B表示遮光层和互连层。进一步地，线栅偏振器67分别形成第一区域51和第二区域52。在图9B中，用实线表示像素的边界区域。形成线栅偏振器67的多条配线68延伸的方向平行于X轴方向或Y轴方向。具体地，在形成第一偏振器221并形成第一区域51的线栅偏振器67A中，配线68A的延伸方向与Y轴方向平行，并且在形成第二偏振器222并形成第二区域52的线栅偏振器67B中，配线68B的延伸方向与X轴方向平行。配线68的延伸方向变为线栅偏振器67中的光吸收轴，并且垂直于配线68的延伸方向的方向成为线栅偏振器67中的光透射轴(偏振轴)。经过第一区域51的第一区域透射光的偏振状态和经过第二区域52的第二区域透射光的偏振状态彼此不同。
另外，可能通过穿过第一区域51并到达图像捕捉元件41的第一区域透射光获得第一图像信号，并且通过穿过第二区域52并到达图像捕捉元件41的第二区域透射光获得第二图像信号。
如图10的概念图所示，图像捕捉装置阵列40具有拜耳阵列，在该阵列中，一个像素由四个图像捕捉元件(接收红光的一个红色图像捕捉元件“R”、接收蓝光的一个蓝色图像捕捉元件“B”、接收绿光的一个绿色图像捕捉元件“G”以及接收红外光的一个红外图像捕捉元件“I”)配置。进一步地，第一区域51相对于沿着X轴方向布置的一行像素组设置，并且类似地，第二区域52相对于与前一行像素组在Y轴方向上邻接并且沿着X轴方向布置的一行像素组设置。第一区域51和第二区域52沿着Y轴方向交替地布置。第一区域51和第二区域52通常在X轴方向上延伸，并且第一区域51和第二区域52沿着X轴方向和Y轴方向的单位长度等于图像捕捉元件41沿着X轴方向和Y轴方向的长度。通过这样的配置，第一图像信号和第二图像信号沿着Y轴方向交替地生成。在图10中，在第一区域51的内部分配垂直线，在第二区域52的内部分配水平线，但是这些线示意性地示出线栅偏振器67A和67B的配线。
如上所述，第一图像信号和第二图像信号沿着Y轴方向以无齿状态的种类生成。因此，为了创建图像数据，图像处理单元12关于电信号执行去马赛克处理，并且例如基于超分辨率处理执行内插处理，从而生成和创建最终图像数据。进一步地，可通过去马赛克处理获得每个图像捕捉元件位置处的图像数据，但在该阶段中，如上所述，第一和第二图像信号是无齿状态的种类。因此，关于不存在图像数据的区域，有必要通过内插生成图像数据。作为用于内插的方法，可例示诸如使用相邻值的相加平均值的方法的已知方法。内插处理可与去马赛克处理并行执行。由于在X轴方向上完全保持图像质量，因此诸如整个图像的分辨率降低等图像质量劣化相对较小。
除了不提供偏振器221和222之外，图像捕捉装置的上述配置和结构可应用于实例1至3中的图像捕捉装置120。进一步地，在实例6(稍后将描述)的图像捕捉装置中，例如，膜形或片形的第一偏振器223可设置在形成第一图像捕捉装置220C的透镜系统20的光入射侧，并且膜状或片状的第二偏振器224可设置在形成第二图像捕捉装置220D的透镜系统20的光入射侧。
实例4的图像捕捉装置组件2002包括一个图像捕捉装置220。图像捕捉装置220中的快门机构可以是全局快门机构和滚动快门机构中的任一个。为了获得偏振参考光图案，将偏振器211设置在光源210的光发射侧。在从光源发射的光本身被偏振的情况下，偏振器可不设置在光源210的发光侧。
在下文中，将描述使用实例4的图像捕捉装置组件的图像捕捉方法的概述。在图像捕捉方法中，例如，基于主动立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。在实例4至6中，将每秒捕捉的图像的帧数设置为30(30fps)。
在控制装置230的控制下，光源210以预定亮度向对象240发射偏振参考光图案。也就是说，光源210用偏振的参考光图案照射对象240。
当光源210处于操作状态(即，光源210发射参考光图案的状态)时，图像捕捉装置220捕捉参考光图案和对象240的图像，并将第一图像信号输出到控制装置230(见图5A)。同时，图像捕捉装置220捕捉对象240的图像，并将第二图像信号输出到控制装置230(见图5B)。也就是说，图像捕捉装置220基于在平行于参考光图案的偏振方向的方向上偏振的偏振光获得第一图像信号。进一步地，图像捕捉装置220基于在垂直于参考光图案的偏振方向的方向上偏振的偏振光(如必要，基于不依赖于偏振方向的光)获得第二图像信号。第二图像信号不包括基于参考光图案的图像信息号。第一图像信号和第二图像信号被存储在帧存储器231中。
进一步地，例如，在一个图像捕捉帧终止之后，控制装置230根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。也就是说，控制装置230执行从获得的第一图像信号中减去第二图像信号的处理。由于偏振状态变化，例如即使在不照射参考光图案的状态下，从包括环境光的影响的对象获得的第一图像信号和第二图像信号也不会变为相同的值。因此，当仅计算第一图像信号和第二图像信号之间的差时，获得其中包括由于偏振状态而变化的图像信号的第一图像信号和第二图像信号之间的差。因此，有必要根据第一图像信号和第二图像信号之间的差去除由于偏振状态引起的图像信号。
具体地，为了获得第一图像信号和第二图像信号之间的差，执行用参考光图案照射对象240并基于经过第一偏振器221的偏振光获得第一图像信号的处理(称为“参考光图案照射处理”)。另一方面，执行基于经过第一偏振器221的特定频率偏振光获得第一图像信号而不用参考光图案照射对象240的处理(称为“非参考光图案照射处理”)。进一步地，使用在非参考光图案照射处理中获得的第一图像信号和第二图像信号之间的差作为参考差，通过进一步在参考光图案照射处理中从第一图像信号和第二图像信号之间的差减去参考差，可能去除由于偏振状态引起的信号。这里，去除由于偏振状态引起的信号的处理不限于上述处理。
控制装置230以与实例1中的描述类似的方式根据获得的参考光图案图像信号计算坐标(x，y)，并计算z坐标。结果，控制装置230可例如基于主动立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。
在实例4中，第二图像信号是基于经过第二偏振器的偏振光获得的图像信号(不包括基于参考光图案的图像信号的图像信号)，并且第一图像信号是基于经过第一偏振器的偏振光获得的图像信号(包括基于参考光图案的图像信号的图像信号)。因此，通过计算第一图像信号和第二图像信号之间的差，可能获得参考光图案图像信号。环境光包含在第一图像信号或第二图像信号中。因此，通过计算第一图像信号和第二图像信号之间的差，可能从参考光图案图像信号中去除环境光的影响。另外，偏振状态的施加在难以提供将参考光图案改变为高亮度照射图案和低亮度照射图案的机制的情况下是有效的，或者例如在其中由该变化产生的电磁噪声等导致不便或者难以将这种调制应用于光源的情况下是有效的。
[实例5]
实例5是实例4的变形例。如图4B的概念图所示，在实例5的图像捕捉装置组装2002中，图像捕捉装置由立体图像捕捉装置构造。具体地，图像捕捉装置由第一图像捕捉装置220A和第二图像捕捉装置220B构造。图像捕捉装置220A和220B中的快门机构可以是全局快门机构和滚动快门机构中的任一个。第一图像捕捉装置220A和第二图像捕捉装置220B具有与在实例4中描述的图像捕捉装置220相同的配置和结构。
在下文中，将描述使用实例5的图像捕捉装置组件的图像捕捉方法的概述。在图像捕捉方法中，例如，基于立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。
在控制装置230的控制下，光源210向对象240发射偏振参考光图案。也就是说，光源210用偏振参考光图案照射对象240。
第一图像捕捉装置220A将第一图像信号和第二图像信号输出到控制装置230，并且第二图像捕捉装置220B也将第一图像信号和第二图像信号输出到控制装置230(见图6A和6B)。从第一图像捕捉装置220A获得的第一图像信号被称为“第一图像信号-A”，从第二图像捕捉装置220B获得的第一图像信号被称为“第一图像信号-B”。进一步地，从第一图像捕捉装置220A获得的第二图像信号被称为“第二图像信号-A”，从第二图像捕捉装置220B获得的第二图像信号被称为“第二图像信号-B”。第一图像信号-A和第一图像信号-B以及第二图像信号-A和第二图像信号-B存储在帧存储器231A和231B中。
进一步地，例如，在一个图像捕捉帧终止之后，控制装置230根据第一图像信号-A和第二图像信号-A之间的差以及第一图像信号-B和第二图像信号-B之间的差，生成参考光图案图像信号(从第一图像捕捉装置230A获得的参考光图案图像信号-A和从第二图像捕捉装置230B获得的参考光图案图像信号-B)。也就是说，控制装置230在获得的第一图像信号-A和第一图像信号-B以及第二图像信号-A和第二图像信号B之间执行减法处理。该处理可与实例4中所述的处理相同。
控制信号230根据获得的参考光图案图像信号-A和参考光图案图像信号-B计算图14B所示的角度α和β，并基于表达式(A)计算坐标(x，y)，并计算z坐标。结果，控制装置230可例如基于立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。
在实例5中，第二图像信号-A和第二图像信号-B是在不存在参考光图案的状态下(或者在参考光图案的存在由于偏振而被忽略的状态下)获得的图像信号，并且第一图像信号-A和第一图像信号-B是在存在参考光图案的状态下获得的图像信号。因此，通过计算第一图像信号-A和第二图像信号A之间的差以及第一图像信号-B和第二图像信号B之间的差，可能获得参考光图案图像信号-A和参考光图案图像信号-B。环境光包含在第一图像信号-A、第一图像信号-B、第二图像信号-A或第二图像信号-B中。因此，通过计算第一图像信号和第二图像信号之间的差，可能从参考光图案图像信号中去除环境光的影响。
进一步地，例如，可通过使用第一图像捕捉装置220A和光源210基于主动立体方法执行计算。
[实例6]
实例6也是实例4的变形例。如图7的概念图所示，在实例6的图像捕捉装置组件2003中，图像捕捉装置由两个图像捕捉装置220C和220D构造。但是，与实例5不同，不需要由两个图像捕捉装置220C和220D配置立体图像捕捉装置。进一步地，与实例5不同，在第一图像捕捉装置220C中提供具有在平行于参考光图案的偏振方向的方向上的偏振轴的第一偏振器223，并且在第二图像捕捉装置220D中提供具有在垂直于参考光图案的偏振方向的方向上的偏振轴的第二偏振器224。第一图像信号由第一图像捕捉装置220C获得，并且第二图像信号由第二图像捕捉装置220D获得。图像捕捉装置220C和220D中的快门机构可以是全局快门机构和滚动快门机构中的任一种。
以下，将描述使用实例6的图像捕捉装置组件的图像捕捉方法的概述。在图像捕捉方法中，例如，基于主动立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。
在控制装置230的控制下，光源210朝向对象240发射偏振参考光图案。也就是说，光源210用偏振参考光图案照射对象240。在实例6中，与实例4和5不同，可能基于经过第一偏振器223的偏振光，由第一图像捕捉装置220C获得第一图像信号，并且同时可能基于经过第二偏振器224的偏振光，由第二图像捕捉装置220D获得第二图像信号。
每个图像捕捉装置220C和220D将第一图像信号和第二图像信号输出到图像捕捉装置230。控制装置230根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。也就是说，控制装置230执行从获得的第一图像信号中减去第二图像信号的处理。该处理可与实例4中所述的处理相同。
控制信号230根据获得的参考光图案图像信号计算图14A所示的角度α和β，并基于表达式(A)计算坐标(x，y)，并计算z坐标。结果，控制装置230可例如基于立体方法计算从图像捕捉装置到对象的距离、对象的二维形状或三维形状、对象的运动等。
在实例6中，第二图像信号是在不存在参考光图案的状态下(或者在参考光图案的存在由于偏振而被忽略的状态下)获得的图像信号，并且第一图像信号是在存在参考光图案的状态下获得的图像信号。因此，通过计算第一图像信号和第二图像信号之间的差，可能获得参考光图案图像信号。环境光包括在第一图像信号或第二图像信号中。因此，通过计算第一图像信号和第二图像信号之间的差，可能从参考光图案图像信号中去除环境光的影响。
不言而喻，已经基于优选实例描述了本公开，而本公开不限于上述实例。在实例中描述的图像捕捉装置组件、图像捕捉装置、光源和控制装置的配置或其结构的配置仅仅是说明性的，并且是可适当地改变的。进一步地，在实例中，示出了各种值，但是它们是说明性的，并且例如，如果要使用的光源、图像捕捉和控制装置的规格改变，它们被改变是自然的。实例2至6中所描述的图像捕捉装置组件可应用于三维形状测量装置或运动检测装置。
另外，本技术还可以被配置如下。
[A01]“图像捕捉装置：第一方面”
一种图像捕捉装置组件，包括：
光源，发射参考光图案；
图像捕捉装置；和
控制装置，控制所述光源和所述图像捕捉装置，
其中，在所述控制装置的控制下，所述光源分别以高亮度和低亮度向对象发射所述参考光图案，
所述图像捕捉装置在高亮度照射状态下捕捉所述参考光图案和所述对象的图像，并且向所述控制装置输出第一图像信号，并且在低亮度照射状态下捕捉至少所述对象的图像，并且向所述控制装置输出第二图像信号，并且
所述控制装置根据所述第一图像信号和所述第二图像信号之间的差生成参考光图案图像信号。
[A02]
根据[A01]所述的图像捕捉装置组件，
其中，所述控制装置包括帧存储器，并且
所述第一图像信号和所述第二图像信号中的任一个被存储在所述帧存储器中。
[A03]
根据[A01]或[A02]所述的图像捕捉装置组件，
其中，当将在所述高亮度照射状态下捕捉所述参考光图案和所述对象的图像的图像捕捉时间表示为T1，并且将以在所述低亮度照射状态下捕捉至少所述对象的图像的图像捕捉时间为表示为T2，则满足T1>T2。
[A04]
根据[A03]所述的图像捕捉装置组件，
其中，基于来自所述图像捕捉装置组件的用户的指令，使所述图像捕捉时间T1和T2可变，或使T1/T2的比率可变。
[A05]
根据[A01]或[A02]所述的图像捕捉装置组件，
其中，一个图像捕捉帧被划分为多个时段，
所述多个时段中的一个时段被设置为处于所述低亮度照射状态，并且
其他时段被设置为处于所述高亮度照射状态。
[A06]
根据[A05]所述的图像捕捉装置组件，
其中，所述图像捕捉帧速率为每秒30帧，并且
一个图像捕捉帧被划分为两个或更多个时段。
[A07]
根据[A01]或[A02]述的图像捕捉装置组件，
其中，重复在高亮度照射状态下捕捉所述参考光图案和所述对象的图像的图像捕捉时段和在低亮度照射状态下捕捉至少所述对象的图像的图像捕捉时段，并且前一图像捕捉时段长于后一图像捕捉时段。
[A08]
根据[A01]至[A07]中任一项所述的图像捕捉装置组件，
其中，所述图像捕捉装置包括以二维矩阵形式在第一方向和第二方向上布置的图像捕捉元件；
所述图像捕捉装置包括滚动快门机构；并且
所述控制装置控制所述光源和所述图像捕捉装置，使得所有图像捕捉元件在所述高亮度照射状态下捕捉所述参考光图案和所述对象的图像，并将所述第一图像信号输出到所述控制装置，并且所述所有的图像捕捉元件在所述低亮度照射状态下捕捉至少所述对象的图像，并将所述第二图像信号输出到所述控制装置。
[A09]
根据[A01]至[A08]中任一项所述的图像捕捉装置组件，
其中，所述光源在所述高亮度照射状态下处于操作状态，并且所述光源在所述低亮度照射状态下处于非操作状态。
[A10]
根据[A01]至[A09]中任一项所述的图像捕捉装置组件，包括：
一个图像捕捉装置。
[A11]
根据[A10]所述的图像捕捉装置组件，其中，所述控制装置基于主动立体方法，根据获得的参考光图案图像信号，计算从所述图像捕捉装置到所述对象的距离。
[A12]
根据[A01]至[A09]中任一项所述的图像捕捉装置组件，
其中，所述图像捕捉装置由立体图像捕捉装置实施。
[A13]
根据[A12]所述的图像捕捉装置组件，其中，所述控制装置基于立体方法，根据获得的参考光图案图像信号，计算从所述图像捕捉装置到所述对象的距离。
[A14]
根据[A01]至[A13]中任一项所述的图像捕捉装置组件，其中，所述光源发射红外光。
[A15]
根据[A01]至[A14]中任一项所述的图像捕捉装置组件，其中，所述光源包括半导体发光装置。
[B01]“图像捕捉装置组件：第二方面”
一种图像捕捉装置组件，包括：
光源，发射偏振参考光图案；
图像捕捉装置；和
控制装置，控制所述光源和所述图像捕捉装置，
其中，所述图像捕捉装置包括第一偏振器和第二偏振器，所述第一偏振器具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，所述第二偏振器具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴。
图像捕捉装置将基于通过所述第一偏振器的偏振光获得的第一图像信号输出到所述控制装置，并且将基于通过所述第二偏振器的偏振光获得的第二图像信号输出到所述控制装置，
所述控制装置根据所述第一图像信号和所述第二图像信号之间的差生成参考光图案图像信号。
[B02]
根据[B01]所述的图像捕捉装置组件，
其中，所述控制装置包括帧存储器，并且
所述第一图像信号和所述第二图像信号中的任一个被存储在所述帧存储器中。
[B03]
根据[B01]或[B02]所述的图像捕捉装置组件，包括：
一个图像捕捉装置
其中，所述图像捕捉装置包括所述第一偏振器和所述第二偏振器。
[B04]
根据[B03]所述的图像捕捉装置组件，其中，所述控制装置基于主动立体方法，根据获得的参考光图案图像信号，计算从所述图像捕捉装置到所述对象的距离。
[B05]
根据[B01]或[B02]所述的图像捕捉装置组件，包括
两个图像捕捉装置
其中，所述图像捕捉装置中的一个包括所述第一偏振器，并且所述图像捕捉装置中的另一个包括所述第二偏振器。
[B06]
根据[B05]所述的图像捕捉装置组件，其中，所述控制装置基于主动立体方法，根据获得的参考光图案图像信号，计算从所述图像捕捉装置到所述对象的距离。
[B07]
根据[B01]或[B02]所述的图像捕捉装置组件，包括
两个图像捕捉装置
其中，所述图像捕捉装置中的每一个包括所述第一偏振器和所述第二偏振器。
[B08]
根据[B07]所述的图像捕捉装置组件，其中，所述控制装置基于立体方法，根据获得的参考光图案图像信号，计算从所述图像捕捉装置到所述对象的距离。
[B09]
根据[B01]至[B08]中任一项所述的图像捕捉装置组件，其中，所述光源发射红外光。
[B10]
根据[B01]至[B09]中任一项所述的图像捕捉装置组件，其中，所述光源包括半导体发光装置。
[C01]“三维形状测量装置”
一种三维形状测量装置，包括
根据[A01]至[B10]中任一项所述的图像捕捉装置组件。
[C02]
根据[C01]所述的三维形状测量装置，进一步包括
运算单元，
其中，所述运算单元根据参考光图案图像信号计算对象的三维形状。
[D01]“运动检测装置”
一种运动检测装置，包括
根据[A01]至[B10]中任一项所述的图像捕捉装置组件。
[D02]
根据[D01]所述的运动检测装置，进一步包括
运算单元，
其中，所述运算单元根据参考光图案信号计算对象的三维形状，从计算出的三维形状中提取所述对象的特征点，计算所述对象的特征点的位置，以及根据计算的特征点的位置的变化来检测对象的运动。
[E01]“图像捕捉方法：第一方面”
一种图像捕捉方法，包括：
分别用高亮度和低亮度的参考光图案照射对象；
在高亮度照射状态下捕捉所述参考光图案和所述对象的图像以获得第一图像信号，并且以低亮度照射状态捕捉至少所述对象的图像以获得第二图像信号；以及
从第一图像信号和第二图像信号之间的差生成参考光图案图像信号。
[E02]“图像捕捉方法：第二方面”
一种图像捕捉方法，包括：
用偏振参考光图案照射对象；
基于在平行于所述参考光图案的偏振方向的方向上偏振的偏振光获得第一图像信号，以及基于在垂直于所述参考光图案的偏振方向的方向上偏振的偏振光或不依赖于偏振方向的光获得第二图像信号；以及
根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号。
[E03]“三维形状测量方法：第一方面”
一种三维形状测量方法，包括：
分别用高亮度和低亮度的参考光图案照射对象；
在高亮度照射状态下捕捉所述参考光图案和所述对象的图像以获得第一图像信号，并且以低亮度照射状态捕捉至少所述对象的图像以获得第二图像信号；
根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号；以及
根据所述参考光图案图像信号计算三维形状。
[E04]“三维形状测量方法：第二方面”
一种三维形状测量方法，包括：
用偏振参考光图案照射对象；
基于在平行于所述参考光图案的偏振方向的方向上偏振的偏振光获得第一图像信号，以及基于在垂直于所述参考光图案的偏振方向的方向上偏振的偏振光或不依赖于偏振方向的光获得第二图像信号；
根据第一图像信号和第二图像信号之间的差生成参考光图案图像信号；
根据所述参考光图案图像信号计算三维形状。
[E05]“运动检测方法：第一方面”
一种运动检测方法，包括：
分别用高亮度和低亮度的参考光图案照射对象；
在高亮度照射状态下顺序地捕捉参考光图案和对象的图像，以顺序地获得第一图像信号，并且在低亮度照射状态下顺序地捕捉至少所述对象的图像，以顺序地获得第二图像信号；
根据第一图像信号和第二图像信号之间的差顺序地生成参考光图案图像信号；以及
基于所述参考光图案图像信号顺序地计算所述对象的三维形状，根据计算出的三维形状顺序地提取所述对象的特征点，顺序地计算所述对象的特征点的位置，以及根据所计算的特征点的位置的变化来检测所述对象的运动。
[E06]<<运动检测方法：第二方面>>
一种运动检测方法，包括：
用偏振参考光图案照射对象；
基于在平行于参考光图案的偏振方向的方向上偏振的偏振光顺序地获得第一图像信号，以及基于在垂直于参考光图案的偏振方向上偏振的偏振光或不依赖偏振方向的光顺序地获得第二图像信号；
根据所述第一图像信号和所述第二图像信号之间的差顺序地生成参考光图案图像信号；以及
基于所述参考光图案图像信号顺序地计算对象的三维形状，根据计算出的三维形状顺序地提取所述对象的特征点，顺序地计算所述对象的特征点的位置，以及根据所计算的特征点的位置的变化来检测所述对象的运动。
参考标记列表
1001，1002，2001，2002，2003 图像捕捉装置组件
110，210 光源
120，120A，120B，220，220A，220B，220C，220D 图像捕捉装置
130，230 控制装置
131，131A，131B，231A，231B，231 帧存储器
140，240对象 221，223第一偏振器
222，224第二偏振器 11相机主机
12图像处理单元 13图像存储单元
20透镜系统 21图像捕捉透镜
22光圈 23成像透镜
40图像捕捉元件阵列 41图像捕捉元件
51第一区域 52第二区域 60硅半导体基板
61光电转换元件 63滤光片 64片上透镜 65第二平坦化膜
66无机绝缘接地层 67线栅偏振器
67A 用于形成第一区域的线栅偏振器
67B 用于形成第二区域的线栅偏振器
68，68A，68B 配线
69A 遮光层
69B 互连层。

Claims (9)

1.一种图像捕捉装置组件，包括：
光源，发射偏振的参考光图案；
图像捕捉装置；以及
控制装置，控制所述光源和所述图像捕捉装置，
所述图像捕捉装置包括偏振器，
所述偏振器包括第一偏振器和第二偏振器，所述第一偏振器具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，所述第二偏振器具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴，并且所述第二偏振器与所述第一偏振器交替布置，
所述图像捕捉装置将基于通过所述第一偏振器的偏振光获得的第一图像信号输出到所述控制装置，并且将基于通过所述第二偏振器的偏振光获得的第二图像信号输出到所述控制装置，
所述控制装置根据所述第一图像信号和所述第二图像信号之间的差生成参考光图案图像信号。
2.根据权利要求1所述的图像捕捉装置组件，
其中，所述控制装置包括帧存储器，并且
所述第一图像信号和所述第二图像信号中的任一者存储在所述帧存储器中。
3.一种图像捕捉装置组件，包括：
光源，发射偏振的参考光图案；
第一图像捕捉装置和第二图像捕捉装置；以及
控制装置，控制所述光源、所述第一图像捕捉装置和所述第二图像捕捉装置，
所述第一图像捕捉装置和所述第二图像捕捉装置中的每一者包括偏振器，
所述偏振器包括第一偏振器和第二偏振器，所述第一偏振器具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，所述第二偏振器具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴，并且所述第二偏振器与所述第一偏振器交替布置，
所述第一图像捕捉装置将基于通过所述第一偏振器的偏振光获得的第一图像信号-A输出到所述控制装置，并且将基于通过所述第二偏振器的偏振光获得的第二图像信号-A输出到所述控制装置，
所述第二图像捕捉装置将基于通过所述第一偏振器的偏振光获得的第一图像信号-B输出到所述控制装置，并且将基于通过所述第二偏振器的偏振光获得的第二图像信号-B输出到所述控制装置，
所述控制装置根据所述第一图像信号-A和所述第二图像信号-A之间的差以及所述第一图像信号-B和所述第二图像信号-B之间的差生成参考光图案图像信号。
4.一种三维形状测量装置，包括：
根据权利要求1至3中任一项所述的图像捕捉装置组件。
5.根据权利要求4所述的三维形状测量装置，进一步包括：
运算单元，
其中，所述运算单元根据参考光图案图像信号计算对象的三维形状。
6.一种运动检测装置，包括：
根据权利要求1至3中任一项所述的图像捕捉装置组件。
7.根据权利要求6所述的运动检测装置，进一步包括：
运算单元，
其中，所述运算单元根据参考光图案信号计算对象的三维形状，从计算出的三维形状中提取所述对象的特征点，计算所述对象的所述特征点的位置，以及根据计算出的所述特征点的位置的变化来检测所述对象的运动。
8.一种三维形状测量方法，所述三维形状测量方法使用了图像捕捉装置组件，所述图像捕捉装置组件包括：
光源，发射偏振的参考光图案；
一台图像捕捉装置；以及
控制装置，控制所述光源和所述图像捕捉装置，
所述图像捕捉装置包括第一偏振器和第二偏振器，所述第一偏振器具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，所述第二偏振器具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴，并且与所述第一偏振器交替布置，
在所述三维形状测量方法中进行参考光图案照射处理和非参考光图案照射处理，其中，
在所述参考光图案照射处理中，用所述参考光图案照射对象，并且将基于通过所述第一偏振器的偏振光获得的第一图像信号输出到所述控制装置且将基于通过所述第二偏振器的偏振光获得的第二图像信号输出到所述控制装置，并利用所述控制装置生成所述第一图像信号和所述第二图像信号之间的差，
在所述非参考光图案照射处理中，不用所述参考光图案照射对象，并且以期望的频率将基于通过所述第一偏振器的偏振光获得的第一图像信号输出到所述控制装置且将基于通过所述第二偏振器的偏振光获得的第二图像信号输出到所述控制装置，并利用所述控制装置生成所述第一图像信号和所述第二图像信号之间的差；
在所述控制装置中，从在所述参考光图案照射处理中获得的所述第一图像信号和所述第二图像信号之间的差中减去在所述非参考光图案照射处理中获得的所述第一图像信号和所述第二图像信号之间的差，以生成参考光图案图像信号。
9.一种三维形状测量方法，所述三维形状测量方法使用了图像捕捉装置组件，所述图像捕捉装置组件包括：
光源，发射偏振的参考光图案；
第一图像捕捉装置和第二图像捕捉装置；以及
控制装置，控制所述光源、所述第一图像捕捉装置和所述第二图像捕捉装置，
所述第一图像捕捉装置和所述第二图像捕捉装置中的每一者包括偏振器，
所述偏振器包括第一偏振器和第二偏振器，所述第一偏振器具有在平行于所述参考光图案的偏振方向的方向上的偏振轴，所述第二偏振器具有在垂直于所述参考光图案的偏振方向的方向上的偏振轴，并且所述第二偏振器与所述第一偏振器交替布置，
在所述三维形状测量方法中进行参考光图案照射处理和非参考光图案照射处理，其中，
在所述参考光图案照射处理中，用所述参考光图案照射对象，并且在所述第一图像捕捉装置中将基于通过所述第一偏振器的偏振光获得的第一图像信号-A输出到所述控制装置且在所述第二图像捕捉装置中将基于通过所述第一偏振器的偏振光获得的第二图像信号-A输出到所述控制装置，
在所述非参考光图案照射处理中，不用所述参考光图案照射对象，并且以期望的频率在所述第一图像捕捉装置中将基于通过所述第一偏振器的偏振光获得的第一图像信号-B输出到所述控制装置且在所述第二图像捕捉装置中将基于通过所述第二偏振器的偏振光获得的第二图像信号-B输出到所述控制装置；
在所述控制装置中，根据所述第一图像信号-A和所述第二图像信号-A之间的差以及所述第一图像信号-B和所述第二图像信号-B之间的差生成参考光图案图像信号。
CN202010844515.5A 2014-12-15 2015-09-04 图像捕捉装置组件、三维形状测量装置和运动检测装置 Active CN111982023B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-252603 2014-12-15
JP2014252603 2014-12-15
CN201580066652.8A CN107003116A (zh) 2014-12-15 2015-09-04 图像捕捉装置组件、三维形状测量装置和运动检测装置
PCT/JP2015/075223 WO2016098400A1 (ja) 2014-12-15 2015-09-04 撮像装置組立体、３次元形状測定装置及び動き検出装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580066652.8A Division CN107003116A (zh) 2014-12-15 2015-09-04 图像捕捉装置组件、三维形状测量装置和运动检测装置

Publications (2)

Publication Number Publication Date
CN111982023A true CN111982023A (zh) 2020-11-24
CN111982023B CN111982023B (zh) 2022-06-14

Family

ID=56126302

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010844515.5A Active CN111982023B (zh) 2014-12-15 2015-09-04 图像捕捉装置组件、三维形状测量装置和运动检测装置
CN201580066652.8A Pending CN107003116A (zh) 2014-12-15 2015-09-04 图像捕捉装置组件、三维形状测量装置和运动检测装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580066652.8A Pending CN107003116A (zh) 2014-12-15 2015-09-04 图像捕捉装置组件、三维形状测量装置和运动检测装置

Country Status (5)

Country Link
US (1) US11099008B2 (zh)
EP (1) EP3236199A4 (zh)
JP (2) JPWO2016098400A1 (zh)
CN (2) CN111982023B (zh)
WO (1) WO2016098400A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017022305B1 (pt) * 2015-04-22 2022-08-09 Nippon Steel Corporation Aparelho de medição de formato e método de medição de formato
US10393514B2 (en) * 2015-10-08 2019-08-27 Asml Netherlands B.V. Topography measurement system
JP6651911B2 (ja) * 2016-03-07 2020-02-19 オムロン株式会社 顔画像処理装置
US20180224270A1 (en) * 2017-02-07 2018-08-09 Faro Technologies, Inc. Three-dimensional imager having circular polarizers
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
US11375174B2 (en) * 2017-11-27 2022-06-28 Nlight, Inc. System and method of reducing ambient background light in a pulse-illuminated image
JP7236854B2 (ja) * 2018-12-11 2023-03-10 キヤノン株式会社 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体
JP7362670B2 (ja) * 2019-01-16 2023-10-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置組立体、３次元形状測定装置及び動き検出装置
EP3708948B1 (en) * 2019-03-12 2021-09-22 Sick Ag A light line triangulation apparatus
US10955236B2 (en) 2019-04-05 2021-03-23 Faro Technologies, Inc. Three-dimensional measuring system
WO2020262389A1 (ja) * 2019-06-28 2020-12-30 キヤノン株式会社 計測装置、撮像装置、計測システム、制御方法及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293090A (ja) * 1995-02-23 1996-11-05 Omron Corp 車軸検知装置、車種判別装置、車両ゲートシステム、及び車両検知装置
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP2002213931A (ja) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US20050111700A1 (en) * 2003-10-03 2005-05-26 O'boyle Michael E. Occupant detection system
CN1685198A (zh) * 2002-09-26 2005-10-19 英泰克普拉斯有限公司 捕捉来自摄像机的图像的设备和方法
US20100110280A1 (en) * 2007-02-15 2010-05-06 Chiaki Aoyama Environment recognition apparatus
JP2011085539A (ja) * 2009-10-19 2011-04-28 Ricoh Co Ltd 測距カメラ装置
US20140307058A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Robust stereo depth system
CN104221053A (zh) * 2012-02-08 2014-12-17 苹果公司 形状反射器和表面轮廓映射

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5753931A (en) * 1995-07-13 1998-05-19 Nike, Inc. Object imaging device and method using line striping
US6121953A (en) * 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US6850872B1 (en) * 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US20020057438A1 (en) * 2000-11-13 2002-05-16 Decker Derek Edward Method and apparatus for capturing 3D surface and color thereon in real time
JP2002277224A (ja) * 2001-03-16 2002-09-25 Minolta Co Ltd ３次元入力のための撮影システム
US7277187B2 (en) * 2001-06-29 2007-10-02 Quantronix, Inc. Overhead dimensioning system and method
JP3871115B2 (ja) * 2001-11-13 2007-01-24 株式会社リコー 形状測定装置、文書スキャナ及びプロジェクタ
US6678057B2 (en) * 2001-12-19 2004-01-13 General Electric Company Method and device for reduction in noise in images from shiny parts
ATE490703T1 (de) * 2002-04-04 2010-12-15 Amfit Inc Kompakter optischer konturdigitalisierer
JP5098174B2 (ja) 2006-01-06 2012-12-12 株式会社ニコン ３次元形状測定装置
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
US8284392B2 (en) * 2007-03-13 2012-10-09 3D-Shape Gmbh Method and apparatus for the three-dimensional measurement of the shape and the local surface normal of preferably specular objects
DE102007021328A1 (de) * 2007-05-07 2008-11-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrwerksvermessung
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
JP5757156B2 (ja) 2011-05-20 2015-07-29 オムロン株式会社 検出対象物の中心位置を算出する方法、装置およびプログラム
US8937657B2 (en) * 2012-07-15 2015-01-20 Erik Klass Portable three-dimensional metrology with data displayed on the measured surface
CN102937425B (zh) * 2012-10-18 2015-04-29 北京航空航天大学 一种基于高动态条纹投射器的强反射表面三维形貌测量系统
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293090A (ja) * 1995-02-23 1996-11-05 Omron Corp 車軸検知装置、車種判別装置、車両ゲートシステム、及び車両検知装置
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP2002213931A (ja) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
CN1685198A (zh) * 2002-09-26 2005-10-19 英泰克普拉斯有限公司 捕捉来自摄像机的图像的设备和方法
US20050111700A1 (en) * 2003-10-03 2005-05-26 O'boyle Michael E. Occupant detection system
US20100110280A1 (en) * 2007-02-15 2010-05-06 Chiaki Aoyama Environment recognition apparatus
JP2011085539A (ja) * 2009-10-19 2011-04-28 Ricoh Co Ltd 測距カメラ装置
CN104221053A (zh) * 2012-02-08 2014-12-17 苹果公司 形状反射器和表面轮廓映射
US20140307058A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Robust stereo depth system

Also Published As

Publication number Publication date
CN111982023B (zh) 2022-06-14
US11099008B2 (en) 2021-08-24
US20170343338A1 (en) 2017-11-30
JP6881622B2 (ja) 2021-06-02
JPWO2016098400A1 (ja) 2017-09-21
CN107003116A (zh) 2017-08-01
WO2016098400A1 (ja) 2016-06-23
EP3236199A4 (en) 2018-06-06
JP2020060599A (ja) 2020-04-16
EP3236199A1 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
CN111982023B (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
US10721420B2 (en) Method and system of adaptable exposure control and light projection for cameras
CN110298874B (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
US11528424B2 (en) Imaging device, imaging system, vehicle running control system, and image processing device
WO2015130226A1 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
JP2015185947A (ja) 撮像システム
TWI801637B (zh) 用於相機之紅外光預閃光
JP7156352B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2006292385A (ja) 視覚情報処理システム及びその視覚情報処理方法
TW202119809A (zh) 相位偵測自動對焦(pdaf)感測器
JP7380777B2 (ja) 制御装置、制御方法、コンピュータプログラム及び電子機器
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP2018204976A (ja) 距離測定装置、距離測定方法及び撮像装置
JP2020515100A (ja) ビネッティングの補償
JP2011205623A (ja) 撮像装置および撮像方法
WO2020149226A1 (ja) 撮像装置組立体、３次元形状測定装置及び動き検出装置
US20150156382A1 (en) Multi-channel glare-suppression device of a digital image system
LIGHT Patent Application Publication
CN115942071A (zh) 一种图像拍摄装置以及图像处理方法
JP2021196656A (ja) 処理装置、処理システム、撮像装置、処理方法、およびプログラム
WO2016129404A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2012000147A (ja) 画像処理装置、画像処理方法、プログラム、及び電子装置
JP2020076590A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体
TW201421069A (zh) 數位影像系統之多通道光強度式眩光抑制裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant