CN105956989B - 运动信息获取装置和运动信息获取方法 - Google Patents

运动信息获取装置和运动信息获取方法 Download PDF

Info

Publication number
CN105956989B
CN105956989B CN201610121558.4A CN201610121558A CN105956989B CN 105956989 B CN105956989 B CN 105956989B CN 201610121558 A CN201610121558 A CN 201610121558A CN 105956989 B CN105956989 B CN 105956989B
Authority
CN
China
Prior art keywords
image
intensity
light
motion information
contrast signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610121558.4A
Other languages
English (en)
Other versions
CN105956989A (zh
Inventor
小松知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105956989A publication Critical patent/CN105956989A/zh
Application granted granted Critical
Publication of CN105956989B publication Critical patent/CN105956989B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

本发明涉及运动信息获取装置和运动信息获取方法。一种运动信息获取装置，包括：照明设备，用第一强度调制光、第二强度调制光和恒定照射光同时照射目标，其中第一和第二强度调制光被用具有基本相同的波长但不同的相位的参照信号进行强度调制；图像生成器，生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至第三图像；以及运动信息获取器，基于第一至第三图像来获取图像中的运动信息。

Description

运动信息获取装置和运动信息获取方法
技术领域
本发明涉及从图像获取运动信息的运动信息获取装置，并且更特别地涉及从时间相关图像获取运动信息的运动信息获取装置。
背景技术
在获取位于诸如光流(optical flow)之类的图像中的运动信息的领域中，运动信息典型地是从两个连续捕获的图像之间的差异获取的。在这种方法的情况下，由于不能准确地获取大的运动，所以通过执行高速成像来减小图像上的运动。但是，在执行高速成像时出现的问题是需要存储容量增加和高速处理。
因此，已经研究出通过获取时间相关图像来仅利用单次成像操作获取运动信息的技术。时间相关图像是表示通过普通的成像获得的图像信号与预定的参照信号之间的时间相关性的图像。专利文献1提议：相对于通过光电转换获得的电流提供参照信号，并且使用在时间上对经调制的电流求积分并输出积分电流的图像捕获元件，以便获取时间相关图像。但是，在该方法中使用的图像捕获元件在结构上不同于典型地使用的图像捕获元件，并且需要大的设计变化。因此，生产成本提高。
专利文献2提议了一种通过使用通用的图像捕获元件来获取时间相关图像的方法。如在专利文献2中所提议的，在获取单个图像时，根据参照信号来控制快门或光量调制元件，并且对入射光量进行调制。结果，可以通过使用通用的图像捕获元件来获取表示与参照信号的时间相关性的时间相关图像。但是，在该方法的情况下，时间相关图像是利用快门或光量调制元件获取的。因此，在同时获取与多个参照信号的相关性时，需要通过时间划分(time division)来改变参照信号。所产生的问题是参照信号的采样数减少。另外，当采样数增加时产生的问题是：需要多个光量调制元件和图像捕获元件，并且装置的尺寸增大。
专利文献3提议了这样一种方法：在该方法中，用在对于每个波长均不同的频率处已被幅度调制的光照射目标，并且提取出与调制频率对应的分量，以便在不使用复杂的光谱仪的情况下在单个测量循环中用不同波长的光线实现光谱测量。专利文献3的目的是获取光谱信息，并且未考虑获取用于运动信息获取的时间相关图像。
专利文献1：日本专利No.5441204
专利文献2：日本专利申请公开No.2013-62582
专利文献3：日本专利申请公开No.2004-101478
发明内容
鉴于以上所述，本发明的一个目的是提供能够利用简单的装置配置来获取高质量的时间相关图像和运动信息的技术。
根据本发明的第一方面的运动信息获取装置包括：
一种运动信息获取装置，其特征在于，包括：
照明设备，被配置为用第一强度调制光、第二强度调制光和恒定照射光来同时照射目标，其中第一强度调制光具有第一中心波长并且被用第一参照信号进行强度调制，第二强度调制光具有第二中心波长并且被用具有与第一参照信号基本上相同波长但不同相位的第二参照信号进行强度调制，并且恒定照射光具有第三中心波长和恒定强度；图像生成器，被配置为生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至第三图像；以及运动信息获取器，被配置为基于由图像生成器生成的第一至第三图像来获取图像中的运动信息。
根据本发明另一方面的运动信息获取方法是由运动信息获取装置执行的运动信息获取方法，该方法包括：照明步骤，用于用第一强度调制光、第二强度调制光和恒定照射光同时照射目标，其中第一强度调制光具有第一中心波长并且被用第一参照信号进行强度调制，第二强度调制光具有第二中心波长并且被用具有与第一参照信号基本上相同波长但不同相位的第二参照信号进行强度调制，并且恒定照射光具有第三中心波长和恒定强度；图像生成步骤，用于在用第一强度调制光、第二强度调制光和恒定照射光照射目标的同时执行成像，并且生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至第三图像；以及运动信息获取步骤，用于基于在图像生成步骤中生成的第一至第三图像来获取图像中的运动信息。
根据本发明，可以获取高质量的时间相关图像，并且可以利用简单的装置配置来从那些时间相关图像获取高质量的运动信息。
参照附图阅读对示例性实施例的以下描述，本发明的更多特征将清楚。
附图说明
图1是根据实施例1的图像捕获设备的系统配置；
图2是例示了运动信息获取的流程的流程图；
图3A至3C例示了实施例1中的照射光的光谱分布；
图4A和4B例示了参照信号和照射光强度；
图5A至5C例示了实施例1中的图像捕获元件；
图6A至6C例示了实施例2中的照射光和图像捕获元件的光谱分布；
图7A和7B例示了实施例3中的照射光的光谱分布和图像捕获元件；
图8是例示了实施例3中的运动信息获取的流程的流程图；以及
图9A至9D例示了实施例4中的照射光的光谱分布和图像捕获元件。
具体实施方式
<对时间相关图像和运动信息获取原理的说明>
在说明本发明的实施例之前，对时间相关图像和用于从时间相关图像获取运动信息(运动向量、光流)的方法进行说明。
[时间相关图像]
时间相关图像是通过把由图像捕获元件将经过图像捕获光学系统的入射光从光转换成电荷而生成为亮度信号的通常图像与从外部提供的并随时间改变的参照信号相关联而获得的图像。换句话说，当像素(i,j)中的图像捕获元件的输出由fi,j(t)表示、参照信号由g(t)表示并且一帧时间由T表示时，时间相关图像Ii,j(t)由以下表达式表示。这是一帧时间内的像素值与随时间改变的参照信号的相关值。
[数学表达式1]
表达式1表示其中参照信号作为模拟信号被提供的情况。当参照信号作为数字信号被提供时，使用离散表示。下面给出表达式1的离散表示。
[数学表达式2]
换句话说，时间相关图像可以通过使在离散定时nΔt取得的图像捕获元件的输出fi,j与参照信号值g相乘并求总和来获得，其中离散定时nΔt是通过进一步将一帧时间T除以m来获得的并且按细间隔Δt隔开。当通过将一帧时间划分成细间隔来捕获图像时所获得的每一帧被当作子帧，并且n是子帧的编号。
在上文中说明了在用图像捕获元件对入射光进行光电转换之后取得与参照信号的相关的情况，但是也可以通过根据参照信号按时间控制入射光强度来输出类似的时间相关图像。
[对运动向量(光流)获取的说明]
在下文中对用于通过使用上述时间相关图像来计算运动向量的方法进行说明。
当图像中的点(x,y)在定时t的亮度值为f(x,y,t)并假设在细间隔Δt内不变时，以下表达式有效。
[数学表达式3]
f(x，y，t)＝f(x+Δt,y+Δt,t+Δt) (3)
当表达式3经过泰勒(Taylor)展开，并且二阶和更高阶的项被忽略时，以下表达式有效。
[数学表达式4]
在这里，Vx、Vy是运动向量V在点(x,y)的x和y分量。
表达式4被称为光流约束方程，并且可以通过求解这个方程来计算运动向量V。本文的问题在于用于获取表达式4中的偏微分项(按时间微分)的方法。该部分偏微分项通常是通过求得两帧之间的图像差异来计算的，但是用这种方法难以准确地确定大的运动。
让我们考虑在某个时间T上曝光的具有明暗值(shading value)f(x,y,t)的图像。当在时间T上对表达式4进行积分时，获得以下表达式。
[数学表达式5]
然后，让我们考虑在曝光期间取cos(ωt)、sin(ωt)作为参照信号的时间相关图像。当考虑通过组合用这两个参照信号获取的时间相关图像所获得的相关图像I(x,y)时，相关图像I(x,y)可以由以下表达式表示。
[数学表达式6]
表达式5和表达式6中最终变换出的方程包括在定时T/2和定时-T/2的亮度值f(x,y,t)之间的差。这个差实际上无法计算，因为在定时T/2和-T/2的图像是未知的。但是，当ωT＝2nπ(n为整数)时，以下表达式有效。
[数学表达式7]
eiωT/2＝e-iωT/2＝(-1)n (7)
换句话说，当在曝光期间提供具有整数周期的正弦波时，表达式5和表达式6中的微分项，除了其符号之外，变得彼此相等，并且以下表达式有效。
[数学表达式8]
表达式8是复数方程，并且关于两个未知数Vx、Vy可以获得实部方程和虚部方程。可以通过求解这些方程来获取运动向量V。
另外，表达式8是由普通强度图像I0和具有余弦波和正弦波作为参照信号的时间相关图像I构成的。换句话说，当在一帧中的单个图像捕获循环内可以同时获取强度图像I0和用正弦波获得的时间相关图像I时，可以在不通过两帧图像之间的差异的近似的情况下获取速度向量V。
在上文的说明中，为了简化，假设参照信号是正弦波(余弦波和正弦波)，但是也可以通过取具有不同相位的基本相同形状的周期性信号作为参照信号来以与上文所述相同的方式计算速度向量。
(第一实施例)
如上所述，时间相关图像被获得作为参照信号与从图像捕获元件获得的信号的相关。例如，在日本专利申请公开No.2013-62582中，通过根据参照信号控制快门或光学调制元件来调制入射到图像捕获元件上的光量。在本发明的实施例中，通过使用以上提到的正弦参照信号作为调制信号，并且根据参照信号调制落到目标上的照射光的强度来调制入射到图像捕获元件上的光量。在本实施例中，这样获取时间相关图像，并且基于该时间相关图像来获取目标的运动信息。
<系统配置>
图1是根据本发明的第一实施例的图像捕获设备的系统配置。图像捕获设备1具有照明设备10、照射控制单元11、图像捕获光学系统12、图像捕获元件13、成像控制单元14、图像处理单元15、存储器16、运动计算单元17、输入单元18、显示单元19和存储单元20。
由诸如LED或激光器之类的能够输出具有窄带光谱的光的光源构成的照明设备10被配置为能够输出多个光谱。光谱的中心波长不受特别限制，但优选的是使用从紫外区域到红外区域的波长带。在本实施例中，照明设备10输出具有彼此接近的三个不同中心波长λ0至λ2的光谱。
对于照明设备10中的照射光源，照射控制单元11根据事先存储的参照信号或者由输入设备(图中未绘出)输入的参照信号来针对每个光谱独立地控制强度的调制。
图像捕获光学系统12由多个透镜构成并且形成入射光在图像捕获元件13的图像表面上的图像。图像捕获光学系统12是焦点可变的光学系统，并且可以通过成像控制单元14的自动聚焦功能来执行自动聚焦。自动聚焦系统可以是被动的或主动的。
图像捕获元件13具有CCD或CMOS，并且被配置为能够同时获取具有不同中心波长的图像。为了获取具有不同中心波长的图像，图像捕获元件13可以具有多个不同的滤色器或者可以被配置为通过使用衍射来分离波长。它还可以被配置为具有与不同波长对应的多个图像捕获元件，即，作为三板式(three-plate)图像捕获元件。图像捕获元件13被配置为能够获取至少以下光谱：与从照明设备10的照射光源辐射的具有中心波长λ0至λ2的光谱对应的光谱、以及不包括来自照明设备10的照射光的具有中心波长λ3的光谱。
成像控制单元14执行对整个成像过程的控制，即，对聚焦和曝光的控制以及对照射和图像捕获的定时控制。
图像处理单元15处理从图像捕获元件13输出的信号。更具体而言，图像处理单元执行诸如模拟信号的A/D转换、噪声去除、去马赛克、亮度信号转换、像差校正、白平衡调整和色彩校正之类的通常处理、以及与照射光源波长对应的校正处理。稍后将提供对校正处理的详细说明。从图像处理单元15输出的数字图像数据临时存储在存储器16中，然后经受期望的处理，例如，显示在显示单元19上和存储(保存)在存储单元20中。
运动计算单元17通过使用由图像处理单元15生成的并存储在存储器16中的多个图像来获取图像中的目标的运动信息。通过组合目标的运动信息与图像捕获设备在图像捕获期间的运动信息来获得图像中的目标的运动信息。因此，可以通过使用加速度传感器等来单独获取图像捕获设备的运动信息，并且可以输出通过减去图像捕获设备的运动信息而获得的目标的运动信息。也可以通过捕获静止目标的图像来获取并输出图像捕获设备的运动信息。所输出的结果临时存储在存储器16中，然后经受期望的处理，例如，显示在显示单元19上和存储(保存)在存储单元20中。
输入单元18是由用户操作的并用来向图像捕获设备1输入信息或更改设置的接口。例如，可以使用拨号盘、按钮、开关或触摸面板。
显示单元19是由液晶显示器或有机EL显示器配置成的显示装置。显示单元19被用于确认成像期间的构图(composition)、浏览所捕获并存储的图像、以及显示各种设置屏幕和消息信息。
存储单元20是存储所产生的图像数据或者要由图像捕获设备1使用的参数数据的非易失性存储介质。优选的是使用可以高速读取的高容量存储介质作为存储单元20。例如，可以有利地使用闪存。
<用于同时获取与多个参照信号有关的时间相关图像的方法>
在下文中将参照图2更详细地说明由图像捕获设备1执行的从时间相关图像成像到运动信息获取的操作序列，图2是例示了从成像起的处理流程的流程图。
当用户操作输入单元18以开始成像时，成像控制单元14执行自动聚焦(AF)或自动曝光(AE)控制，并且确定焦点位置和光圈(F数)(步骤S11)。然后，照射控制单元11基于用成像控制单元14获得的成像条件来关于焦点位置确定照明设备10的光的最大强度(步骤S12)。优选的是焦点位置(到目标的距离)越远，则照明设备10的光的最大强度越大，但是最大强度也可以是事先设置的值，而不管焦点位置如何。
在下文中说明用于照明设备10中的照射光源的条件。通过根据参照信号来改变照射强度而获取的时间相关图像由照射光的强度(L)、环境光的光谱分布(EL)、目标的光谱反射率(R)、图像捕获元件上的滤色器的透射率(T)以及图像捕获元件的灵敏度(S)确定。目标在成像期间的光谱反射率和环境光的光谱分布一般是未知的。因此，当使用不同波长的光源执行照射时，即使照射光的最大强度相同，所获得的图像的强度也不恒定。换句话说，即使通过其中多个光源的最大强度相匹配的强度调制来执行照射，也不可能获取对于具有相同的最大强度值的参照信号的时间相关图像。
为了解决这个问题，在本实施例中，使用具有窄波长范围的光谱来执行成像。在连续波长的情况下，通常可以发现目标的光谱反射率连续地变化，并且突然变化是罕见的。在图3A中，目标的光谱反射率的示例被表示为从紫外辐射至近红外辐射。在图3A中，注意力集中在特定的窄波长区域(λ0至λ3)，并且在该波长区域中，目标的光谱反射率可以假设为基本上恒定。可以通过进一步将该波长区域划分成具有中心波长λ0、λ1、λ2、λ3的更窄的光谱来获取图像。在这种情况下，可以分开获取不同波长的图像，同时使得可以基本上忽略由光谱反射率引起的强度变化的影响。同样，当环境光的光谱分布也在窄波长区域中时，可以假设相同的强度，并且环境光的影响也可以认为是恒定的。
照射光源的中心波长和光谱分布以及滤色器的中心波长和光谱分布被设置在窄带中，使得以上提到的条件可以满足。图3A中的多条点线指示被图像捕获设备1用于成像的中心波长(λ0至λ3)。更具体而言，中心波长λ0至λ2是由照明设备10的多个照射光源发出的光线的中心波长，并且中心波长λ0至λ3是由图像捕获元件13获取的光的中心波长。另外，图3B例示了照射光源在λ0至λ2波长区域内的光谱分布以及图像捕获元件的滤色器在λ3波长区域内的光谱分布的示例。由于λ3是用于测量环境光的光谱，所以在该光谱中不从照明设备10发出照射光。另外，由于滤色器在λ0至λ2波长区域内的光谱分布与照射光源的光谱分布基本上相同，因此它们在图3B中被省略了。
随着这四个光谱的中心波长之间的距离减小，目标的光谱反射率和环境光的光谱分布的波动减小，并且可以获取高度准确的时间相关图像。另外，随着光谱宽度减小并且光谱的相互重叠区域的尺寸减小，其它光谱的影响可以降低。至于相邻光谱的中心波长之间的距离与光谱宽度之间的关系，如图3C中所绘出的，优选的是使中心波长之间的距离大于通过将一个光谱的半峰半宽(half width at half maximum)与另一个光谱的半峰半宽相加而获得的距离。
当使用激光器作为光源时，光谱宽度可以是几纳米，并且多个照射光源的波长可以被设置在十几纳米的范围内。同时，当使用LED作为照射光源时，光谱宽度难以减小至几纳米。因此，优选的是中心波长之间的距离在50nm内，并且光谱的半峰半宽也在50nm内。当一个照射光源的光谱的半峰半宽由Wλi表示，而另一个照射光源的光谱的半峰半宽由Wλj表示时，相邻中心波长之间的距离CW可以由以下表达式表示。
[数学表达式9]
照明设备10只辐射具有中心波长λ0至λ2的三个光谱，但是，当中心波长或光谱宽度被确定时，假设λ3光谱也被辐射，优选的是λ3光谱的发射也被假设并且在该四个光谱当中以上提到的条件得以满足。
在步骤S13中，照射控制单元11根据在步骤S11中获得的成像条件来确定曝光期间的参照信号周期和参照信号频率，并且通过使用所确定的参照信号来用对于照明设备10的照射光源的每个波长不同的强度调制执行照射。
在照射控制单元11中使用的参照信号用来确立与目标的明暗的相关性，并且随时间改变的任何信号都可以输入。诸如图4A中所绘出的相位偏离90°的两个正弦波信号(余弦波信号和正弦波信号)表示参照信号的示例。也可使用诸如矩形波和锯齿波信号之类的周期信号。被同时使用的不同参照信号在信号的相位、频率和时段中的至少一个上不同，并且优选的是使用相同类型的波形。
在本实施例中，照射控制单元11辐射通过用余弦波和正弦波对λ0和λ2照射光源进行强度调制所获得的强度调制光。在照射控制单元11中，λ1照射光源辐射未经强度调制的具有恒定值输出的恒定照射光。图4B示出了两个强度调制光线的强度Lλ0、Lλ2以及恒定照射光的强度Lλ1。这些光强度可以具体地以以下方式表示。
[数学表达式10]
在这里，L0是恒定数值，ω是参照信号的角频率。在下文中描述用于确定参照信号的角频率ω的方法。由于角频率和频率彼此仅相差一个恒定因子，所以角频率将在下文中被简称为频率。
当多个照射光源的强度相同时，期望正弦波的最大幅度和恒定输出具有相同的值，但是也可以通过使用输出的差异来校正下面描述的所获取的图像。另外，在上述示例中，λ0和λ2的最小幅度为零，但是最小幅度可以大于零。
还期望两个正弦参照信号之间的相位差是90°，但±30°内的相位偏移也是允许的。因此，两个参照信号的相位差可以在90°±30°(60°(含60°)至120°(含120°))内。但是，随着相位差从90°偏移，运动信息获取的精度降低。因此，优选的是两个正弦波之间的相位差为±10°(80°(含80°)至100°(含100°))。两个正弦波的频率ω最优地是相同的，但也可以不同。当频率不同时，期望在曝光开始时两个正弦波的相位差与在曝光结束时两个正弦波的相位差之间的变化可以被抑制到±30°(-30°(含-30°)至30°(含30°))内。由于运动信息获取的精度随着在曝光期间相位差的变化的增大而减小，因此更优选的是在曝光开始时两个正弦波的相位差与在曝光结束时两个正弦波的相位差之间的变化为±10°或更小(-10°(含-10°)至10°(含10°))。因此，当两个频率由ω1、ω2表示并且曝光时段由T表示时，优选的是满足条件|ω1-ω2|×T≤10°(或者30°)。顺便说一下，优选的是在曝光时段内两个正弦波的相位差在90°±30°(60°(含60°)至120°(含120°))内，更优选地在90°±10°(80°(含80°)至100°(含100°))内。最优选的是在曝光时段内两个正弦波的相位差始终为90°。
照射控制单元11可以被配置为用参照信号输入单元(未在图中绘出)从外部输入参照信号。也可以在照射控制单元11中的存储器或存储单元20中存储已事先确定的参照信号值，使得照射控制单元11可以读取并使用这些值。照射控制单元11还可以保持函数及其系数，以生成并使用信号值。
在下文中描述用于确定参照信号频率ω的方法。照射控制单元11调整参照信号频率，使得包括在由步骤S11中的曝光控制确定的曝光时间段中的参照信号的周期为整数。由此，照射控制单元11按以下方式设置参照信号频率ω。
[数学表达式11]
在这里，T是曝光时间段。另外，n是整数并且与曝光期间的正弦波的频率对应。
照射控制单元11可以使用已事先存储在存储单元20中的值作为n值，或者可以使用由用户选择的值。另外，照射控制单元11可以确定整数n，使得ω被限制在事先存储的或从用户获取的范围内。
同时，成像控制单元14还可以改变快门速度(曝光时间段T)和光圈值并且执行成像以便确保正确的曝光，使得曝光期间的参照信号的频率ω以及曝光中所包括的参照信号的周期n满足预定的条件。
在获取执行快速运动的目标的运动时，相比于获取执行慢速运动的目标的运动的情况，增大调制频率ω是有利的。例如，由用户从输入单元获取的目标的速度可以从输入单元18输入，并且照射控制单元11可以根据所输入的目标的速度来确定整数n。由于可以事先了解目标的速度与适当的调制频率之间的关系，所以照射控制单元11可以将整数n确定为接近于目标的速度对应的适当的调制频率。
在步骤S14中，成像控制单元14执行成像过程。更具体而言，在该过程中，照射控制单元11基于来自成像控制单元14的信号开始两个强度调制照射光线与恒定照射光的发出，并且同时，打开快门(未在图中绘出)并且执行曝光。由照明设备10发出的光被目标反射，并且通过图像捕获光学系统12在图像捕获元件13上形成图像。快门(未在图中绘出)由机械快门或电子快门配置而成。
成像控制单元14控制照射控制单元11和图像捕获单元13，使得对照射的调制在曝光开始定时处开始，并且曝光结束以包括具有整数周期的照射调制。可替代地，可以由照射控制单元11事先实现调制照射，并且可以通过控制曝光时间来执行成像，使得在曝光时间中包括具有整数周期的调制。在执行对动态图像的成像时，参照信号的频率由照射控制单元11确定，使得在预定的单个帧时间中执行具有整数周期的调制，并且调制照射连续地并与曝光同步地实现。
在下文中描述图像捕获元件13的配置。如图5A中所绘出的，图像捕获元件13具有至少四个滤色器，这些滤色器具有与构成照明设备10的多个照射光源的波长带λ0至λ2和用于环境光测量的波长带λ3对应的预定光谱分布。在图像捕获元件13中，如图5A中所绘出的，具有四个滤色器的四个像素以2行2列布置，并且各自由四个像素构成的像素组被二维地布置。每个滤色器的中心波长和光谱分布需要与照射光的光谱分布基本相同，例如，诸如图3B中所绘出的。这种图像捕获元件13使得可以获取与两个强度调制光线和恒定照射光对应的图像以及用于环境光测量的图像(环境光图像)。图像捕获元件13中波长的分离不仅可以用滤色器执行，而且还可以通过使用衍射来执行。另外，也可以使用其中在一个图像捕获元件上设置透射多个不同波长的滤色器的配置，以及其中使用多个图像捕获元件并且布置用于每个图像捕获元件的透射不同波长的滤色器的配置。
照射光源的光谱和图像捕获元件的滤色器的光谱并不总是需要相同。也可以使用其中照射光源和滤色器的波长特性偏移以便进一步减少波长的重叠的配置。例如，如图5B中所绘出的通过使照射光源和滤色器的中心波长偏移来进一步减少光谱重叠的区域的设计也是有效的。此外，如图5C中所绘出的，通过将照射光源和滤色器的光谱中的任何一个配置为具有更窄带的光谱特性并且匹配中心波长，也可以减少重叠的区域。
当快门关闭时，成像控制单元14从图像捕获元件13读取图像并将图像传送到图像处理单元15。图像处理单元15接收由图像捕获元件13获取的图像的信号值的输入并且针对滤色器的每个波长执行图像生成(步骤S15)。在图像生成处理的过程中，图像处理单元15还基于照射光源的每个波长的强度差异、图像捕获元件上的滤色器之间的透射率差异以及图像捕获元件中对于每个波长的灵敏度差异来执行校正。图像处理单元15还通过使用从其中不执行照射的波长带(λ3)的像素获得的像素值来校正从目标反射的环境光的影响。也可以在生成每个波长的图像之前针对每个像素执行校正处理。校正后的图像临时存储在存储器16中，如果必要的话，显示在显示单元19上和存储在存储单元20中。
在下文中对上述校正处理进行更详细的说明。在校正处理中，需要考虑环境光(EL)、目标的反射率(R)、照射光源强度(L)、滤色器透射率(T)和图像捕获元件灵敏度(S)，并且需要消除由此造成的信号强度的波动。在波长λ0处，不随时间改变的环境光由EL(λ0)表示，运动的目标的光谱反射率由R(λ0,t)表示，照射光的强度由L(λ0,t)表示，滤色器的透射率由T(λ0)表示，并且图像捕获元件的灵敏度由S(λ0)表示。如在表达式10中所指示的，在波长λ0处的强度调制光的强度L(λ0,t)为0.5×L0×(1+cos(ωt))。像素(i,j)中的图像的亮度值Iλ0(i,j,λ0)由以下表达式表示。
[数学表达式12]
除了由强度调制光的反射确定的亮度值，亮度值Iλ0(i,j,λ0)还包括由环境光的反射确定的亮度值。经反射的照射光不被包括在具有不执行照射的波长λ3的图像(环境光图像)中。因此，可以基于环境光图像来除去由环境光确定的亮度值。具有波长λ3的环境光图像的亮度值Iλ3(i,j,λ3)由以下表达式表示。
[数学表达式13]
另外，在恒定照射光发出的波长λ1处的图像的亮度值Iλ1(i,j,λ1)由以下表达式表示。在这种情况下，如由表达式10所指示的，照射强度L(λ1,t)＝L(λ1)＝L0。
[数学表达式14]
同样，在波长λ2处的图像亮度值Iλ2(i,j,λ2)由以下表达式表示。如在表达式10中所指示的，照射光源在波长λ2处的强度L(λ2,t)为0.5×L0×(1+sin(ωt))。
[数学表达式15]
图像处理单元15通过使用所述四个图像Iλ0至Iλ3来校正环境光的影响和波长的影响。首先，由波长的差异引起的滤色器的透射率T的差异以及图像捕获元件的灵敏度S的差异被校正。由波长引起的滤色器的透射率T的差异以及图像捕获元件的灵敏度S的差异可以事先通过测量来确定。因此其值被测量，用于与参照波长处的值匹配的校正系数被存储，并且图像处理单元15通过使用校正系数来执行规范化。例如，执行恒定值照射的光源波长λ1被取为参照，并且执行校正，使得在λ0处的透射率T(λ0)、照射光强度L(λ0)和图像捕获元件灵敏度S(λ0)的乘积匹配在λ1处的乘积T(λ1)L(λ1)S(λ1)。当波长彼此接近并且滤色器的透射率T和图像捕获元件的灵敏度S可以被认为恒定时，或者当运动信息的计算精度可以降低时，这种校正处理可以省略。
然后，未知的、在测量期间每个波长处的环境光强度EL以及目标在每个波长处的反射率R被校正。在这种情况下，当波长λ0和λ3处于窄波长带中时，未知的、目标在每个波长处的反射率R以及每个波长处的环境光强度EL可以被假设是恒定的。在这种假设下，在不执行照射的情况下捕获的图像Iλ3表示利用环境光的照射EL和目标的反射率R。因此，通过从已执行照射的波长处的图像Iλ0、Iλ1、Iλ2减去不执行照射的波长处的环境光图像Iλ3，可以获得从中除去环境光的影响的图像Iλ0'、Iλ1'、Iλ2'。
校正后的图像Iλ1'表示通过从中除去环境光的恒定照射而获得的图像，校正后的图像Iλ0'表示与余弦波的时间相关图像，并且校正后的图像Iλ2'表示与正弦波的时间相关图像。实际上，在波长λ0和λ2处的照射强度可以如由表达式10指示的那样确定。因此，需要执行以下计算来获取cos(ωt)和sin(ωt)的时间相关图像。
[数学表达式16]
在上文所说明的示例中，照射光的最大值在所有的波长处是恒定的并且都等于L0，但是当照射强度对于每个波长不同时，需要在这个阶段执行规范化。
表达式8中的普通的强度图像I0(x,y)对应于上面提到的Iλ1"。表达式8中的时间相关图像I(x,y)对应于Iλ0"-iIλ2"。
在参照信号到波长带的优选分配中，由恒定值参照信号确定的照射的波长带被取为中心，并且在其中执行调制照射的波长带被布置在该中心的较短波长侧和较长波长侧。在上述示例中，优选的是λ0<λ1<λ2。另一种有利的方法是取其中不执行照射的波长带和恒定值照射的波长带作为中心，并且把在其中执行调制照射的波长带布置在该中心的较短波长侧和较长波长侧。在上述示例中，优选的是λ0<λ1<λ2且λ0<λ3<λ2。
然后，通过使用存储在存储器16中的强度图像I1和时间相关图像I0、I2，在运动计算单元17通过计算表达式8获取运动信息(步骤S16)。在执行表达式8的计算时，可以只使用单个像素的值，但是考虑到稳定性，优选的是使用区域中与所关心的像素接近的像素的值来计算预定的最小二乘解。所获取的运动信息经受期望的处理，例如，保存在存储单元20中，或者与另一应用一起使用。
如在上文中所述，通过在多个照射光源的光谱与由图像捕获元件获取的图像的光谱之间建立对应性并且通过使光谱宽度变窄来使中心波长彼此接近，可以减小由目标的光谱反射率和环境光的光谱分布引起的所捕获图像的强度变化。结果，利用单个成像操作可以同时获得其中参照信号的最大幅度相匹配的时间相关图像，而无需测量环境光的光谱分布或目标的光谱反射率。另外，通过使用所获取的时间相关图像，可以执行无需对两个帧之间的差异进行近似的高精度、高分辨率的运动矢量获取计算。
由本实施例的配置证明的效果是：可以仅仅通过改变滤色器和修改照射来同时获取与多个参照信号时间相关的图像，而无需对常规的图像捕获元件进行显著的电路修改，并且可以降低图像捕获设备的成本。
另一个效果是：与通过使用单个图像捕获元件利用快门或光强度调制器同时获取与多个参照信号时间相关的图像时相比，可以在不减少参照信号的采样数的情况下获取时间相关图像。
(第二实施例)
在下文中描述本发明的第二实施例。第二实施例与第一实施例的区别在于照射光源的中心波长被分开设置。在这种情况下，对于环境光强度与目标的光谱反射率在任何波长处都相同的假设变为无效。因此，在本实施例中，第一实施例的配置被改变为使得当照射光源的中心波长被分开设置时，仍然可以获取参照信号的最大幅度相匹配的时间相关图像。由于图像捕获设备1的配置基本上与第一实施例中的相同，所以在以下说明中相同的部件被分配相同的附图标记。在下文中主要说明与第一实施例的区别。
本实施例中的照明设备10与第一实施例中的照明设备10的相似之处在于它辐射具有中心波长λ0至λ2的光谱，但区别在于中心波长之间的距离比第一实施例中的大，并且等于或大于50nm。除中心波长之间的距离不同之外，照射光与第一实施例中相同。
当照射光的中心波长被这样设置成分开较远时，在每个带中环境光的光谱分布(EL)和目标的光谱反射率(R)也可能显著不同。结果，即使在图像处理单元15中校正了由照射光源的波长引起的强度(L)的差异、滤色器的透射率(T)的差异以及在图像捕获元件由波长引起的灵敏度(S)的差异，时间相关图像的强度也取决于波长带而大大不同。因此，环境光的光谱分布(EL)的影响和目标的光谱反射率(R)的影响需要得到校正。
由于该原因，设置在图像捕获元件13中的滤色器的类型改变。在本实施例中，获取与照明设备10的每个照射光对应的图像，并且还获取不包含与每个照射光的波长接近的波长处的照射光的影响的图像(环境光图像)。因此，具有与照明设备10的光源的中心波长基本相同的中心波长λ0至λ2的光谱的滤色器和具有与光源设备的中心波长接近的中心波长λ0'至λ2'的相似光谱的滤色器成对地布置在图像捕获元件13中。在图6A中示出了具体的滤色器的光谱示例。图像捕获元件13具有设有滤色器的像素，其中滤色器具有图6A中绘出的中心波长λ0至λ2和λ0'至λ2'的六种类型的光谱。具有中心波长λ0、λ1、λ2的滤色器的光谱基本上与照明设备10的光源设备的光谱相同。具有中心波长λ0'、λ1'、λ2'的光谱在具有中心波长λ0、λ1、λ2的光谱之间设置，以满足表达式9的条件。目标在不同照射光源的光谱中的光谱反射率可以显著不同，但是，在构成一对的滤色器的光谱之间，目标的光谱反射率可以被认为基本相同。
图6B和6C示出了滤色器在图像捕获元件13上的布置示例。在图6B所绘出的示例中，构成一对的、具有接近的中心波长的滤色器在水平方向上相邻地布置，而具有不同中心频率的滤色器对在垂直方向上周期性地布置。在图6C所绘出的示例中，构成一对的滤色器在垂直方向上相邻地布置，而具有不同中心频率的滤色器对在水平方向上周期性地布置。优选的是构成每一对的滤色器相邻地布置，如在图6B和6C中所绘出的，但是滤色器的这种布置次序不是限制性的。
在下文中描述由图像处理单元15实现的用于生成时间相关图像的方法。在这种情况下，图像处理单元15以类似于第一实施例的方式校正由波长引起的各种参数之间的差异，但具体的处理内容与第一实施例的不同。
首先，图像处理单元15在构成对的波长处的图像中校正由波长的差异引起的图像捕获元件上的滤色器的透射率T的差异，并且还校正图像捕获元件中对于每个波长的灵敏度S的差异。在这种情况下，当构成对的波长足够小时，可以假设在其参数之间没有差异并且省略该处理。然后，图像处理单元15在构成对的滤色器之间从具有已执行照射的中心波长λ0至λ2的时间相关图像减去具有不执行照射的中心波长λ0'至λ2'的图像。结果，可以除去由环境光的光谱分布EL产生的影响，并且获得只包含由照射光L产生的影响的三个图像。由于那些照射光图像的波长带彼此显著不同，所以目标的光谱反射率R、照射光源的强度L、滤色器的透射率T和图像捕获元件的灵敏度S显著不同。因此，图像处理单元15然后通过使用已事先测量的照射光源的强度L、滤色器的透射率T和图像捕获元件的灵敏度S来执行校正，使得相同的亮度值由相同强度的信号调制。
在这种情况下，目标的光谱反射率R的影响仍未校正。为了校正它，使用利用具有中心波长λ0'至λ2'的环境光获得的图像。首先，在环境光图像中校正滤色器的透射率T和图像捕获元件的灵敏度S。结果，残留在环境光图像中的差异变成环境光的光谱分布EL和目标的光谱反射率R的影响。在这种情况下，从校正后的图像计算白平衡。白平衡表示环境光的光谱分布，并且通过使用白平衡校正图像来计算目标的光谱反射率R。可以通过使用从环境光图像确定的光谱反射率R来校正照射光图像中目标的光谱反射率。
上述校正处理使得可以获得用恒定照射获得的图像、与余弦波的时间相关图像、以及与正弦波的时间相关图像。以与第一实施例中相同的方式从这些图像计算运动信息。
在本实施例中，优选的是当获取普通的彩色图像时具有三个不同光谱的照射光源的中心波长被设置为接近RGB滤色器的中心波长。R滤色器的中心波长一般在从580nm至650nm的范围内，G滤色器的中心波长一般在从500nm至580nm的范围内，而B滤色器的中心波长一般在从430nm至500nm的范围内。针对RGB滤色器的每个带来分开设置照射光源的三个光谱。在本实施例中，具有与相应照射光源的中心波长接近的中心波长的滤色器成对地布置在图像捕获元件上。因此，用不执行照射的三个波长获得的图像对应于相应的RGB彩色平面图像，滤色器的光谱窄，并且颜色再现性低，但是RGB彩色图像可以被同时获取。关于在恒定照射下捕获的颜色(波长)，通过考虑其中用具有一对波长的滤色器获得的两个图像组合为单个彩色平面图像的图像，可以扩展波长带并且提高颜色再现的精度。
在这种情况下，RGB彩色图像已经被考虑作为彩色图像的示例，但是在用诸如互补滤色器之类的其它滤色器获得的彩色图像的情况下，也可以使用上述过程。
如上文所指示的，通过增加图像捕获元件13中滤色器的类型的数量，即使照射光源的中心波长被分开设置，也可以降低目标的光谱反射率的影响和环境光的光谱分布的影响，并且能获取时间相关图像。
另外，也可以通过针对红色区域、绿色区域和蓝色区域分别布置照射光源的中心波长和在图像捕获元件上构成对的滤色器的中心波长来同时获取RGB彩色图像。此外，当不执行调制照射时，可以通过组合具有接近光谱的一对滤色器来放大滤色器的带宽度，并且当执行调制照射时，可以获取具有高颜色再现性的彩色图像。
(第三实施例)
在下文中描述本发明的第三实施例。第三实施例与第一实施例的区别在于照射光源的中心波长被分开设置。本实施例与第二实施例的区别在于成像被执行多次，使得即使照射光源的中心波长被分开设置，也可以获取与参照信号的最大幅度匹配的时间相关图像。由于在本实施例中图像捕获设备1的配置与第一实施例中的基本相同，所以在下面的说明中相同的部件被分配相同的附图标记。下文中主要说明与第一实施例的区别。
下文中首先描述与照明设备10中的照射光源的中心波长和光谱有关的差异。照明设备10发出具有三个中心波长的光线，并且执行照射光强度的余弦调制、正弦调制和不调制的特征与第一和第二实施例中的相同。以与第二实施例中相同的方式，照射光源的中心波长被设置为彼此隔开50nm或更多的波长带。更优选的是，这三个中心波长被布置为接近RGB的中心波长。在本实施例中，光谱没必要像第一和第二实施例中那样是窄带。但是，布置优选为使得彼此相邻以便满足表达式9的中心波长之间的距离大于相应光谱的半峰半宽之和(图7A)。另外，图像捕获元件13可以被配置为具有光谱对应于照射光源的光谱的滤色器，并且例如，可以使用诸如图7B中所绘出的拜耳(Bayer)布置。当使用使得覆盖RGB区域的光谱时，在避免重叠的同时，本实施例的图像捕获元件13可以获取颜色再现性比第二实施例中颜色再现性高的彩色图像。
利用本实施例的配置，由于目标的光谱反射率和照射光的光谱分布的影响，不能通过单个成像操作来获取规范化的时间相关图像。因此，成像被执行两次，即，在用参照信号调制的照射下和不进行照射。
在图8中呈现了成像的流程图。从步骤S21至步骤S24的处理与第一实施例中的相同。然后，在步骤S25中，在没有照射的情况下执行成像。没有照射的成像也可以在有照射的成像之前执行，并且这些成像操作的次序不受限制。通过成像获得的图像从图像捕获元件13读取并且临时存储在存储器16中。
然后，处理前进到步骤S26，并且图像处理单元15生成时间相关图像。通过没有照射的成像获得的图像包括关于环境光的光谱分布和目标的光谱反射率的信息。在相同波长的图像中，可以通过从通过有照射的成像获得的时间相关图像中减去通过没有照射的成像获得的图像来除去环境光和光谱反射率的影响。通过没有照射的成像获得的图像可以作为彩色图像保存在存储单元20中。
在图像处理单元15中被校正的时间相关图像存储在存储器16中，然后从运动计算单元17读取并经受运动信息获取处理(步骤S27)。所生成的运动信息存储在存储单元20中。
利用本实施例的配置，可以减轻对照射光源和图像捕获元件13上的滤色器的光谱宽度的限制。例如，通过如图7A中所绘出的那样划分成宽波长区域并设置照射光源的中心波长，当在没有调制照射的情况下执行成像时，可以获取颜色再现性比第二种实施例中的颜色再现性高的彩色图像。因此，可以用单个图像捕获设备来获取时间相关图像和彩色图像。
(第四实施例)
在下文中描述本发明的第四实施例。本实施例与第一实施例的相似之处在于：使用具有位于窄波长范围中的中心波长λ0至λ2的照射光线和具有中心波长λ0至λ3的四个滤色器来执行成像。但是，本实施例与第一实施例的区别在于所有中心波长都被设置在不可见范围内。与第一实施例的另一区别是：由于照射光线的中心波长被设置在不可见范围内，所以用于获取通常图像的RGB滤色器被布置在图像捕获元件上。由于本实施例中的图像捕获设备1的配置与第一实施例中的基本相同，所以在下面的说明中相同的部件被分配相同的标号。下文中主要说明与第一实施例的区别。
在本实施例中，照明设备10的多个照射光源的所有中心波长带都被设置在不可见范围内。特别优选的是，这些波长是从750nm至1.4μm的近红外(IR)波长。至于这些照射光源的光谱，优选的是以与第一实施例中相同的方式使光谱的重叠小并且中心波长彼此接近，并且中心波长之间的距离与光谱宽度被选择为满足表达式9。
如图9A中所绘出的，图像捕获元件13具有：具有其中对应于照射光源的中心波长(λ0至λ3)在近红外区域中的窄光谱的滤色器、以及具有在可见区域中的RGB光谱的滤色器。滤色器的配置为使得，如图9B中所绘出的，由具有拜耳布置的4个像素构成的RGB滤光器和由具有中心波长λ0至λ3的4个像素构成的IR滤光器交替地布置。结果，可以以高分辨率获取RGB彩色图像和近红外的时间相关图像这两者。
但是，没有必要使RGB滤光器和IR滤光器的比率相同。例如，如图9C中所绘出的，通过相对于IR滤光器的数量来增加所布置的RGB滤光器的数量，可以获得用于以高分辨率获取RGB彩色图像的滤光器布置。可替代地，如图9D中所绘出的，可以相反地相对于RGB滤光器的数量来增加IR滤光器的数量，以获得用于以高分辨率获取时间相关图像的滤光器布置。RGB滤光器和IR滤光器的中心波长的布置以及滤光器的数量的比率不限于图9B至9D中所绘出的那些。
在上文中，用于通过在图像捕获元件的平面内分成多个波长带来获取图像的方法被说明作为用于同时获取可见光和近红外辐射的方法，但是使用在图像捕获元件的深度方向上的分离的方法、时分方法和具有多个图像捕获元件的配置也可以被使用。
当在图像捕获元件的深度方向上执行分离时，例如，通过在厚度方向上彼此分离地堆叠执行可见波长的光电转换的层和执行红外波长的光电转换的层，可以同时获取可见光和近红外辐射。在这种情况下获得的效果是：相比于在平面内布置有多个滤光器的情况，防止了分辨率的下降。
利用时分方法，通过切换可见光截止滤光器和红外截止滤光器来执行成像，可见波长和红外波长被分别获取。在这种情况下获得的效果是：相比于在平面内布置有多个滤光器的情况，防止了分辨率的下降。
当使用多个图像捕获元件时，针对每个波长的光分别用单独的图像捕获元件获取图像。在这种情况下，可以针对每个波长执行高分辨率的成像，但图像捕获元件的数量增加并且设备的尺寸增大。因此，优选的是两个图像捕获元件被分别用于可见和近红外范围，以获取相应波长带内的图像。
利用本实施例的配置获得的效果是：可以通过使用不可见范围中的时间相关图像来获取运动信息，并且，同时可以获取普通的RGB彩色图像。
在本文所说明的示例中，其中照射光线的中心波长被布置在窄波长带内的第一实施例被修改，并且，中心波长被设置在不可见区域中，同时维持这个条件。但是，在第二实施例中，照射光线也可以被设置到不可见区域中，其中照射光线的中心波长彼此分开布置。另外，在本文说明的例子中，照射光线的中心波长被设置到近红外区域，但是照射光线的中心波长也可以被设置到紫外线区域(例如，200nm至380nm)。
(第五实施例)
在下文中说明本发明的第五实施例。在第五实施例中，要获取的时间相关图像的数量不同。由于图像捕获设备1的配置与第一实施例中的相同，所以下面的说明使用相同的附图标记。
在本实施例中，照明设备10中的照射光源的波长的数量比第一实施例中多两个波长。附加的照射光源的中心波长由λ4和λ5表示。所输入的参照信号的数量也增加两个。以与第一实施例相同的方式，两个附加的参照信号是正弦波和余弦波，但频率不同。例如，参照信号sin(2ωt)和cos(2ωt)被输入。结果，可以获取在更宽范围内的运动的信息。两个调制频率的比率不要求是1：2，而可以使用任何比率。但是，由于任何调制信号都需要在曝光期间只包括整数波长，所以优选的是两个调制频率的最小公倍数不是很大。
图像捕获元件13被配置为附加地具有与两个附加照射光源λ4、λ5对应的滤色器。利用与λ4、λ5对应的滤色器获得的图像分别被当作由sin(2ωt)和cos(2ωt)确定的时间相关图像Iλ4、Iλ5。在图像处理单元15中，使用在没有照射的情况下获得的图像Iλ3来校正在恒定值照射下获得的强度图像Iλ1和时间相关图像Iλ0、Iλ2、Iλ4、Iλ5。
在运动计算单元17中，运动信息获取处理被执行两次。第一次运动信息获取处理使用强度图像Iλ1和时间相关性的图像Iλ0、Iλ2，并且第二次运动信息获取处理使用强度图像Iλ1和时间相关图像Iλ4、Iλ5。运动计算单元17还对在各个对应像素位置获取的两种类型的运动信息进行比较，并且对于每个像素选择具有较大运动的运动信息作为该像素中的运动信息。结果，从不同调制频率获得的运动信息可以组合起来。组合的运动信息存储在存储单元20中。
利用本实施例的构造，可以同时获取利用通过两个相位和两个频率的组合形成的参照信号而获得的时间相关图像。另外，通过使用由不同频率的一对正弦波和余弦波形成的参照信号而获得的效果是使得可以获取不同的运动量并且可以获取在更宽范围内的运动的信息。
(其它实施例)
本发明的实施例也可以由读出并执行记录在存储介质(其也可以被更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个实施例的功能和/或包括用于执行上述实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机实现，并且可以通过由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行指令以执行上述实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括分开的计算机或分开的处理器的网络以读出和执行计算机可执行指令。计算机可执行指令可以从例如网络或存储介质中提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如压缩盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一种或多种。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以便涵盖所有这种修改和等同的结构及功能。

Claims (14)

1.一种运动信息获取装置，其特征在于，包括：
照明设备(10)，被配置为用第一强度调制光、第二强度调制光和恒定照射光来同时照射目标，其中第一强度调制光具有第一中心波长(λ0)并且被用第一参照信号进行强度调制，第二强度调制光具有第二中心波长(λ2)并且被用具有与第一参照信号基本上相同的波长但不同的相位的第二参照信号进行强度调制，并且恒定照射光具有第三中心波长(λ1)和恒定强度，其中，在曝光期间第一参照信号和第二参照信号具有整数个周期；
图像生成器(15)，被配置为在同一曝光时段期间同时生成与第一强度调制光对应的第一图像、与第二强度调制光对应的第二图像和与恒定照射光对应的第三图像；以及
运动信息获取器(17)，被配置为基于由图像生成器生成的第一至第三图像来获取图像中与目标的运动和捕获图像的图像捕获目标的运动中的至少一项对应的运动信息。
2.根据权利要求1所述的运动信息获取装置，其中
第一参照信号和第二参照信号是具有基本相同的频率并且在曝光开始时具有60°至120°的相位差的两个正弦波，并且曝光开始时的相位差与曝光结束时的相位差之间的变化是-30°至30°。
3.根据权利要求1或2所述的运动信息获取装置，其中
照明设备调整第一参照信号和第二参照信号的频率，使得在曝光时间段中所包括的第一参照信号和第二参照信号的周期的数量是整数。
4.根据权利要求1或2所述的运动信息获取装置，其中
照明设备调整曝光时间段，使得在曝光时间段中所包括的第一参照信号和第二参照信号的周期的数量是整数。
5.根据权利要求1所述的运动信息获取装置，其中
照明设备根据目标的速度来确定第一参照信号和第二参照信号的频率。
6.根据权利要求1所述的运动信息获取装置，其中
图像生成器还生成环境光图像，该环境光图像是不包括来自照明设备的照射光的图像；并且
运动信息获取器从第一至第三图像和环境光图像获取运动信息。
7.根据权利要求6所述的运动信息获取装置，其中
图像生成器生成与具有第四中心波长(λ3)和预定光谱分布的环境光对应的环境光图像；并且
第一至第四中心波长中的相邻中心波长之间的距离在50nm内。
8.根据权利要求6所述的运动信息获取装置，其中
第一至第三中心波长中的相邻中心波长之间的距离大于50nm；并且
图像生成器获取与第一至第三环境光线对应的三个环境光图像，所述第一至第三环境光线各自具有离相应的第一至第三中心波长在50nm内的中心波长(λ0′，λ2′，λ1′)和预定的光谱分布。
9.根据权利要求8所述的运动信息获取装置，其中
相对于第一强度调制光和第一环境光、第二强度调制光和第二环境光、以及恒定照射光和第三环境光的每个组合的中心波长之间的距离大于一个光的光谱分布的半峰半宽和另一个光的光谱分布的半峰半宽之和。
10.根据权利要求1所述的运动信息获取装置，其中
第一强度调制光、第二强度调制光和恒定照射光的光谱分布全都在不可见范围中。
11.根据权利要求10所述的运动信息获取装置，其中
第一强度调制光、第二强度调制光和恒定照射光的光谱分布全都在从750nm至1.4μm的范围中。
12.根据权利要求10或11所述的运动信息获取装置，还包括：
图像捕获元件(13)，包括与第一强度调制光、第二强度调制光和恒定照射光对应的滤色器以及用于获取彩色图像的滤色器。
13.根据权利要求1所述的运动信息获取装置，其中
照明设备还发出第三强度调制光和第四强度调制光，其中第三强度调制光具有第五中心波长并且被用第三参照信号进行强度调制，第四强度调制光具有第六中心波长并且被用具有与第三参照信号基本上相同的波长但不同的相位的第四参照信号进行强度调制；
第三和第四参照信号的频率与第一和第二参照信号的频率不同；
图像生成器还生成与第三强度调制光和第四强度调制光对应的第四和第五图像；并且
运动信息获取器基于由图像生成器生成的第一至第五图像来获取图像中的运动信息。
14.一种由运动信息获取装置执行的运动信息获取方法，其特征在于，该方法包括：
照明步骤，用于用第一强度调制光、第二强度调制光和恒定照射光同时照射目标，其中第一强度调制光具有第一中心波长并且被用第一参照信号进行强度调制，第二强度调制光具有第二中心波长并且被用具有与第一参照信号基本上相同的波长但不同的相位的第二参照信号进行强度调制，并且恒定照射光具有第三中心波长和恒定强度，其中，在曝光期间第一参照信号和第二参照信号具有整数个周期；
图像生成步骤，用于在同时用第一强度调制光、第二强度调制光和恒定照射光照射目标的同时执行成像，并且在同一曝光时段期间同时生成与第一强度调制光对应的第一图像、与第二强度调制光对应的第二图像和与恒定照射光对应的第三图像；以及
运动信息获取步骤，用于基于在图像生成步骤中生成的第一至第三图像来获取图像中与目标的运动和捕获图像的图像捕获目标的运动中的至少一项对应的运动信息。
CN201610121558.4A 2015-03-09 2016-03-04 运动信息获取装置和运动信息获取方法 Expired - Fee Related CN105956989B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-046251 2015-03-09
JP2015046251A JP6521676B2 (ja) 2015-03-09 2015-03-09 動き情報取得装置および動き情報取得方法

Publications (2)

Publication Number Publication Date
CN105956989A CN105956989A (zh) 2016-09-21
CN105956989B true CN105956989B (zh) 2019-09-24

Family

ID=55521373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610121558.4A Expired - Fee Related CN105956989B (zh) 2015-03-09 2016-03-04 运动信息获取装置和运动信息获取方法

Country Status (4)

Country Link
US (1) US9799122B2 (zh)
EP (1) EP3068130B1 (zh)
JP (1) JP6521676B2 (zh)
CN (1) CN105956989B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026082A1 (en) * 2014-08-19 2016-02-25 Empire Technology Development Llc Machine recognizable pattern generation
JP6686564B2 (ja) * 2016-03-11 2020-04-22 コニカミノルタ株式会社 画像読取装置
WO2018142878A1 (ja) * 2017-02-06 2018-08-09 パナソニックＩｐマネジメント株式会社 ３次元モーション取得装置、及び３次元モーション取得方法
EP3848895A4 (en) * 2018-09-06 2021-10-27 Sony Group Corporation MEDICAL SYSTEM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD
JP7453205B2 (ja) 2021-12-10 2024-03-19 株式会社モリタ製作所 三次元スキャナ、その制御方法、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3924022A (en) * 1974-02-22 1975-12-02 Gen Electric Method of applying an organic coating onto an inorganic coated steel sheet for a magnetic laminate application
US3942022A (en) * 1974-10-25 1976-03-02 Itek Corporation Rapid response correlation type image motion sensor
JP2000224380A (ja) * 1998-11-26 2000-08-11 Fuji Photo Film Co Ltd 原稿読取装置
JP2004101478A (ja) 2002-09-12 2004-04-02 Mitsui Mining & Smelting Co Ltd 複数の光を用いた同時光学的測定方法およびその装置
US7756407B2 (en) * 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
JP5007069B2 (ja) * 2006-05-15 2012-08-22 繁 安藤 移動体情報取得装置
JP5441204B2 (ja) * 2006-10-16 2014-03-12 シャープ株式会社 時間相関検出型イメージセンサおよび画像解析装置
JP4924879B2 (ja) * 2006-11-14 2012-04-25 株式会社ニコン エンコーダ
JP4752935B2 (ja) * 2009-03-06 2011-08-17 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
CN102667899A (zh) 2009-11-27 2012-09-12 佳能株式会社 图像显示装置
CN101859439A (zh) * 2010-05-12 2010-10-13 合肥寰景信息技术有限公司 一种用于人机交互的运动追踪装置及其追踪方法
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5773816B2 (ja) * 2011-09-12 2015-09-02 キヤノン株式会社 撮像装置
CN102999918B (zh) * 2012-04-19 2015-04-22 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
JP5669071B2 (ja) * 2012-05-16 2015-02-12 国立大学法人 東京大学 時間相関カメラ
JP6157249B2 (ja) 2012-07-31 2017-07-05 キヤノン株式会社 撮像装置、距離情報取得方法およびプログラム
JP2014140117A (ja) 2013-01-21 2014-07-31 Panasonic Corp カメラ装置及び撮像方法
JP6091228B2 (ja) 2013-01-30 2017-03-08 キヤノン株式会社 画像処理装置、撮像装置
JP2015036632A (ja) 2013-08-12 2015-02-23 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法
JP2015148532A (ja) 2014-02-07 2015-08-20 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP6362068B2 (ja) 2014-02-17 2018-07-25 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム

Also Published As

Publication number Publication date
EP3068130A1 (en) 2016-09-14
US9799122B2 (en) 2017-10-24
JP2016167698A (ja) 2016-09-15
EP3068130B1 (en) 2018-08-01
JP6521676B2 (ja) 2019-05-29
CN105956989A (zh) 2016-09-21
US20160267677A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN105956989B (zh) 运动信息获取装置和运动信息获取方法
JP6503485B2 (ja) 撮像処理装置および撮像処理方法
JP6455604B2 (ja) 撮像装置、撮像プログラムおよび撮像方法
CN104486986B (zh) 光不足环境中的连续视频
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN105284103B (zh) 电子传感器和用于控制电子传感器的方法
JP2021192534A (ja) 撮像装置及び撮像方法
US10798311B2 (en) Methods and apparatus for reducing spatial flicker artifacts
CN105981377A (zh) 摄像装置、内窥镜装置以及显微镜装置
CN106911876A (zh) 用于输出图像的方法和设备
JP6758747B2 (ja) 固体撮像装置および電子機器
CN104811675B (zh) 电子设备及电子设备的控制方法
US10021357B2 (en) Image capturing apparatus and method for generating image data
JP2009265618A (ja) アジャイルスペクトル画像形成装置および方法
US20150271406A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
CN107534740A (zh) 图像处理装置、摄像装置及程序
CN111345902B (zh) 用于创建发萤光的荧光团的hdr单色图像的系统和方法
JP2019062475A (ja) 撮像素子および撮像装置
IL261443B2 (en) Methods for producing video images independent of background lighting
JP2006140767A (ja) 撮像装置および撮像方法
CN116136433A (zh) 环境光传感器及其数据处理方法
JP2003309747A (ja) マルチスペクトル画像撮影方法
CN117322002A (zh) 固态成像装置和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190924

Termination date: 20210304

CF01 Termination of patent right due to non-payment of annual fee