CN104603574B - 具有多个光源的运动传感器装置 - Google Patents

具有多个光源的运动传感器装置 Download PDF

Info

Publication number
CN104603574B
CN104603574B CN201480002275.7A CN201480002275A CN104603574B CN 104603574 B CN104603574 B CN 104603574B CN 201480002275 A CN201480002275 A CN 201480002275A CN 104603574 B CN104603574 B CN 104603574B
Authority
CN
China
Prior art keywords
light source
image
shooting
frame
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480002275.7A
Other languages
English (en)
Other versions
CN104603574A (zh
Inventor
渕上龙司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN104603574A publication Critical patent/CN104603574A/zh
Application granted granted Critical
Publication of CN104603574B publication Critical patent/CN104603574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本公开的某个实施方式的运动传感器装置具备：图像传感器(501)；第一光源及第二光源(502，503)；以控制图像传感器(501)与第一光源及第二光源(502，503)的方式构成的控制电路(531)。控制电路(531)反复进行如下的动作，即，在第一时间使第一光源(502)发光并且同时通过图像传感器(501)进行第一帧的拍摄的动作、在第二时间使第二光源(503)发光并且同时通过图像传感器(501)进行第二帧的拍摄的动作、根据通过所述第一帧的拍摄取得的第一图像及通过所述第二帧的拍摄取得的第二图像来生成距对象物的距离信息的动作，该控制电路(531)构成为根据通过上次以前的拍摄得到的信息独立地控制第一光源(502)的发光量与第二光源(503)的发光量。

Description

具有多个光源的运动传感器装置
技术领域
本申请涉及一种具备多个光源的运动传感器装置。特别是，涉及运动传感器装置的低耗电化。
背景技术
在使用了拍摄装置的距离测量的方法中存在各种方法。例如，存在根据利用两台拍摄装置(或者图像传感器)取得的两个图像中的立体视差来推断距离的方法。除此以外，也存在将特殊的光点图形向空间投影而对其像进行解析由此推断距离的方法。还存在向对象物照射以高频率调制后的光脉冲而测量往返的光脉冲的相位差由此推断距离的被称为TOF(Time of Flight)法的方法。
专利文献1公开了距离测量技术的其他的例子。专利文献1所公开的装置从多个光源按时间分割对静止或者运动的物体(对象物)投光并且同时通过一个图像传感器取得多个图像。根据这些图像的亮度之比来测定距对象物的距离。
像专利文献1那样需要多个帧的拍摄的方式明显不适合捕捉运动的物体的运动传感器。然而，例如若使用像非专利文献1那样的传感器设备，则能够解决该课题。非专利文献1公开了虽然是受限的帧张数的范围但是不进行读出传送从而能够几乎不产生时间差地拍摄多张图像的传感器设备。
在将像专利文献1那样的距离测量技术应用于运动传感器装置的情况下，测量中伴随多个光源的发光，因此也存在电力的消耗大的课题。
作为抑制了电力的消耗的距离测量技术的例子，存在以下的技术。
专利文献2公开了TOF方式的距离信息取得装置的一个例子。该装置通过根据测量对象物的距离抑制光源装置的发光来降低电力消耗。
专利文献3公开了如下的技术，即，通过使用焦电传感器，在测量范围内不存在检测对象物的情况下降低待机电力。
【在先技术文献】
【专利文献】
专利文献1：日本特开2001-12909号公报
专利文献2：日本特开2011-179997号公报
专利文献3：日本特开2010-54363号公报
【非专利文献】
非专利文献1：Gordon Wan，Xiangli Li，GennadiyAgranov，Marc Levoy，and MarkHorowitz″CMOS Image Sensors With Multi-Bucket Pixels for ComputationalPhotography″，IEEE JOURNAL OF SOLID-STATE CIRCUITS，VOL.47，NO.4，APRIL 2012
非专利文献2：荻野真佑，右田刚史，尺长健，“基于Torrance-Sparrow模型的反射特性·形状·光源位置的同时推断的研究”，The Institute of Electronics，Information，and Communication Engineers，IEICE Technical Report IE2007-347，PRMU2007-331(2008-03)
非专利文献3：垂水秀行，伊东敏夫，金田悠纪夫，“使用照度差立体法的根据光源位置未知图像的多面体的面识别”，The Institute of Electronics，Information，andCommunication Engineers，电子信息通信学会论文杂志D-II Vol.J83-D-II No.9pp.1895-1904 2000年9月
发明内容
【发明要解决的课题】
在专利文献1的距离测量技术中，如上述那样，由于使多个光源连续地发光，因此电力的消耗大。在为了抑制电力的消耗而例如将专利文献2、3所公开的技术应用于专利文献1的技术中的情况下，会导致距离测量精度的降低、因传感器的追加造成的成本增加。
本公开的实施方式提供一种能够解决该问题的新的运动传感器装置。
【用于解决课题的方案】
为了解决上述课题，本公开的一方式的运动传感器装置具备：图像传感器；第一光源以及第二光源；以控制所述图像传感器、所述第一光源以及第二光源的方式构成的控制电路。所述控制电路反复进行如下的动作，即，在第一时间使所述第一光源发光并且同时通过所述图像传感器进行第一帧的拍摄的动作、在第二时间使所述第二光源发光并且同时通过所述图像传感器进行第二帧的拍摄的动作、根据通过所述第一帧的拍摄取得的第一图像以及通过所述第二帧的拍摄取得的第二图像来生成距对象物的距离信息的动作，所述控制电路构成为根据通过上次以前的拍摄得到的信息独立地控制所述第一光源的发光量与所述第二光源的发光量。
本公开的其他的方式的电路在具备图像传感器、第一光源以及第二光源的运动传感器装置中使用。所述电路反复进行如下的动作，即，在第一时间使所述第一光源发光并且同时通过所述图像传感器进行第一帧的拍摄的动作、在第二时间使所述第二光源发光并且同时通过所述图像传感器进行第二帧的拍摄的动作、根据通过所述第一帧的拍摄取得的第一图像以及通过所述第二帧的拍摄取得的第二图像来生成距对象物的距离信息的动作，所述电路构成为根据通过上次以前的拍摄得到的信息独立地控制所述第一光源的发光量与所述第二光源的发光量。
本公开的其他的方式的电路在具备图像传感器、第一光源以及第二光源的运动传感器装置中使用。所述电路具备：图像输入部，其从所述图像传感器取得图像；发光量存储部，其储存对所述第一光源以及第二光源的各自的发光量进行规定的信息；发光控制部，其以根据所述信息决定的第一发光量使所述第一光源在第一时间发光，以根据所述信息决定的第二发光量使所述第二光源在第二时间发光；亮度补正部，其对通过所述第一时间的拍摄而由所述图像传感器取得的第一图像、以及通过所述第二时间的拍摄而由所述图像传感器取得的第二图像的至少一方，进行以储存在所述发光量存储部中的所述信息为基础的亮度补正处理；距离信息生成部，其根据从所述亮度补正处理后的所述第一图像得到的对象物的亮度与从所述亮度补正处理后的所述第二图像得到的所述对象物的亮度，生成并输出距所述对象物的距离信息；传感器控制部，其根据所述第一图像以及第二图像的亮度信息、所述距离信息生成部的计算过程的精度信息以及从所述距离信息生成部输出的距离信息的至少一个信息，来决定并设定储存在所述发光量存储部中的所述信息。
本公开的其他的方式的电路在具备图像传感器、第一光源以及第二光源的运动传感器装置中使用。所述电路具备：图像输入部，其从所述图像传感器取得图像；背景光图像选择部，其选择从所述图像输入部得到的至少两个图像中的一个图像而作为背景光图像；背景光去除部，其将通过所述背景光图像选择部选择的图像从其他的图像减去；距离信息生成部，其根据从所述背景光去除部输出的第一图像以及第二图像中的亮度的关系来生成距对象物的距离信息；传感器控制部，其根据所述第一图像以及第二图像的亮度信息、所述距离信息生成部的计算过程的精度信息以及从所述距离信息生成部输出的距离信息的至少一个信息，来决定并设定储存在所述发光量存储部中的所述信息。
本公开的其他的方式的记录介质储存有能够以可重构逻辑执行的上述的任意的技术方案所述的电路信息。
这些总括的或者具体的方式也可以通过系统、方法、集成电路、计算机程序或者记录介质来实现。或者，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
【发明效果】
根据本公开的运动传感器装置的实施方式，不会导致距离测量精度的降低、成本的增加，且能够抑制电力的消耗。
附图说明
图1A为示意性地表示具备两个光源的运动传感器装置的剖面的图。
图1B为图1A的装置的俯视图。
图2为表示光源的放射角与相对放射强度的关系的坐标图。
图3为表示光源的放射角的图。
图4A为表示通过从第一光源102放射的光照射对象物104的状态的图。
图4B为表示通过从第二光源103放射的光照射对象物104的状态的图。
图5为表示拍摄数据的1线的像素位置与亮度的关系的坐标图。
图6为表示某个放射角的亮度比与距离的关系的坐标图。
图7A为表示通过从第一光源102放射的光照射略微移动了的对象物104的状态的图。
图7B为表示通过从第二光源103放射的光照射略微移动了的对象物104的状态的图。
图8为示意性地表示具有两个光源的运动传感器装置中的低灵敏度区域的图。
图9为表示具备三个光源102、103、104的运动传感器装置的一个例子的图。
图10为表示本公开的实施方式1的运动传感器装置的结构的图。
图11为表示实施方式1的运动传感器装置中的光源与图像传感器的控制时机的时序图。
图12为表示拍摄的某个时刻的对象物601的状态的例子的图。
图13为表示对象物位于拍摄装置501的左侧的状态的图。
图14为表示搭载有实施方式1的运动传感器装置的显示器1001的图。
具体实施方式
首先，对通过本公开的运动传感器装置能够测定距对象物(被拍摄体)的距离的基本原理进行说明。
图1A为示意性地表示运动传感器装置的剖面的图。图1B为图1A的俯视图。
图1A以及图1B所示的装置具备：位于中央的图像传感器101、位于图像传感器101的两侧的两个光源装置102、103。在图示的例子中，图像传感器101以及光源装置102、103搭载在一个基板100上。图像传感器101为将多个微小的光检测单元(光电二极管)排列成行以及列状而成的固体拍摄元件。典型的图像传感器101是CCD(Charge Coupled Device)型图像传感器或者CMOS型图像传感器。在以下的说明中，有时将光源装置简称为“光源”。
图1A中示意性地示出了从第一光源102发出的光102a与从第二光源103发出的光103a。该装置通过使光源102、103交替点亮并且同时进行拍摄，从而能够测定距测量对象物体(对象物)的距离。需要说明的是，“距离的测定”包含求取从图像传感器距对象物的距离的推断值或空间内的对象物的位置的推断值的步骤。对象物例如可以包含人的手、手指、人握着的笔等。对象物也可以移动。能够实时取得距正在高速移动的人的指尖的距离或者指尖的位置的推断值的三维运动传感器装置能够用作包含计算机、平板终端、智能电话、游戏设备以及家电设备在内的多样的电子设备的“输入设备”。
图2为表示从光源102、103各自发出的光的放射图形(配光特性)的坐标图。如图3所示，坐标图的横轴为放射的方向相对于基板100的法线方向N形成的角度θ。坐标图的纵轴为相对放射强度。以下，存在将放射的角度θ称为“放射角”的情况。需要说明的是，相对放射强度的值与设置在从光源沿特定角度的方向分离的位置的对象物的照度(放射照度)对应。
由图2可知，从光源102、103各自发出的放射在角度θ为0°时体现最高的强度。在图2的例子中，光源102、103体现能够以I0×cosθ近似其放射强度那样的配光特性。然而，这仅是一个例子，光源102、103的配光特性不局限于图2的例子。另外，从光源102、103发出的放射不局限于可见光，也可以是像红外线那样不能通过人的视觉感觉到的波长范围的电磁波。在本说明书中，为了简化说明，存在将从光源发出的放射简称为“光”的情况。该“光”的用语不局限于可见光，也广泛包含通过图像传感器能够检测到的电磁波。
接下来，对通过上述的装置测定距对象物的距离的方法进行说明。
首先，参照图4A以及图4B。图4A示出了以从第一光源102放射的光照射对象物104，在对象物104反射的光的一部分射入图像传感器101的状态。另一方面，图4B示出了以从第二光源103放射的光照射对象物104，在对象物104反射的光的一部分射入图像传感器101的状态。对象物104的位置设为在图4A以及图4B中实质上相同。
根据该装置，在第一时刻，如图4A所示，在点亮光源102且使光源103熄灭的状态下进行图像传感器101的第一拍摄。接下来，在第二时刻，如图4B所示，在点亮光源103且使光源102熄灭的状态下进行图像传感器101的第二拍摄。第一拍摄以及第二拍摄各自的期间(曝光时间)假定为能够视为对象物104实质上停止的程度的非常短的时间。
在进行第一拍摄时，从光源102发出的光的一部分被对象物104反射而射入图像传感器101，因此可以得到与射入图像传感器101的光的强度对应的亮度图像。同样，在进行第二拍摄时，从光源103发出的光的一部分被对象物104反射而射入图像传感器101，因此可以得到与射入图像传感器101的光的强度对应的亮度图像。
根据通过第一拍摄以及第二拍摄取得的两帧图像的各方，能够求出对象物104的亮度(亮度分布或者亮度像)。需要说明的是，本说明书中的“亮度”并不是带有[坎德拉/m2]的单位的心理物理量，而是按图像传感器的像素决定的“相对亮度”。本说明书中的“亮度”相当于光量或者放射量。构成各帧图像的各像素具有与受光量对应的“亮度值”。
对象物104存在大小，因此各图像中的对象物104的像通常由多个像素构成。根据构成对象物104的像的多个像素的亮度值能够通过各种方法决定对象物104的“亮度”。既能够将对象物104的像中最亮的“像素”或者“像素模块”的亮度作为对象物104的亮度，也能够将构成对象物104的像的全部的像素的平均亮度作为对象物104的亮度。
图5为表示在通过上述的方法取得的两帧图像的各方中横切对象物104的像的一条水平线的亮度值的坐标图。横轴为图像内的特定的水平线上的像素位置，纵轴为相对亮度。坐标图中的曲线301为光源102点亮时的亮度，曲线302为光源103点亮时的亮度。这里，“水平线”是指图像的横向的线。在该实施方式中，光源102、103的排列方向与由图像传感器101取得的图像的横向对应。因此，考虑图像内的对象物所存在的水平线上的相对亮度的分布。在光源102、103的排列方向对应于与图像的横向不同的方向的情况下，只要考虑关于其对应的方向的相对亮度的分布即可。
在图5的例子中，曲线301以及曲线302分别具有单峰性的波峰。即，曲线301在某个像素位置示出了极值303，曲线302在其他的像素位置示出了极值304。
如上所述，在两帧之间对象物104实质上静止。因此，存在于曲线301与曲线302之间的差异因光源102形成的放射的图形与光源103形成的放射的图形不同而引起。从光源102发出的光在对象物104反射并射入图像传感器101而取得的像的亮度与从光源103发出的光在对象物104反射并射入图像传感器101而取得的像的亮度的比率取决于从光源102到对象物104的距离和从光源103到对象物104的距离的关系。
根据拍摄到的图像的亮度比能够测量物体的距离。图6为表示从图像传感器101的拍摄面的法线分离45度的角度的方向上的距离与亮度比的关系的一个例子的坐标图。图6的坐标图的横轴示出了将体现图2的特性的光源以从图像传感器101在左右分离规定距离的方式配置的情况下的距对象物的相对距离。纵轴示出了亮度比。横轴的“距离”以图像传感器101与光源的距离作为基准。“1”的距离是指，与图像传感器101和光源的距离相等的大小。
对象物的亮度(或者照度)与从光源到对象物的距离的平方成反比例衰减。因此，亮度的比与距离对应地发生变化。图2所示的放射特性是已知的，因此根据该放射特性，能够进行精度高的距离的检测或者推断。
图6是放射角θ为45度时的距离与亮度比的关系的一个例子，而关于不同的多个角度，也同样能够预先得到距离与亮度比的关系。对象物的角度能够根据由图像传感器取得的对象物的拍摄位置求出。
由图6可知，在对象物与图像传感器的距离分离大致1以上的情况下，根据极值303与极值304的比能够测量距离。
在对象物的亮度比的求取方法中存在多种方法。最简单的方法是将图5所示的亮度的极大值303与另外的极大值304的比直接设为亮度值的方法。即使极值303的坐标与极值304的坐标未必一致，只要对象物的材质在对象区域内大致均匀，且将局部的距离差作为微小的因素而忽略，则能够将这些极值303、304的比作为亮度比而用作距离计算的亮度。
另外，基于抑制拍摄中的光散粒噪声等噪声的角度出发，也可以将对图像上的对象物的区域内的亮度值进行了积分后的值的比作为亮度比。
并且，在将被拍摄体的局部的材质的差异列入考虑范畴的情况下，例如也能够使用非专利文献2、3所公开的照度差立体法等技术。虽然照度差立体法的计算量大，然而通过对物体表面的法线向量即表面的斜率、反射率或粗糙度等材质参数在某种程度上进行类推，能够求出精度更高的亮度比。在照度差立体法中，因假设局部的区域内的光量不变、或假设物体为连续体等，改变固定的参数，从而计算方法也发生变化。也能够通过将根据运动传感器装置的用途而设为对象的面形状近似成例如由特定的方程式表示的形状来高效地进行计算。
在上述的例子中，使用了相对放射强度与放射角相应地变化的光源。然而，该测定方法也能够使用不具有这种特性的光源。若是发出平行光线的光源以外的光源，则光强度会在三维空间内体现某些配光特性，因此那种光源也能够用于距离测定。例如，即使是配光各向同性的“点光源”，由于对象物上的照度以及亮度与距光源的距离的平方成反比例衰减，因此也可以称为是具有在三维空间内不同的辐射图形的光源。
接下来，参照图7A以及图7B。这些图示出了对从图4A以及图4B所示的位置移动后的对象物104进行拍摄的状态。若能够进行高速的拍摄以及距离的推断，则对移动的对象物104也能够通过上述的方法进行距离的测定。通过反复进行光源102、103的交替的照明与图像传感器101的拍摄，能够检测出移动的对象物104的位置。其结果为，能够检测出对象物104的位置的变化或者运动。
本发明人发现，在上述的装置中，在从两个光源102、103各自到对象物104的距离相等的区域，距离的测定精度降低。在本说明书中，将这种区域称为“低灵敏度区域”。另外，当图6的坐标图的横轴所示的距离为1以下时，距离越短亮度比越上升，因此仅通过亮度比不能辨别是否处于距对象物体的距离为1以下的“极近距离区域”。
图8为示意性地表示上述的装置的低灵敏度区域的图。在图8中，示出了因距离过短而产生的低灵敏度区域504、与距离无关而因亮度比接近1而产生的低灵敏度区域505。
经本发明人研究，为了避免这种低灵敏度区域的产生，只要将光源的数量增至三个以上即可。
图9为表示具备三个光源102、103、104的运动传感器装置的一个例子的图。第二光源103与第一光源102以及第三光源104相比更接近图像传感器101地配置。这样，在图9所示的例子中，三个光源102、103、104相对于图像传感器101非对称地配置。不局限于这种配置，光源102、103、104相对于图像传感器101也可以对称地配置。例如，也可以将光源103设置在与图像传感器101相同的位置，将光源102、104相对于图像传感器101对称地配置。使第一光源102、第二光源103以及第三光源104依次发光并且同时通过图像传感器101连续地进行帧的拍摄，从而分别取得第一图像、第二图像以及第三图像。
在图9中示意性地示出了根据第一图像以及第二图像求出了距离信息的情况的低灵敏度区域605、根据第二图像以及第三图像求出了距离信息的情况的低灵敏度区域606。在根据第一图像以及第二图像计算对象物的距离的情况下，以距光源102、103各自的距离相等的区域为中心产生低灵敏度区域605。另一方面，在根据第二图像以及第三图像计算对象物的距离的情况下，以距光源103、104各自的距离相等的区域为中心产生低灵敏度区域606。在该结构例中，由于光源103配置在图像传感器101的附近，因此不会发生像图8所示那样的极近距离内的低灵敏度区域504。
采用像图9所示那样的结构，根据对象物的位置适当选择在距离测量中使用的图像的组对，由此能够去除低灵敏度区域。具体而言，当对象物位于与图像传感器101相比靠右侧的位置时可以选择第一图像以及第二图像，当对象物位于与图像传感器101相比靠左侧的位置时可以选择第二图像以及第三图像。
使如上述那样的多个光源连续发光的传感检测方式存在电力消耗大的课题。在抑制电力消耗的现有技术中，如上述那样，存在专利文献2、3的技术。
专利文献2的技术涉及TOF方式的距离测量。在该技术中，当在近距离内存在有物体的情况下，通过减弱光源装置的发光能够提高电力效率。
然而，专利文献2的技术对于TOF方式是有效的，而对于本公开主要针对的上述的方式是不适合的。在TOF方式中，由于根据出射光与反射光的时间差来测量距离，因此发光装置的发光亮度水平对测量范围产生较大的影响，而对测量精度不那么产生影响。对此，在本公开主要针对的根据多个图像中的亮度的相互关系进行距离测量的方式中，光源的发光亮度水平的变动对测量精度产生较大的影响。因此，发光亮度水平的能够变动的范围受到该测量精度的较大的制约。即使在保持所输出的多个图像的亮度比的状态下使亮度水平降低的情况下，由于测定精度被离对象物最远的光源的输出限制，因此当其光源的发光量降低时，测量精度也降低。
另外，即使在待机时，为了监视对象物再次进入能够测量的范围，需要继续进行能够测量范围整个区域的测量、即最大亮度下的发光。
专利文献3公开了在对象被拍摄体不存在于测量范围内的情况下降低待机电力的技术。专利文献3的装置除测距传感器以外，还具备测量精度低而电力消耗少的热式红外线传感器(焦电传感器)。该装置在看不到对象被拍摄体时，切换成电力消耗少的焦电传感器的检测，并待机直到对象物再次进入测量范围。在通过焦电传感器检测到对象物再次进入测量范围内的情况下，重新进行测量精度高的测距传感器的测量。
若是这种追加有其它的传感器的结构，则能够抑制待机时的电力消耗。然而，与追加的传感器相应地成本也增加。并且，在追加的传感器的检测范围与距离测量用的传感器的检测范围不一致的情况下，会存在引发不希望的动作的问题。该检测范围不一致的问题在运动传感器装置中尤其会产生重大的影响。在两传感器的检测范围不一致的情况下，有时会发生看漏对象物进入能够测量的范围内、或者相反地尽管对象物存在于无法测量的位置但仍然使待机状态结束的问题。其结果为，会引发反复进行待机状态与动作检测状态的往返等不希望的动作。
本申请发明人发现上述的课题而完成了本公开的技术。本公开提出了如下的新的发光控制方式，该发光控制方式适用于作为使基于对象物的亮度比的以往的距离测量方式实时动作的运动传感器装置而构成的情况。本公开的一方式的运动传感器装置根据通过上次以前的拍摄得到的信息独立地控制多个光源的发光量。并且，根据各光源的发光量，在对所取得的多个图像的亮度进行了补正后生成距离信息。由此，能够解决现有技术的单纯的应用所不能避免的课题。
在根据多个图像中的亮度比求取距对象物的距离的情况下，最终的距离的测量精度很大程度上取决于亮度比的精度。亮度比通过两个亮度相除而计算出。一般来讲，相除的结果的精度被除数与非除数中的精度较低的一方限制。因此，即使一方的亮度的精度高，倘若另一方的亮度的精度低，那么亮度比的精度也变低。
另外，图像中的亮度的精度主要受到光散粒噪声以及因暗流造成的噪声的影响。光散粒噪声与亮度的平方根成比例。因暗流造成的噪声为恒定值。这些噪声的比率能够预先测量。
因此，本公开的某个实施方式中的运动传感器装置考虑这些噪声而反算亮度的精度，根据其结果独立地控制各光源的发光量。能够以在能够确保亮度的精度的范围内成为最低的方式调整各光源的发光量。该运动传感器进一步与多个光源的发光量的变动对应地对从图像传感器输出的多个图像的亮度进行补正。由此，能够根据犹如多个光源以恒定的亮度比率进行了发光那样的亮度信息进行距离计算。
并且，对于提高测量精度方面必要性低的光源也能够独立地将其熄灭，或者变更为非常弱的发光量的状态(低输出状态)。对于与设为熄灭或者低输出状态的光源对应的帧的拍摄，也能够停止曝光(即拍摄)本身。即使在进行了曝光的情况下，也能够将其图像帧不用于距离计算，而用作下述的背景光图像。
通过如上那样的控制，能够进行在确保测量亮度方面抑制为最低限度所需的发光量的最优化的动作。
此外，在本公开中，在不存在测量对象的情况下，能够实现仅通过最低限度的发光能够对与动作中的检测范围完全一致的范围进行监视的待机模式。在待机模式中，在通过最低限度的发光检测到对象物进入了检测范围时解除待机模式，而能够返回通常的模式。
另外，在动作中作为辅助信息而使用因本公开中的条件依赖而能够动态地并且选择性地使用的背景光去除功能，由此能够实现检测精度的进一步提高。特别是，在不进行对象物的检测的待机状态下应用背景光去除功能会使作为用户接口使用时的便利性进一步提高。
以下，对基于上述的研究的本公开的具体的实施方式进行说明。
(实施方式1)
图10为表示本公开的实施方式1的运动传感器装置的结构的图。图10为示意性地表示该运动传感器装置为具备图像传感器501、三个光源(第一光源502、第二光源503以及第三光源504)、控制它们的控制电路(运算模块)531的运动传感器装置的结构的图。图像传感器501以及光源502～504搭载在基板500上。有时将图像传感器501以及光源502～504统称为“传感器模块530”。
控制电路531能够通过CPU或其他的半导体集成电路、或者它们的组合构成。控制电路531除执行基于上述的三连续曝光的三个图像帧的拍摄的控制以外，还执行从取得的三个图像去除背景光的成分的处理、补正亮度的处理以及基于从经过了这些处理的三个图像中选择出的两个图像的距离计算处理。控制电路531具有作为用于执行这些处理的功能模块的如下的构件，即，三个发光控制部511、512、513，曝光控制部514，图像输入部515，背景图像选择部516，背景图像去除部517、518、519，亮度补正部520、521、522，发光量存储部523、524、525，曝光量存储部526，距离信息生成部527，距离信息存储部528，传感器控制部529。控制电路531的至少一部分既可以安装在基板500上，也可以安装在其他的基板上。另外，控制电路531的功能的一部分也可以通过设置在分离的位置的电子装置来实现。
图11为表示该运动传感器装置中的光源与图像传感器的控制时机的时序图。图11所示的期间802、803、804分别相当于光源502、503、504点亮的期间。第一曝光期间805、第二曝光期间806、第三曝光期间807分别与图像传感器701的第一帧、第二帧以及第三帧的拍摄对应。在图11所示的时序图中，光源702、703、704按该顺序点亮，但点亮的顺序是任意的。
通常的图像传感器通过一次曝光进行一帧的拍摄，在将得到的图像数据向外部读出后进行接下来的帧的拍摄。即，针对每个帧执行图像数据的读出动作。若使用这种图像传感器，则在第n帧(n为整数)的曝光结束后至开始第n+1的帧的曝光之间，需要用于进行将通过第n帧的拍摄得到的全部的电荷传送传送而向外部输出的动作的时间。
然而，在本实施方式中，如图11所示那样，在第一曝光期间805之后马上开始第二曝光期间806，之后马上开始第三曝光期间807。在第一曝光期间805内进行第一帧的拍摄而产生的各像素的电荷在第二曝光期间806开始前向存储部转移，而积蓄在该存储部中。在第二曝光期间806内进行第二帧的拍摄而产生的各像素的电荷在第三曝光期间807开始前向存储部转移，而积蓄在该存储部中。之后，积蓄在存储部中的电荷以及在第三曝光期间807产生的电荷的信号在期间Tt内被读出，而向外部输出。
在本实施方式中，在将第一曝光～第三曝光期间的各长度设为“Te”时，根据由与“3×Te+Tt”相等的长度Tf的倒数(1/Tf)决定的比率读出三张帧图像的数据。
时间Tt也取决于像素数，然而考虑到数据传送比率，例如能够设定为30毫秒左右的大小。另一方面，时间Te能够设定为1毫秒以下的较短的期间，例如25微秒。若在较短的期间内连续执行三张帧的拍摄，则即使在对象物像人的指尖那样高速地移动的情况下，也能够进行距离测量。例如在3×Te为75微秒的情况下，即使对象物以1米/秒的速度移动，在第一拍摄～第三拍摄中对象物仅移动0.075毫米。另一方面，若以通常的帧比率(例如60帧/秒)进行拍摄，则对象物会移动50毫米。假设进行1000帧/秒的高速度拍摄，对象物也会移动3毫米。在本实施方式中，由于能够将从第一帧的开始时刻至第二帧的结束时刻的期间例如缩短为3毫秒以下，因此作为运动传感器装置对于各种用途而言是很实用的。
在本实施方式的结构中，根据通过第一帧至第三帧的拍摄取得的三张图像能够计算出距对象物的距离。在非常短的时间内基于较强的发光条件拍摄的帧的亮度大致与反射光的强度成比例。这里，将第一帧中映现的对象物的亮度称为“第一亮度”，将第二帧中映现的对象物的亮度称为“第二亮度”，将第三帧中映现的对象物的亮度称为“第三亮度”。根据由对象物与各光源的位置关系决定的角度以及距离来决定各亮度。如上述那样，根据这些亮度的比能够推断对象物的距离。
在本实施方式中，通过使用能够连续进行三帧的拍摄的、略微昂贵的图像传感器，能够检测出距以高速移动的对象物的距离或者对象物的三维的运动。在设想作为测量对象的物体的移动速度非常低的情况下，也可以使用通常的一帧曝光的图像传感器。
接下来，再次参照图10更详细地说明本实施方式的运动传感器装置的结构以及动作。
光源502、503、504为例如LED光源等能够发出具有光强度在三维空间内不同的辐射图形的投射光的发光装置。光源502、503、504不局限于发出可见光，也可以发出近红外线等不可见光。光源502、503、504不局限于LED光源，只要是点光源等强度分布存在三维偏差的光源便也能够使用任意的光源。也能够使用激光光源。激光光源射出平行光，因此光强度不发生三维变化，然而通过使其与扩散板组合而变换成散射光便能够使用。也可以使多个发光设备组合而作为一个光源装置。
图像传感器501也可以是例如像非专利文献1中公开的那样的不进行帧读出而能够进行多张的独立曝光的传感器。虽然没有图示，然而在图像传感器501中，以在拍摄面形成像的方式对置地配置透镜。图像传感器501具有按像素单位暂且积蓄电荷的存储部。因此，能够不等待通过第n帧的拍摄得到的图像数据的读出而进行第n+1帧的拍摄。通过增加图像传感器501内的存储部，能够进行三帧以上的连续的曝光。作为图像传感器501，也可以是能够在偶数/奇数线分别曝光的特殊传感器。典型的图像传感器501是CMOS图像传感器或者CCD图像传感器，然而不局限于这些图像传感器。
控制电路531对传感器模块530的动作进行控制，并且对从图像传感器501输出的表示图像的信号(以下，简称为“图像”。)进行处理而生成距离信息。以下，对控制电路531的详细的结构以及动作进行说明。首先，对通常的运动传感检测动作中的控制电路531的各结构要素的动作进行说明。
发光控制部511、512、513根据储存在发光量存储部(存储器)523、524、525中的表示发光量的信息(值)驱动光源502、503、504。
首先，在第一时间，发光控制部511以存储在发光量存储部523中的值所示的发光量使光源502发光。同时图像传感器501进行曝光，而进行第一帧的拍摄。
接下来，在第二时间，发光控制部512以存储在发光量存储部524中的值所示的发光量使光源503发光。同时图像传感器501进行曝光，而进行第二帧的拍摄。
在第三时间，发光控制部513以存储在发光量存储部525中的值所示的发光量使光源504发光。同时图像传感器501进行曝光，而进行第三帧的拍摄。
这里，“发光量”是指，图像传感器501的一次的曝光时间中的发光能量的总量。发光量因发光时间的增减、发光亮度的增减而变化。
按照在曝光量存储部(存储器)526中储存的表示曝光量的信息，通过从曝光控制部514送出的信号来控制图像传感器501的曝光时间。
这里“曝光量”是指，在一次的曝光时间中射入图像传感器501的拍摄面的光能量的总量。曝光量由图像传感器501的曝光时间和光阑量来决定。
通过这种方式，通过传感器模块530曝光而取得的第一帧、第二帧、第三帧被输入于控制电路531的图像输入部515。
图像输入部515将接受到的第一帧、第二帧、第三帧分别向背景图像去除部517、518、519和背景图像选择部516发送。
背景图像选择部516具有根据来自传感器控制部529的信号，选择第一帧、第二帧、第三帧中的亮度值或者作为固定值的0以作为背景图像帧的亮度值的功能。在本实施方式中针对每种图像进行该选择，然而也可以针对每种像素进行该选择。在通常的运动传感检测动作中的状态下，背景图像选择部516选择作为固定值的0。这表示不进行背景光的去除。另一方面，在将第一帧至第三帧中的某一方作为背景光图像进行处理的情况下，传感器控制部529对背景图像选择部516进行指示以选择该帧的亮度值。背景图像选择部516将如上述那样通过选择亮度值而生成的表示背景光图像的帧向背景图像去除部517、518、519送出。
背景图像去除部517、518、519从自图像输入部515发送来的拍摄到的图像的帧中减去从背景图像选择部516发送来的背景图像帧。这里，从第一帧(或者图像)中减去第二帧是指，生成将从第一帧的各像素的值中减去第二帧所对应的像素的值后得到的值作为亮度值的新的帧。背景图像去除部517、518、519将减法处理后的帧分别向亮度补正部520、521、522发送。
亮度补正部520、521、522分别根据存储在发光量存储部523、524、525中的信息所示的发光量对分别从背景图像去除部517、518、519给予的图像的帧进行补正。具体而言，使发光量的倒数与各像素的亮度值相乘。这样，即使在光源502、503、504的发光量不同的情况下，也能够得到犹如以相同的发光量进行了拍摄那样的图像。
然而，此时得到的亮度的信号精度与以相同的发光量进行了拍摄的情况不同，因此需要注意。信号精度由图像中的信号与噪声的比(S/N比)来决定。也可以说信号精度由有效数字来表示。图像中的噪声存在各种主要因素。在能够成为特别大的主要因素的噪声中，存在因传感器设备的暗流等引起的始终以恒定量存在的噪声、被称为光散粒噪声的与亮度信号值的平方根成比例的噪声。任意的噪声都由图像传感器的特性决定，因此能够预先测量。
被亮度补正部520、521、522处理后的图像的帧向距离信息生成部527发送。
距离信息生成部527从帧内搜索映现有对象物的区域，根据该区域的帧间的亮度的关系计算出距对象物的距离。表示计算出的距离的信息被存储在距离信息记录部(存储器)528中。该信息成为本实施方式的运动传感器装置的输出。
接下来，参照图12而对本实施方式中的控制的几个例子进行说明。
图12示出了拍摄的某个时刻的对象物601的状态的例子。从图像传感器501观察到的对象物601的方向的角度θ能够根据对象物601的像形成在图像传感器501的哪个像素的位置这样的信息求出。在图12所示的例子中，对象物601位于图像传感器501的右侧。因此，通过求出第一图像与第二图像的亮度比，能够唯一地确定出从图像传感器501到对象物601的距离。若求出角度θ与距离，那么对象物601的三维的位置确定。
这里应当考察的是，对象物601存在于与光源502相比靠近光源503的位置。因此，如果不存在亮度补正部520、521，而储存在发光量存储部523与发光量存储部524中的值相同的情况下，第二帧中含有的对象物601的像的部分的精度比第一帧中的精度高。然而，距离信息生成部527求取对象物601的距离的亮度比的精度被精度低的第一帧的亮度的精度限制。
对此，在本实施方式中，传感器控制部529适当地检测出这样的状况，而将储存在发光量存储部524中的表示发光量的值重写。在上述的例子中，以发光量存储部524中的值小于发光量存储部523中的值的方式设定各值。通过这种控制，能够在保持两个图像的对象物的区域中的亮度比的精度、即通过距离信息生成部527求出的距离信息的精度的状态下，减少光源装置503的发光量。其结果为，能够削减耗电。
这里，说明传感器控制部529检测状况的方法的三个例子。
第一方法与多数的拍摄装置在自动曝光控制等中使用的方法相同，为对通过拍摄取得的图像帧内的亮度进行监视而根据其直方图(亮度分布)、最大值进行处理的方法。该方法在电力的方面不是最佳的，然而在拍摄装置已经具备自动曝光控制等的情况下能够使处理共通化，因此作为简易的方法而具有优点。
第二方法为参考距离信息生成部527的中途的计算结果的方法。该方法也可以说是根据亮度比计算的阶段的值进行反算的方法。在精度的方面能够求出最可靠而正确的值。
第三方法为利用在距离信息存储部528中记录的距离信息的方法。根据位置信息考虑距离而能够求出光量。该方法的最大的优点是，能够考虑位置信息的变化即对象物的运动量而预先预测接下来的对象物的位置从而设定发光量。
在上述的例子中，假定了对象物为一个的情况，然而在检测多个对象物的情况下，只要设定为各对象物的继续的检测所需的最低限度的发光量中最大的发光量即可。即，配合亮度最低的对象物而设定发光量即可。
此时，若信号精度相对于所需的距离信息的精度是足够的，那么像专利文献2那样也可以使全部的光源的发光量一律下降。在该情况下，也可以从传感器控制部529向曝光量存储部526一并传送对曝光量的变更进行指示的信号。特别是在通过发光时间控制发光量的情况下，若通过减少曝光时间来减少曝光量，则能够减少来自外部的光源的背景光，从而测量精度提高。
在如图12所示那样的对象物601的配置中，应当提及的是，在拍摄装置501的左侧不存在对象物，即使不使用光源504也能够进行测量。传感器控制部529在根据距离信息记录部528的信息等检测出这种状态的情况下，在发光量存储部525中写入零，而能够使光源504停止。
并且，之后可以考虑效果不同的两种动作模式。
第一动作模式为停止第三帧的曝光以及读出传送的模式。在该模式中，也能够削减与图像传送相关的电力。
第二动作模式为在使光源504停止的状态下将第三帧的图像用作背景光图像的模式。
在第三时间，在使运动传感器装置的光源全部熄灭的状态下进行曝光时，第三帧中仅拍摄到基于外部光源的背景光。若将其从第一帧以及第二帧中减去，则会从第一帧以及第二帧中去除背景光成分，因此测量精度提高。
在像本实施方式那样具有三个光源的运动传感器装置中，为了进行背景光去除，根据现有技术，需要在使全部的光源熄灭的状态下进行第四帧的拍摄。相对于此，在本实施方式中，能够从三帧之中选择性地分配背景光去除用的帧。在增加连续取得的帧数的情况下，拍摄装置的成本和电力都会增大。本实施方式的控制具有不需要这些的效果。特别是，在被拍摄体位于远方等测量精度低的场面下，背景光去除发挥较高的效果。在那种情况下在全部的测量区域存在有个别的对象物的情况不多，因此本实施方式的控制具有很好的效果。
接下来，就这样继续动作，如图13所示，考虑在拍摄装置501的左侧出现对象物的情况。
该情况存在两种情况。第一情况是与对象物601不同的新的对象物602进入测量范围内的情况。在该情况下，光源504未发光，因此在第三帧中几乎不会映现新的被拍摄体，然而在第一帧与第二帧中以去除了背景光的形式映现对象物，因此能够检测到。特别是在图像传感器501的左侧的物体的距离测量中，与光源503和504的组对对应的图像的亮度比很重要。因此，在该情况下，优选根据第二帧检测对象物。
在该情况，即使不对第一帧以及第二帧直接进行图像解析，也能够检测对象物602。例如，即使在将几乎不包含对象物602的像的第三帧原封不动地向距离信息生成部527送出的情况下，第二帧和第三帧的与对象物相当的部位的亮度比约为1∶0，因此作为零距离等特殊情况而能够检测出(相反无限远的情况为1∶1)。在检测到新的对象物602的情况下，传感器控制部529迅速地在发光量存储部524中写入有效的值，根据接下来的拍摄能够使发光控制部513的发光复原。
第二情况是位于图像传感器501的右侧的对象物601向左侧移动的情况。在该情况下，在对象物601向拍摄装置501的左侧移动后使发光控制部513的发光复原，这会产生不能进行至少一次对象物601的距离测量这种问题。对此，在这种情况下，传感器控制部529从对象物601存在于拍摄装置501的右侧的期间起对储存在距离信息记录部528中的信息等进行监视是很有效的。例如，始终计算对象物601的距离以及运动量的至少一方，当检测到对象物601向左区域接近时，通过预先在发光量存储部524中写入有效的值，能够使发光控制部513的发光复原。
通过这种动作，在对象物于测量期间移动的中途不会导致测量失败，而是能够进行无缝的追踪。
接下来，作为本实施方式的特别的情况，对对象物601向第一至第三的全部的帧中的测量范围外移动而无法测量到对象物的情况的动作进行说明。
在该情况下，若不像例如专利文献3那样采取设置其它的传感器等对策，那么发光量存储部523、524、525以及曝光量存储部526不得不分别设定最大的值而待机直到再次测量到某个对象物。特别是当曝光量存储部526的值设定为最大值时，通过图像传感器501取得的基于外部光源的背景光图像的亮度也成为最大，尽管不存在对象物，但是错误检测为存在的可能性变得非常高。
对于这样的课题，本实施方式的传感器控制部529仅在发光量存储部524以及曝光量存储部526中写入最大值，在发光量存储部523、525中写入零值。通过像这样设置，抑制了发光电力，并且在对象物重新出现在光源503的照射范围内的情况下，能够使发光量存储部523、525的值返回原来的值，而再次开始距离测量。在该情况下，虽然仅初次不能完成对象物的距离计算，然而在多数的使用情况下这不会成为问题。
在该情况下，传感器控制部529还能够以选择第一帧或者第三帧而作为背景光帧的方式对背景图像选择部516进行指示。由此，在光源503的照射范围内不存在物体的情况下，能够使因来自外部光源的背景光而错误检测为在光源装置503的照射范围内存在有物体的可能性降低。不存在有对象物的情况下的错误检测特别是在作为用户接口使用的情况下非常有害，会导致便利性大幅度降低。因此，虽然使用以往的图像传感器然而在对象物不存在于测量范围内时选择性地使背景光去除功能开始运转这样的本实施方式的控制所带来的效果是巨大的。
本实施方式的运动传感器装置在与光源503(或者图像传感器501)相比靠右边的区域的检测中，将利用光源502与503的组对而取得的图像作为有力的信息使用。另一方面，在左边的区域的检测中将利用光源503与504的组对而取得的图像作为有力的信息使用。这两个组对的任一组对中都含有光源503。因此，在无法检测到对象物的待机状态时仅将光源503的照射范围用于为了复原的检测是非常合理的。
通过这种控制，等待对象物再次进入测量范围时的检测范围与通常的动作状态下的测量范围一致。因此，难以变成像专利文献3那样的以往的技术中产生的、交替往返待机状态与动作状态那样的状态。
并且，在该待机状态下传感器控制部529也能够对图像传感器501按如下的方式进行指示，即，将三连续曝光切换成二连续曝光、或降低帧比率、或间歇地进行动作。通过像这样设置，能够进一步降低电力。
需要说明的是，在本实施方式中，在取得三种拍摄帧的操作中从第一时刻至第三时刻进行三次曝光，然而不局限于这种方式。在非专利文献2的技术中也记载了在直到读出传送的期间还反复进行按顺序的发光状态并且同时进行曝光而加入电荷的技术。通过进行这种反复曝光，使得因运动产生的像的余象在各曝光中变少，从而作为运动传感器装置很有效。
即使在不能采取这种结构的情况下，在第二时间进行光源503的点亮的本实施方式的结构在减少误差方面是很有效的。距离测量中使用的三种亮度比中容易有效地使用的是光源502与503的组对的亮度比以及光源503与504的组对的亮度比。因此，通过在第二时间进行光源503的点亮，能够减少组对内的时间误差。
本实施方式中的控制电路(运算模块)531例如能够通过CPU等处理器与储存于存储器中的程序(软件)的组合而实现。然而，通过由参照图10而说明的能够执行动作的专用的电路来实现控制电路，由此能够实现电力效率的提高及高速的处理。这种电路例如能够依照安装有能够执行上述动作的逻辑电路的半导体集成电路、FPGA(field programmablegate array：现场可编程门阵列)等的可重构逻辑来实现。在可重构逻辑中，存在可重构逻辑本身具备不挥发存储器的可重构逻辑、或在电源接通时读入在闪存器等存储装置中储存的电路信息而动作的可重构逻辑。
(其他的实施方式)
以上，作为本公开的技术的示例，对实施方式1进行了说明。然而，本公开的技术不局限于这些实施方式。以下，例示其他的实施方式。
图14示出了搭载有实施方式1的运动传感器装置的显示器1001。该显示器1001搭载有三个光源502、503、504。因此，能够朝向显示器1001进行手势输入。在图14中，为了参考，示意性地示出了进行手势输入的手。图示的手正在向箭头的方向移动。在图14所示的显示器中，能够以高灵敏度检测这样的手的运动而进行手势输入。
若将本实施方式的运动传感器装置用于显示器等中，便也能够应用于基于手势输入而切换频道等的用户接口。另外，也能够应用于识别人的各部的运动的跳舞游戏等中。
像这样，本公开包含如下的电子装置，其具备上述的实施方式的运动传感器装置、响应通过该运动传感器装置检测到的对象物的运动而使显示内容变化的显示器。
根据本公开的运动传感器装置的各实施方式，排除了距离测量的对象物以外的背景光的影响，从而能够实现更高精度的检测。根据本公开，能够提供要求实时的检测的3D运动传感器装置。
需要说明的是，本公开的运动传感器装置的至少一部分的功能也可以通过经由有线或者无线的网络而连接的其他的装置来实现。
在以上的实施方式中，对具备三个光源的例子进行了说明，然而光源的数量可以为两个，也可以是四个以上。另外，光源以及图像传感器的配置关系不局限于图示的配置，而能够进行各种配置。另外，在以上的实施方式中，作为获取距对象物的距离信息的方法，说明了基于多个图像中的该对象物的亮度之比的方法。然而，也可以不根据亮度比，而例如像美国专利申请公开第2013/0182077号说明书所公开的那样，根据像的轮廓信息获取距对象物的距离信息。将美国专利申请公开第2013/0182077号说明书的公开内容整体援用于本申请说明书中。
工业实用性
本公开的运动传感器装置的实施方式具有能够实时测量物体的三维位置的功能。因此，对于显示装置等各种电气产品的非接触手势用户接口的用途是有用的。作为车载设备也能够应用于搭乘者的状态、车外的人物或障碍物的检测。也能够应用于摄像机的自动调焦等用途。
【附图标记的说明】
101、501 拍摄装置
102、103、104、502、503、504 光源装置
105、601 对象物
301、302 亮度
303、304 亮度的极大值
511、512、513 发光控制部
514 曝光控制部
515 图像输入部
516 背景图像选择部
517、518、519 背景图像去除部
520、521、522 亮度补正部
523、524、525 发光量存储部
526 曝光量存储部
527 距离信息生成部
528 距离信息记录部
529 传感器控制部
530 传感器模块
531 运算模块

Claims (21)

1.一种运动传感器装置，具备：
图像传感器；
第一光源以及第二光源；
以控制所述图像传感器、所述第一光源以及第二光源的方式构成的控制电路，
所述控制电路反复进行如下的动作，即，在第一时间使所述第一光源发光并且同时通过所述图像传感器进行第一帧的拍摄的动作、在第二时间使所述第二光源发光并且同时通过所述图像传感器进行第二帧的拍摄的动作、根据通过所述第一帧的拍摄取得的第一图像以及通过所述第二帧的拍摄取得的第二图像来生成距对象物的距离信息的动作，
所述控制电路构成为根据通过上次以前的拍摄得到的所述第一图像以及所述第二图像的各自的亮度分布独立地控制所述第一光源的发光量与所述第二光源的发光量。
2.根据权利要求1所述的运动传感器装置，其中，
所述控制电路构成为根据从通过所述第一帧的拍摄取得的第一图像得到的对象物的第一亮度与从通过所述第二帧的拍摄取得的第二图像得到的所述对象物的第二亮度来生成距所述对象物的距离信息。
3.根据权利要求2所述的运动传感器装置，其中，
所述控制电路构成为根据所述第一亮度与所述第二亮度之比来生成所述距离信息。
4.根据权利要求2或3所述的运动传感器装置，其中，
所述控制电路构成为根据所述第一光源的发光量以及所述第二光源的发光量对所述第一亮度以及所述第二亮度的至少一方进行补正而生成所述距离信息。
5.根据权利要求1至3中任一项所述的运动传感器装置，其中，
所述控制电路构成为还根据通过上次以前的拍摄得到的所述第一图像以及第二图像的各自的S/N比来控制所述第一光源的发光量与所述第二光源的发光量。
6.根据权利要求1至3中任一项所述的运动传感器装置，其中，
所述控制电路构成为还根据通过上次以前的拍摄得到的所述第一图像以及所述第二图像的各自的对象物的距离以及运动量的至少一方来控制所述第一光源的发光量与所述第二光源的发光量。
7.根据权利要求1至3中任一项所述的运动传感器装置，其中，
所述控制电路构成为，在所述第一图像以及第二图像的至少一方不含有对象物的像时，使在取得不含有所述对象物的像的图像时发光的所述第一光源以及第二光源的一方变更为熄灭或者低输出的状态。
8.根据权利要求7所述的运动传感器装置，其中，
所述控制电路构成为，通过将在使所述第一光源以及第二光源的一方变更为熄灭或者低输出的状态时的状态下取得的所述第一图像以及第二图像的一方从另一方的图像减去，从而降低背景光的影响。
9.根据权利要求1至3、8中任一项所述的运动传感器装置，其中，
所述控制电路构成为，
当在所述第一图像以及第二图像不含有对象物的像时，向待机模式转移，
在所述待机模式下，
使所述第一光源发光并且同时进行所述第一帧的拍摄，
使所述第二光源成为熄灭或者低输出的状态而进行所述第二帧的拍摄，
当表示通过所述第一帧的拍摄取得的第一图像与通过所述第二帧的拍摄取得的第二图像的差量的值大于阈值时，解除所述待机模式。
10.根据权利要求1至3、8中任一项所述的运动传感器装置，其中，
还具备第三光源，
所述控制电路反复进行如下的动作，即：在第一时间使所述第一光源发光并且同时通过所述图像传感器进行第一帧的拍摄的动作；在第二时间使所述第二光源发光并且同时通过所述图像传感器进行第二帧的拍摄的动作；使第三光源发光并且同时通过所述图像传感器进行第三帧的拍摄的动作；根据通过所述第一帧的拍摄取得的第一图像、通过所述第二帧的拍摄取得的第二图像以及通过所述第三帧的拍摄取得的第三图像，来生成距所述对象物的距离信息的动作，
所述控制电路构成为根据通过上次以前的拍摄得到的信息独立地控制所述第一光源至第三光源的发光量。
11.根据权利要求10所述的运动传感器装置，其中，
所述控制电路构成为，当所述第一图像至第三图像的至少一个图像不含有对象物的像时，使在取得不包含所述对象物的像的所述第一图像至第三图像的至少一个图像时发光的所述第一光源至第三光源的至少一个光源变更为熄灭或者低输出的状态。
12.根据权利要求11所述的运动传感器装置，其中，
所述控制电路构成为，在使所述第一光源至第三光源的至少一个光源变更为熄灭或者低输出的状态后，跳过在该光源的发光时取得的帧的拍摄。
13.根据权利要求11所述的运动传感器装置，其中，
所述控制电路构成为，在使所述第一光源至第三光源的至少一个光源变更为熄灭或者低输出的状态后，将通过与该光源对应的帧的拍摄取得的图像从通过与输出未被变更的其他的光源对应的帧的拍摄取得的图像减去。
14.根据权利要求11至13中任一项所述的运动传感器装置，其中，
所述控制电路构成为，在使所述第一光源至第三光源的至少一个光源变更为熄灭或者低输出的状态后，根据输出未被变更的光源的发光时取得的图像中的对象物的距离以及运动量的至少一个信息，使变更为熄灭或者低输出的状态的光源复原成通常的发光状态。
15.根据权利要求10所述的运动传感器装置，其中，
所述控制电路构成为，根据从通过所述第一帧的拍摄取得的所述第一图像得到的所述对象物的亮度、从通过所述第二帧的拍摄取得的第二图像得到的所述对象物的亮度以及从通过所述第三帧的拍摄取得的第三图像得到的所述对象物的亮度，来生成距所述对象物的距离信息。
16.根据权利要求10所述的运动传感器装置，其中，
所述控制电路构成为，
当在所述第一图像至第三图像不含有对象物的像时，向待机模式转移，
在所述待机模式下，
使所述第一光源发光并且同时进行所述第一帧的拍摄，
使所述第二光源成为熄灭或者低输出的状态而进行所述第二帧的拍摄，
不进行所述第三帧的拍摄，
当表示通过所述第一帧的拍摄取得的第一图像与通过所述第二帧的拍摄取得的第二图像的差量的值大于阈值时，解除所述待机模式。
17.根据权利要求9所述的运动传感器装置，其中，
所述控制电路构成为在所述待机模式下使拍摄帧比率降低。
18.一种电路，其为在具备图像传感器、第一光源以及第二光源的运动传感器装置中使用的电路，
所述电路反复进行如下的动作，即，在第一时间使所述第一光源发光并且同时通过所述图像传感器进行第一帧的拍摄的动作、在第二时间使所述第二光源发光并且同时通过所述图像传感器进行第二帧的拍摄的动作、根据通过所述第一帧的拍摄取得的第一图像以及通过所述第二帧的拍摄取得的第二图像来生成距对象物的距离信息的动作，
所述电路构成为根据通过上次以前的拍摄得到的所述第一图像以及所述第二图像的各自的亮度分布独立地控制所述第一光源的发光量与所述第二光源的发光量。
19.一种电路，其为在具备图像传感器、第一光源以及第二光源的运动传感器装置中使用的电路，所述电路具备：
图像输入部，其从所述图像传感器取得图像；
发光量存储部，其储存对所述第一光源以及第二光源的各自的发光量进行规定的信息；
发光控制部，其以根据所述信息决定的第一发光量使所述第一光源在第一时间发光，以根据所述信息决定的第二发光量使所述第二光源在第二时间发光；
亮度补正部，其对通过所述第一时间的拍摄而由所述图像传感器取得的第一图像、以及通过所述第二时间的拍摄而由所述图像传感器取得的第二图像的至少一方，进行以储存在所述发光量存储部中的所述信息为基础的亮度补正处理；
距离信息生成部，其根据从所述亮度补正处理后的所述第一图像得到的对象物的亮度与从所述亮度补正处理后的所述第二图像得到的所述对象物的亮度，生成并输出距所述对象物的距离信息；
传感器控制部，其根据所述第一图像以及第二图像的亮度信息、所述距离信息生成部的计算过程的精度信息以及从所述距离信息生成部输出的距离信息的至少一个信息，来决定并设定储存在所述发光量存储部中的所述信息。
20.一种电路，其为在具备图像传感器、第一光源以及第二光源的运动传感器装置中使用的电路，所述电路具备：
图像输入部，其从所述图像传感器取得图像；
发光量存储部，其储存对所述第一光源以及第二光源的各自的发光量进行规定的信息；
背景光图像选择部，其选择从所述图像输入部得到的至少两个图像中的一个图像而作为背景光图像；
背景光去除部，其将通过所述背景光图像选择部选择的图像从其他的图像减去；
距离信息生成部，其根据从所述背景光去除部输出的第一图像以及第二图像中的亮度的关系来生成距对象物的距离信息；
传感器控制部，其根据所述第一图像以及第二图像的亮度信息、所述距离信息生成部的计算过程的精度信息以及从所述距离信息生成部输出的距离信息的至少一个信息，来决定并设定储存在所述发光量存储部中的所述信息，
所述传感器控制部构成为根据通过上次以前的拍摄得到的所述第一图像以及所述第二图像的各自的亮度分布来控制所述第一光源的发光量与所述第二光源的发光量。
21.一种记录介质，其储存有能够以可重构逻辑执行的权利要求19或20所述的电路的电路信息。
CN201480002275.7A 2013-07-01 2014-06-25 具有多个光源的运动传感器装置 Active CN104603574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013137792 2013-07-01
JP2013-137792 2013-07-01
PCT/JP2014/003404 WO2015001770A1 (ja) 2013-07-01 2014-06-25 複数の光源を有するモーションセンサ装置

Publications (2)

Publication Number Publication Date
CN104603574A CN104603574A (zh) 2015-05-06
CN104603574B true CN104603574B (zh) 2017-10-13

Family

ID=52143372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002275.7A Active CN104603574B (zh) 2013-07-01 2014-06-25 具有多个光源的运动传感器装置

Country Status (4)

Country Link
US (1) US10313599B2 (zh)
JP (1) JP6270813B2 (zh)
CN (1) CN104603574B (zh)
WO (1) WO2015001770A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10946798B2 (en) 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
US10525883B2 (en) 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
US11472338B2 (en) 2014-09-15 2022-10-18 Magna Electronics Inc. Method for displaying reduced distortion video images via a vehicular vision system
EP3007430B1 (de) * 2014-10-10 2017-01-11 Sick Ag Kamerasystem und Verfahren zur Inspektion und/oder Vermessung von Objekten
US10127463B2 (en) 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
CN109212539A (zh) * 2016-03-01 2019-01-15 北醒（北京）光子科技有限公司 一种具有多传感器的光探测与测量雷达
KR102586962B1 (ko) * 2016-04-07 2023-10-10 한화비전 주식회사 감시 시스템 및 그 제어 방법
CN106210556A (zh) * 2016-08-05 2016-12-07 深圳市金立通信设备有限公司 一种拍照方法及终端
JP2018031607A (ja) * 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
CN111789583B (zh) * 2017-02-07 2023-03-14 原相科技股份有限公司 光感测方法、生理参数计算方法以及光感测系统
US20180375513A1 (en) * 2017-05-03 2018-12-27 Sensortek Technology Corp. Proximity Sensor and Proximity Sensing Module
US10489925B2 (en) * 2017-08-13 2019-11-26 Shenzhen GOODIX Technology Co., Ltd. 3D sensing technology based on multiple structured illumination
EP3936385A1 (en) * 2017-10-13 2022-01-12 Koito Manufacturing Co., Ltd. Vehicle lamp
JP6934811B2 (ja) * 2017-11-16 2021-09-15 株式会社ミツトヨ 三次元測定装置
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
JP2020020681A (ja) 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、イメージセンサ、センシングモジュール
JP7202156B2 (ja) * 2018-11-30 2023-01-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、位置姿勢取得用デバイス、およびデバイス情報取得方法
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
JP2022116381A (ja) * 2019-06-25 2022-08-10 パナソニックＩｐマネジメント株式会社 光学装置
JP7217367B2 (ja) * 2019-12-27 2023-02-02 ヌヴォトンテクノロジージャパン株式会社 光照射装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0642915A (ja) * 1992-06-03 1994-02-18 Stanley Electric Co Ltd 光学的測定装置
JP2004117235A (ja) * 2002-09-27 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法および３次元形状計測装置
CN101048843A (zh) * 2004-10-29 2007-10-03 硅光机器公司 二维运动传感器
JP2008128815A (ja) * 2006-11-21 2008-06-05 Stanley Electric Co Ltd 遠近判定方法およびその装置
JP2012117896A (ja) * 2010-11-30 2012-06-21 Saxa Inc 測距装置、侵入者監視装置、距離計測方法、及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3415070B2 (ja) 1998-05-25 2003-06-09 松下電器産業株式会社 レンジファインダ装置
US6587183B1 (en) * 1998-05-25 2003-07-01 Matsushita Electric Industrial Co., Ltd. Range finder and camera
GB2356996A (en) * 1999-12-03 2001-06-06 Hewlett Packard Co Improvements to digital cameras
JP2001165655A (ja) * 1999-12-06 2001-06-22 Oki Electric Ind Co Ltd 距離推定装置及び距離推定方法
US7292274B2 (en) * 2001-11-06 2007-11-06 Eastman Kodak Company Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate
US7095002B2 (en) * 2004-02-23 2006-08-22 Delphi Technologies, Inc. Adaptive lighting control for vision-based occupant sensing
JP4440239B2 (ja) * 2006-08-18 2010-03-24 富士フイルム株式会社 距離画像作成方法及び距離画像センサ、及び撮影装置
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
US8011583B2 (en) * 2007-07-02 2011-09-06 Microscan Systems, Inc. Systems, devices, and/or methods for managing data matrix lighting
WO2009035702A1 (en) * 2007-09-14 2009-03-19 Cypress Semiconductor Corporation Digital image capture device and method
US20110035174A1 (en) * 2008-04-07 2011-02-10 Nxp B.V. Time synchronization in an image processing circuit
JP2010054363A (ja) 2008-08-28 2010-03-11 Nippon Ceramic Co Ltd 光学式測距装置
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash
EP2537332A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
JP2011179997A (ja) 2010-03-02 2011-09-15 Panasonic Corp 距離情報取得装置および距離情報取得装置における光量調節方法
US9110200B2 (en) * 2010-04-16 2015-08-18 Flex Lighting Ii, Llc Illumination device comprising a film-based lightguide
JP5033270B2 (ja) * 2010-11-10 2012-09-26 パナソニック株式会社 非接触ポジションセンシング装置及び非接触ポジションセンシング方法
JP5625866B2 (ja) 2010-12-16 2014-11-19 セイコーエプソン株式会社 光学式位置検出装置および位置検出機能付き機器
ES2958967T3 (es) * 2011-06-30 2024-02-16 Microsoft Technology Licensing Llc Reducción de latencia en codificación y descodificación de vídeo
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
JP6151530B2 (ja) * 2012-02-29 2017-06-21 株式会社半導体エネルギー研究所 イメージセンサ、カメラ、及び監視システム
US8934675B2 (en) * 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US20140198363A1 (en) * 2013-01-17 2014-07-17 Qualcomm Mems Technologies, Inc. Method for generating a point light source in a plane at an arbitrary location using a dynamic hologram

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0642915A (ja) * 1992-06-03 1994-02-18 Stanley Electric Co Ltd 光学的測定装置
JP2004117235A (ja) * 2002-09-27 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法および３次元形状計測装置
CN101048843A (zh) * 2004-10-29 2007-10-03 硅光机器公司 二维运动传感器
JP2008128815A (ja) * 2006-11-21 2008-06-05 Stanley Electric Co Ltd 遠近判定方法およびその装置
JP2012117896A (ja) * 2010-11-30 2012-06-21 Saxa Inc 測距装置、侵入者監視装置、距離計測方法、及びプログラム

Also Published As

Publication number Publication date
WO2015001770A1 (ja) 2015-01-08
US20150222798A1 (en) 2015-08-06
US10313599B2 (en) 2019-06-04
CN104603574A (zh) 2015-05-06
JP6270813B2 (ja) 2018-01-31
JPWO2015001770A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
CN104603574B (zh) 具有多个光源的运动传感器装置
US10325376B2 (en) Machine vision for ego-motion, segmenting, and classifying objects
JP6756747B2 (ja) ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔセンサを使用して露出推定を実行するための方法および装置
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US9863767B2 (en) Motion sensor device having plurality of light sources
JP6299983B2 (ja) 複数の光源を有するモーションセンサ装置
CN100533251C (zh) 图像捕获装置
WO2018161466A1 (zh) 深度图像获取系统和方法
CN102401646B (zh) 基于结构光测量的方法
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
CN108376251B (zh) 控制方法、控制装置、终端、计算机设备和存储介质
CN105190426A (zh) 飞行时间传感器装仓
CN106210698A (zh) 深度相机的控制方法
WO2021169531A1 (zh) 一种ToF深度测量装置、控制ToF深度测量装置的方法及电子设备
CN110445914A (zh) 一种终端设备
CN107111764A (zh) 由对象在成像装置的视野中的深度触发的事件
KR20200027276A (ko) 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법
CN110545390B (zh) 飞行时间传感器及方法
WO2022181097A1 (ja) 測距装置およびその制御方法、並びに、測距システム
KR20230161951A (ko) 혼합 모드 깊이 이미징
WO2021041318A1 (en) 3d active depth sensing with laser pulse train bursts and a gated sensor
KR20100092254A (ko) 발광 수단과 그를 이용하는 휴대용 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant