CN104205020B - 光传感器 - Google Patents

光传感器 Download PDF

Info

Publication number
CN104205020B
CN104205020B CN201380015398.XA CN201380015398A CN104205020B CN 104205020 B CN104205020 B CN 104205020B CN 201380015398 A CN201380015398 A CN 201380015398A CN 104205020 B CN104205020 B CN 104205020B
Authority
CN
China
Prior art keywords
light
reflected light
phase contrast
signal
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380015398.XA
Other languages
English (en)
Other versions
CN104205020A (zh
Inventor
石川宽人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Manufacturing Co Ltd
Original Assignee
Murata Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Manufacturing Co Ltd filed Critical Murata Manufacturing Co Ltd
Publication of CN104205020A publication Critical patent/CN104205020A/zh
Application granted granted Critical
Publication of CN104205020B publication Critical patent/CN104205020B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G01P13/02—Indicating direction only, e.g. by weather vane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G01P13/02—Indicating direction only, e.g. by weather vane
    • G01P13/04—Indicating positive or negative direction of a linear movement or clockwise or anti-clockwise direction of a rotational movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K2217/00—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00
    • H03K2217/94—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated
    • H03K2217/941—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated using an optical detector
    • H03K2217/94111—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated using an optical detector having more than one emitter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种光传感器。在基板(2)的表面(2A)设置有3个发光元件(3)～(5)和1个感光元件(6)。信号处理电路(11)的运算处理部(15)从来自感光元件(6)的光检测信号(S0)分离出3个反射光信号(Sr1)～(Sr3)。运算处理部(15)使反射光信号(Sr2)偏移，并且对反射光信号(Sr1)、(Sr2)的波形整体的差分的平方和进行运算。运算处理部(15)根据该运算值为最小时的偏移量(x21)，来运算出反射光信号(Sr1)、(Sr2)的相位差(T21)。基于相同的处理，运算处理部(15)运算出反射光信号(Sr2)、(Sr3)的相位差(T32)。运算处理部(15)根据相位差(T21)、(T32)，来确定被检测物体(Obj)的移动方向。

Description

光传感器
技术领域
本发明涉及利用发光元件和感光元件来对被检测物体的存在、移动进行检测的光传感器。
背景技术
众所周知有一种利用发光元件和感光元件对手指或手等被检测物体的移动进行检测的光传感器(例如参照专利文献1、非专利文献1)。利用这一现有技术的光传感器中，以包围1个感光元件周围的方式设有3个发光元件，对于3个发光元件的每一个，对来自被检测物体的反射光进行感光，根据3个反射光的相位差来检测被检测物体的移动。
现有技术文献
专利文献
专利文献1：日本专利特开2011-227574号公报
非专利文献
非专利文献1：“SiliconLabsAN580”,[online],互联网＜URL：http://www.silabs.com/pages/DownloadDoc.aspx？FILEURL＝Support％20Docu ments/TechnicalDocs/AN580.pdf&src＝DocumentationWebPart＞
发明内容
在专利文献1所记载的光传感器中，对于3个反射光分别检测出大于规定阈值的上升沿时刻或小于规定阈值的下降沿时刻，根据该上升沿时刻或下降沿时刻的时间差来求出相位差。在非专利文献1所记载的光传感器中，分别检测出3个反射光的波形峰值，根据该峰值的时间差来求出相位差。然而，这些方法中存在如下问题：当流过感光元件的3个电流值的波形互不相同时，无法正确地求出反射光的相位差，导致发生移动方向的误检测。
本发明是鉴于上述问题而得到的，本发明的目的在于提供一种能够抑制移动方向的误检测的光传感器。
(1).为了解决上述问题，本发明的光传感器具备：基板；安装于该基板的表面的至少3个发光元件；控制该至少3个发光元件的发光动作的发光控制单元；以及安装于所述基板的表面的至少1个感光元件，利用所述感光元件对从所述发光元件射出的光经由被检测物体反射后的光进行感光，由此检测出该被检测物体的存在和移动，该光传感器的特征在于，还具有：反射光信号获取单元，该反射光信号获取单元利用所述感光元件对来自所述至少3个发光元件的光经由所述被检测物体反射后的光进行感光，根据从所述感光元件输出的光检测信号，获取与来自所述3个发光元件的光相对应的3个反射光信号；相位差运算单元，该相位差运算单元根据3个所述反射光信号的波形整体之差或者相关性，求出各自的相位差；以及移动方向确定单元，该移动方向确定单元根据至少2个所述相位差来确定所述被检测物体的移动方向。
根据本发明，由于使用至少3个发光元件，因此例如在3个发光元件的光经由被检测物体反射时，通过检测出各个反射光的相位差，从而能够检测到在与基板的表面平行的2个轴方向上的动作。另外，通过检测出反射光的强度，还能够检测到在与基板垂直的方向上的动作。
另外，由于相位差运算单元根据3个反射光信号的波形整体之差或者相关性来求出各自的相位差，因此即使在流过感光元件的3个电流值的波形互不相同时，也能够参照这些波形整体之差或相关性来求出各自的相位差。因此，相比于利用反射光信号的峰值等来求出相位差的情况，能够提高相位差的检测精度。而且，由于移动方向确定单元利用由相位差运算单元所求出的相位差来判定被检测物体的移动方向，所以能够抑制对于移动方向的误检测。
(2).在本发明中，所述相位差运算单元在求出2个所述反射光信号的相位差时，在使其中一个所述反射光信号在时间上偏移规定的偏移量的状态下，对其与另一个所述反射光信号之差的平方在整个波形内进行求和，将求得的加法值为最小的偏移量设为相位差。
根据本发明，相位差运算单元在求出2个反射光信号的相位差时，在使其中一个反射光信号在时间上偏移规定的偏移量的状态下，对其与另一个反射光信号之差的平方在整个波形内进行求和，将求得的加法值为最小的偏移量设为相位差。因此，能够参照2个反射光信号的波形整体之差来求出相位差，能够提高相位差的检测精度。
(3).在本发明中，所述相位差运算单元在求出2个所述反射光信号的相位差时，在使其中一个所述反射光信号在时间上偏移规定的偏移量的状态下，对2个所述反射光信号进行乘加运算，将求得的运算值为最大的偏移量设为相位差。
根据本发明，相位差运算单元在求出2个反射光信号的相位差时，在使其中一个反射光信号在时间上偏移规定的偏移量的状态下，对2个反射光信号进行乘加运算，将求得的运算值为最大的偏移量设为相位差。因此，能够参照2个反射光信号的波形整体的相互关联来求出相位差，能够提高相位差的检测精度。
(4).在本发明中，所述发光控制单元使所述至少3个发光元件分别以脉冲发光的方式进行分时发光。
根据本发明，由于发光控制单元使至少3个发光元件分别以脉冲发光的方式进行分时发光，因此利用1个感光元件就能检测出来自各个发光元件的反射光。因此，能够降低感光元件的个数，能够削减元件数量以降低制造成本。
(5).在本发明中，所述发光元件是垂直腔面发射激光器。
根据本发明，由于发光元件是垂直腔面发射激光器，因此相比于使用了例如发光二极管等的情况，能够减小光的出射角，提高检测分辨率，能够提高S/N。
附图说明
图1是表示第一实施方式所涉及的光传感器的立体图。
图2是表示图1中的光传感器的俯视图。
图3是从图2中的箭头III－III方向观察光传感器后得到的剖视图。
图4是表示第一、第二实施方式所涉及的光传感器的框图。
图5是表示发光信号和反射光信号的时间变化的特性曲线图。
图6是表示用于确定被检测物体的移动方向的整体处理的流程图。
图7是表示图6中的相位差T21的运算处理的流程图。
图8是表示图6中的相位差T32的运算处理的流程图。
图9是表示图6中的移动方向的确定处理的流程图。
图10是表示2个相位差和光传感器的角度之间的关系的说明图。
图11是表示2个相位差的比率和光传感器的角度之间的关系的说明图。
图12是表示用于根据2个相位差的比率来确定光传感器的角度的映射的说明图。
图13是表示使被检测物体在X轴方向上移动的状态的说明图。
图14是表示使被检测物体在X轴方向上移动时反射光信号的时间变化的特性曲线图。
图15是表示使被检测物体在Y轴方向上移动的状态的说明图。
图16是表示使被检测物体在Y轴方向上移动时反射光信号的时间变化的特性曲线图。
图17是表示用被检测物体覆盖光传感器的上方的状态的说明图。
图18是从图17中的箭头XVIII－XVIII方向观察后得到的说明图。
图19是表示被检测物体通过光传感器的上方时反射光信号的时间变化的特性曲线图。
图20是表示在手沿X轴方向移动时遮住来自3个发光元件的光的手指个数对于所有发光元件为相同状态的说明图。
图21是表示与图20相对应的反射光信号的时间变化的特性曲线图。
图22是表示在手沿X轴方向移动时遮住来自3个发光元件的光的手指个数对于每个发光元件都为不同状态的说明图。
图23是表示与图22相对应的反射光信号的时间变化的特性曲线图。
图24是表示反射光信号Sr1、Sr2的差分的平方和与偏移量之间的关系的特性曲线图。
图25是表示反射光信号Sr1、Sr2的时间变化的特性曲线图。
图26是表示反射光信号Sr2、Sr3的差分的平方和与偏移量之间的关系的特性曲线图。
图27是表示反射光信号Sr2、Sr3的时间变化的特性曲线图。
图28是表示第二实施方式所涉及的相位差T21的运算处理的流程图。
图29是表示第二实施方式所涉及的相位差T32的运算处理的流程图。
图30是示意性地以省去透明树脂层的方式来表示第三实施方式所涉及的光传感器的俯视图。
具体实施方式
下面，参照附图详细地说明本发明实施方式所涉及的光传感器。
在图1至图4中示出了第一实施方式所涉及的光传感器1。光传感器1具有基板2、发光元件3～5、感光元件6、信号处理电路11等。
基板2是利用绝缘材料来形成的平板。作为基板2，例如采用印刷布线基板。在基板2的表面2A上安装发光元件3～5和感光元件6。
发光元件3～5安装于基板2的表面2A上，且射出红外光或可见光。发光元件3～5的光轴通常为例如与基板2的表面2A垂直的方向(Z轴方向)。作为发光元件3～5，例如使用发光二极管(LED)、激光二极管(LD)、垂直腔面发射激光器(VCSEL：Vertical Cavity SurfaceEmitting Laser)。为了提高检测分辨率且提高S/N，优选采用原本出射角较小的VCSEL来作为发光元件3～5。
在基板2的表面2A上，3个发光元件3～5配置于不并排成一条直线的位置上。因此，在基板2的表面2A上，在3个发光元件3～5的内部形成三角形区域TA。
感光元件6安装于基板2的表面2A上，且对红外光或可见光进行感光。作为感光元件6，例如采用光电二极管(PD)、光电三极管等。感光元件6配置在基板2的表面2A的三角形区域TA的范围内。另外，感光元件6也可以配置在三角形区域TA的外侧。
在基板2的表面2A形成有透明树脂层7。透明树脂层7覆盖基板2的整个表面2A，对发光元件3～5和感光元件6进行密封。在透明树脂层7上，在与各个发光元件3～5相对应的位置形成有发光元件用透镜7A～7C。发光元件用透镜7A～7C形成为朝上方突起的大致半球形。
发光元件用透镜7A～7C的中心和发光元件3～5的安装位置一致。因此，来自发光元件3～5的光束的光轴沿着Z轴方向。另外，也可以通过错开发光元件用透镜7A～7C的中心和发光元件3～5的安装位置，从而使来自发光元件3～5的光束倾斜于Z轴方向。在此情况下，优选使来自发光元件3～5的光束的光轴向着三角形区域TA的外侧射出，以使得后述的相位差T21、T32变大。
在透明树脂层7上，在与感光元件6相对应的位置形成感光元件用透镜7D。感光元件用透镜7D也与发光元件用透镜7A～7C一样形成为半球形。感光元件用透镜7D使从外部射入的光集中到感光元件6。
发光元件用透镜7A～7C及感光元件用透镜7D与对发光元件3～5及感光元件6进行密封的透明树脂层7形成为一体，但也可以与透明树脂层7分开设置。
接着，对与发光元件3～5及感光元件6相连接的信号处理电路11进行说明。
如图4所示，信号处理电路11具有发光元件驱动部12、光检测信号放大部13、滤波部14以及运算处理部15。
发光元件驱动部12以与运算处理部15协作的方式来构成发光控制单元。发光元件驱动部12与发光元件3～5相连接，并根据来自运算处理部15的控制信号来输出发光信号St1～St3。具体而言，发光元件驱动部12将用于使发光元件3～5发光的驱动电流提供给发光元件3～5。
光检测信号放大部13与感光元件6相连接，对由感光元件6所提供的光检测信号S0进行电流－电压转换，且对经电流－电压转换后的光检测信号S0进行放大。滤波部14与光检测信号放大部13的后级相连接，并从由光检测信号放大部13所输出的光检测信号S0中除去噪声。
然后，信号处理电路11利用发光元件驱动部12来驱动发光元件3～5，并利用光检测信号放大部13和滤波部14，将与来自被检测物体Obj的反射光相对应的光检测信号S0输出到运算处理部15。
运算处理部15例如是微机处理器，进行如下处理或控制：对发光元件3～5的发光进行控制的处理、从光检测信号S0分离出与发光元件3～5相对应的3个反射光信号Sr1～Sr3的处理、根据3个反射光信号Sr1～Sr3来检测被检测物体Obj的存在或移动的处理、以及对光传感器1的整体控制等。
具体而言，运算处理部15将用于控制发光元件3～5的检测光强度或时序的控制信号提供给发光元件驱动部12，以对应于该控制信号的方式来使发光元件3～5发光。此处，发光元件驱动部12分别向发光元件3～5提供脉冲状的驱动电流，以作为发光信号St1～St3。发光信号St1～St3的脉冲具有一定的发光间隔T0，且每个发光元件3～5以不同的时序进行输出。由此，发光元件3～5分别以脉冲发光且分时的方式进行发光(参照图5)。
另外，只要发光元件3～5分时地进行脉冲发光即可。因此，例如在发光元件3停止发光的同时，下一个发光元件4开始发光即可。
另外，运算处理部15执行图6所示的程序。在该程序中，按照下面所示的步骤来确定被检测物体Obj的移动方向。
在步骤1中，读取出从感光元件6经由光检测信号放大部13及滤波部14而提供的光检测信号S0。在步骤2中，从光检测信号S0分离出3个反射光信号Sr1～Sr3。
此处，由于发光元件3～5以互不相同的时序进行分时发光，所以对于发光元件3～5的每个发光时刻，都会对来自各发光元件3～5的光经被检测物体Obj反射后的反射光进行感光。因此，通过从光检测信号S0获取与发光信号St1～St3同步的3个信号，能够分离出基于分别来自发光元件3～5的光的反射光的信号。
因此，运算处理部15在发光元件3～5的每个发光时刻获取光检测信号S0，且分离出与发光元件3～5的反射光相对应的3个反射光信号Sr1～Sr3。此时，反射光信号Sr1～Sr3相当于对在每个发光时刻提取出的脉冲状的光检测信号S0进行包络线检波后得到的信号。
在此情况下，由于利用1个感光元件6能够检测出各个发光元件3～5的反射光，因此，能够减少感光元件6的个数，且能够减少元器件的个数并降低制造成本。
在接下去的步骤3中，运算出反射光信号Sr1、Sr2之间的相位差T21，在步骤4中，运算出反射光信号Sr2、Sr3之间的相位差T32。此时，根据反射光信号Sr1～Sr3的波形整体之差，来运算相位差T21、T32。然后，在步骤5中，根据这些相位差T21、T32，来确定被检测物体Obj的移动方向。
接着，参照附图7对图6中的步骤3所示的相位差T21的运算处理进行说明。
在步骤11中，根据反射光信号Sr1、Sr2，确定波形的开始时刻t0和结束时刻t1，从而作为用于计算波形整体的差分的范围。此处，将反射光信号Sr2中大于规定阈值的上升沿时刻设为开始时刻t0，反射光信号Sr2中小于规定阈值的下降沿时刻设为结束时刻t1，以此为例进行说明。
另外，开始时刻t0和结束时刻t1并不仅限于上述情况，例如也可以设定为反射光信号Sr1的上升沿时刻和下降沿时刻。另外，可以根据反射光信号Sr1、Sr2之中上升沿时刻和下降沿时刻的时间差较大的那个反射光信号，来设定开始时刻t0和结束时刻t1，也可以根据上升沿时刻和下降沿时刻的时间差较小的那个反射光信号，来设定开始时刻t0和结束时刻t1。而且，可以根据反射光信号Sr1、Sr2之中上升沿时刻较早的那个反射光信号，来设定开始时刻t0和结束时刻t1。另外，在能够预测被检测物体Obj的大小或移动速度的情况下，可据此来预先设定开始时刻t0和结束时刻t1的时间差。
在步骤12中，根据反射光信号Sr1、Sr2，确定反射光信号Sr2的波形向负方向侧或正方向侧偏移的最大值(±x0)，以作为相位差T21的检测范围。偏移量x的最大值(±x0)例如根据反射光信号Sr2的波形的开始时刻t0和结束时刻t1的时间差来设定。偏移量x的最大值(±x0)例如可以是与反射光信号Sr2的波形的开始时刻t0和结束时刻t1的时间差相同程度的值，也可以是其一半左右的值。
另外，偏移量的最大值(±x0)例如可以设定为比反射光信号Sr2的波形的开始时刻t0和结束时刻t1的时间差要小的值，也可以设定为比其要大的值。另外，偏移量的最大值(±x0)也可以根据反射光信号Sr1的波形来设定。只要偏移量的最大值(±x0)能够以试验的方式进行预测，则可以根据基于试验得到的值来预先设定偏移量的最大值(±x0)。
在步骤13中，将偏移量x的初始值设定为负的最大值(－x0)。在步骤14中，使用下面数学式1所示的函数Zd1(x)，使反射光信号Sr2在时间上偏移一偏移量x，在此状态下，运算反射光信号Sr2与反射光信号Sr1之间的差分的平方和。另外，函数Zd1(x)用于运算离散值的总和，但也可以用于运算连续值的积分。
[数学式1]
Zd 1 ( x ) = Σ t = t 0 t 1 ( Sr 2 ( t - x ) - Sr 1 ( t ) ) 2
在接下去的步骤15中，使偏移量x增大预先设定好的规定值⊿x(⊿x＞0),在步骤16中，判定偏移量x是否大于正的最大值(+x0)。规定值⊿x相当于相位差T21的检测间隔，且设定为小于最大值(+x0)的值。
然后，当在步骤16中判定为“否”时，重复步骤14、15的处理。另一方面，当在步骤16中判定为“是”时，由于偏移量x变得大于正的最大值(+x0)，因此，转移至步骤17，将函数Zd1(x)为最小的偏移量x21作为相位差T21来输出。
接着，参照附图8对图6中的步骤4所示的相位差T32的运算处理进行说明。
相位差T32的运算处理所涉及的步骤21～27与相位差T21的运算处理所涉及的步骤11～17基本相同。因此，在步骤21中，根据反射光信号Sr2、Sr3，确定波形的开始时刻t0和结束时刻t1，从而作为用于计算波形整体的差分的范围。在步骤22中，根据反射光信号Sr2、Sr3，确定反射光信号Sr2的波形向负方向侧或正方向侧偏移的最大值(±x0)，以作为相位差T32的检测范围。在步骤21、22中，例如设定与步骤11、12等值的时刻t0、t1和偏移量x的最大值(±x0)。
在步骤23中，将偏移量x的初始值设定为负的最大值(－x0)。在步骤24中，使用下面数学式2所示的函数Zd2(x)，使反射光信号Sr3在时间上偏移一偏移量x，在此状态下，运算反射光信号Sr3与反射光信号Sr2之间的差分的平方和。另外，函数Zd2(x)用于运算离散值的总和，但也可以用于运算连续值的积分。
[数学式2]
Zd 2 ( x ) = Σ t = t 0 t 1 ( Sr 3 ( t - x ) - Sr 2 ( t ) ) 2
在接下去的步骤25中，使偏移量x增大预先设定好的规定值⊿x(⊿x＞0),在步骤26中，判定偏移量x是否大于正的最大值(+x0)。然后，当在步骤26中判定为“否”时，重复步骤24、25的处理。另一方面，当在步骤26中判定为“是”时，转移至步骤27，将函数Zd2(x)为最小的偏移量x32作为相位差T32来输出。
另外，为了提高相位差T21、T32的精度，优选将作为波形范围的开始时刻t0和结束时刻t1的时间差、以及作为偏移量x的范围的最大值(±x0)设定为尽可能大的值，或者优选将规定值⊿x设定为尽可能小的值。然而，随着波形范围和偏移量x的范围变大、规定值⊿x变小，运算量会增大，且处理速度会降低。因此，在相位差T21、T32的精度所允许的范围内，将积分的范围和偏移量x的范围设定为尽可能小的值，将规定值⊿x设定为尽可能大的值。
接着，参照附图9至图12对图6中的步骤5所示的移动方向的确定处理进行说明。
在步骤31中，基于下面的数学式3的公式，求出相位差T21和相位差T32的比率f(θ)。
[数学式3]
f ( θ ) = T 32 T 21
在接下去的步骤32中，通过将相位差T21和T32的比率f(θ)应用于图12所示的映射M，从而确定被检测物体Obj的移动方向。
此处，对映射M的具体生成方法进行说明。如图10所示，例如在圆周上配置发光元件3～5，且将相对于圆周中心的右侧位置设为0°，此时，将发光元件3配置于180°的位置，将发光元件4配置于90°的位置，且将发光元件5配置于0°的位置。假定被检测物体Obj的移动速度为匀速，设定被检测物体Obj向着0°方向前进，且设定光传感器1旋转时的角度为θ。若角度θ发生变化，则发光元件3、4之间在0°方向上的距离L21和发光元件4、5之间在0°方向上的距离L32以几何学的方式发生变化。另外，若假定被检测物体Obj匀速地移动，则距离La、Lb能够根据被检测物体Obj移动时所需的时间(相位差T21、T32)来预测。
在此情况下，距离L21、L32的比率与数学式3的公式所示的比率f(θ)一致，且如下述的数学式4所示的那样，成为在几何学上以角度θ为变量的函数。
[数学式4]
f ( θ ) = T 32 T 21 = L 32 L 21 = - cos ( θ ) - sin ( θ ) - cos ( θ ) + sin ( θ )
该比率f(θ)与角度θ之间的关系如图11所示那样。若分为距离L21为正的情况(L21﹥0)和距离L21为负的情况(L21﹤0)，则角度θ与比率f(θ)一一对应。因此，根据比率f(θ)，能够求出被检测物体Obj的移动方向的角度θ。
为了简单化，图12所示的映射M是利用比率f(θ)的范围且以30°刻度求出角度θ而得到的映射。此处，正侧的第一阈值f1是角度θ为165°或345°的情况下的比率f(θ)，负侧的第一阈值(－f1)是角度θ为105°或285°的情况下的比率f(θ)。正侧的第二阈值f2是角度θ为15°或195°的情况下的比率f(θ)，负侧的第二阈值(－f2)是角度θ为75°或255°的情况下的比率f(θ)。
如上所述，以在圆周上在规定的角度位置配置发光元件3～5的情况为例进行说明，但这些角度位置可以适当设定。另外，发光元件3～5也并非必须配置在圆周上，能够配置在基板2上的任意位置。而且，可以不使用映射M，而直接使用数学式4的公式来倒算角度θ。
接着，利用图13至图19，来说明利用光传感器1所检测出的被检测物体Obj的检测动作。
若驱动光传感器1，则发光元件3～5向着基板2的上方射出光。在该状态下，若手或手指等被检测物体Obj通过基板2的上方，则被检测物体Obj将遮住发光元件3～5的光路。由此，被检测物体Obj对来自发光元件3～5的光进行反射。由感光元件6来接收该反射光，感光元件6输出与反射光的强度相对应的电流来作为光检测信号S0。
运算处理部15从来自感光元件6的光检测信号S0分离出3个反射光信号Sr1～Sr3，并运算出它们的相位差T21、T32。然后，运算处理部15根据2个相位差T21、T32，来确定被检测物体Obj的移动方向、位置、移动速度等。
移动方向等的确定方法如下所述。此处，以手指作为被检测物体Obj为例来进行说明。如图13及图14所示，当被检测物体Obj沿着X轴方向移动时，被检测物体Obj依次通过发光元件3、4、5的上方。因此，按照反射光信号Sr1、Sr2、Sr3的顺序依次产生峰值，所以相位差T21、T32也成为与这样的峰值产生顺序相对应的值。其结果是，根据相位差T21、T32，能够检测出被检测物体Obj是沿着X轴方向移动，且能够检测出被检测物体Obj的移动速度。
另一方面，如图15及图16所示，当被检测物体Obj沿着Y轴方向移动时，被检测物体Obj依次通过发光元件5、3、4的上方。此时，由于相位差也成为与该通过顺序相对应的值，所以根据相位差T21、T32，能够检测出被检测物体Obj是沿着Y轴方向移动，且能够检测出被检测物体Obj的移动速度。
如图17至图19所示，反射光信号Sr1～Sr3的大小会随着被检测物体Obj在Z轴方向上的位置而发生变化。即，当被检测物体Obj配置于靠近光传感器1的位置时，反射光变强，反射光信号Sr1～Sr3也变大。另一方面，当被检测物体Obj配置于远离光传感器1的位置时，反射光变弱，反射光信号Sr1～Sr3也变小。因此，根据反射光信号Sr1～Sr3的大小，能够检测出Z轴方向上的位置，并且根据反射光信号Sr1～Sr3大小的变化，能够检测出被检测物体Obj是沿着Z轴方向移动，且能够检测出被检测物体Obj的移动速度。
另外，作为发光元件3～5，若使用例如VCSEL那样具有较高分辨率的元件，则反射光信号Sr1～Sr3的大小会随着被检测物体Obj表面的凹凸而变化。因此，如图20及图21所示，当例如作为被检测物体Obj的手沿着X轴方向移动时，随着手指等的凹凸，反射光信号Sr1～Sr3的大小会发生变化，反射光信号Sr1～Sr3上会产生多个峰值。
另一方面，如图22所示，当例如以手作为被检测物体Obj时，有时被来自发光元件3～5的光照射的部分的形状对于每个发光元件3～5是不同的。在图22所示的示例中，来自发光元件3、5的光照射到食指、中指、无名指、小拇指这4个手指上，而来自发光元件4的光仅照射到除了小拇指以外的其他3个手指上。在此情况下，如图23所示，反射光信号Sr1、Sr3和反射光信号Sr2各自的峰值数不同。因此，在利用反射光信号Sr1～Sr3的峰值、上升沿、下降沿等时，有时无法求出正确的相位差T21、T32。
与此相对地，在第一实施方式所涉及的光传感器1中，根据反射光信号Sr1～Sr3的波形整体之差，来求出相位差T21、T32。例如图23所示的反射光信号Sr1～Sr3，偏移量x与反射光Sr1、Sr2的差分的平方和的函数Zd1(x)之间的关系如图24所示的那样。此时，由于函数Zd1(x)的极小值只有1个，所以检测出与该极小值相对应的偏移量x21来作为相位差T21。如图25中的双点划线所示，可知：若使反射光信号Sr2偏移一偏移量x21，则反射光信号Sr1、Sr2的波形相互对应。
另一方面，偏移量x与反射光信号Sr2、Sr3的差分的平方和的函数Zd2(x)之间的关系如图26所示的那样。此时，由于函数Zd2(x)的极小值有2个，所以检测出其中与最小的极小值相对应的偏移量x32来作为相位差T32。如图27中的双点划线所示，可知：若使反射光信号Sr3偏移一偏移量x32，则反射光信号Sr2、Sr3的波形相互对应。另外，与剩下的极小值相对应的偏移量x是与偏移1个手指的位置相对应的值。
由此，在第一实施方式中，即使在反射光信号Sr1～Sr3的波形互不相同的情况下，也能够求出正确的相位差T21、T32。其结果是，不仅限于X轴方向或Y轴方向，即使移动方向倾斜于X轴方向或Y轴方向，也能够正确地进行检测。
另外，图6中的步骤1、2示出了反射光信号获取单元的具体示例，图6中的步骤3、4、图7中的步骤13～17、图8中的步骤23～27示出了相位差运算单元的具体示例，图6中的步骤5示出了移动方向确定单元的具体示例。
接着，利用图4、图28和图29来说明本发明的第二实施方式。在第二实施方式中，根据3个反射光信号的相互关联来求出相位差。在第二实施方式中，对于与第一实施方式相同的结构要素标注相同的符号，并省略对其的说明。
第二实施方式所涉及的光传感器21的结构与第一实施方式所涉及的光传感器1基本相同。因此，在基板2上设置有3个发光元件3～5和感光元件6，并且安装有信号处理电路22。信号处理电路22的结构与第一实施方式所涉及的信号处理电路11基本相同，具有发光元件驱动部12、光检测信号放大部13、滤波部14以及运算处理部15。
第二实施方式所涉及的运算处理部15的结构与第一实施方式相同，执行图6所示的程序，从而确定被检测物体Obj的移动方向。在图6的步骤3、4中，第二实施方式所涉及的运算处理部15根据反射光信号Sr1～Sr3的相互关联求出相位差T21、T32。
接着，参照图28来说明第二实施方式所涉及的相位差T21的运算处理。
在步骤41中，根据反射光信号Sr1、Sr2，确定波形的开始时刻t0和结束时刻t1，从而作为用于计算波形相关性的范围。在步骤42中，根据反射光信号Sr1、Sr2，确定反射光信号Sr2的波形向负方向侧或正方向侧偏移的最大值(±x0)，以作为相位差T21的检测范围。
在步骤43中，将偏移量x的初始值设定为负的最大值(－x0)。在步骤44中，使用下面数学式5所示的函数Zc1(x)，使反射光信号Sr2在时间上偏移一偏移量x，在此状态下，运算与反射光信号Sr2的积和。此时，函数Zc1(x)是反射光信号Sr1和Sr2之间的相关函数。另外，函数Zc1(x)用于运算离散值的总和，但也可以用于运算连续值的积分。
[数学式5]
Zc 1 ( x ) = Σ t = t 0 t 1 Sr 1 ( t ) × Sr 2 ( x + t )
在接下去的步骤45中，使偏移量x增大预先设定好的规定值⊿x(⊿x＞0),在步骤46中，判定偏移量x是否大于正的最大值(+x0)。然后，当在步骤46中判定为“否”时，重复步骤44、45的处理。另一方面，当在步骤46中判定为“是”时，转移至步骤47，将函数Zc1(x)为最大的偏移量x21作为相位差T21来输出。
接着，参照图29来说明第二实施方式所涉及的相位差T32的运算处理。
在步骤51中，根据反射光信号Sr2、Sr3，确定波形的开始时刻t0和结束时刻t1，从而作为用于计算波形相关性的范围。在步骤52中，根据反射光信号Sr2、Sr3，确定反射光信号Sr2的波形向负方向侧或正方向侧偏移的最大值(±x0)，以作为相位差T32的检测范围。
在步骤53中，将偏移量x的初始值设定为负的最大值(－x0)。在步骤54中，使用下面数学式6所示的函数Zc2(x)，使反射光信号Sr3在时间上偏移一偏移量x，在此状态下，运算与反射光信号Sr2的积和。此时，函数Zc2(x)是反射光信号Sr2和Sr3之间的相关函数。另外，函数Zc2(x)用于运算离散值的总和，但也可以用于运算连续值的积分。
[数学式6]
Zc 2 ( x ) = Σ t = t 0 t 1 Sr 2 ( t ) × Sr 3 ( x + t )
在接下去的步骤55中，使偏移量x增大预先设定好的规定值⊿x(⊿x＞0),在步骤56中，判定偏移量x是否大于正的最大值(+x0)。然后，当在步骤56中判定为“否”时，重复步骤54、55的处理。另一方面，当在步骤56中判定为“是”时，转移至步骤57，将函数Zc2(x)为最大的偏移量x32作为相位差T32来输出。
由此，第二实施方式也能够获得与第一实施方式基本相同的作用和效果。另外，在第二实施方式中，图28中步骤43～47、图29中的步骤53～57示出了相位差运算单元的具体示例。
接着，利用图30来说明本发明的第三实施方式。在第三实施方式中，与3个发光元件相对应地设置3个感光元件。在第三实施方式中，对于与第一实施方式相同的结构要素标注相同的符号，并省略对其的说明。
在第三实施方式所涉及的光传感器31中，在基板2上安装有3个感光元件32～34。感光元件32位于发光元件3的附近，且对基于来自发光元件3的光的反射光进行感光。感光元件33位于发光元件4的附近，且对基于来自发光元件4的光的反射光进行感光。感光元件34位于发光元件5的附近，且对基于来自发光元件5的光的反射光进行感光。
在此情况下，发光元件3～5无需以脉冲发光的方式进行分时发光，可以是连续发光。
由此，第三实施方式也能够获得与第一实施方式基本相同的作用和效果。在此情况下，由于从3个感光元件32～34输出的光检测信号分别与反射光信号Sr1～Sr3相对应，因此3个感光元件32～34构成反射光信号获取单元的一部分。
另外，第三实施方式还能够适用于第二实施方式。在第三实施方式中，以具有3个感光元件32～34的情况为例进行了说明，但是也可以是具有2个感光元件的结构，或者也可以是具有4个以上感光元件的结构。
在上述各个实施方式中，以具有3个发光元件3～5的情况为例进行了说明，但也可以是具有4个以上发光元件的结构。
在上述各个实施方式中，构成为信号处理电路11、22安装于基板2，但信号处理电路11、22也可以与基板2分开设置。
在上述各个实施方式中，以使用反射光信号Sr1、Sr2之间的相位差T21和反射光信号Sr2、Sr3之间的相位差T32来确定被检测物体Obj的移动方向等的情况为例进行了说明。然而，本发明不仅限于此，例如可以使用反射光信号Sr1、Sr3之间的相位差T31，或者使用这3个相位差T21、T32、T31，来取代相位差T21、T32之中的任一个。
标号说明
1、21、31 光传感器
2 基板
2A 表面
3～5 发光元件
6、32～34 感光元件
11、22 信号处理电路
12 发光元件驱动部(发光控制单元)
15 运算处理部

Claims (6)

1.一种光传感器，具备：
基板；
安装于该基板的表面的至少3个发光元件；
控制该至少3个发光元件的发光动作的发光控制单元；以及
安装于所述基板的表面的至少1个感光元件，
利用所述感光元件对从所述发光元件射出的光经由被检测物体反射后的光进行感光，由此检测出该被检测物体的存在和移动，
该光传感器的特征在于，还具有：
反射光信号获取单元，该反射光信号获取单元利用所述感光元件对来自所述至少3个发光元件的光经由所述被检测物体反射后的光进行感光，根据从所述感光元件输出的光检测信号，获取与来自所述3个发光元件的光相对应的3个反射光信号；
相位差运算单元，该相位差运算单元根据3个所述反射光信号的波形整体之差或者相关性，求出各自的相位差；以及
移动方向确定单元，该移动方向确定单元根据至少2个所述相位差来确定所述被检测物体的移动方向，
所述相位差运算单元在求出2个所述反射光信号的相位差时，在使其中一个所述反射光信号在时间上偏移规定的偏移量的状态下，对其与另一个所述反射光信号之差的平方在整个波形内进行求和，将求得的加法值为最小的偏移量设为相位差。
2.如权利要求1所述的光传感器，其特征在于，
所述发光控制单元使所述至少3个发光元件分别以脉冲发光的方式进行分时发光。
3.如权利要求1所述的光传感器，其特征在于，
所述发光元件是垂直腔面发射激光器。
4.一种光传感器，具备：
基板；
安装于该基板的表面的至少3个发光元件；
控制该至少3个发光元件的发光动作的发光控制单元；以及
安装于所述基板的表面的至少1个感光元件，
利用所述感光元件对从所述发光元件射出的光经由被检测物体反射后的光进行感光，由此检测出该被检测物体的存在和移动，
该光传感器的特征在于，还具有：
反射光信号获取单元，该反射光信号获取单元利用所述感光元件对来自所述至少3个发光元件的光经由所述被检测物体反射后的光进行感光，根据从所述感光元件输出的光检测信号，获取与来自所述3个发光元件的光相对应的3个反射光信号；
相位差运算单元，该相位差运算单元根据3个所述反射光信号的波形整体之差或者相关性，求出各自的相位差；以及
移动方向确定单元，该移动方向确定单元根据至少2个所述相位差来确定所述被检测物体的移动方向，
所述相位差运算单元在求出2个所述反射光信号的相位差时，在使其中一个所述反射光信号在时间上偏移规定的偏移量的状态下，对2个所述反射光信号进行乘加运算，将求得的运算值为最大的偏移量设为相位差。
5.如权利要求4所述的光传感器，其特征在于，
所述发光控制单元使所述至少3个发光元件分别以脉冲发光的方式进行分时发光。
6.如权利要求4所述的光传感器，其特征在于，
所述发光元件是垂直腔面发射激光器。
CN201380015398.XA 2012-03-19 2013-03-06 光传感器 Expired - Fee Related CN104205020B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012061867 2012-03-19
JP2012-061867 2012-03-19
PCT/JP2013/056107 WO2013141021A1 (ja) 2012-03-19 2013-03-06 光センサ

Publications (2)

Publication Number Publication Date
CN104205020A CN104205020A (zh) 2014-12-10
CN104205020B true CN104205020B (zh) 2016-12-28

Family

ID=49222483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380015398.XA Expired - Fee Related CN104205020B (zh) 2012-03-19 2013-03-06 光传感器

Country Status (5)

Country Link
US (1) US9476901B2 (zh)
EP (1) EP2829951B1 (zh)
JP (1) JP5765483B2 (zh)
CN (1) CN104205020B (zh)
WO (1) WO2013141021A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6607709B2 (ja) * 2015-06-08 2019-11-20 ローム株式会社 近接センサ
JP6753653B2 (ja) * 2015-06-23 2020-09-09 ローム株式会社 近接センサ及びそれを用いた電子機器
FR3053135B1 (fr) * 2016-06-27 2018-08-10 Valeo Comfort And Driving Assistance Dispositif de detection de gestes
FR3053136A1 (fr) * 2016-06-27 2017-12-29 Valeo Comfort & Driving Assistance Dispositif de detection de gestes
WO2018133084A1 (en) * 2017-01-23 2018-07-26 Shenzhen Genorivision Technology Co. Ltd. A laser radar
TWI662482B (zh) * 2017-06-28 2019-06-11 緯創資通股份有限公司 手勢識別方法以及手勢識別模組
US11157111B2 (en) * 2017-08-29 2021-10-26 Sony Interactive Entertainment LLC Ultrafine LED display that includes sensor elements
AT522115A1 (de) * 2019-01-24 2020-08-15 Zactrack Gmbh Bühnentechnische Vorrichtung und Verfahren zur Bestimmung einer Korrelationsfunktion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955898A (zh) * 2005-10-07 2007-05-02 夏普株式会社 遥控系统以及使用该遥控系统的显示装置和电子设备
CN102345838A (zh) * 2010-07-22 2012-02-08 罗姆股份有限公司 照明设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3240941B2 (ja) * 1996-11-18 2001-12-25 松下電器産業株式会社 手振り検出方法及び装置
JP2891955B2 (ja) * 1997-02-14 1999-05-17 日本電気移動通信株式会社 Ｌｃｄ表示装置
CN1227617C (zh) * 2000-11-06 2005-11-16 皇家菲利浦电子有限公司 测量输入装置运动的方法和输入设置
EP1716476B1 (en) * 2004-02-09 2015-05-20 Koninklijke Philips N.V. Optical input device based on doppler shift and laser self-mixing
JP2007003355A (ja) * 2005-06-23 2007-01-11 Shinku Rei:Kk パルス光伝播時間計測装置および仮想マウス等の応用装置
US20070080940A1 (en) * 2005-10-07 2007-04-12 Sharp Kabushiki Kaisha Remote control system, and display device and electronic device using the remote control system
US8253768B2 (en) * 2005-12-09 2012-08-28 Ricoh Company, Ltd. Optical scanner and image forming apparatus
JP4912071B2 (ja) * 2006-08-04 2012-04-04 株式会社リコー 光走査装置、光走査方法、画像形成装置、カラー画像形成装置、プログラム、記録媒体
EP2068212A1 (fr) * 2007-12-06 2009-06-10 The Swatch Group Research and Development Ltd. Objet portable tel qu'une pièce d'horlogerie comprenant des moyens d'enclenchement d'une fonction de commande électronique
WO2010125492A1 (en) * 2009-04-29 2010-11-04 Koninklijke Philips Electronics N.V. A laser diode based multiple-beam laser spot imaging system for characterization of vehicle dynamics
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8810524B1 (en) * 2009-11-20 2014-08-19 Amazon Technologies, Inc. Two-sided touch sensor
JP2011227574A (ja) 2010-04-15 2011-11-10 Rohm Co Ltd 演算装置、動き検出装置、電子機器
KR101146454B1 (ko) 2010-07-29 2012-05-18 엘지엔시스(주) 매체의 자기성분 검출방법 및 그를 이용한 매체인식방법과 매체인식장치
JP2012173029A (ja) * 2011-02-18 2012-09-10 Seiko Epson Corp 光学式位置検出装置および入力機能付き表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955898A (zh) * 2005-10-07 2007-05-02 夏普株式会社 遥控系统以及使用该遥控系统的显示装置和电子设备
CN102345838A (zh) * 2010-07-22 2012-02-08 罗姆股份有限公司 照明设备

Also Published As

Publication number Publication date
US20150006106A1 (en) 2015-01-01
US9476901B2 (en) 2016-10-25
EP2829951A4 (en) 2015-05-06
CN104205020A (zh) 2014-12-10
WO2013141021A1 (ja) 2013-09-26
JP5765483B2 (ja) 2015-08-19
EP2829951B1 (en) 2017-11-01
JPWO2013141021A1 (ja) 2015-08-03
EP2829951A1 (en) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104205020B (zh) 光传感器
CN1702433B (zh) 光学式编码器
EP1980824A1 (en) Absolute position length-measurement type encoder
KR20180113525A (ko) 다중 경로 오차를 검출하기 위한 비행 시간 거리 측정 디바이스 및 방법
EP1772703A3 (en) Position detecting device and inclination sensor device of surveying apparatus using the same, and position measuring method
US9766054B2 (en) Planar motor rotor displacement measuring device and its measuring method
ATE504862T1 (de) Verfahren zum erkennen von überlagerungsfehlern mittels scatterometrie
EP2972471A1 (en) Lidar scanner
CN105814408B (zh) 编码器设备和编码器读头
US9116163B2 (en) Displacement measuring apparatus
JP6126231B2 (ja) 計測器
EP1868066A3 (en) Optimization of statistical movement measurement for optical mouse, with particular application to laser-illuminated surfaces
US10481089B2 (en) Optical detection system with tilted sensor
CN104205027B (zh) 光传感器
WO2010042508A3 (en) Systems and methods for a digital stringed instrument
US20200208961A1 (en) Digital displacement sensor and displacement measuring method thereof
TWI575248B (zh) 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
DE602007001634D1 (de) Verfahren zum Optimieren der Messzeit für den Sensor einer optischen Maus
US8102371B2 (en) Calibration method of projection effect
KR20120080553A (ko) 공간 상을 이동하는 물체의 위치 측정 시스템 및 방법
WO2006092300A3 (de) Sensoranordnung zur optischen kantendetektierung einer ware und verfahren zur breitenmessung
CN103809186B (zh) 路缘检测系统、方法、装置及工程机械
JP2005322748A5 (zh)
Designs LIDAR Pulsed Time of Flight Reference Design
RU2521203C1 (ru) Способ обнаружения объектов, измерения скорости, дальности и угловых координат и устройство для его осуществления

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161228