CN109596091B - 测距传感器 - Google Patents

测距传感器 Download PDF

Info

Publication number
CN109596091B
CN109596091B CN201811115050.9A CN201811115050A CN109596091B CN 109596091 B CN109596091 B CN 109596091B CN 201811115050 A CN201811115050 A CN 201811115050A CN 109596091 B CN109596091 B CN 109596091B
Authority
CN
China
Prior art keywords
light
light receiving
tof
partial space
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811115050.9A
Other languages
English (en)
Other versions
CN109596091A (zh
Inventor
平松卓磨
清水隆行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109596091A publication Critical patent/CN109596091A/zh
Application granted granted Critical
Publication of CN109596091B publication Critical patent/CN109596091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种兼顾低耗电化以及小型、低成本化的测距传感器。实施方式所涉及的TOF测距传感器(2)具备：发光单元(20)，其向部分空间(ds)照射光束(Lout)；受光单元(21)，其在按照每部分空间(ds)分配的受光元件(213)上成像并接收光；及空间控制部(22)，其按照每元件组独立地进行控制，所述元件组包含按照共用的部分空间(ds)分配的发光元件(203)和受光元件(213)。

Description

测距传感器
技术领域
本发明涉及一种测定对象物的距离的测距传感器，特别涉及一种能够适用于移动设备的TOF(Time-Of-Flight、飞行时间)方式的测距传感器。
背景技术
关于智能电话等移动设备中内置的相机的自动对焦(AF：Auto Focus)控制，通常为利用实际的图像对比度设定焦点的现有方式(CDAF：Contrast Detection AF、对比度检测自动对焦)、或者使用了将视差运算专用像素与RGB像素一同集成化而成的成像装置PDAF(Phase Detection AF、相位检测自动对焦)方式。除此之外，采用在暗处也能够工作的TOF(Time Of Flight)方式的测距传感器，辅助更高速的AF动作的方式被投入实际使用。能够安装于智能电话的小型且低耗电的TOF测距传感器对于无人机等自动化、无人化机器人技术领域中的防碰撞用途也极为有用。
此外，对二维图像赋予深度信息(距离信息)而使三维空间投影成为可能实现的深度相机或三维相机(3D相机)成为，面向使用了VR/AR(Virtual Reality/AugmentedReality、虚拟现实/增强现实)、MR(Mixed Reality、混合现实)或SLAM(SimultaneousLocalizationand Mapping、即时定位地图构建)技术的新用户界面的关键设备，但用于实现其的途径如下所述涉及方方面面。
首先，作为以通常的RGB相机为基础的系统，可举出：根据两台相机的视差进行立体匹配，在提取了对象物的基础上向距离图进行逆运算的系统；或者根据用一台相机对投射于对象物的图案光(structured light)进行观测的图像的失真，对距离图进行逆运算的系统。当然，这些系统的运算成本相当大。
此外，在成为VR技术的先驱的放置型游戏主机领域，对红外线进行正常地幅度调制(CW-AM)并向整个空间照射，以像素单位提取反射光的相位差的TOF方式专用的成像装置、即所谓的TOF相机正在被投入使用(有时与RGB相机组合而被称为RGBD(RGB+Depth)相机。)。
另一方面，作为面向军事或车载用途的LIDAR(Light Detection and Ranging、激光探测与测量)，在要求在室外相对为长距离、高精度的测距性能的情况下，迄今使用的是将收发信号视野低至数mrad以下会易于排除环境光的一维测距传感器进行机械扫描的结构。在该情况下，基于TOF方式实施的测距能够在1次拍摄中以极短时间结束，但在生成三维空间的投影数据时帧频显着降低。
此外，最近，通过专用设计成如下TOF成像装置，从而推进深度相机的低耗电化和高像素化，该TOF成像装置为以由MEMS微镜实现的高速投影技术实现上述图案光的扫描图案生成部、或发送光的机械扫描部，使接收系统与其同步工作(例如专利文献1)。
然而，特别是在光无线通信的领域中，寻求基于空分复用的高速化、低耗电化的提案迄今为止也有很多(例如专利文献2)。这是通过使受光元件阵列化而成为焦平面阵列发挥功能，从而使各像素的视野狭窄化，由此寻求S/N的提高。这些发明，对于包含作为集线器而发挥功能的主站(基站)的比较昂贵且大规模的光收发系统而言是有用的技术，但由于需要包含收纳的终端节点地安装特定的硬件和共用的通信协议，因此限定于特定用途而并未正式普及。
现有技术文献
专利文献
专利文献1：日本特开2014-59301号公报(2014年4月3日公开)
专利文献2：日本特表2004-503175号公报(2004年1月29日公开)
发明内容
本发明所要解决的技术问题
由于下述的理由，如上所述的现有的三维空间投影系统处于实质上难以向智能电话等移动设备(便携式终端)推广的状况，并成为对VR/AR或MR这样的技术的普及的障碍之一。
例如，在使用基于RGB相机的基本运算的系统而生成全深度图的情况下，前提在于整个空间被随时照明。此外，在使用结构光方式的情况下，为了不影响RGB相机而将红外线作为照射光，并需要TOF专用的高像素红外线成像装置。如果包含在暗处的使用的情况，则在任何情况下均必须向整个空间照射光，因此为了以通常的视频帧频(30fps/60fps)更新深度图所需的总耗电很容易到达数W的级别。
图案光照射系统的系统小型化、低耗电化随着基于MEMS微镜的光投影技术得以推进，但应对高速帧频依然困难，系统整体复杂化并且构成部件的件数增大导致的高成本化也无法避免。此外，当然从尺寸方面的制约出发，需要机械扫描的系统不适用于移动设备。
如此，尚未实现为了在VR/AR空间中将对象物的深度信息反馈至移动设备而适于使用的三维相机系统。
本发明的一个方式是鉴于上述一系列的问题点而做成的，提供一种与搭载于移动设备的RGB相机模块进行协同工作并兼顾低耗电化和小型、低成本化的TOF方式的测距传感器。
解决问题的手段
为了解决上述问题，本发明的一个方式的测距传感器为TOF方式的测距传感器，所述TOF方式的测距传感器与相机模块进行协同工作，计测向空间照射的射束被对象物反射而往复的时间，生成用于与所述相机模块取得的图像信息组合而生成三维位置信息的所述对象物的距离信息，所述测距传感器至少具备：发光单元，其具有面状配置的多个发光元件，通过发光透镜系统将来自按照每部分空间分配的所述发光元件的光形成射束而向所述空间分割成的各部分空间进行照射；受光单元，其具有面状配置的多个受光元件，通过受光透镜系统使来自所述各部分空间的反射光在按照每所述部分空间分配的所述受光元件上成像并接收光；及空间控制部，其按照每个元件组独立地进行控制，所述元件组包含按照共用的所述各部分空间分配的所述发光元件和所述受光元件，还具有TOF信号处理部，所述TOF信号处理部以比所述发光单元具有的所述发光元件的数量更少的信道数并行地进行TOF信号处理，取得所述距离信息，所述TOF信号处理部取得与所述信道数相等数量或者比所述信道数更少数量的所述距离信息；所述空间控制部设定基于所述图像信息而预先指定的包含一个或多个所述部分空间的部分空间群，所述TOF信号处理取得与所述部分空间群相关的所述距离信息；所述受光单元具有的所述受光元件的数量为所述发光单元具有的所述发光元件的数量的倍数，所述受光元件的各受光元件以所述倍数的单位构成为单位元件，所述测距传感器还具有移动方向推断部，所述移动方向推断部基于构成所述单位元件的所述受光元件接收的反射光的光量变化，推断所述对象物的移动方向。
发明效果
根据上述结构，能够实现这样的效果：提供一种与搭载于移动设备的相机模块协同工作并兼顾低耗电化以及小型、低成本化的TOF方式的测距传感器。
附图说明
图1为示出本发明的第一实施方式的三维相机系统的概略结构的立体图。
图2的(a)和(b)为示出图1所示的TOF测距传感器的工作中的状态的示意图。
图3的(a)～(e)为用于说明图2所示的TOF测距传感器的生成距离信息的方法的一例的示意图。
图4为用于说明图2所示的TOF测距传感器的信号处理的流程的俯视图。
图5的(a)和(b)为示出本发明的第二实施方式的TOF测距传感器的工作中的状态的示意图。
图6为示出图5所示的TOF测距传感器的电路模块结构的俯视图。
图7的(a)和(b)为示出图6所示的受光元件阵列的详细结构的俯视图。
具体实施方式
[第一实施方式]
以下，基于图1～图4对本发明的实施方式如下所述进行说明。在本实施方式中，说明具有本发明的测距传感器的三维相机系统的一例。
[三维相机系统的内容]
首先，参照图1，说明本实施方式的三维相机系统的内容。图1为示出本实施方式的三维相机系统的概略结构的立体图。本实施方式的三维相机系统搭载于智能电话、智能眼镜、头戴式显示器、或者它们的扩展设备等移动设备(便携式终端)。
三维相机系统具备TOF测距传感器(测距传感器)2、以及RGB相机模块(相机模块)3。三维相机系统对由RGB相机模块3摄像的对象物(测定对象物)的二维摄像数据(图像信息)赋予由TOF测距传感器2生成的对象物的距离信息(深度信息)，从而生成三维图像(三维位置信息)。
TOF测距传感器2为能够通过通信部25与RGB相机模块3协同地工作的TOF(Time-of-Flight)方式的测距传感器。TOF测距传感器2通过对存在于照射有照射光(通常为脉冲光)的空间(照射空间)的对象物所反射的反射光接收，检测出光的飞行时间(延迟时间)，从而测定从TOF测距传感器2至对象物的距离。
RGB相机模块3为搭载于移动设备的标准的相机模块。RGB相机模块3至少包含：多个摄像元件(像素)311配置为面状(矩阵状)的APS(Active Pixel Sensor、有源像素传感器)31、摄像透镜系统32以及ISP(Image Signal Processor、图像信号处理器)33。作为RGB相机模块3能够使用：安装有APS(摄像元件阵列)31和摄像透镜系统32的RGB相机模块、除此以外还合并了ISP33的RGB相机模块、或者APS31和ISP33被CSP(Chip-Size Package、芯片尺寸封装)化的RGB相机模块等各种结构的RGB相机模块，包含这些的图像处理系统整体构成三维相机系统。
在移动设备中，RGB相机模块3和显示器(未图示)等设备通常按照MIPI协议连接至主机(主控)系统1的应用处理器4。同样，对于TOF测距传感器2，也可以与应用处理器4直接连接。或者，也可通过用于三维图像生成的专用处理器(未图示)而连接至应用处理器4。在该情况下，RGB相机模块3的APS31、ISP33、以及TOF测距传感器2中任一者均连接于所述专用处理器从而互相连接。
此外，本实施方式的TOF测距传感器2的输出数据的特征在于与RGB相机模块3的输出数据相比为小规模，因此可以按照I2C、I3C或SPI等通常的串行通信协议将TOF测距传感器2连接至ISP33、所述专用处理器或应用处理器4。不论在何种情况下，只要TOF测距传感器2能够通过通信部25与RGB相机模块3的图像处理系统协同即可。另外，本发明中所谓的这些协同工作还包含另外的重要含义，其详情将另行后述。
[TOF测距传感器的详情]
接着，参照图2说明本实施方式的TOF测距传感器2的结构及工作。图2的(a)和(b)为示出图1所示的TOF测距传感器2的工作中的状态的示意图。如图2的(a)和(b)所示，TOF测距传感器2至少包含：发光单元20、受光单元21、空间控制部22、发光元件驱动部23、TOF信号处理部24以及通信部25。
(TOF测距传感器的结构)
首先，说明TOF测距传感器2的结构的一例。该TOF测距传感器2应用了空分复用技术。TOF测距传感器2向将空间s分割成多个的各部分空间ds照射各光束(射束)Lout。然后，TOF测距传感器2构成为：能够对被任意对象物反射而往复的反射光Lin分别进行角度分辨并接收，能够按照每个各部分空间ds输出到对象物的距离信息。
在图中，示出两个部分空间ds(i,j)和ds(m,n)、分别对应的光束Lout(i,j)和Lout(m,n)、以及反射光Lin(i,j)和Lin(m,n)为例。即，光束Lout(i,j)为向部分空间ds(i,j)照射的光束Lout的成分，反射光Lin(i,j)为光束Lout(i,j)被存在于部分空间ds(i,j)的对象物反射而通过部分空间ds(i,j)被接收的反射光成分。同样，光束Lout(m,n)为向部分空间ds(m,n)照射的光束Lout的成分，反射光Lin(m,n)为光束Lout(m,n)中被存在于部分空间ds(m,n)的对象物反射而通过部分空间ds(m,n)被接收的反射光成分。
在此，下标(i,j)和(m,n)为表示在角度区域中排列成二维网格状的各部分空间ds的序列。如图2所示，在需要区别特定的部分空间ds、光束Loutm及反射光Lin的情况下，附注(i,j)或(m,n)。此外，在作为为特定的部分空间ds、光束Lout及反射光Lin不进行区别而一般化表现的情况下不附注下标，在表现为任意部分空间ds、光束Lout及反射光Lin的情况下附注(p,q)。
发光单元20具有发光元件阵列201和发光透镜系统202。在发光元件阵列201中，为了通过各光束Lout覆盖空间s整体，多个发光元件203排列成面状(矩阵状)。在本实施方式中，发光元件阵列201至少包含以64个×64个正方排列的4096个发光元件203(当还包含剩余元件时，所述各自然数的上限值为64个以上)。各发光元件203由例如VCSEL(垂直腔面发射激光器：Vertical-Cavity Surface-Emitting Laser)等构成，各发光元件203能够各自分别进行驱动控制。
在TOF测距传感器2中，按照每个部分空间ds分配发光元件203(建立关联)。即，调整各发光元件203单体的FFP(Far-Field Pattern、远场方向图)，使得作为通过发光透镜系统202而从按照每部分空间ds分配的各发光元件203向部分空间ds的光束Lout成为期望的出射角度特性，并且，为了抑制在邻接的部分空间产生间隙(不能照射空间区域)，调节发光元件阵列201的发光面与发光透镜系统202的像面的距离。进而，按照后述的部分空间群的定义，使各发光元件203能够分别导通/断开，从而能够覆盖空分复用的空间s整体，并对各部分空间ds独立地照射射束。
受光单元21具有受光元件阵列211和受光透镜系统212。受光元件阵列211为多个受光元件(像素)213配置为面状而成，用于对于向空间s分割为多个的各部分空间ds照射各光束Lout时的反射光Lin分别进行角度分辨并接受，按照每个部分空间ds输出到对象物的距离信息。在本实施方式中，受光元件阵列211至少包含以相同于发光元件阵列201的间距以64×64个正方排列的4096个受光元件213(当包含剩余元件时，所述各自然数的上限值为64以上)。各受光元件213例如由SPAD(单光子雪崩二极管：single-photon avalanchediode)等构成，各受光元件213的输出根据后述的部分空间群(组)的定义，按照每个受光元件213的受光元件组连接有至少包含有源阻抗和逆变器等初段栅极的前置电路。从进行集成阵列化和紧凑化的多点TOF计测的观点出发，这样的使用了SPAD得最小结构为最优选择的一例。
在TOF测距传感器2中，按照每个部分空间ds分配(建立关联)受光元件213。即，以来自各部分空间ds的反射光Lin通过受光透镜系统212而被规定的受光元件213接收的方式在受光元件213上成像，并且为了抑制邻接的部分空间产生间隙(不能受光的空间区域)，调整受光元件阵列211的受光面(受光元件面)与受光透镜系统212的像面的距离。通过受光透镜系统212和受光元件阵列211，从而各受光元件213覆盖的部分空间ds的集合整体形成空间s。
如此，受光透镜系统212是为了使受光元件阵列211作为所谓FPA(focal planearray、焦平面阵列)而发挥功能，而顾及像面失真从而设计成的透镜系统。另外，受光透镜系统212不同于通常的相机的摄像透镜系统，仅对于光束Lout及其反射光Lin中使用的波长范围为最优化设计就足够了，并不需要成为多组的高度的透镜设计，但考虑到面向移动用途，优选采用安装容易且低成本并可实现简化的其它公知技术而进行设计。
在本实施方式中，发光元件阵列201和受光元件阵列211的元件尺寸为64×64元件，发光透镜系202和受光透镜系统212大致为同一形状。进而，使各发光元件203与各受光元件213的间距相同，设计成满足作为移动用相机的通常的视角的例子的64°。因此，对于各发光元件203和各受光元件213覆盖的部分空间ds、TOF测距传感器2具有分别约1°的角度分辨率。
在此，在本实施方式中，必须设计成各发光元件203和各受光元件213覆盖的部分空间ds相互共用(即，空间上在远场为一致)。其原因在于，是因为虽然发光单元20和受光单元21配置的位置在同一面上邻接，但无法将两者配置于完全相同的位置。因此，需要预先考虑该位置偏移的角度偏差修正。这主要是TOF测距传感器2的制造工序中的部件安装上的课题，但如后所述，通常能够通过实施所谓的主动校准而解决。
例如，在发光单元20的安装完毕，将受光元件213的贴片和焊线安装完毕(作为传感器的电气工作尚可的状态)后，在决定受光单元21的受光透镜系统212的位置而进行安装时，实际将来自特定的发光元件203的光束Lout照射于外部的漫反射片，以本来应与其对应而入射向特定的受光元件213的反射光量成为最大的方式，调节受光透镜系统212的位置并进行固定。此外，能够通过将紫外线固化树脂等用于粘接剂并使其以适当的时间进行固化，从而能够确保所需的精度。
以上，除对部分空间群的详细说明以外，说明了TOF测距传感器2中的光学系统的内容。以下，说明对电气的各信号适当进行连接处理的空间控制部22，对于上述部分空间群，与TOF测距传感器2的具体的工作的内容一同另行后述。
空间控制部22对于向发光元件203的连接以及来自受光元件213或前置电路的连接分别各自进行控制。通过基于空间控制部22的上述连接的控制，能够形成包含应分配于上述的相互共用的部分空间ds(p,q)的发光元件203和受光元件213的元件组，按照这些元件组独立地执行发光驱动和接收信号处理。例如空间控制部22如后所述，为了形成与TOF测距传感器2的主机系统1所指定的一个或多个空间区域(部分空间群)对应的部分空间ds的集合体，对于这些部分空间群同时执行预先确定的信道(TOF信道)数的TOF信号处理，应独立控制各元件组的驱动和信号处理。
发光元件驱动部23基于来自空间控制部22的控制信号生成驱动信号。具体而言，发光元件驱动部23按照来自空间控制部22的控制信号，对各发光元件203的驱动的导通/断开分别进行切换。在此，在完全相同的时刻被同一符号驱动的少数的邻接的发光元件组形成以同一时刻及大致同一强度进行发光的邻接的多个射束的集合体(射束组)，作为照射更广大的空间的单射束源而发挥作用。
TOF信号处理部24也同样，基于来自空间控制部22的控制信号，例如将受光元件阵列211所输出的输出信号直接合并而输入至前置电路并转换为数字信号。或者TOF信号处理部24生成前置电路的数字输出的OR信号，对于这些进行TOF计测信号处理。
为了如上所述利用发光元件驱动部23在邻接的发光元件组单位中使驱动同步，由此对于形成为光束的集合体的一个或多个射束组(光束Lout)对应的一个或多个部分空间ds的集合体，分别进一步进行一个或多个的TOF信号处理，应适当控制到达TOF信号处理部24的信号线的连接。基于空间控制部22的这样的控制如后所述，基于作为TOF测距传感器2的工作而预先由主机系统1指定的信息来执行。通过TOF信号处理部24取得的距离信息与构成部分空间群的特定的各部分空间对应地存储于寄存器，通过通信部25向TOF测距传感器2的外部输出。
另外，对于TOF信号处理，公知有各种方式，在此对详情不予记载，但优选易于对来自各受光元件213的输出信号并行处理的、紧凑的信号处理方式(信号处理电路规模)。
(TOF测距传感器的工作)
接着，说明TOF测距传感器2的工作的一例。本实施方式中的TOF测距传感器2的检测角度范围(收发信号视角)为±32°，发光元件阵列201和受光元件阵列211中至少64个×64个的有效元件区域以相等的间距正方排列，并设置为不存在盲区，因此焦平面阵列的各元件(像素)具有的角度分别率约为1°。
另外，受光元件阵列211的各受光元件(各像素)213连接有前置电路，因此有时有助于纯粹在受光元件阵列211的受光面上接收光的部分的填充因子会变小。在该情况下，能够通过引用在包含前置电路的受光面上稠密地形成微透镜而使光学的填充因子接近1等公知的技术，从而实现上述的角度分辨率。
如上所述地进行而确定的约1°的最小角度分辨率相当于实际空间中1m的距离为约1.8cm的像高。因此，能够实现作为用于移动设备的情况下的三维投影的精度而在实用上充分的颗粒度。在此，在本实施方式中，通过上述充分的颗粒度的最小角度分辨率，从而不以对视角整体随时进行TOF计测为前提。即，能够不向视角整体随时照射光束，而以充分的精度和排列数持续取得仅充分必要的距离信息。
在本实施方式的TOF测距传感器2的接收电路的例子中，构成为同时并行处理16信道的TOF信号，在一次测定循环中能够取得16个距离信息。该并行处理数为在设计接收电路时确定的有限值，无法任意增大。反之，能够通过使该并行处理数比阵列像素数(元件数)大幅度减小，从而使发光侧耗电大幅降低。在该情况下，自然无法在整个视角整体同时以最小角度分辨率(1°)得到距离信息，但使用以下所述方法，通过定义部分空间群并使TOF测距传感器2工作，从而与立体相机、图案光等现有方式的三维相机系统相比较，能够将主要在发光(发光单元20)侧消耗的TOF测距传感器2的总耗电大幅降低至少1数位以上。
图3的(a)～(e)为用于说明图2所示的TOF测距传感器的生成距离信息的方法的一例的示意图。在此，说明对于上述的视角64°使用16信道的TOF信号处理部24，同时并行处理16信道的TOF信号而生成16个距离信息的方法的一例。TOF测距传感器2以例如以下所示的5个模式分割空间s(视角)而定义第一部分空间群dsg1(部分空间群)，基于定义的第一部分空间群dsg1生成距离信息。另外，定义第一部分空间群dsg1的图案不限于后述的模式。
如图3的(a)所示，在工作模型(a)中，第一部分空间群dsg1与一个部分空间ds(即，一个受光元件213)对应，能够在视角整体中在任意位置同时指定达16个第一部分空间群dsg1。各第一部分空间群dsg1所成角度范围与最小角度分辨率同为1°。通过分别对16个各第一部分空间群dsg1进行1信道TOF信号处理，从而能够取得共计16份距离信息(角度分辨率1°)。
如图3的(b)所示，在工作模型(b)中，第一部分空间群dsg1与正方邻接的4个(2×2个)部分空间ds(即，2×2个受光元件213)对应，能够在视角整体中在任意位置同时指定达4个第一部分空间群dsg1。各第一部分空间群dsg1的角度范围为最小角度分辨率×2倍的2°。通过分别对4个各第一部分空间群dsg1进行4信道并行的TOF信号处理，从而能够按照4个第一部分空间群dsg1取得4份、共计16份的距离信息(角度分辨率1°)。
如图3的(c)所示，在工作模型(c)中，第一部分空间群dsg1与正方邻接的16个(4×4个)部分空间ds(即，4×4个受光元件213)对应，能够在视角整体中在任意位置指定一个第一部分空间群dsg1。第一部分空间群dsg1的角度范围为最小角度分辨率×4倍的4°。通过对该第一部分空间群dsg1进行并行的16信道TOF信号处理，从而能够取得共计16份距离信息(角度分辨率1°)。
如图3的(d)所示，在工作模型(d)中，对于第一部分空间群dsg1进一步定义了：通过OR操作将正方邻接的16个(4×4个)部分空间ds(即，4×4个受光元件213)对应的区域的各收发信号汇总于一个信道的第二部分空间群dsg2。在视角整体中，能够在任意位置指定16个第二部分空间群dsg2。例如在定义了图示的由正方邻接的16个(4×4个)的第二部分空间群dsg2形成的第一部分空间群dsg1的情况下，在视角整体中能够在任意位置指定一个第一部分空间群dsg1。各第二部分空间群dsg2的角度范围为最小角度分辨率的4×4倍的16°。通过分别对16个各第二部分空间群dsg2进行1信道并行的TOF信号处理，从而能够取得共计16份距离信息(角度分辨率4°)。
如图3的(e)所示，在工作模型(e)中，对于第一部分空间群dsg1进一步定义了：通过OR操作将正方邻接的256个(16×16个)部分空间ds(即，16×16个受光元件213)对应的区域的各收发信号汇总于一个信道的第二部分空间群dsg2。各第二部分空间群dsg2的角度范围为最小角度分辨率的16倍的16°。在如图所示定义由正方邻接的16个(4×4个)第二部分空间群dsg2形成的第一部分空间群dsg1的情况下，视角整体被覆盖，因此需要指定第二部分空间群dsg2的位置。通过分别对16个各第二部分空间群dsg2并行地进行1信道的TOF信号处理，从而能够取得共计16份距离信息(角度分辨率16°)。
如此，在工作模型(a)和(b)中，能够以RGB相机模块3的帧频同时捕捉最大达16个的多个目标(对象物)的距离信息。通过适当选择第一部分空间群dsg1的尺寸和位置，从而能够持续取得对于目标跟踪有用的数据。另一方面，在工作模型(c)中，对于特定区域(在该例中为任意位置的4°×4°的正方区域)，能够以RGB相机模块3的帧频生成角度分辨率1°、4×4＝16信道的深度图。例如在从相机图像(图像信息)提取目标时，能够在局部多个对象物错综复杂地存在的特定区域的图像解析中，高精度地取得有用的距离信息。
此外，在工作模型(d)中，能够将阵列元件按照4×4＝16个合并而使角度分辨率扩大4倍，并与工作模型(c)同样对特定区域(比16°×16°更广的正方区域)取得对于目标提取有用的距离信息。
最后，在工作模型(e)中，通过将视角64°的整体正方分割为4×4＝16个从而角度分辨率扩大至16°，能够应对所谓的高速AF用途的多点化。即，在该例中，在工作模型(e)的情况下，虽然需要对视角整体照射光束Lout，但相当于通过一个TOF测距传感器2，如同将通常的全视角(全范围视角)16°的一维TOF传感器假想地稠密配置4×4＝16个并使其并行工作一样，覆盖RGB相机模块3的视角整体，并取得16份距离信息。
例示的工作模型的各数值、详情当然不限定于上述内容而能够任意的派生展开。在此，要点在于，通过从主机系统1侧对TOF测距传感器2使用串行通信而预先指定工作模型、或者在任意时刻即时切换工作模型，从而以极少数的信道数和发射射束数、即极低的TOF测距传感器2的耗电取得根据状况变化的期望的距离信息。由以上的说明可知，在TOF测距传感器2中，能够降低对移动终端的电池的影响而取得对于面向移动终端的三维投影应用真正有用的深度信息。
对于来自上述主机系统1侧的部分空间群(第一部分空间群dsg1、第二部分空间群dsg2)的指定，不过是具体的设计内容因此不予详述，但基于图3的例子，基本上能够通过按照每个各部分空间将{x,y,d}这样的矢量写入TOF测距传感器2的寄存器等，从而进行指定。例如，所述子矢量{x,y}为表示相机(RGB相机模块3)的视角内的二维位置的位置矢量(单位相当于角度)，能够指定以{x,y}为起点而1边的尺寸为{d}的部分空间。此外，也能够如{x,y,dx,dy}这样将部分空间的尺寸定义为长方形。在图3的例子中，能够指定最大达16个这样的矢量。
另外，使用16信道的TOF信号处理部24，也能够取得比16个少的数量的距离信息。由此，能够进一步降低TOF测距传感器2的耗电。
接着，参照图4，更具体地说明TOF测距传感器2中的信号处理的详情。图4为示出本实施方式的TOF测距传感器2的电路模块结构的俯视图，更详细地示出了图1和图2所示的立体图示出的结构元素。
发光元件阵列201向各发光元件203的驱动信号s1，基于经由活化(激活)器26的来自空间控制部22的控制信号s2而在发光元件驱动部23中生成。另外，在该情况下，需要注意切换每个发光元件203的驱动的导通/断开的各驱动信号s1互相不产生定时偏差。发光元件驱动部23对驱动(发光)的发光元件203分配导通/断开信号，对不驱动的发光元件203仅输出断开信号。虽未图示，但也可以对各发光元件203供给补偿阈值电流的可变值或固定值的偏置电流。
在TOF测距传感器2中进行如下控制：在空分复用的部分空间ds的集合体中，仅使按照形成第一部分空间群dsg1的各部分空间ds分配的发光元件203的发光元件组发光，主机系统1未指定的发光元件203的发光元件组实施关闭等控制，该第一部分空间dsg1作为主机系统1侧对TOF测距传感器2预先指定的工作模型而确定。由此，实际上能够精确地控制TOF测距传感器2要感知的空间(角度)区域。
通过如此进行而仅对上述指定的第一部分空间群dsg1照射光束Lout(或其集合体)，从而TOF测距传感器2仅对上述指定的第一部分空间群dsg1照射光束Lout，能够急剧降低TOF测距传感器2的耗电。例如，在使用图3说明的工作模型(c)的例子中，在64°×64°的视角中，实际进行感知的空间(角度)区域的整体不过为4°×4°。因此，需要的总发光功率与照射视角整体的情况相比约为1/256倍。在工作模型(d)的例子中，由于需要的总发光功率降低至约1/16倍，因此TOF测距传感器2与具有同等水平的精度(角度分辨率)的现有技术相比，能够实现2数位至3数位的耗电降低。
此外，来自受光元件阵列211的各受光元件213的输出信号s3暂时全部输入至选择器27。在该情况下，也同样需要注意输出信号s3互不产生定时偏差。在TOF测距传感器2中，基于来自空间控制部22的控制信号s4，在向选择器27内部的输入部分(未图示)，以受光元件213单位取电流输出和(模拟OR操作)。或者在从选择器27向TOF信号处理部24的输出部分(未图示)中获取数字信号的理论和(数字OR操作)。另外，在图3中示出为工作模型(a)的例子中，各第一部分空间群dsg1与受光元件213的各像素一一对应建立关联，因此不需要如上所述的OR操作。
在TOF测距传感器2中进行如下的精细控制：在空分复用的部分空间ds的集合体中，选择或结合仅上述的受光元件213的元件组的输出而向TOF信号处理部24输入，除此以外的主机系统1未指定的发光元件213的受光元件213的元件组的输出不向信号处理部24输入等精细控制，上述受光元件213为按照各部分空间ds分配的受光元件213，该各部分空间ds形成第一部分空间群dsg1，该第一部分空间dsg1作为主机系统1侧对TOF测距传感器2预先指定的工作模型而确定。由此，实际上能够精确地控制TOF测距传感器2要感知的空间(角度)区域。
如此进行，TOF测距传感器2仅对上述指定的第一部分空间群dsg1进行从一个或多个对象物被反射的反射光Lout的TOF信号处理。由此，TOF测距传感器2能够设定上述指定的第一部分空间群dsg1、即任意期望的空间(角度)分辨率，根据来自一个或多个对象物的任意部分的反射光Lout的往复时间，取得它们的距离信息。
如以上说明地进行，在TOF测距传感器2中，在被预先指定的由部分空间ds形成的二维部分空间群(对于实际空间的二维角度区域)中以预先指定的角度分辨率取得的多个(在本实施方式中为16个信道程度的)距离信息被存储于寄存器。RGB相机模块3(主机系统1)通过通信部25选取上述距离信息，根据对于预先指定的第一部分空间群dsg1、即实际空间中的二维角度坐标得到一维距离方法，生成期望的三维深度信息。
如上所述的TOF测距传感器2根据来自主机系统1侧的第一部分空间群dsg1的指定取得距离信息的方法对于主机系统1中的图像渲染处理的负荷减轻非常有用。另一方面，如以下说明，在TOF测距传感器2中，也能够进行在形成预先指定的二维部分空间群(对于实际空间的二维角度区域)的各部分空间ds中是否存在对象物的判定。
通常而言，由TOF测距传感器2输出的距离信息(基于TOF信号处理的距离推断值)根据测定距离极限(远距离、低反射率、环境光大等)中的信号光量或SNR(Signal-to-NoiseRatio、信噪比)的不足而大幅变动且再现性低。此外，SNR如果低于容许极限值，则TOF距离推断值发散至无法定义平均值的状态。由于不优选将这样的可靠度低的数据直接通知主机系统1而使其工作，因此，通常TOF信号处理部24按照输出距离信息赋予错误标识符。该标识表现为：由于距离推断值、其变动偏差脱离预先确定的范围因此使其无效的Invalid比特、或者基于TOF信号处理的过程中得到的某些实测值、推断值的行为的Warning或Error比特，且为示出距离信息的可靠度的信息。另外，在主机系统1侧通常会进行对于由TOF测距传感器2输出的距离信息取得移动平均而监视SNR的状况等用于避免致命的工作问题的处理。
基于上述的判定处理的例子，在判断TOF测距传感器2的内部中SNR显着降低(距离信息的可靠性不足)的情况下，能够解释为在各部分空间ds或者二维部分空间群中“不存在”作为测距的对象的反射物(对象物)(用所述标识屏蔽相应的距离推断值以使主机系统1不采用)。
进而，基于对如上所述预先指定的第一部分空间群dsg1所包含的按照每个部分空间ds判定的有无对象物的信息，空间控制部22也能够控制每个部分空间ds对应的各发光元件203或元件组的驱动、各受光元件213或元件组的连接(所述模拟和或数字理论和)。由此，TOF测距传感器2对于预先指定的第一部分空间群dsg1中无法取得有益的距离信息的部分空间ds，能够通过不发出光束Lout或者不进行TOF信号处理等由空间控制部22局部停止TOF测距传感器2的内部工作，从而进一步谋求耗电的降低。
(TOF测距传感器的效果)
如上所述，本实施方式的测距传感器2为TOF方式的测距传感器，其与BGB相机模块3进行协同工作，计测向空间s照射的光束Lout被对象物反射而往复的时间，输出用于与RBG相机模块3取得的图像信息组合生成三维位置信息的对象物的距离信息，具备：发光单元20，其具有面状配置的多个发光元件203，通过发光透镜系统202将从按照每个该部分空间ds分配的发光元件203发出的光形成射束而向空间s分割成的各部分空间ds进行照射；受光单元21，其具有面状配置的多个受光元件213，通过受光透镜系统212使从各部分空间ds受光的反射光Lout在受光元件213上成像，通过按照每个该部分空间ds分配的受光元件213接收光；空间控制部22，其每个元件组独立地进行控制，所述元件组包含按照共用的各部分空间ds分配的发光元件203和受光元件213。
TOF测距传感器2由于能够每个元件组独立地进行控制，因此能够仅选择驱动最小限度的元件组，从而使TOF测距传感器2高效地工作，所述元件组包含按照各部分空间ds分配的发光元件203和受光元件213。此外，不必如以往那样具备MEMS微镜等，因此能够在维持高的测距精度和空间分辨率的基础上使装置结构简化，能够使小型化和低成本化变得容易。
此外，在TOF测距传感器2中，由能够协同工作的RGB的相机模块3(主机系统1)，基于其图像信息将各部分空间ds的整体分割为与预先确定的信道数相等的整数个第一部分空间群dsg1，并预先进行指定而开始工作。由此，能够对于任意的第一部分空间群dsg1取得与信道数相等的距离信息，向主机系统1输出。
因此，根据本实施方式，能够实现最适于向移动设备的搭载的、与RGB相机模块3协同工作而能够兼顾低耗电化和小型、低成本化的、TOF方式的TOF测距传感器2。
另外，在判定存在于预先由相机模块3(主机系统1)指定的第一部分空间群dsg1中的对象物的位置发生时间变化的情况下(对象物移动的情况下)，此后的TOF信号处理可执行TOF测距传感器2自身自动补充对象物(即，TOF测距传感器2自身推断对象物的位置和位移)而继续TOF信号处理的二维跟踪TOF测距。或者代替预先由主机系统1指定第一部分空间群dsg1而由TOF测距传感器2自身先于工作而分割全视角并进行扫描而判定对象物存在的部分空间，进而与上述同样地TOF测距传感器2自身自动补充对象物而执行二维跟踪TOF测距。这些的详情在第二实施方式中详细说明。
[第二实施方式]
以下，基于图5～图7对本发明的其他实施方式以如下所述进行说明。另外，为了便于说明，对于与上述实施方式所说明的部件具有相同功能的部材，附加相同附图标记并省略其说明。
(TOF测距传感器的结构)
图5的(a)和(b)与第一实施方式的图2同样，为示出本实施方式的TOF测距传感器12的工作中的状态的示意图。TOF测距传感器12至少包含：发光单元200、受光单元210、空间控制部22、发光元件驱动部23、TOF信号处理部24以及通信部25。TOF测距传感器12构成为：与第一实施方式同样应用空分复用技术，能够用各光束Lout照射空间s分割成多个的各部分空间ds，对被任意对象物反射、往复的反射光Lin分别进行角度分辨并接收，按照每个各部分空间ds中输出到对象物的距离信息。
图6为示出本实施方式的TOF测距传感器12的电路模块结构的俯视图。在本实施方式的TOF测距传感器12中，与上述实施方式所说明的TOF测距传感器2主要在以下方面不同：发光元件阵列204的发光元件205比上述的发光元件阵列201的发光元件203配置得更紧密的方面；以及受光元件阵列214的受光元件215比所述的受光元件阵列211的受光元件213配置得更紧密的方面。
本实施方式的发光元件阵列204包含正方排列的72×72个发光元件205。此外，受光元件阵列214与发光元件阵列201为相同外形尺寸，但包含以半间距正方排列的144×144个受光元件215。即，受光元件阵列214中配置的受光元件215的数量为发光元件阵列204中配置的发光元件205的4倍(倍数)。
图7的(a)和(b)为示出图6的受光元件阵列214的详细结构的俯视图。在受光元件阵列214中，至少包含4个受光元件215和前置电路的单位作为TOF信号处理的单位元件216发挥功能。单位元件216至少包含：4个受光元件215a～215d、分别连接于各受光元件215a～215d的前置电路217、以及移动方向推断部218。各前置电路217的输出，在选择器27内部中进行了OR操作的基础上被输入至TOF信号处理部24。
即，在受光元件阵列214中，对一个部分空间ds分配有4个受光元件215a～215d，但就TOF信号处理用而言它们合并作为一个单位元件216而发挥功能。但是，详情如后所述，为了推断对象物的移动方向，上述4个受光元件215a～215d的输出分别独立地通过前置电路217输入移动方向推断部218。
在TOF测距传感器12中，与第一实施方式的情况同样，在发光单元200的发光透镜系统202和受光单元210的受光透镜系统212中，为了不存在盲区，发光元件阵列204和受光元件阵列214一同被强调设计，满足移动用相机的通常的视角即72°。因此，作为TOF测距传感器12，形成能够由主机系统1指定的第一部分空间群dsg1的各部分空间ds具有的角度分辨率，发光单元200和受光单元210均与第一实施方式同为约1°。
各受光元件215a～215d由于比第一实施方式所示的受光元件阵列211的受光元件213小，因此相对地无效区域面积的比例增大。因此，即使受光元件阵列214整体的面积相同，总的光敏性可能下降。在该情况下，如上所述，通过以覆盖受光元件阵列214整体的方式稠密地形成微透镜，从而能够改善光敏度下降的问题。
此外，在本实施方式中的TOF测距传感器12的接收电路中，构成为能够同时并行处理36信道的TOF信号，在一次测定循环中输出36个测距数据。该并行处理数与第一实施方式同样比阵列像素数大幅减小，因此能够大幅降低发光侧耗电。与第一实施方式使用图3而说明的情况同样，通过指定工作模型而构成第一部分空间群dsg1并使TOF测距传感器12工作，从而与立体相机、结构光等现有方式的三维相机系统相比较，能够将主要在发光(发光单元200)侧消耗的TOF测距传感器12的总耗电大幅降低至少1数位以上。
(TOF测距传感器的工作)
接着，说明TOF测距传感器12的工作。对于工作模型的指定，在本实施例中不再进行，但能够设定为例如以下的例子。
在工作模型(a)中，第一部分空间群dsg1与一个部分空间ds(即，一个单位元件216)对应，能够在视角整体中在任意位置同时指定达36个第一部分空间群dsg1。各第一部分空间群dsg1所成角度范围与最小角度分辨率同为1°。通过分别对36个各第一部分空间群dsg1进行1信道TOF信号处理，从而能够取得共计36份距离信息(角度分辨率1°)。
在工作模型(b)中，第一部分空间群dsg1与正方邻接的4个(2×2个)部分空间ds(即，2×2个受光元件216)对应，能够在视角整体中在任意位置同时指定达9个第一部分空间群dsg1。各第一部分空间群dsg1的角度范围为最小角度分辨率×2倍的2°。通过分别对9个各第一部分空间群dsg1进行4信道并行的TOF信号处理，从而能够按照各第一部分空间群dsg1取得4份、共计36份的距离信息(角度分辨率1°)。
在工作模型(c)中，第一部分空间群dsg1与正方邻接的9个部分空间ds(即，3×3个受光元件216)对应，能够在视角整体中在任意位置同时指定达4个第一部分空间群dsg1。各第一部分空间群dsg1的角度范围为最小角度分辨率×3倍的3°。通过对4个各第一部分空间群dsg1进行并行的9信道TOF信号处理，从而能够取得共计36份距离信息(角度分辨率1°)。
在工作模型(d)中，对于第一部分空间群dsg1进一步定义了：将正方邻接的16个(4×4个)部分空间ds(即，4×4个单位元件216)对应的区域的各收发信号通过OR操作汇总于一个信道的第二部分空间群dsg2。在视角整体中，能够在任意位置指定36个第二部分空间群dsg2。例如在定义了包含正方邻接的36个(6×6个)的第二部分空间群dsg2的第一部分空间群dsg1的情况下，在视角整体中能够在任意位置指定一个第一部分空间群dsg1。各第二部分空间群dsg2的角度范围为最小角度分辨率的×4倍×6倍的24°。通过分别对36个各第二部分空间群dsg2进行1信道TOF信号处理，从而能够取得共计36份距离值(角度分辨率4°)。
在工作模型(e)中，对于第一部分空间群dsg1进一步定义了：将正方邻接的144个(12×12个)部分空间ds(即，12×12个单位元件216)对应的区域的各收发信号通过OR操作汇总于一个信道的第二部分空间群dsg2。各第二部分空间群dsg2的角度范围为最小角度分辨率×12倍的12°。在定义由正方邻接的36个(6×6个)第二部分空间群dsg2形成的第一部分空间群dsg1的情况下，视角整体被覆盖，因此需要指定第二部分空间群dsg2的位置。通过分别对36个各第二部分空间群dsg2进行1信道的TOF信号处理，从而能够取得共计36份距离信息(角度分辨率12°)。
如此，在工作模型(a)～(c)中，能够以RGB相机模块3的帧频同时捕捉最大达36个的多个目标(对象物)的距离信息。通过适当选择第一部分空间群dsg1的尺寸和位置，从而能够持续取得对于目标跟踪有用的数据。
另一方面，在工作模型(d)中，对于特定区域(在该例中为任意位置的24°×24°的正方区域)，能够以RGB相机模块3的帧频生成角度分辨率为4°且6×6＝36信道的深度图。例如在从相机图像(图像信息)提取目标时，能够在局部多个对象物错综复杂地存在的特定区域的图像解析中，高精度地取得有用的距离信息。
此外，在工作模型(e)中，能够将角度分辨率扩大至12°并将视角72°的整体正方分割为6×6＝36个，能够应对所谓的高速AF用途的多点化。即，在该例中，相当于通过一个TOF测距传感器12，如同将全范围视角(全范围视角)12°的一维TOF传感器假想地稠密配置6×6＝36个并使其并行工作一样，覆盖RGB相机模块3的视角整体，并取得36份距离信息。
例示的工作模型的各数值、详情当然不限定于上述内容而能够任意的派生展开。在此，要点在于，通过从主机系统1侧对TOF测距传感器12使用串行通信而预先指定工作模型、或者在任意时刻即时切换工作模型，从而以极少数的信道数和发射射束数、即极低的TOF测距传感器12的耗电取得根据状况变化的期望的距离信息。
根据第一实施方式和第二实施方式的比较，可以理解，信道的数量和各阵列元件的像素数与TOF测距传感器12的耗电和角度分辨率、视角成为折衷的关系，TOF测距传感器12与第一实施方式同样，与具有同等水平的精度(角度分辨率)的现有技术相比，能够将主要在发光(发光单元200)侧消耗的TOF测距传感器12的总耗电降低2数位至3数位，能够不影响终端的电池寿命地取得对于面向移动终端的三维投影应用真正有用的深度信息。
接着，说明TOF测距传感器12中的对象物的移动方向推断工作。移动方向推断部218基于来自存在于部分空间ds(p,q)的对象物的反射光Lin(p,q)(激光Lout(p,q)的反射成分)入射在构成单位元件216的各受光元件215a～215d时的受光量分布的时间变化，推断对象物的移动方向。
移动方向推断部218按照每个单位元件216逐一配置。单位元件216所包含的各前置电路217的输出信号全部被输入移动方向推断部218。移动方向推断部218包含连接于各受光元件215a～215d的至少4个计数器电路219、以及逻辑电路220，匹配TOF测定的周期如下所述进行工作。
首先，计数电路219在被重置于测定周期的起始或紧接该测定周期之前的测定周期的最后之后，在至少包含测定周期的TOF测定序列的特定期间内，对单位元件216的各前置电路217的输出信号所包含的脉冲数进行计数。由此，计数器电路219对按照每个测定周期取得与各受光元件215a～215d的受光量相当的光量值。逻辑电路220以能够比较每个测定周期的光量值的变化的方式，将上述各光量值储存在寄存器或SRAM等存储元件中。另外，该存储元件可包含在逻辑电路220中。
接着，逻辑电路220通过比较连续的两个测定周期的光量值，从而推断对象物的移动方向。
在此，独立于与各受光元件215a～215d的受光量分布相当的上述各光量值(计数值)，而通过计数器电路219对各受光元件215a～215d的暗计数(发光单元200完全不进行自发光，仅环境光的状态)进行计数，在逻辑电路220中，从上述各光量值中减去上述暗计数，能够减轻环境光的影响。
此外，为了易于推测各受光元件215a～215d各自的受光量随时间变化而对象物的像进行移动的方向，并且易于吸收暗计数的各受光元件215a～215d的个体差，逻辑电路220对于单位元件216的上下左右的4个方向或者包含倾斜45°的6个方向求出各前置电路217的输出信号的计数值的和，将各光量值存储于寄存器或SRAM等存储元件，以能够与测定周期的结果相比较。由此，移动方向推断部218能够对单位元件216的上下左右4个方向或者包含倾斜45°的6个方向，推断各受光元件215a～215d的受光量增大的方向、即对象物的像移动的方向。另外，实际的推断需要在逻辑电路220中，需要基于多个数字比较器的大小比较。虽然也依赖于使用的晶片加工的节点，但对于按照每个单位元件216安装这样的逻辑电路220而言是充分可能的。
(TOF测距传感器的效果)
根据本实施方式所例示结构，极容易实现对上述的移动方向推断与第一实施方式中说明了详情的距离信息的可靠度(信息对象物的有无判定)进行组合。即，根据对于各受光元件215a～215d合并成的单位元件216的TOF信号处理的结果，预先判定由主机系统1指定的第一部分空间群dsg1中是否存在对象物，比较对各受光元件215a～215d的输出直接计数的结果，由此推断上述对象物的位置进行时间变化的方向。基于这些结果，TOF测距传感器12能够自身通过空间控制部22控制向发光元件阵列204的信号连接和来自受光元件阵列214的信号连接，TOF测距传感器12能够自身指定应形成的第一部分空间群dsg1的位置、位移，自动补充对象物并继续TOF测距工作。如此，将三维空间在角度区域中二维地进行分割，在各区域中得到距离信息时，能够为了实际取得距离信息而自动更新二维的角度区域，因此TOF测距传感器12与现有技术相比，能够大幅降低主要在发光(发光单元200)侧消耗的TOF测距传感器12的总耗电，并在不会对主系统1施加过大的图像信号处理的负担的基础上，取得真正有用的三维深度信息。
如此进行，能够实现如下这样的从操作性和消耗电力的方面出发在实用上非常有益的二维跟踪工作：预先对基于主系统1的图像解析结果而指定的第一部分空间群dsg1进行一次包含判定有无对象物的TOF信号处理后，仅对于需要的第一部分空间群dsg1，TOF测距传感器12自身自动补充对象物而继续TOF信号处理。或者也能够执行完全的二维跟踪TOF测距，即，代替从主机系统1侧指定第一部分空间群dsg1，TOF测距传感器12自身先于继续的工作分割全视角而进行扫描，判定对象物存在的部分空间，与上述同样地自动补充对象物。
[总结]
本发明的方式1的测距传感器(TOF测距传感器2、12)为TOF方式的测距传感器，所述TOF方式的测距传感器与相机模块(RGB相机模块3)进行协同工作，计测向空间照射的射束(光束Lout)被对象物反射而往复的时间，生成用于与所述相机模块取得的图像信息组合而生成三维位置信息的所述对象物的距离信息，所述测距传感器至少具备：发光单元，其具有面状配置的多个发光元件，通过发光透镜系统将来自按照每部分空间分配的所述发光元件的光形成光束而向所述空间分割成的各部分空间进行照射；受光单元，其具有面状配置的多个受光元件，通过受光透镜系统使来自所述各部分空间的反射光在按照每所述部分空间分配的所述受光元件上成像并接收光；及空间控制部，其按照每个元件组独立地进行控制，所述元件组包含按照共用的所述各部分空间分配的所述发光元件和所述受光元件。
根据上述的结构，TOF测距传感器由于能够对包含按照各部分空间分配的发光元件和受光元件的每个元件组独立地进行控制，因此能够仅选择驱动最小限度的元件组，从而使TOF测距传感器高效地工作。此外，不必如现有具备MEMS微镜等，因此能够在维持高的测距精度和空间分辨率的基础上使装置结构简化，能够使小型化和低成本化变得容易。
此外，本发明的方式2的测距传感器也可以是，在上述方式1中，还具有TOF信号处理部，所述TOF信号处理部以比所述发光单元具有的所述发光元件的数量更少的信道数并行地进行TOF信号处理，取得所述距离信息，所述TOF信号处理部取得与所述信道数相等数量或者比所述信道数更少数量的所述距离信息。
根据上述的结构，TOF信号处理部以比发光单元具有的发光元件的数量更少的信道数并行地进行TOF信号处理，因此能够将主要在发光(发光单元)侧消耗的TOF测距传感器的总耗电降低。
此外，本发明的方式3的测距传感器也可以在上述方式2的基础上，所述空间控制部设定基于所述图像信息而预先指定的包含一个或多个所述部分空间的部分空间群(第一部分空间群dsg1、第二部分空间群dsg2)，所述TOF信号处理取得与所述部分空间群相关的所述距离信息。
根据上述的结构，能够与相机模块协同工作，基于相机模块取得的图像信息而选择性地取得与预先指定的所需的部分空间群相关的距离信息。
此外，本发明的方式4的测距传感器也可以在上述方式3的基础上，所述TOF信号处理部将表示与特定的所述部分空间或所述部分空间群相关的所述距离信息的可靠度的信息附加于所述各距离信息。
根据上述的结构，能够抑制使用可靠度低的距离信息生成三维位置信息。
此外，本发明的方式5的测距传感器也可以在上述方式3或4的基础上，所述受光单元具有的所述受光元件的数量为所述发光单元具有的所述发光元件的数量的倍数，所述受光元件的各受光元件以所述倍数的单位构成为单位元件，所述测距传感器还具有移动方向推断部，所述移动方向推断部基于构成所述单位元件的所述受光元件接收的反射光的光量变化，推断所述对象物的移动方向。
根据上述的结构，基于对象物的移动方向，选择驱动仅最小限度的元件组，能够使测距传感器更高效地工作。
此外，本发明的方式6的测距传感器中也可以在上述方式5的基础上，所述空间控制部基于所述移动方向推断部的推断结果更新所述部分空间群的设定，所述TOF信号处理取得与更新后的所述部分空间群相关的所述距离信息。
根据上述的结构，测距传感器能够持续捕捉对象物而取得该对象物的距离信息，能够在不会对安装有测距传感器的设备的主系统施加过大的图像信号处理的负担的前提下，在测距传感器侧取得有用的距离信息。
此外，本发明的方式7的测距传感器中也可以在上述方式1至6的基础上，所述发光元件的数量和所述受光元件的数量为所述相机模块具有的摄像元件的有效像素数以下。
根据上述的结构，能够高效地降低TOF测距传感器的总耗电。
本发明不限定于上述的各实施方式，能够在权利要求书所示的范围进行各种变更，对于将不同实施方式分别公开的技术的手段适当组合而得到的实施方式，也包含于本发明的技术范围。进而，能够通过将各实施方式分别公开的技术手段组合而形成新的技术特征。
附图标记说明
2、12…TOF测距传感器(测距传感器)；
3…RGB相机模块(相机模块)；
20、200…发光单元；
21、210…受光单元；
22…空间控制部；
24…TOF信号处理部；
31…APS；
202…发光透镜系统；
203、205…发光元件；
212…受光透镜系统；
213、215、215a～215d…受光元件；
216…单位元件；
218…移动方向推断部；
311…摄像元件；
Lout…光束(射束)；
Lin…反射光；
s…空间；
dsg1…第一部分空间群(部分空间群)；
dsg2…第二部分空间群(部分空间群)。

Claims (4)

1.一种测距传感器，其特征在于，
所述测距传感器为TOF方式的测距传感器，所述TOF方式的测距传感器与相机模块进行协同工作，计测向空间照射的射束被对象物反射而往复的时间，生成用于与所述相机模块取得的图像信息组合而生成三维位置信息的所述对象物的距离信息，
所述测距传感器至少具备：
发光单元，其具有面状配置的多个发光元件，通过发光透镜系统将来自按照每部分空间分配的所述发光元件的光形成射束而向所述空间分割成的各部分空间进行照射；
受光单元，其具有面状配置的多个受光元件，通过受光透镜系统使来自所述各部分空间的反射光在按照每所述部分空间分配的所述受光元件上成像并接收光；及
空间控制部，其按照每元件组独立地进行控制，所述元件组包含按照共用的所述各部分空间分配的所述发光元件和所述受光元件；
还具有TOF信号处理部，所述TOF信号处理部以比所述发光单元具有的所述发光元件的数量更少的信道数并行地进行TOF信号处理，取得所述距离信息，
所述TOF信号处理部取得与所述信道数相等数量或者比所述信道数更少数量的所述距离信息；
所述空间控制部设定基于所述图像信息而预先指定的包含一个或多个所述部分空间的部分空间群，
所述TOF信号处理取得与所述部分空间群相关的所述距离信息；
所述受光单元具有的所述受光元件的数量为所述发光单元具有的所述发光元件的数量的倍数，
所述受光元件的各受光元件以所述倍数的单位构成为单位元件，
所述测距传感器还具有移动方向推断部，所述移动方向推断部基于构成所述单位元件的所述受光元件接收的反射光的光量变化，推断所述对象物的移动方向。
2.根据权利要求1所述的测距传感器，其特征在于，
TOF信号处理部将表示与特定的所述部分空间或所述部分空间群相关的所述距离信息的可靠度的信息附加于所述各距离信息。
3.根据权利要求1所述的测距传感器，其特征在于，
所述空间控制部基于所述移动方向推断部的推断结果更新所述部分空间群的设定，
所述TOF信号处理取得与更新后的所述部分空间群相关的所述距离信息。
4.根据权利要求1至3中任一项所述的测距传感器，其特征在于，
所述发光元件的数量和所述受光元件的数量为所述相机模块具有的摄像元件的有效像素数以下。
CN201811115050.9A 2017-09-25 2018-09-25 测距传感器 Active CN109596091B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017184002A JP6914158B2 (ja) 2017-09-25 2017-09-25 測距センサ
JP2017-184002 2017-09-25

Publications (2)

Publication Number Publication Date
CN109596091A CN109596091A (zh) 2019-04-09
CN109596091B true CN109596091B (zh) 2021-08-03

Family

ID=65807430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811115050.9A Active CN109596091B (zh) 2017-09-25 2018-09-25 测距传感器

Country Status (3)

Country Link
US (1) US11307293B2 (zh)
JP (1) JP6914158B2 (zh)
CN (1) CN109596091B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
KR102326493B1 (ko) 2017-03-13 2021-11-17 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
WO2019022941A1 (en) 2017-07-28 2019-01-31 OPSYS Tech Ltd. VCSEL LIDAR TRANSMITTER WITH LOW ANGULAR DIVERGENCE
KR102589319B1 (ko) 2017-11-15 2023-10-16 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
JP2020106339A (ja) * 2018-12-26 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 測定装置および測距装置
CN113692540A (zh) 2019-04-09 2021-11-23 欧普赛斯技术有限公司 带激光控制的固态lidar发送器
WO2020242834A1 (en) 2019-05-30 2020-12-03 OPSYS Tech Ltd. Eye-safe long-range lidar system using actuator
JP7438564B2 (ja) * 2019-06-10 2024-02-27 オプシス テック リミテッド 眼に安全な長距離固体ｌｉｄａｒシステム
JP7389578B2 (ja) * 2019-07-16 2023-11-30 シャープ株式会社 測距センサ
JP2021015095A (ja) * 2019-07-16 2021-02-12 パイオニア株式会社 測距装置
EP3789794A1 (de) * 2019-09-04 2021-03-10 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur distanzmessung
US11899107B2 (en) 2019-10-25 2024-02-13 Ricoh Company, Ltd. Detection apparatus and method of detecting object comprising a circuitry to switch an illuminance level at each illuminance region with a plurality of illuminance levels
WO2021131950A1 (ja) * 2019-12-26 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US20210302587A1 (en) * 2020-03-24 2021-09-30 Magic Leap, Inc. Power-efficient hand tracking with time-of-flight sensor
EP3910375B1 (en) * 2020-05-15 2023-07-05 Analog Devices International Unlimited Company A continuous wave time of flight system
US11523043B2 (en) * 2020-10-12 2022-12-06 Apple Inc. Camera autofocus using time-of-flight assistance
CN112325982A (zh) * 2020-10-15 2021-02-05 广州立功科技股份有限公司 基于tof的液位检测方法、自动注液方法及液体饮用机
WO2022097390A1 (ja) 2020-11-06 2022-05-12 ソニーセミコンダクタソリューションズ株式会社 半導体レーザ駆動装置、半導体レーザ駆動装置を備えたｌｉｄａｒ及び半導体レーザ駆動装置を備えた車両
JPWO2022102775A1 (zh) * 2020-11-16 2022-05-19
CN114518642B (zh) * 2020-11-20 2024-03-22 余姚舜宇智能光学技术有限公司 线型tof摄像模组及其制造方法和电子设备
US20240053439A1 (en) * 2020-12-30 2024-02-15 Sony Semiconductor Solutions Corporation Time-of-flight modules

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607453A (zh) * 2003-10-15 2005-04-20 奥林巴斯株式会社 照相机
CN2773729Y (zh) * 2005-03-25 2006-04-19 浙江大学 无扫描器脉冲调制式三维成像系统
CN1854682A (zh) * 2005-04-28 2006-11-01 夏普株式会社 多光束光学距离传感器和自推进清洁器和空调器
CN1991407A (zh) * 2005-10-28 2007-07-04 夏普株式会社 光学式测距装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3415422B2 (ja) * 1997-12-04 2003-06-09 株式会社ナブコ 物体検出装置の実効検出エリア設定方法及び実効検出エリア設定システム
GB0017048D0 (en) 2000-07-11 2000-08-30 Scient Generics Ltd Alternative optical system
JP4208400B2 (ja) * 2000-10-25 2009-01-14 ヒースト株式会社 自動ドアの開閉制御方法
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
US7417718B2 (en) 2005-10-28 2008-08-26 Sharp Kabushiki Kaisha Optical distance measuring apparatus
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム
EP2708914A1 (de) 2012-09-18 2014-03-19 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung einer Tiefenkarte
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
JP6427998B2 (ja) * 2014-07-07 2018-11-28 株式会社デンソー 光飛行型測距装置
US20160182891A1 (en) * 2014-12-22 2016-06-23 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
JP2016188808A (ja) * 2015-03-30 2016-11-04 竹前　義博 レンジセンサとその部品
US20180341009A1 (en) * 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
SG11201913642VA (en) * 2017-07-05 2020-01-30 Ouster Inc Light ranging device with electronically scanned emitter array and synchronized sensor array
US20190041519A1 (en) * 2017-08-05 2019-02-07 Oyla Inc. Device and method of optical range imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607453A (zh) * 2003-10-15 2005-04-20 奥林巴斯株式会社 照相机
CN2773729Y (zh) * 2005-03-25 2006-04-19 浙江大学 无扫描器脉冲调制式三维成像系统
CN1854682A (zh) * 2005-04-28 2006-11-01 夏普株式会社 多光束光学距离传感器和自推进清洁器和空调器
CN1991407A (zh) * 2005-10-28 2007-07-04 夏普株式会社 光学式测距装置

Also Published As

Publication number Publication date
JP2019060652A (ja) 2019-04-18
CN109596091A (zh) 2019-04-09
US20190094342A1 (en) 2019-03-28
US11307293B2 (en) 2022-04-19
JP6914158B2 (ja) 2021-08-04

Similar Documents

Publication Publication Date Title
CN109596091B (zh) 测距传感器
JP7146004B2 (ja) 同期スピニングｌｉｄａｒおよびローリングシャッターカメラシステム
CN107424188B (zh) 基于vcsel阵列光源的结构光投影模组
CN106997603B (zh) 基于vcsel阵列光源的深度相机
CN110325879B (zh) 用于压缩三维深度感测的系统和方法
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US9435891B2 (en) Time of flight camera with stripe illumination
EP2656100B1 (en) 3d landscape real-time imager and corresponding imaging methods
JP4405154B2 (ja) イメージングシステムおよび物体の画像を取得する方法
WO2021046547A1 (en) Processing of lidar images
US20210321080A1 (en) Apparatus and method for generating three-dimensional image
US20200192206A1 (en) Structured light projector, three-dimensional camera module and terminal device
CN212694038U (zh) 一种tof深度测量装置及电子设备
CN111692987A (zh) 深度数据测量头、测量装置和测量方法
US11061139B2 (en) Ranging sensor
KR20210029269A (ko) 3차원 영상 생성 장치 및 방법
KR20200091197A (ko) 카메라 장치 및 그의 오토포커싱 방법
CN217879628U (zh) 一种发射器、固态激光雷达及探测系统
US20240169570A1 (en) Depth data measurement head, depth data computing device, and corresponding method
CN110954917A (zh) 一种深度测量装置和深度测量方法
CN217883646U (zh) 一种长基线深度摄像模组及电子设备
CN220584396U (zh) 一种固态激光雷达测量系统
CN216283296U (zh) 深度数据测量头和深度数据计算设备
WO2022200269A1 (en) Illumination device and method for time-of-flight cameras
CN115825971A (zh) 一种基于spad芯片的扫描式激光雷达

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant