CN106352847B - 基于相位差的距离测量装置及距离测量方法 - Google Patents

基于相位差的距离测量装置及距离测量方法 Download PDF

Info

Publication number
CN106352847B
CN106352847B CN201510411206.8A CN201510411206A CN106352847B CN 106352847 B CN106352847 B CN 106352847B CN 201510411206 A CN201510411206 A CN 201510411206A CN 106352847 B CN106352847 B CN 106352847B
Authority
CN
China
Prior art keywords
pixel
pixel group
subframe
depth
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510411206.8A
Other languages
English (en)
Other versions
CN106352847A (zh
Inventor
许恩峯
刘家佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN201510411206.8A priority Critical patent/CN106352847B/zh
Publication of CN106352847A publication Critical patent/CN106352847A/zh
Application granted granted Critical
Publication of CN106352847B publication Critical patent/CN106352847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供一种距离测量装置，包含像素阵列及遮蔽层。所述遮蔽层遮蔽在所述像素阵列上方。所述遮蔽层包含第一遮蔽模式，遮蔽于多个第一像素的第一区域上方，以及第二遮蔽模式，遮蔽于多个第二像素的第二区域上方。所述第一区域与所述第二区域沿第一方向形成镜像对称的矩形。

Description

基于相位差的距离测量装置及距离测量方法
技术领域
本发明涉及一种光学传感器，具体地，涉及一种基于相位差的距离测量装置及其距离测量方法。
背景技术
一般来说，距离测量系统(Distance measurement system,DMS)通常会使用光源，并利用被物体反射回来的光源的光束的能量来计算物体的距离。传统地，可使用三角定位的方式，或是飞行时间(Time offlight,TOF)的技术方案来计算距离，然而采用上述方式所花费的成本较高且系统的尺寸较大。
另外，手势(gesture)辨识的开发基础通常可使用3D图像先消除背景图像以取出前景对象图像，而这样的技术会使用到两个图像传感器器。如此一来，手势辨识模块的尺寸与成本同样无法有效地获得缩减。
基于上述，本发明说明可利用相位侦测(phase detection)的技术取得3D图像，而且无需额外打光(上述飞行时间法需要打光)。同时，本发明的技术方案可只使用单个图像传感器，即可达成侦测距离及手势辨识的应用。
发明内容
有鉴于此，本发明提出一种光学式距离测量装置及距离测量方法，其具有低成本及尺寸小的优点。
本发明提供一种距离测量装置，包含聚光透镜、图像传感器以及处理器。所述聚光透镜具有预设焦距。所述图像传感器用于感测穿过所述聚光透镜的光线并输出图像帧，并包含像素阵列、遮蔽层以及多个微透镜。所述像素阵列包含第一像素群及第二像素群沿第一方向及第二方向排列。所述遮蔽层遮蔽于所述第一像素群的多个第一像素的第一区域上方及所述第二像素群的多个第二像素的第二区域上方，其中，所述第一区域与所述第二区域沿所述第一方向形成镜像对称的矩形。所述多个微透镜中的每一者对位于一个所述第一像素及一个所述第二像素的至少其中之一。所述处理器用于计算所述图像帧中图像区域的深度。
本发明还提供一种距离测量装置的距离测量方法，该距离测量装置包含第一像素群、第二像素群及多个微透镜，其中所述第一像素群及所述第二像素群分别通过所述多个微透镜的第一部分及第二部分接收不同相位的入射光。所述距离测量方法包含下列步骤：根据预设焦距利用所述第一像素群及所述第二像素群输出图像帧；将所述图像帧分割为第一子帧及第二子帧，其中，所述第一子帧与所述第一像素群相关而所述第二子帧与所述第二像素群相关；计算所述第一子帧与所述第二子帧中相对应的一图像区域的第一偏移量；以及根据所述第一偏移量计算所述图像区域的第一深度。
本发明还提供一种距离测量装置，包含像素阵列以及遮蔽层。所述像素阵列包含第一像素群、第二像素群、第三像素群及第四像素群，沿第一方向及第二方向排列。所述遮蔽层遮蔽在所述像素阵列的上方，并包含第一遮蔽模式，遮蔽在所述第一像素群的多个第一像素的第一区域上方，第二遮蔽模式，遮蔽在所述第二像素群的多个第二像素的第二区域上方，第三遮蔽模式，遮蔽在所述第三像素群的多个第三像素的第三区域上方及第四遮蔽模式，遮蔽在所述第四像素群的多个第四像素的第四区域上方；其中，所述第一区域与所述第二区域沿所述一方向形成镜像对称的矩形，所述第三区域与所述第四区域沿所述第二方向形成镜像对称的矩形。
为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，在本发明的说明中，相同的构件是以相同的符号表示，于此先述明。
附图说明
图1为本发明一实施例的距离测量装置的方框示意图。
图2A～2B为本发明某些实施例的距离测量装置的图像传感器及聚光透镜的剖视图。
图3为本发明一实施例的距离测量装置的像素阵列及遮蔽层的示意图。
图4为本发明一实施例的距离测量方法的操作示意图。
图5A～5D为本发明某些实施例的距离测量装置的像素阵列及遮蔽层的示意图。
图6为本发明一实施例的距离测量方法的流程图。
图7为本发明另一实施例的距离测量方法的流程图。
图8为本发明说明另一实施例的距离测量方法的操作示意图。
附图标记
1 距离测量装置 10 聚光透镜
11 图像传感器 111 素阵列
113 遮蔽层 115 透镜
13 处理器 131 帧分割模块
133 偏移计算模块 135 深度计算模块
137 储存单元 9 对象
S1、S2 偏移量 P1～P4、P1'～P4' 像素群
A1～A4 遮蔽区域 A1'～A4' 未遮蔽区
F 图像帧 FP1、FP2 子帧
F1～F4、F1'～F4' 子帧 D12、D43、D12'、D43' 深度
具体实施方式
请参考图1及图2A～2B所示，图1为本发明一实施例的距离测量装置1的方框示意图，图2A～2B为本发明某些实施例的距离测量装置的图像传感器及聚光透镜的剖视图。距离测量装置1包含聚光透镜10、图像传感器11以及处理器13。某些实施例中，所述处理器13例如可与所述图像传感器11同时设置于同一晶片内。某些实施例中，所述处理器13可为所述图像传感器11外部的处理单元，用于接收并处理所述图像传感器11所获取的图像帧F，以计算至少一个图像区域的深度或建立所述图像帧F的深度图(depth map)，即多个图像区域深度图。例如，所述处理器13可为微控制器(MCU)、中央处理器(CPU)、数字信号处理器(DSP)等，用于处理所述图像传感器11所输出的图像帧F。
所述聚光透镜10例如可位于取像装置(例如照相机)的镜头内，其可为单一透镜或沿一光轴(optical axis)排列的透镜组，并无特定限制，而为了简化图式此处仅显示单一透镜。该聚光透镜10用作为镜头窗(lens window)，用于获取来自对象9的光线L，并引导该光线L至所述图像传感器11。所述聚光透镜10与所述图像传感器11的距离优选等于所述聚光透镜10的第一焦距(例如靠近所述图像传感器11侧的焦距)。
所述图像传感器11基于预设焦距感测穿过所述聚光透镜10的光线并输出图像帧F。所述图像传感器11包含像素阵列111(例如以8×8像素阵列为例说明)、遮蔽层113以及多个微透镜115；其中，所述遮蔽层113经图案化后用于遮蔽所述像素阵列111所包含的多个像素的至少一部分像素，以使所述多个像素的未遮蔽区通过所述多个微透镜115的不同部分接收不同相位的入射光。所述预设焦距是指所述聚光透镜10与所述多个微透镜115所共同形成位于所述聚光透镜10的入光侧的焦距，本发明说明中有时简称为所述聚光透镜10或所述图像传感器11的预设焦距。
申请人发现，当对象9位于所述聚光透镜10的第二焦距(例如远离所述图像传感器11侧的焦距，即所述预设焦距)处反射光线L至所述距离测量装置1时，所述图像传感器11所输出的图像帧F中的对象图像不会产生偏移，而当所述对象9不位于所述聚光透镜10的所述第二焦距处时，所述图像传感器11所输出的图像帧F中的对象图像在相对不同遮蔽模式的像素的子帧中的位置会朝向不同方向偏移(shift)，举例详述于后。因此，可利用所述位置偏移量判断所述对象9与所述预设焦距的深度差并进而得到与所述图像传感器11(或所述聚光透镜10)的距离(即深度)，以实现本发明说明中的距离测量装置1。
请同时参考图3，其为本发明一实施例的距离测量装置的像素阵列及遮蔽层的示意图。在一实施例中，所述像素阵列111包含第一像素群P1及第二像素群P2，沿第一方向(例如X方向)及第二方向(例如Y方向)排列。必须说明的是，本发明中，所述第一像素群P1及所述第二像素群P2是指被遮蔽的区域不同。例如，在单色图像传感器中，所述第一像素群P1及所述第二像素群P2的像素本身相同，而在其上的遮蔽层113的遮蔽模式(cover pattern)不同。例如，在彩色图像传感器中，所述第一像素群P1及所述第二像素群P2均可分别包含红色像素(例如像素上形成红色滤光层)、绿色像素(例如像素上形成绿色滤光层)、蓝色像素(例如像素上形成蓝色滤光层)或其他颜色像素，而所述第一像素群P1及所述第二像素群P2上的遮蔽层113的遮蔽模式不同。
所述遮蔽层113例如可利用作为电性通路的金属层所形成(例如CMOS制程中的M1～M10其中至少一层)，亦可为金属层以外另外形成的黑色阻光层，或者为两者的组合，并无特定限制。本实施例中，所述遮蔽层113遮蔽在所述第一像素群P1的多个第一像素的第一区域A1上方及所述第二像素群P2的多个第二像素的第二区域A2上方。图3中，所述第二区域A2位于沿着所述第一方向(例如X方向)的一侧，而所述第一区域A1位于沿着所述第一方向的反方向侧，因此所述第一像素群P1的所述第一区域A1与所述第二像素群P2的所述第二区域A2沿所述第一方向形成镜像对称的矩形。此外，所述第一像素群P1具有所述第一区域A1以外的未遮蔽区A1'而所述第二像素群P2具有所述第二区域A2以外的未遮蔽区A2'；其中，所述未遮蔽区A1'及所述未遮蔽区A2'分别通过所述多个微透镜115的不同部分接收不同相位的入射光。
例如图3中，所述第一区域A1显示为所述多个第一像素的左侧而所述第二区域A2显示为所述多个第二像素的右侧。必须说明的是，虽然图3显示所述第一区域A1及所述第二区域A2均为单一像素面积的50％，然其仅用于说明而并非用于限定本发明。其他实施例中，所述第一区域A1及所述第二区域A2可为单一像素面积的5％～95％，并无特定限制。
所述多个微透镜115则对位于所述多个第一像素及所述多个第二像素的至少其中之一。某些实施例中，所述多个微透镜115分别对位于所述多个第一像素中的每一者及所述多个第二像素中的每一者，如图2A所示。另一实施例中，每一所述多个微透镜115同时对位于所述多个第一像素的第一区域A1以外的未遮蔽区A1'及所述多个第二像素的第二区域A2以外的未遮蔽区A2'，如图2B所示。藉此，所述第一像素群P1及所述第二像素群P2分别通过所述多个微透镜115的第一部分(例如微透镜115的右半部分)及第二部分(例如微透镜115的左半部分)接收不同相位的入射光。必须说明的是，虽然图2A及图2B显示所述第一像素群P1及所述第二像素群P2的未遮蔽区(例如A1'、A2')大致相对于所述多个微透镜115的一半，然其仅用于说明而并非用于限定本发明。可以理解的是，光线穿过所述多个微透镜115而能够到达未遮蔽区的部分根据所述遮光层113的第一部分A1及第二部分A2决定。本发明中，所述多个微透镜115的所述第一部分及所述第二部分可选择为所述多个微透镜115之5％～95％。
所述处理器13用于计算所述图像帧F中至少一个图像区域的深度，例如将所述图像帧F分割为第一子帧及第二子帧，根据所述第一子帧与所述第二子帧计算相对所述图像区域的偏移量并根据所述偏移量计算所述深度，其中，所述第一子帧与所述第一像素群P1相关而所述第二子帧与所述第二像素群P2相关。详而言之，所述第一子帧是由所述第一像素群P1输出的灰度信息而形成，所述第二子帧是由所述第二像素群P2输出的灰度信息而形成。
请同时参考图1～4所示，图4为本发明一实施例的距离测量方法的操作示意图。在一实施例中，所述处理器13包含帧分割模块131、偏移计算模块133、深度计算模块135及储存单元137；其中，所述帧分割模块131、偏移计算模块133及深度计算模块135例如可以软件及/或硬件的方式实现，并无特定限制。为方便说明，所述帧分割模块131、偏移计算模块133及深度计算模块135是显示为彼此分离，而实际上其操作均由所述处理器13所完成。所述储存单元137用于预先储存多个偏移量与所述预设焦距的多个深度差的相对关系，例如形成查找表(lookup table)，以供所述深度计算模块135根据所算出的偏移量计算至少一个图像区域的深度。
更详言之，所述预设焦距为已知，当求得相对所述图像区域的偏移量时，则可根据所述查找表求得所述图像区域与所述预设焦距的深度差，并以所述预设焦距加上或减去所述深度差即可求出所述至少一个图像区域的深度。
图4中，例如以点对象9位于所述聚光透镜10的入光侧为例进行说明。所述图像传感器11基于预设焦距获取并输出图像帧F至所述处理单元13。所述帧分割模块131将所述图像帧F分割为第一子帧FP1及第二子帧FP2；其中，所述第一子帧FP1与所述第一像素群P1相关，而所述第二子帧FP2与所述第二像素群P2相关。当所述对象9位于所述聚光透镜10的第二焦距(即所述预焦距)时，相关所述对象9的图像区域在所述第一子帧FP1及所述第二子帧FP2中大致位于相对应位置而不会发生偏移。当所述对象9不位于所述聚光透镜10之第二焦距时，与所述对象9相关的图像区域在所述第一子帧FP1及所述第二子帧FP2中会发生偏移而不位于相对应位置。例如，图4显示所述第一子帧FP1中第一图像区域I91从中线(例如虚线)的向右偏移量为S1，而所述第二子帧FP2中第二图像区域I92从中线(例如虚线)的向左偏移量为S2。所述偏移计算模块133则用于计算S1及S2两者间的偏移量，例如(S1-S2)。可以理解的是，偏移量的计算并不限定为以中线为基准线，此处仅为方便说明而以中线为例，偏移量的计算还可根据例如块匹配(block matching)或运动检测(motion detection)来实现，并无特定限制，只要能够计算出所述第一子帧FP1与所述第二子帧FP2中相对应图像区域(例如I91、I92)间的偏移量即可。
必须说明的是，虽然图4显示所述第一图像区域I91向右偏移S1，而所述二图像区域I92向左偏移S2，其仅用于说明而非用于限定本发明。与所述对象9的相对图像区域的偏移方向根据所述对象9从所述第二焦距远离或靠近所述聚光透镜10以及所述第一像素群P1及所述第二像素群P2的遮蔽区域(例如A1及A2)而定。例如图4所示，图2A的配置下，当所述对象9从所述聚光透镜10的第二焦距远离所述聚光透镜10时的情形。
所述深度计算模块135则可根据S1及S2两者间的偏移量对照所述储存单元137所预先储存的多个偏移量与所述预设焦距的多个深度差的相对关系来计算所述图像区域的深度，例如当所述多个偏移量S1及S2大致为0时则可判定所述图像区域的深度等于所述第二焦距，而所述第二焦距预先已知。在一实施例中，所述相对关系为S1及S2两者间的偏移量与所述预设焦距的深度差的关系。同时，图2A的配置下并假设图4的中线右侧为正值而左侧为负值，当(S1-S2)为负值时，表示所述深度小于所述第二焦距；当(S1-S2)为正值时，表示所述深度大于所述第二焦距。当不以减法运算计算所述偏移量时，可以偏移方向来决定深度差的方向。
必须说明的是，本实施例中是将图像区域以圆形(相对点对象9)为例进行说明，但本发明说明并不以此为限，图像区域例如可为所述图像帧F中的边缘(edge)等能够清楚表现出偏移量者即可，并无特定限制。
此外，为增加判断精确度，所述处理器13还利用阴影法(shading)将所述第一子帧FP1及所述第二子帧FP2的亮度校正为一致，如此，能够正确判断所述第一子帧FP1及所述第二子帧FP2中相对的图像区域(例如亮度相同的图像区域)，例如I91、I92。当所述图像帧F包含多个像素区域时，多个像素区域的深度可以相同方式分别计算，以建立深度图。
此外，图3显示所述第一像素群P1及所述第二像素群P2是沿X方向交替排列。其他实施例中，所述第一像素群P1及所述第二像素群P2亦可沿Y方向交替排列；此时，图4中的虚线改变为水平线且图像区域是从中线朝向上下方向偏移，由于其仅为方向上的差异而计算方式并无改变，故于此不再赘述。
请参考图5A～5B所示，其为本发明某些实施例的距离测量装置的像素阵列及遮蔽层的示意图。本实施例中，所述像素阵列111还包含第三像素群P3及第四像素群P4沿所述第一方向(例如X方向)及所述第二方向(例如Y方向)排列。所述遮蔽层113还遮蔽在所述第三像素群P3的多个第三像素的第三区域A3上方及所述第四像素群P4的多个第四像素的第四区域A4上方；其中，所述第三区域A3位于沿着所述第二方向(例如Y方向)的一侧，而所述第四区域A4位于沿着所述第二方向的反方向侧。例如图5A～5B中，所述第三区域A3为第三像素的上侧，而第四区域A4为第四像素的下侧，因而所述第三区域A3与所述第四区域A4沿所述第二方向形成镜像对称的矩形。
更详言之，图5A～5B的实施例中，所述遮蔽层113用于遮蔽在所述像素阵列111的上方，并包含第一遮蔽模式遮蔽在所述第一像素群P1的多个第一像素的第一区域A1上方；第二遮蔽模式遮蔽在所述第二像素群P2的多个第二像素的第二区域A2上方；第三遮蔽模式遮蔽在所述第三像素群P3的多个第三像素的第三区域A3上方；第四遮蔽模式遮蔽在所述第四像素群P4的多个第四像素的第四区域A4上方，其中，所述第一区域A1与所述第二区域A2沿第一方向形成镜像对称的矩形，并于对角线方向相邻接；所述第三区域A3与所述第四区域A4沿第二方向形成镜像对称的矩形，并于对角线方向相邻接。在一实施例中，所述第一方向垂直在所述第二方向。
本实施例中，彼此相邻的一个第一像素P1(P1')、一个第二像素P2(P2')、一个第三像素P3(P3')及一个第四像素P4(P4')形成一个子像素群，且所述子像素群内的所述第一区域A1(A1')、所述第二区域A2(A2')、所述第三区域A3(A3')及所述第四区域A4(A4')具有相同面积；其中，所述多个第一像素(即所述第一遮蔽模式)沿对角线方向相邻于所述多个第二像素(即所述第二遮蔽模式)，所述多个第三像素(即所述第三遮蔽模式)沿对角线方向相邻于所述多个第四像素(即所述第四遮蔽模式)。
在一实施例中，所述像素阵列111的所有所述第一区域A1、所述第二区域A2、所述第三区域A3及所述第四区域A4均具有相同面积(如图5A～5B所示)，例如为单一像素面积的5％～95％。
请参考图5C～5D所示，其为本发明某些实施例的距离测量装置的像素阵列及遮蔽层的示意图。其他实施例中，沿所述第一方向(例如X方向)及所述第二方向(例如Y方向)相邻的两个子像素群中的遮蔽面积彼此不同。某些实施例中，第一子像素群(例如像素P1～P4所组成)的所述第一区域至所述第四区域为单一像素面积的50％，第二子像素群(例如像素P1”～P4”所组成)的所述第一区域至所述第四区域为单一像素面积的5％～45％(例如图5D所示)。某些实施例中，第一子像素群(例如像素P1～P4所组成)的所述第一区域至所述第四区域为单一像素面积的50％，第二子像素群(例如像素P1'～P4'所组成)的所述第一区域至所述第四区域为单一像素面积的55％～95％(例如图5C所示)。
根据图5A～5D的实施例，除了可同时根据X方向排列的像素(例如第一像素P1、P1'及P1”与第二像素P2、P2'及P2”)及Y方向排列的像素(例如第一像素P3、P3'及P3”与第二像素P4、P4'及P4”)计算两个方向的偏移量外，还可达成深度确认以及不同深度解析度的目的(举例详述于后)。
请参考图6所示，其为本发明说明一实施例的距离测量装置的距离测量方法的流程图。本实施例的距离测量装置包含第一像素群P1、第二像素群P2、第三像素群P3、第四像素群P4(如图5A～5D所示)及多个微透镜115(如图2A～2B所示)。所述第一像素群P1及所述第二像素群P2分别通过所述多个微透镜115的第一部分及第二部分接收不同相位的入射光，所述第三像素群P3及所述第四像素群P4分别通过所述多个微透镜115的第三部分及第四部分接收不同相位的入射光；其中，所述第一部分及所述第二部分为所述多个微透镜115沿第一轴向(例如X方向)的两相对侧且所述第三部分及所述第四部分为所述多个微透镜115沿第二轴向(例如Y方向)的两相对侧，如图8所示。
本实施例的距离测量方法包含下列步骤：根据预设焦距以第一像素群、第二像素群、第三像素群及第四像素群输出图像帧(步骤S61)；将所述图像帧分割为第一子帧、第二子帧、第三子帧及第四子帧(步骤S62)；根据所述第一子帧及所述第二子帧计算第一偏移量、根据所述第三子帧及所述第四子帧计算第二偏移量(步骤S63)；以及根据所述第一偏移量计算第一深度并根据所述第二偏移量计算第二深度(步骤S64)。
同时参考图1、5A～5D、6及8所示，接者说明本实施例的实施方式。
步骤S61：以所述像素阵列111的所有像素根据预设焦距感测穿过所述聚光透镜10的光线L，以使所述第一像素群P1、所述第二像素群P2、所述第三像素群P3以及所述第四像素群P4输出图像帧F。亦即，所述图像帧F为所述第一像素群P1、所述第二像素群P2、所述第三像素群P3以及所述第四像素群P4输出的图像资料(例如灰阶值)所共同形成。
步骤S62：所述处理器13的帧分割模块131接着将所述图像帧F分割为第一子帧F1、第二子帧F2、第三子帧F3及第四子帧F4；其中，所述第一子帧F1与所述第一像素群P1相关(即由所述第一像素群P1输出的灰度信息形成)、所述第二子帧F2与所述第二像素群P2相关(即由所述第二像素群P2输出的灰度信息形成)、所述第三子帧F3与所述第三像素群P3相关(即由所述第三像素群P3输出的灰度信息形成)而所述第四子帧F4与所述第四像素群P4相关(即由所述第四像素群P4输出的灰度信息形成)。
步骤S63：所述处理器13的偏移计算模块133接着计算所述第一子帧F1与所述第二子帧F2中相对图像区域的第一偏移量(例如S1与S2两者之间的偏移量)以及所述第三子帧F3与所述第四子帧F4中相对图像区域的第二偏移量(例如S3与S4两者之间的偏移量)。如前所述，所述第一偏移量及所述第二偏移量的计算可利用减法运算、块匹配及运动检测等。
步骤S64：所述处理器13的深度计算模块135根据所述第一偏移量计算第一深度D12，并根据所述第二偏移量计算第二深度D43。本实施例中，所述第一深度D12例如根据第一方向的偏移量以查表方式所求得而所述第二深度D43例如根据第二方向的偏移差以查表方式所求得；其中，所述第一方向垂直所述第二方向。如前所述，查找表是预先储存有多个偏移量与所述预设焦距的多个深度差的相对关系。
同理，在计算所述第一偏移量及所述第二偏移量之前，所述处理器13还以阴影法将所述第一子帧F1与所述第二子帧F2的亮度校正为相同，并校正所述第三子帧F3与所述第四子帧F4的亮度为相同，以正确辨识相对应的对象区域。
上述图6的实施例是根据图5A及5B的配置来操作，因此仅考虑第8图中的左半部分。下述图7的实施例是根据图5C的配置来操作，因此考虑图8中的整体。根据图5D的配置的操作方式则类似于根据图5C的配置的操作方式，故于此不再赘述。
请参考图7所示，其为本发明说明另一实施例的距离测量装置的距离测量方法的流程图。本实施例中，彼此相邻的一个第一像素P1(P1')、一个第二像素P2(P2')、一个第三像素P3(P3')及一个第四像素P4(P4')可形成一个子像素群。当沿所述第一轴向(例如X方向)及所述第二轴向(例如Y方向)相邻的两子像素群中，第一子像素群(例如P1～P4)的所述第一部分至所述第四部分小于第二子像素群(例如P1'～P4')的所述第一部分至所述第四部分，且所述第一深度D12及所述第二深度D43根据所述第一子像素群(P1～P4)所求得时，本实施例的距离测量方法包含下列步骤：根据所述第一子像素群计算第一深度及第二深度(步骤S641)；根据所述第二子像素群计算第三深度及第四深度(步骤S642)；利用所述第三深度确认所述第一深度(步骤S643)；以及利用所述第四深度确认所述第二深度(步骤S644)；其中，步骤S641即执行图6的步骤，而步骤S642类似于图6，仅子像素群不同。此外，步骤S641及步骤S642可同时操作，如图8所示。以下接着针对步骤S642进一步说明，而步骤S641则不再赘述。
所述像素阵列111的所有像素根据预设焦距感测穿过所述聚光透镜10的光线，所述第一像素群P1'、所述第二像素群P2'、所述第三像素群P3'以及所述第四像素群P4'输出图像帧F的一部分。所述图像帧F的另一部分则由所述第一像素群P1、所述第二像素群P2、所述第三像素群P3以及所述第四像素群P4所输出。亦即，所述图像帧F为所述第一像素群P1、所述第二像素群P2、所述第三像素群P3、所述第四像素群P4以及所述第一像素群P1'、所述第二像素群P2'、所述第三像素群P3'、所述第四像素群P4'输出的图像信息(例如灰度值)所共同形成。
所述处理器13的帧分割模块131还将所述图像帧F分割为第一子帧F1'、第二子帧F2'、第三子帧F3'及第四子帧F4'；其中，所述第一子帧F1'与所述第一像素群P1'相关(即由所述第一像素群P1'输出的灰度信息而形成)、所述第二子帧F2'与所述第二像素群P2'相关(即由所述第二像素群P2'输出的灰度信息而形成)、所述第三子帧F3'与所述第三像素群P3'相关(即由所述第三像素群P3'输出的灰度信息而形成)而所述第四子帧F4'与所述第四像素群P4'相关(即由所述第四像素群P4'输出的灰度信息而形成)。
所述处理器13的偏移计算模块133接着计算所述第一子帧F1'的第一偏移量S1'与所述第二子帧F2'中相对图像区域的第一偏移量(例如S1'与S2'两者之间的偏移量)以及所述第三子帧F3'与所述第四子帧F4'中相对图像区域的第二偏移量(例如S3'与S4'两者之间的偏移量)，其计算方式如前所述，故于此不再重复。
所述处理器13的深度计算模块135根据所述第一偏移量计算第三深度D12'，并根据所述第二偏移量计算第四深度D43'，如图8所示。同理，所述第三深度D12'例如根据第一方向的偏移量以查表方式求得而所述第四深度D43'例如根据第二方向的偏移量以查表方式求得。
某些情况下，偏移量(S1与S2两者之间的偏移量或S1'与S2'两者之间的偏移量)可能对应到两个深度，因此本实施例中，可利用两组不同的子像素群来相互确认，以增加深度判断精度。例如步骤S643中利用所述第三深度D12'确认所述第一深度D12以及步骤S644中利用所述第四深度D43'确认所述第二深度D43，或可反向为之。
本实施例中，由在所述第一子像素群及所述第二子像素群具有不同遮蔽面积，因此所述第一深度D12及所述第二深度D43具有第一解析度，所述第三深度D12'及所述第四深度D43'具有不同于所述第一解析度的第二解析度，藉以提升应用范围。
必须说明的是，虽然图6的距离测量方法是相对图8的示意图为例以进行说明，然而当所述遮蔽层113的遮蔽模式如图3所示时，步骤S61～S64中可不包含第三像素群及第四像素群或者不包含第一像素群及第二像素群，而仅根据图4的方式操作。因此，所述操作方法包含下列步骤：根据预设焦距以第一像素群及第二像素群输出图像帧；将所述图像帧分割为第一子帧及第二子帧；将所述第一子帧及所述第二子帧的亮度校正为相同；计算所述第一子帧与所述第二子帧中相对应的图像区域的偏移量；以及根据所述偏移量计算所述图像区域的深度。或者，所述操作方法包含下列步骤：根据预设焦距以第三像素群及第四像素群输出图像帧；将所述图像帧分割为第三子帧及第四子帧；将所述第三子帧及所述第四子帧的亮度校正为相同；计算所述第三子帧与所述第四子帧中相对应的图像区域偏移量；以及根据所述偏移量计算所述图像区域的深度。
更详言之，本发明可根据所述遮蔽层113的不同配置计算不同的图像区域的深度。此外，所述处理器13亦可根据不同应用决定所计算的图像区域的深度，例如仅根据两像素群计算深度并忽略其他像素群的像素信息。
本发明中，由于第一像素群包含多个第一像素，所以所述第一像素群及所述多个第一像素均以标号P1表示。同理，所述第二像素群及所述多个第二像素均以标号P2表示；所述第三像素群及所述多个第三像素均以标号P3表示；所述第四像素群及所述多个第四像素均以标号P4表示。
此外，当所述距离测量装置1用于侦测对象时，配合对象图像在图像帧中的二维位置，所述处理器13另可根据所述二维位置及对象深度计算出一对象的三维座标。
此外，当所述距离测量装置1用于侦测多个对象时，还可根据上述图6及图7的距离测量方法同时计算出多个对象的深度及三维座标。
此外，虽然本发明以所述点对象9为例进行说明，实际所述距离测量装置1可不用于分辨任何对象而仅根据上述距离测量方法分别求出各图像区域的深度，以建立所述图像帧F的深度图。
必须说明的是，上述实施例中的数值，例如图像帧F的尺寸及面积比例等，仅用于说明而并非用于限定本发明说明。本发明的各图式中的元件比例及配置、方向仅用于说明而非用于限定本发明说明。
必须说明的是，虽然上述实施例中，所述遮蔽层113示出遮蔽于每一像素上方，然其仅用于说明而非用于限定本发明。其他实施例中，所述遮蔽层113可仅遮蔽在所述像素阵列111的部分像素上方；其中，所述部分向素的输出信息可用于判定图像区域的深度，而其他未被所述遮蔽层113遮蔽的像素的输出信息可执行其他功能，例如手势判断等。
综上所述，公知距离测量系统及手势辨识系统需要较高的成本及尺寸，且通常需要另外提供光源。因此，本发明说明提出一种光学式距离测量装置(图1)及其距离测量方法(图6～7)，其利用穿过微透镜不同部分的入射光之间的相位差所造成的图像位置的偏移量来计算图像区域的深度，且由于无需使用光源，因此具有低成本及尺寸小的优点。
虽然本发明已以上述实例公开，然其并非用于限定本发明，任何本发明所属技术领域中技术人员，在不脱离本发明的精神和范围内，可作各种的更动与修改。因此本发明的保护范围当视所附的权利要求的范围所限定者为准。

Claims (19)

1.一种距离测量装置，包含：
聚光透镜，具有预设焦距；
图像传感器，用于感测穿过所述聚光透镜的光线并输出图像帧，所述图像传感器包含：
像素阵列，包含沿第一方向及第二方向排列的第一像素群及第二像素群；
遮蔽层，遮蔽在所述第一像素群的多个第一像素的第一区域上方及所述第二像素群的多个第二像素的第二区域上方，其中，所述第一区域与所述第二区域沿所述第一方向形成镜像对称的矩形；及
多个微透镜，所述多个微透镜中的每一者对位于一个所述第一像素及一个所述第二像素的至少其中之一；以及
处理器，用于计算所述图像帧中图像区域的深度，其中所述处理器将所述图像帧分割为第一子帧及第二子帧，根据所述第一子帧及所述第二子帧计算相对所述图像区域的偏移量并根据所述偏移量计算所述深度，其中，所述第一子帧与所述第一像素群相关而所述第二子帧与所述第二像素群相关。
2.根据权利要求1所述的距离测量装置，其中所述处理器还包含储存单元，该储存单元用于预先储存多个偏移量与所述预设焦距的多个深度差的相对关系。
3.根据权利要求1所述的距离测量装置，其中所述处理器还利用阴影法将所述第一子帧及所述第二子帧的亮度校正为一致。
4.根据权利要求1所述的距离测量装置，其中所述第一区域及所述第二区域为单一像素面积的5％～95％。
5.根据权利要求1所述的距离测量装置，其中所述像素阵列还包含第三像素群及第四像素群，所述遮蔽层还遮蔽在所述第三像素群的多个第三像素的第三区域上方及所述第四像素群的多个第四像素的第四区域上方，其中，所述第三区域与所述第四区域沿所述第二方向形成镜像对称的矩形。
6.根据权利要求5所述的距离测量装置，其中彼此相邻的一个所述第一像素、一个所述第二像素、一个所述第三像素及一个所述第四像素形成一个子像素群，所述子像素群内的所述第一区域、所述第二区域、所述第三区域及所述第四区域具有相同面积。
7.根据权利要求6所述的距离测量装置，其中沿所述第一方向及所述第二方向相邻的两子像素群中，第一子像素群的所述第一区域至所述第四区域为单一像素面积的50％，第二子像素群的所述第一区域至所述第四区域为单一像素面积的5％～45％或55％～95％。
8.根据权利要求5所述的距离测量装置，其中所述多个第一像素沿对角线方向相邻于所述多个第二像素，所述多个第三像素沿对角线方向相邻于所述多个第四像素。
9.一种距离测量装置的距离测量方法，所述距离测量装置包含具有预设焦距的聚光透镜、第一像素群、第二像素群及多个微透镜，所述第一像素群及所述第二像素群分别通过所述多个微透镜的第一部分及第二部分接收不同相位的入射光，所述距离测量方法包含：
根据所述预设焦距利用所述第一像素群及所述第二像素群输出图像帧；
将所述图像帧分割为第一子帧及第二子帧，其中，所述第一子帧与所述第一像素群相关而所述第二子帧与所述第二像素群相关；
计算所述第一子帧与所述第二子帧中相对应的图像区域的第一偏移量；以及
根据所述第一偏移量计算所述图像区域的第一深度。
10.根据权利要求9所述的距离测量方法，其中所述第一部分及所述第二部分为所述多个微透镜的5％～95％。
11.根据权利要求9所述的距离测量方法，其中所述距离测量装置还包含第三像素群及第四像素群，所述第三像素群及所述第四像素群分别通过所述多个微透镜的第三部分及第四部分接收不同相位的入射光，所述第一部分及所述第二部分为所述多个微透镜沿第一轴向的两相对侧且所述第三部分及所述第四部分为所述多个微透镜沿第二轴向的两相对侧。
12.根据权利要求11所述的距离测量方法，还包含：
还将所述图像帧分割为第三子帧及第四子帧，其中，所述第三子帧与所述第三像素群相关而所述第四子帧与所述第四像素群相关；
计算所述第三子帧与所述第四子帧中相对应的所述图像区域的第二偏移量；以及
根据所述第二偏移量计算所述图像区域的第二深度。
13.根据权利要求12所述的距离测量方法，其中彼此相邻的一个第一像素、一个第二像素、一个第三像素及一个第四像素形成一个子像素群，沿所述第一轴向及所述第二轴向相邻的两子像素群中，第一子像素群的所述第一部分至所述第四部分小于第二子像素群的所述第一部分至所述第四部分，且所述第一深度及所述第二深度根据所述第一子像素群所求得，所述距离测量方法还包含：
根据所述第二子像素群计算第三深度及第四深度；
利用所述第三深度确认所述第一深度；以及
利用所述第四深度确认所述第二深度。
14.根据权利要求12所述的距离测量方法，其中彼此相邻的一个第一像素、一个第二像素、一个第三像素及一个第四像素形成一个子像素群，沿所述第一轴向及所述第二轴向相邻的两子像素群中，第一子像素群的所述第一部分至所述第四部分不同于第二子像素群的所述第一部分至所述第四部分，且所述第一深度及所述第二深度根据所述第一子像素群所求得，所述距离测量方法还包含：
根据所述第二子像素群计算第三深度及第四深度，
其中，所述第一深度及所述第二深度具有第一解析度，所述第三深度及所述第四深度具有不同于所述第一解析度的第二解析度。
15.根据权利要求11所述的距离测量方法，其中彼此相邻的一个第一像素、一个第二像素、一个第三像素及一个第四像素形成一个子像素群，沿所述第一轴向及所述第二轴向相邻的两子像素群中，第一子像素群的所述第一部分至所述第四部分为所述多个微透镜的50％，第二子像素群的所述第一部分至所述第四部分为所述多个微透镜的5％～45％或55％～95％。
16.根据权利要求11所述的距离测量方法，其中所述第一像素群的多个第一像素沿对角线方向相邻于所述第二像素群的多个第二像素，所述第三像素群的多个第三像素沿对角线方向相邻于所述第四像素群的多个第四像素。
17.一种距离测量装置，包含：
聚光透镜，具有预设焦距；
像素阵列，包含沿第一方向及第二方向排列的第一像素群、第二像素群、第三像素群及第四像素群；
遮蔽层，遮蔽在所述像素阵列的上方，所述遮蔽层包含：
第一遮蔽模式，遮蔽在所述第一像素群的多个第一像素的第一区域上方；
第二遮蔽模式，遮蔽在所述第二像素群的多个第二像素的第二区域上方；
第三遮蔽模式，遮蔽在所述第三像素群的多个第三像素的第三区域上方；以及
第四遮蔽模式，遮蔽在所述第四像素群的多个第四像素的第四区域上方，
其中，所述第一区域与所述第二区域沿所述第一方向形成镜像对称的矩形，所述第三区域与所述第四区域沿所述第二方向形成镜像对称的矩形，
所述像素阵列根据所述预设焦距感测穿过所述聚光透镜的光线，以使所述第一像素群、所述第二像素群、所述第三像素群及所述第四像素群输出图像帧；及
处理器，用于
将所述图像帧分割为第一子帧、第二子帧、第三子帧及第四子帧，
根据所述第一子帧及所述第二子帧计算第一偏移量，
根据所述第三子帧及所述第四子帧计算第二偏移量，及
根据所述第一偏移量计算第一深度并根据所述第二偏移量计算第二深度。
18.根据权利要求17所述的距离测量装置，其中彼此相邻的一个所述第一像素、一个所述第二像素、一个所述第三像素及一个所述第四像素形成一个子像素群，沿所述第一方向及所述第二方向相邻的两子像素群中，第一子像素群的所述第一区域至所述第四区域为单一像素面积的50％，第二子像素群的所述第一区域至所述第四区域为单一像素面积的5％～95％。
19.根据权利要求17所述的距离测量装置，其中所述多个第一像素沿对角线方向相邻于所述多个第二像素，所述多个第三像素沿对角线方向相邻于所述多个第四像素。
CN201510411206.8A 2015-07-14 2015-07-14 基于相位差的距离测量装置及距离测量方法 Active CN106352847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510411206.8A CN106352847B (zh) 2015-07-14 2015-07-14 基于相位差的距离测量装置及距离测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510411206.8A CN106352847B (zh) 2015-07-14 2015-07-14 基于相位差的距离测量装置及距离测量方法

Publications (2)

Publication Number Publication Date
CN106352847A CN106352847A (zh) 2017-01-25
CN106352847B true CN106352847B (zh) 2019-04-30

Family

ID=57842165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510411206.8A Active CN106352847B (zh) 2015-07-14 2015-07-14 基于相位差的距离测量装置及距离测量方法

Country Status (1)

Country Link
CN (1) CN106352847B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495115B (zh) * 2018-04-17 2019-09-10 德淮半导体有限公司 图像传感器及其像素组和像素阵列，获取图像信息的方法
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
CN109521434B (zh) * 2018-12-27 2020-09-08 合肥泰禾光电科技股份有限公司 一种激光测量方法及控制处理器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009022458A1 (ja) * 2007-08-13 2009-02-19 Panasonic Corporation 撮像装置およびカメラ
CN102289131A (zh) * 2010-06-17 2011-12-21 奥林巴斯株式会社 摄像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009022458A1 (ja) * 2007-08-13 2009-02-19 Panasonic Corporation 撮像装置およびカメラ
CN102289131A (zh) * 2010-06-17 2011-12-21 奥林巴斯株式会社 摄像装置

Also Published As

Publication number Publication date
CN106352847A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
US20230362344A1 (en) System and Methods for Calibration of an Array Camera
EP3516626B1 (en) Device and method for obtaining distance information from views
US9715734B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10142612B2 (en) One method of binocular depth perception based on active structured light
CN101755190B (zh) 校准方法、校准装置及具备该校准装置的校准系统
CN103069250B (zh) 三维测量设备、三维测量方法
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
CN104197861B (zh) 基于结构光灰度向量的三维数字成像方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN104756490A (zh) 深度图像增强方法
CN106200882B (zh) 感测元件及光学测距系统
CN108779978B (zh) 深度感测系统和方法
CN110390719A (zh) 基于飞行时间点云重建设备
EP3513550B1 (en) Flat digital image sensor
CN103299343A (zh) 距离图像像素匹配方法
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN105187815A (zh) 用于获得图像深度信息的系统及方法
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
CN106352847B (zh) 基于相位差的距离测量装置及距离测量方法
US11182918B2 (en) Distance measurement device based on phase difference
CN106067937A (zh) 镜头模块阵列、图像感测装置与数字缩放图像融合方法
JP4193342B2 (ja) ３次元データ生成装置
US20040135739A1 (en) Three-dimensional image display method, device for the same, light direction detector, and light direction detecting method
US9500475B2 (en) Method and apparatus for inspecting an object employing machine vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant