CN111971957A - 相机模块及其深度图提取方法 - Google Patents

相机模块及其深度图提取方法 Download PDF

Info

Publication number
CN111971957A
CN111971957A CN201980025629.2A CN201980025629A CN111971957A CN 111971957 A CN111971957 A CN 111971957A CN 201980025629 A CN201980025629 A CN 201980025629A CN 111971957 A CN111971957 A CN 111971957A
Authority
CN
China
Prior art keywords
unit
image sensor
light signal
camera module
glass layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980025629.2A
Other languages
English (en)
Other versions
CN111971957B (zh
Inventor
金润成
李雄
李昌奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN111971957A publication Critical patent/CN111971957A/zh
Application granted granted Critical
Publication of CN111971957B publication Critical patent/CN111971957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

根据本发明的一个实施方式的相机模块包括：照明单元，用于输出照射到对象的入射光的信号；透镜单元，用于收集从对象反射的反射光的信号；图像传感器单元，用于从由透镜单元收集的反射光信号生成电信号；倾斜单元，用于使反射光信号的光学路径移位；以及图像控制单元，用于通过使用针对已被倾斜单元移位的帧的入射光信号与由图像传感器单元接收的反射光信号之间的相位差来提取对象的深度图，其中，透镜单元被设置在图像传感器单元上，并包括在图像传感器单元上设置的红外(IR)滤光器以及在红外滤光器上设置的至少一个透镜，并且倾斜单元控制红外滤光器的倾斜。

Description

相机模块及其深度图提取方法
技术领域
本发明涉及相机模块及其深度图提取方法。
背景技术
三维(3D)内容不仅应用于游戏和文化，而且还应用于许多领域，例如教育、制造和自主驾驶，并且需要深度图来获取3D内容。深度图是指示空间中的距离的信息，并且表示二维(2D)图像的一个点相对于另一点的透视信息。
获取深度图的一种方法包括将红外(IR)结构光投射到对象上，解释从对象反射的光，并且提取深度图。IR结构光方案的问题在于，针对运动对象难以获得期望水平的深度分辨率。
同时，飞行时间(TOF)方案作为代替IR结构光方案的技术引起了人们的关注。
根据TOF方案，到对象的距离是通过测量飞行时间来计算的，该飞行时间是光被投射、反射和返回的时间。ToF方案的最大优点在于，可以快速地实时提供关于3D空间的距离信息。此外，用户无需分开的算法应用或硬件校正即可获得准确的距离信息。此外，即使用户测量非常接近的对象或移动对象，用户也可以获得准确的深度图。
然而，当前ToF方案的问题在于，每帧可获得的信息即分辨率低。
提高分辨率的一种方式是增加图像传感器的像素数。然而，在该情况下，存在相机模块的体积和生产成本显著增加的问题。
因此，需要能够在不显著增加相机模块的体积和生产成本的情况下提高分辨率的深度图获取方法。
发明内容
技术问题
本发明的目的是提供用于使用飞行时间(TOF)方案提取深度图的相机模块及其深度图提取方法。
技术解决方案
根据本发明的实施方式，提供了一种相机模块，相机模块包括：照明单元，其被配置成输出要发射到对象的入射光信号；透镜单元，其被配置成收集从对象反射的反射光信号；图像传感器单元，其被配置成从由透镜单元收集的反射光信号生成电信号；倾斜单元，其被配置成使反射光信号的光学路径移位；以及图像控制单元，其被配置成使用入射光信号与由图像传感器单元接收的反射光信号之间的相位差，从被倾斜单元移位的帧提取对象的深度图，其中，透镜单元被设置在图像传感器单元上，透镜单元包括在图像传感器单元上设置的红外(IR)滤光器以及在IR滤光器上设置的至少一个透镜，并且倾斜单元控制IR滤光器的斜率。
倾斜单元可以包括音圈马达(VCM)，并且IR滤光器可以被设置在图像传感器单元与VCM之间。
VCM可以包括：磁体保持器；多个磁体，其被设置在磁体保持器上并且以预定间隔彼此间隔开；线圈保持器；以及多个线圈，其被设置在线圈保持器上并且以预定间隔彼此间隔开，以与多个磁体成对。
IR滤光器可以包括玻璃层以及被配置成支承玻璃层的玻璃层保持器，并且玻璃层保持器的至少一部分可以被磁体保持器包围。
磁体保持器可以包括用于容纳多个磁体的多个磁体引导件，玻璃层保持器可以包括与多个磁体引导件对应的多个突起，并且根据在多个线圈与多个磁体之间生成的磁场，移动多个突起以使其与多个磁体引导件接触或间隔开。
玻璃层可以根据多个突起的移动而倾斜到预定角度。
玻璃层可以是IR透过(IR-pass)玻璃层。
IR滤光器还可以包括IR透过玻璃层，IR透过玻璃层被设置在图像传感器单元上并且与玻璃层间隔开。
相机模块还可以包括在图像传感器与IR滤光器之间设置的弹性膜。
相机模块还可以包括被配置成容纳图像传感器的壳体，并且弹性膜可以粘附至壳体。
根据本发明的另一实施方式，提供了一种相机模块，相机模块包括：照明单元，其被配置成输出要发射到对象的入射光信号；透镜单元，其被配置成收集从对象反射的反射光信号；图像传感器单元，其被配置成从由透镜单元收集的反射光信号生成电信号；弹性膜，其被设置在图像传感器单元上；倾斜单元，其被配置成使反射光信号的光学路径移位；以及图像控制单元，其被配置成使用入射光信号与由传感器单元接收的反射光信号之间的相位差，从被倾斜单元移位的帧提取对象的深度信息，其中，倾斜单元控制弹性膜的形状。
相机模块还可以包括壳体，壳体被配置成容纳图像传感器，其中，弹性膜的一个面可以耦接至壳体，并且弹性膜的另一面可以耦接至倾斜单元。
有益效果
利用根据本发明的实施方式的相机模块，可以在不显著增加图像传感器的像素数的情况下获取具有高分辨率的深度图。
此外，根据实施方式，可以使用简单的结构获得子像素移位效果，并且还可以保护图像传感器免受湿气、异物等的影响。
附图说明
图1是根据本发明的实施方式的飞行时间(ToF)相机模块的框图。
图2是示出入射光信号的频率的图。
图3是相机模块的示例截面视图。
图4是示出根据本发明的实施方式的电信号生成过程的图。
图5是示出根据本发明的实施方式的图像传感器(130)的图。
图6是示出倾斜单元(140)改变反射光信号的光学路径的图。
图7和图8是示出根据本发明的实施方式的SR(超分辨率)技术的图。
图9是示出根据本发明的实施方式的像素值布置过程的图。
图10和图11是示出通过控制红外(IR)滤光器的斜率使输入到图像传感器的图像帧移位的效果的图。
图12是根据本发明的实施方式的音圈马达(VCM)和IR滤光器的立体图。
图13是根据本发明的实施方式的包括VCM和IR滤光器的ToF相机模块的截面视图。
图14是示出根据本发明的实施方式的将IR滤光器与VCM中包括的磁体组件耦接的过程的图。
图15是示出根据本发明的实施方式的VCM中包括的线圈组件的耦接过程的图。
图16是示出根据本发明的实施方式的将磁体组件、IR滤光器和线圈组件耦接的过程的图。
图17是根据本发明的实施方式的相机模块的一部分的截面视图。
图18至图23示出了放置弹性膜的各种示例。
具体实施方式
尽管本发明易受各种修改的影响并且可以具有若干实施方式，本发明的具体实施方式仍在附图中作为示例被示出，并且将在本文中详细描述。然而，应当理解，没有意图将本发明限于所公开的特定形式，而相反地，本发明覆盖落入本发明的精神和范围内的所有修改、等同方案和替选方案。
尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应当受这些术语的限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件，并且第二元件也可以被称为第一元件。如在本文中所使用的，术语“和/或”包括相关联的列出项目中的一个或更多个的任何和所有组合。
应当理解，当元件被称为“连接”或“耦接”至另一元件时，其可以直接连接至或耦接至另一元件或者可以存在中间元件。相比之下，当元件被称为“直接连接”或“直接耦接”至另一元件时，不存在中间元件。
本文中所使用的专业术语仅出于描述特定实施方式的目的，并且并不旨在限制本发明。如在本文中所使用的，除非上下文另外清楚地指示，否则单数形式“一(a)”、“一种(an)”和“一个(one)”也旨在包括复数形式。还将理解，术语“包括(comprise)”、“包括(comprising)”、“包括(include)”和/或“包括(including)”当在本文中使用时指定所陈述的特征、数字、步骤、操作、元件、部件和/或其组合的存在，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、元件、部件和/或其组合。
除非另外定义，否则本文使用的包括技术和科学术语的所有术语具有的含义与本发明所属技术领域的技术人员通常理解的含义相同。还将理解，诸如在常用词典中定义的那些术语的术语应当被解释为具有与其在相关领域的上下文中的含义一致的含义，并且不会以理想化或过于正式的含义来解释，除非本文明确如此定义。
在下文中，将参照附图详细描述示例性实施方式。贯穿附图，相同的附图标记被赋予相同或等同的元件，并且将省去其冗余描述。
图1是根据本发明的实施方式的ToF相机模块的框图。
参照图1，ToF相机模块(100)包括照明单元(110)、透镜单元(120)、图像传感器单元(130)、倾斜单元(140)和图像控制单元(150)。
照明单元(110)生成入射光信号，并且将生成的入射光信号发射到对象。在该情况下，照明单元(110)可以生成并输出具有脉冲波或连续波形式的入射光信号。连续波可以是正弦波或方波。通过生成具有脉冲波或连续波形式的入射光信号，ToF相机模块(100)可以检测从照明单元(110)输出的入射光信号与从对象反射的反射光信号之间的相位差。在本文中，入射光可以是指从照明单元(110)输出并入射在对象上的光，并且反射光可以是指从照明单元(110)输出并且然后在到达对象之后从对象反射的光。从ToF相机模块(100)的位置来看，入射光可以是输出光，并且反射光可以是入射光。
照明单元(110)可以在预定积分时间期间将生成的入射光信号发射到对象。这里，积分时间是指一个帧时段。当生成多个帧时，重复预定积分时间。例如，当ToF相机模块(100)以20FPS捕获对象时，积分时间为1/20秒。此外，当生成100个帧时，积分时间可以重复100次。
照明单元(110)可以生成具有不同频率的多个入射光信号。照明单元(110)可以顺序地并且重复地生成具有不同频率的多个入射光信号。替选地，照明单元(110)可以同时生成具有不同频率的多个入射光信号。
图2是示出入射光信号的频率的图。根据本发明的实施方式，照明单元(110)可以控制积分时间的前一半以生成具有频率f1的入射光信号，并且可以控制积分时间的另一半以生成具有频率f2的入射光信号。
根据另一实施方式，照明单元(110)可以控制多个发光二极管中的一些以生成具有频率f1的入射光信号，并且可以控制其他发光二极管以生成具有频率f2的入射光信号。
为此，照明单元(110)可以包括被配置成生成光的光源(112)以及被配置成调制光的光调制单元(114)。
首先，光源(112)生成光。由光源(112)生成的光可以是具有770nm至3000nm的波长的红外光，或者可以是具有380nm至770nm的波长的可见光。光源(112)可以使用发光二极管(LED)，并且可以具有以特定图案布置的多个LED。另外，光源(112)可以包括有机发光二极管(OLED)或激光二极管(LD)。
光源(112)以预定时间间隔重复地打开和关闭，以生成具有脉冲波或连续波形式的入射光信号。预定时间间隔可以是入射光信号的频率。光源的打开和关闭可以由光调制单元(114)控制。
光调制单元(114)控制光源(112)的打开和关闭，以控制光源(112)生成具有连续波或脉冲波形式的入射光信号。光调制单元(114)可以通过频率调制或脉冲调制来控制光源(112)生成具有连续波或脉冲波的形式的入射光信号。
同时，透镜单元(120)收集从对象反射的反射光信号，并且将反射光信号转发到图像传感器单元(130)。
图3是相机模块的示例截面视图。
参照图3，相机模块(300)包括透镜组件(310)、图像传感器(320)和印刷电路板(330)。这里，透镜组件(310)可以对应于图1的透镜单元(120)，并且图像传感器(320)可以对应于图1的图像传感器单元(130)。此外，图1的图像控制单元(150)等可以在印刷电路板(330)中实现。尽管未示出，但是图1照明单元(110)可以被设置在印刷电路板(330)上的图像传感器(320)的侧面，或者可以被设置在相机模块(300)的外部。
透镜组件(310)可以包括透镜(312)、透镜镜筒(314)、透镜保持器(316)和IR滤光器(318)。
透镜(312)可以包括多个透镜，也可以包括一个透镜。当透镜(312)包括多个透镜时，可以相对于中心轴布置透镜以形成光学系统。这里，中心轴可以与光学系统的光轴相同。
透镜镜筒(314)耦接至透镜保持器(316)以提供用于容纳透镜的空间。透镜镜筒(314)可以可旋转地耦接至一个或多个透镜，但这仅是示例。因此，透镜镜筒(314)和透镜可以以另一方式例如使用粘合剂(例如，诸如环氧树脂的粘合剂树脂)的方案耦接。
透镜保持器(316)可以耦接至透镜镜筒(314)以支承透镜镜筒(314)，并且可以耦接至配备有图像传感器(320)的印刷电路板(330)。透镜保持器(316)可以形成用于将IR滤光器(318)附接在透镜镜筒(314)下方的空间。在透镜保持器(316)的内周表面上可以形成有螺旋图案，并且类似地，在透镜镜筒(314)的外周表面上可以形成有螺旋图案。因此，透镜保持器(316)和透镜镜筒(314)可以可旋转地彼此耦接。然而，这仅是示例，并且透镜保持器(316)和透镜镜筒(314)可以通过粘合剂彼此耦接或者可以一体地形成。
透镜保持器(316)可以包括上保持器(316-1)和下保持器(316-2)，上保持器(316-1)耦接至透镜镜筒(314)，下保持器(316-2)耦接至配备有图像传感器(320)的印刷电路板(330)。上保持器(316-1)和下保持器(316-2)可以彼此一体地形成，可以彼此分开但又彼此接合或耦接，或者可以彼此分开并且间隔开。在该情况下，上保持器(316-1)的直径可以小于下保持器(316-2)的直径。
以上示例仅是实施方式，并且透镜单元(120)可以被配置成能够收集入射在ToF相机模块(100)上的反射光信号并且将反射光信号转发到图像传感器单元(130)的另一结构。
再次参照图1，图像传感器单元(130)使用通过透镜单元(120)收集的反射光信号来生成电信号。
图像传感器单元(130)可以与照明单元(110)的打开和关闭时段同步，以吸收反射光信号。详细地，图像传感器单元(130)可以吸收与从照明单元(110)输出的入射光信号同相或异相的光。即，图像传感器单元(130)可以重复地执行在光源打开时吸收反射光信号的步骤，以及在光源关闭时吸收反射光信号的步骤。
随后，图像传感器单元(130)可以使用具有不同相位差的多个参考信号来生成与每个参考信号对应的电信号。参考信号的频率可以被设置为与从照明单元(110)输出的入射光信号的频率相同。因此，当照明单元(110)使用多个频率生成入射光信号时，图像传感器单元(130)使用与频率对应的多个参考信号生成电信号。电信号可以包括与对应于参考信号的电荷量或电压有关的信息。
图4是示出根据本发明的实施方式的电信号生成过程的图。
如图4所示，根据本发明的实施方式的参考信号可以包括四个参考信号(C1至C4)。参考信号(C1至C4)可以具有与入射光信号相同的频率，并且彼此具有90度的相位差。四个参考信号之一的参考信号(C1)可以具有与入射光信号相同的相位。反射光信号具有延迟了如下距离的相位，该距离由入射在对象上并且从对象返回的入射光信号所行进。图像传感器单元(130)将反射光信号与参考信号中的每一个混合。因此，图像传感器单元(130)可以针对每个参考信号生成与图4的阴影部分对应的电信号。
在另一实施方式中，当在积分时间期间使用多个频率生成入射光信号时，图像传感器单元(130)吸收与多个频率对应的反射光信号。例如，假设生成具有频率f1和f2的入射光信号，并且多个参考信号彼此具有90度的相位差。在该情况下，反射光信号也具有频率f1和f2。因此，可以使用具有频率f1的反射光信号和对应的四个参考信号来生成四个电信号。此外，可以使用具有频率f2的反射光信号和对应的四个参考信号来生成四个电信号。因此，总共可以生成八个电信号。
图像传感器单元(130)可以被配置成其中多个像素以网格形式布置的结构。图像传感器单元(130)可以是互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)传感器。此外，图像传感器单元(130)可以包括ToF传感器，该ToF传感器被配置成接收从对象反射的红外光并且使用行进时间或相位差来测量距对象的距离。
图5是示出根据本发明的实施方式的图像传感器(130)的图。例如，对于如图5所示的具有320×240的分辨率的图像传感器(130)，76,800个像素以网格形式布置。在该情况下，预定间隔例如图5的阴影部分可以在多个像素之间形成。在本发明的实施方式中，一个像素是指像素和与该像素相邻的预定间隔。
根据本发明的实施方式，每个像素(132)可以包括第一光接收单元(132-1)和第二光接收单元(132-2)，第一光接收单元(132-1)包括第一光电二极管和第一晶体管，第二光接收单元(132-2)包括第二光电二极管和第二晶体管。
第一光接收单元(132-1)接收与入射光的波形相位相同的反射光信号。即，在光源打开时，第一光电二极管打开以吸收反射光信号。此外，在光源关闭时，第一光电二极管关闭以停止吸收反射光信号。第一光电二极管将吸收的反射光信号转换为电流，并且将电流转发到第一晶体管。第一晶体管将转发的电流转换为电信号并且输出电信号。
第二光接收单元(132-2)接收与入射光的波形相位相反的反射光信号。即，在光源打开时，第二光电二极管关闭以吸收反射光信号。此外，在光源关闭时，第二光电二极管打开以停止吸收反射光信号。第二光电二极管将吸收的反射光信号转换为电流，并且将电流转发到第二晶体管。第二晶体管将转发的电流转换为电信号。
因此，第一光接收单元(132-1)可以被称为同相接收单元，并且第二光接收单元(132-2)可以被称为异相接收单元。如上所述，当第一光接收单元(132-1)和第二光接收单元(132-2)以时间差被激活时，接收的光量可以取决于到对象的距离而变化。例如，当对象在TOF相机模块(100)的前面时(即，距离等于零)，在光从照明单元(110)输出之后光从对象反射所需的时间为零，并且因此，光源的打开和关闭时段变为无改变的光接收时段。因此，仅第一光接收单元(132-1)能够接收光，并且第二光接收单元(132-2)不能接收光。作为另一示例，当对象位于离开ToF相机模块(100)的预定距离时，在光从照明单元(110)输出之后光从对象反射需要时间，并且因此，光源的打开和关闭时段变得不同于光接收时段。因此，由第一光接收单元(132-1)接收的光量变得不同于由第二光接收单元(132-2)接收的光量。即，可以使用输入到第一光接收单元(132-1)的光量与输入到第二光接收单元(132-2)的光量之间的差来计算到对象的距离。再次参照图1，图像控制单元(150)使用从图像传感器单元(130)接收的电信号来计算入射光与反射光之间的相位差，并且使用相位差来计算对象与ToF相机模块(100)之间的距离。
详细地，图像控制单元(150)可以使用与电信号的电荷量有关的信息来计算入射光与反射光之间的相位差。
如上所述，可以为入射光信号的每个频率生成四个电信号。因此，图像控制单元(150)可以使用以下等式1来计算入射光信号与反射光信号之间的相位差(td)：
[等式1]
Figure BDA0002721644330000101
其中，Q1至Q4是四个电信号的电荷量。Q1是与具有与入射光信号相同相位的参考信号相对应的电信号的电荷量。Q2是与具有相对于入射光信号滞后180度的相位的参考信号相对应的电信号的电荷量。Q3是与具有相对于入射光信号滞后90度的相位的参考信号相对应的电信号的电荷量。Q4是与具有相对于入射光信号滞后270度的相位的参考信号相对应的电信号的电荷量。
因此，图像控制单元(150)可以使用入射光信号与反射光信号之间的相位差来计算对象与ToF相机模块(100)之间的距离。在这种情况下，图像控制单元(150)可以使用以下等式2来计算对象与ToF相机模块(100)之间的距离(d)：
[等式2]
Figure BDA0002721644330000102
其中，c是光速，并且f是入射光的频率。
同时，在本发明的实施方式中，使用超分辨率(SR)技术来增加深度图的分辨率。SR技术是用于从多个低分辨率图像获得高分辨率图像的技术，并且SR技术的数学模型可以使用以下等式3来表达：
[等式3]
yk＝DkBkMkx+nk
其中，1≤k≤p，p为低分辨率图像的个数，yk为低分辨率图像(＝[yk,1,yk,2,...,yk,M]T；这里，M＝N1*N2)，Dk为下采样矩阵，Bk为光学模糊矩阵，Mk为图像变形矩阵，x为高分辨率图像(＝[x1,x2,...,xN]T；这里，N＝L1N1*L2N2)，并且nk为噪声。即，SR技术是指通过将估计的分辨率退化因子的反函数应用于yk来估计x的技术。SR技术可以主要分为统计方案和多帧方案，并且多帧方案可以主要分为空分方案和时分方案。当SR技术被用于获取深度图时，不存在等式1的Mk的反函数，并且因此可以尝试统计方案。然而，统计方案需要重复的计算过程，并且因此效率很低。
为了将SR技术应用于深度图提取，图像控制单元(150)可以使用从图像传感器单元(130)接收的电信号生成多个低分辨率子帧，然后可以使用所述多个低分辨率子帧提取多个低分辨率深度图。此外，图像控制单元(150)可以重新布置多个低分辨率深度图的像素值，以提取高分辨率深度图。
这里，术语“高分辨率”具有表示比“低分辨率”更高的分辨率的相对含义。
这里，术语“子帧”可以指从任何积分时间和与参考信号相对应的电信号生成的图像数据。例如，当在第一积分时间即一个图像帧期间使用八个参考信号生成电信号时，可以生成八个子帧，并且还可以生成一个起始帧。本文中，子帧可以与图像数据、子帧图像数据等互换地使用。
替选地，为了将根据本发明的实施方式的SR技术应用于深度图提取，图像控制单元(150)可以使用从图像传感器单元(130)接收的电信号来生成多个低分辨率子帧，并且然后可以重新布置所述多个低分辨率子帧的像素值以生成多个高分辨率子帧。此外，图像控制单元(150)可以使用高分辨率子帧提取高分辨率深度图。
为此，可以使用像素移位技术。即，图像控制单元(150)可以使用像素移位技术来获取针对每个子帧移位了子像素的数片图像数据，通过对每个子帧应用SR技术来获取多段高分辨率子帧图像数据，并且使用所述高分辨率子帧图像数据来提取高分辨率深度图。为了执行像素移位，根据本发明的实施方式的ToF相机模块(100)包括倾斜单元(140)。
再次参照图1，倾斜单元(140)以图像传感器单元(130)的子像素为单位改变入射光信号或反射光信号中的至少一个的光学路径。
对于每个图像帧，倾斜单元(140)改变入射光信号或反射光信号中的至少一个的光学路径。如上所述，可以在每个积分时间生成一个图像帧。因此，当一个积分时间结束时，倾斜单元(140)改变入射光信号或反射光信号中的至少一个的光学路径。
倾斜单元(140)以子像素为单位相对于图像传感器单元(130)改变入射光信号或反射光信号的光学路径。在这种情况下，倾斜单元(140)相对于当前光学路径向上、向下、向左或向右改变入射光信号或反射光信号中的至少一个的光学路径。
图6是示出倾斜单元(140)改变反射光信号的光学路径的图。
在图6的(a)中，由实线指示的部分指示反射光信号的当前光学路径，而由虚线指示的部分指示改变的光学路径。当与当前光学路径相对应的积分时间结束时，倾斜单元(140)可以改变反射光信号的光学路径，如虚线所示。因此，反射光信号的路径从当前光学路径移位了子像素。例如，如图6的(a)所示，当倾斜单元(140)将当前光学路径向右移位0.173度时，入射到图像传感器单元(130)上的反射光信号可以被向右移位0.5个像素(子像素)。
根据本发明的实施方式，倾斜单元(140)可以相对于参考位置顺时针改变反射光信号的光学路径。例如，如图6的(b)所示，在第一积分时间结束之后，倾斜单元(140)在第二积分时间期间相对于图像传感器单元(130)将反射光信号的光学路径向右移位0.5个像素。此外，在第三积分时间期间，倾斜单元(140)相对于图像传感器单元(130)将反射光信号的光学路径向下移位0.5个像素。此外，在第四积分时间期间，倾斜单元(140)相对于图像传感器单元(130)将反射光信号的光学路径向左移位0.5个像素。此外，在第五积分时间期间，倾斜单元(140)相对于图像传感器单元(130)将反射光信号的光学路径向上移位0.5个像素。即，倾斜单元(140)可以在四个积分时间期间将反射光信号的光学路径移位到其原始位置。即使当入射光信号的光学路径被移位时，这也可以以相同的方式应用，并且将省略其详细描述。此外，光学路径改变模式为顺时针仅是示例，并且光学路径改变模式可以是逆时针。
同时，子像素可以大于零像素并且小于一个像素。例如，子像素的大小可以是0.5个像素，并且大小可以是1/3个像素。子像素的大小可以由本领域技术人员在设计中改变。
图7和图8是示出根据本发明的实施方式的SR技术的图。
参照图7，图像控制单元(150)可以使用在相同的积分时间期间——即，在相同的帧期间——生成的多个低分辨率子帧来提取多个低分辨率深度图。此外，图像控制单元(150)可以重新布置所述多个低分辨率深度图的像素值，以提取高分辨率深度图。这里，与所述多个低分辨率深度图相对应的入射光信号或反射光信号的光学路径可以彼此不同。
例如，图像控制单元(150)可以使用多个电信号生成低分辨率子帧1-1至4-8。低分辨率子帧1-1至1-8是在第一积分时间期间生成的低分辨率子帧。低分辨率子帧2-1至2-8是在第二积分时间期间生成的低分辨率子帧。低分辨率子帧3-1至3-8是在第三积分时间期间生成的低分辨率子帧。低分辨率子帧4-1至4-8是在第四积分时间期间生成的低分辨率子帧。因此，图像控制单元(150)将深度图提取技术应用于针对每个积分时间生成的多个低分辨率子帧，以提取低分辨率深度图LRD-1至LRD-4。低分辨率深度图LRD-1是使用子帧1-1至1-8提取的低分辨率深度图。低分辨率深度图LRD-2是使用子帧2-1至2-8提取的低分辨率深度图。低分辨率深度图LRD-3是使用子帧3-1至3-8提取的低分辨率深度图。低分辨率深度图LRD-4是使用子帧4-1至4-8提取的低分辨率深度图。此外，图像控制单元(150)重新布置低分辨率深度图LRD-1至LRD-4的像素值，以提取高分辨率深度图HRD。
替选地，如上所述，图像控制单元(150)可以重新布置与同一参考信号相对应的多个子帧的像素值，以生成高分辨率子帧。在这种情况下，所述多个子帧具有相应的入射光信号或反射光信号的不同光学路径。此外，图像控制单元(150)可以使用多个高分辨率子帧提取高分辨率深度图。
例如，如图8所示，图像控制单元(150)使用多个电信号生成低分辨率子帧1-1至4-8。低分辨率子帧1-1至1-8是在第一积分时间期间生成的低分辨率子帧。低分辨率子帧2-1至2-8是在第二积分时间期间生成的低分辨率子帧。低分辨率子帧3-1至3-8是在第三积分时间期间生成的低分辨率子帧。低分辨率子帧4-1至4-8是在第四积分时间期间生成的低分辨率子帧。这里，低分辨率子帧1-1、2-1、3-1和4-1对应于同一参考信号C1和不同的光学路径。然后，图像控制单元(150)可以重新布置低分辨率子帧1-1、2-1、3-1和4-1的像素值，以生成高分辨率子帧H-1。当通过重新布置像素值生成高分辨率子帧H-1至H-8时，图像控制单元可以将深度图提取技术应用于高分辨率子帧H-1至H-8，以提取高分辨率深度图HRD。
图9是示出根据本发明的实施方式的像素值布置过程的图。
这里，假设使用四个大小为4×4的低分辨率图像来生成一个大小为8×8的高分辨率图像。在这种情况下，高分辨率像素网格具有8×8个像素，其与高分辨率图像的像素相同。这里，低分辨率图像可以具有包括低分辨率子帧和低分辨率深度图的含义，并且高分辨率图像可以具有包括高分辨率子帧和高分辨率深度图的含义。
在图9中，第一低分辨率图像至第四低分辨率图像是当以具有0.5像素大小的子像素为单位移位光学路径时捕获的图像。图像控制单元(150)布置第二低分辨率图像至第四低分辨率图像的像素值，以在光学路径相对于第一低分辨率图像移位的方向上拟合高分辨率图像，该第一低分辨率图像的光学路径未移位。
详细地，第二低分辨率图像是从第一低分辨率图像向右移位子像素的图像。因此，第二低分辨率图像的像素(B)被布置在位于第一低分辨率图像的每个像素(A)的右侧的像素中。
第三低分辨率图像是从第二低分辨率图像向下移位子像素的图像。因此，第三低分辨率图像的像素(C)被布置在位于第二低分辨率图像的每个像素(B)下方的像素中。
第四低分辨率图像是从第三低分辨率图像向左移位子像素的图像。因此，第四低分辨率图像的像素(D)被布置在位于第三低分辨率图像的像素(C)的左侧的像素中。
当第一低分辨率图像至第四低分辨率图像的所有像素值被重新布置在高分辨率像素网格中时，生成具有低分辨率图像的分辨率的四倍的分辨率的高分辨率图像帧。
同时，图像控制单元(150)可以将权重值应用于布置的像素值。在这种情况下，可以根据子像素的大小或光学路径的移位方向来不同地设置权重值，并且可以针对每个低分辨率图像来不同地设置权重值。
为此，倾斜单元(140)可以通过软件或硬件改变光学路径。当倾斜单元(140)通过软件改变光学路径时，ToF相机模块(100)的计算量增加，并且当倾斜单元(140)通过硬件改变光学路径时，ToF相机模块(100)的结构变得复杂或体积增加。
根据本发明的实施方式，倾斜单元(140)获得使用如下方法移位了子像素的数据，该方法控制透镜组件、例如包括在透镜组件中的IR滤光器(318)(见图2)的斜率。
图10和图11是示出通过控制IR滤光器的斜率使输入到图像传感器的图像帧移位的效果的图。图11示出了在IR滤光器的厚度为0.21mm并且IR的折射率为1.5的条件下，对于倾斜角移位的距离的模拟结果。
参照图10和下列等式4，IR滤光器(318)的移位距离和斜率(θ1)可以具有下列关系。
[等式4]
Figure BDA0002721644330000151
其中，θ2可以使用以下等式5来表示：
[等式5]
Figure BDA0002721644330000152
其中，θ1为IR滤光器(318)的斜率，即，IR滤光器(318)的倾斜角，ng为IR滤光器(318)的折射率，并且d为IR滤光器(318)的厚度。例如，参照等式4和等式5，IR滤光器(318)可以倾斜约5度至6度以便使输入到图像传感器的图像帧移位7μm。在这种情况下，IR滤光器(318)的竖直位移可以为约175μm到210μm。
当如上所述控制IR滤光器(318)的斜率时，可以在不倾斜图像传感器(320)的情况下获得移位的图像数据。
根据本发明的实施方式，用于控制IR滤光器的斜率的倾斜单元可以包括音圈马达(VCM)，并且IR滤光器(318)可以设置在图像传感器与VCM之间。
图12是根据本发明的实施方式的VCM和IR滤光器的立体图，图13是根据本发明的实施方式的包括VCM和IR滤光器的ToF相机模块的截面图，图14是示出根据本发明的实施方式的将IR滤光器与VCM中包括的磁体组件耦接的过程的图，图15是示出根据本发明的实施方式的VCM中包括的线圈组件的耦接过程的图，并且图16是示出根据本发明的实施方式的将磁体组件、IR滤光器和线圈组件耦接的过程的图。
参照图12至图16，倾斜单元(140)可以包括VCM(1000)，并且VCM(1000)可以包括磁体组件(1100)和线圈组件(1200)，并且可以耦接至、接触到或连接至IR滤光器(318)。
在图13的(a)中，为了便于描述，示出了VCM(1000)被透镜镜筒(314)和透镜保持器(318)包围，并且省略了透镜(312)和IR滤光器(318)。然而，透镜(312)和IR滤光器(318)可以如图3所示地布置。即，透镜(312)可以由透镜镜筒(314)包围或者可以容纳在VCM(1000)的空间中。替选地，透镜镜筒(314)可以是VCM(1000)的元件。
根据本发明的实施方式，磁体组件(1100)可以包括磁体保持器(1110)和多个磁体(1120)，并且所述多个磁体(1120)可以在磁体保持器(1110)上以预定间隔隔开。例如，磁体保持器(1110)可以具有中空圆环形状或四边环形形状，并且可以形成多个磁体引导件(1112)以容纳多个磁体(1120)。这里，磁体保持器(1110)可以包含磁性材料或软磁性材料，例如铁(Fe)。
随后，线圈组件(1200)可以包括线圈保持器(1210)、多个线圈(1220)、以及线圈端子(1230)，并且所述多个线圈(1220)可以设置在线圈保持器(1210)上并且以预定间隔彼此间隔开，以与多个磁体(1120)成对。例如，线圈保持器(1210)可以具有中空圆环形状或四边环形形状，并且可以形成多个线圈引导件(1212)以容纳所述多个线圈(1220)。线圈保持器(1210)可以是透镜镜筒(314)。线圈端子(1230)可以连接至所述多个线圈(1220)，并且可以将电力施加至所述多个线圈(1220)。
IR滤光器(318)包括玻璃层保持器(3182)和由玻璃层保持器(3182)支承的玻璃层(3184)。玻璃层保持器(3182)可以包括设置在玻璃层(3184)下方的第一玻璃层保持器(3182-1)和设置在玻璃层(3184)的上边缘上的第二玻璃层保持器(3182-2)。第二玻璃层保持器(3182-2)可以具有中空圆环形状或四边环形形状，并且可以设置在磁体保持器(1110)的中空中并被磁体保持器(1110)包围。在这种情况下，第二玻璃层保持器(3182-2)可以包括与磁体保持器(1110)的多个磁体引导件(1112)相对应的多个突起(P1、P2、P3、P4)。所述多个突起(P1、P2、P3、P4)可以被移动，使得突起与所述多个磁体引导件(1112)接触或与所述多个磁体引导件(1112)间隔开。第二玻璃层保持器(3182-2)可以包含磁性材料或软磁性材料。
当通过线圈端子(1230)向多个线圈(1220)施加电力时，电流流过所述多个线圈(1220)，并且因此可以在所述多个线圈(1220)与所述多个磁体(1120)之间生成磁场。
因此，可以在多个磁体引导件(1112)与第二玻璃层保持器(3182-2)的多个突起(P1、P2、P3、P4)之间生成电驱动力，并且由第二玻璃层保持器(3182-2)支承的玻璃层(3184)可以倾斜预定的角度。
例如，形成在突起(P1)与突起(P3)之间的斜率或形成在突起(P2)与突起(P4)之间的斜率可以根据施加在多个磁体导引件(1112)与多个突起(P1、P2、P3、P4)之间的力而变化。此外，玻璃层(3184)的斜率可以根据形成在突起(P1)与突起(P3)之间的斜率或形成在突起(P2)与突起(P4)之间的斜率而变化。这里，IR滤光器(318)的斜率——尤其是玻璃层(3184)的斜率——根据第二玻璃层保持器(3182-2)的所述多个突起(P1、P2、P3、P4)的位置而变化。因此，第二玻璃层保持器(3182-2)在本文中可以被称为成形器。
在这种情况下，为了玻璃层(3184)的倾斜自由度，间隔件(1130)可以被进一步设置在磁体保持器(1110)与第一玻璃层保持器(3182-1)之间。
这里，玻璃层(3184)可以是IR透过玻璃层。
替选地，如图13的(b)中所示，玻璃层(3184)可以为一般玻璃层，并且IR滤光器(318)还可以包括与玻璃层(3184)间隔开并且设置在图像传感器(320)上的IR透过玻璃层(3186)。当IR透过玻璃层(3186)被设置在图像传感器(320)上时，可以减小湿气或异物直接渗透到图像传感器(320)的可能性。
同时，根据本发明的实施方式，磁体组件(1110)还可以包括磁体保持器(1140)。磁体保持器(1140)可以支承多个磁体(1120)的上部分，并且因此所述多个磁体(1120)可以更稳定和可靠地移动。
如上所述，根据本发明的实施方式，可以根据VCM(1000)的驱动来控制IR滤光器(318)的斜率。为此，IR滤光器(318)应当与VCM(1000)一起被设置，并且因此IR滤光器(318)需要与图像传感器(320)间隔开。
同时，根据本发明的实施方式，IR滤光器(318)的斜率需要频繁地改变，并且因此需要用于IR滤光器(318)的移动的自由空间。在这种情况下，湿气、异物等渗透到用于IR滤光器(318)的移动的自由空间中的可能性增加，并且因此图像传感器(320)可能容易地暴露在湿气或异物中。
在本发明的实施方式中，还可以包括用于防止图像传感器(320)暴露于湿气、异物等中的部件。
图17是根据本发明的实施方式的相机模块的一部分的截面图。这里，为了便于描述，省略了相机模块的上部分，例如，透镜、透镜镜筒、VCM等，但是同样可以应用图3和图10至图14的描述。
参照图17，图像传感器(320)可以被安装在印刷电路板(330)上并且容纳在壳体(340)中。这里，壳体可以是第二透镜保持器(316-2)。IR滤光器(318)的斜率可以由VCM(1000)控制(见图12至图16)。例如，当由于VCM(1000)的驱动而使第一玻璃层保持器(3182-1)的第一突起(P1)面向上并且第三突起(P3)面向下时，IR滤光器(318)的玻璃层(3184)可以倾斜。
根据本发明的实施方式，弹性膜(1400)可以被设置在IR滤光器(318)与图像传感器(320)之间。弹性膜(1400)可以被紧固到壳体(340)。在这种情况下，弹性膜(1400)的一个表面可以被紧固到壳体(340)，并且弹性膜(1400)的另一表面可以被耦接至倾斜单元(140)。弹性膜(1400)可以是例如：反渗透(RO)膜、纳米过滤(NF)膜、超滤(UF)膜、微滤(MF)膜等。这里，RO膜是孔径为约1埃至15埃的膜，NF膜是孔径为约10埃的膜，UF膜是孔径为约15埃至200埃的膜，MF膜是孔径为约200埃至1000埃的膜。因此，能够防止水分、异物等渗透到IR滤光器(318)与壳体(340)之间的空间，即，为IR滤光器(318)的移动布置的空间。
在这种情况下，弹性膜(1400)可以是厚度为25μm至50μm的透明且可拉伸的膜，并且IR滤光器(318)可以被设置在弹性膜(1400)上，使得IR滤光器(318)的至少一部分可以与弹性膜(1400)直接接触。即，弹性膜(1400)的形状可以由倾斜单元(1400)控制。因此，当IR滤光器(318)倾斜时，弹性膜(1400)可以与IR滤光器(318)一起被拉伸或收缩。当IR滤光器(318)返回至其原始位置时，弹性膜(1400)可以立即连同IR滤光器(318)一起被恢复。因此，可以稳定地支承IR滤光器(318)的移动。
图18至图23示出了放置弹性膜的各种示例。
参照图18，弹性膜(1400)可以通过粘合剂(1410)粘附至用于容纳图像传感器(320)的壳体(340)。
参照图19，弹性膜(1400)可以通过仪器(1420)被紧固到用于容纳图像传感器(320)的壳体(340)。
参照图20，弹性膜(1400)可以被设置成覆盖用于容纳图像传感器(320)的壳体(340)的外周表面。为了紧固弹性膜(1400)，可以设置附加的紧固构件(1430)以包围壳体(340)的外周表面。
参照图21，弹性膜(1400)可以被直接设置在图像传感器(320)上。
参照图22，弹性膜(1400)可以被设置在第一玻璃层保持器(3182-1)与壳体(340)之间，并且通过仪器(1440、1442)被紧固。
参照图23，弹性膜(1400)可以通过粘合剂(1450、1452)粘附至第一玻璃层保持器(3182-1)和壳体(340)。
尽管已经参照示例性实施方式描述了本发明，但是这些仅仅是示例，并且不限制本发明。本领域技术人员将理解，在不脱离实施方式的基本特征的情况下，可以在本文中进行各种修改和应用。例如，可以修改和实现以上实施方式中详细描述的元件。此外，与这些修改和应用相关联的差异应当被解释为包括在由所附权利要求限定的本发明的范围内。
[符号说明]
100：ToF相机模块 110：照明单元
120：透镜单元 130：图像传感器单元
140：倾斜单元 150：图像控制单元

Claims (10)

1.一种相机模块，包括：
照明单元，其被配置成输出要发射到对象的入射光信号；
透镜单元，其被配置成收集从所述对象反射的反射光信号；
图像传感器单元，其被配置成从由所述透镜单元收集的所述反射光信号生成电信号；
倾斜单元，其被配置成使所述反射光信号的光学路径移位；以及
图像控制单元，其被配置成使用所述入射光信号与由所述图像传感器单元接收的所述反射光信号之间的相位差，从被所述倾斜单元移位的帧提取所述对象的深度信息，
其中，
所述透镜单元被设置在所述图像传感器单元上，
所述透镜单元包括在所述图像传感器单元上设置的红外IR滤光器以及在所述IR滤光器上设置的至少一个透镜，并且
所述倾斜单元控制所述IR滤光器的斜率。
2.根据权利要求1所述的相机模块，其中，
所述倾斜单元包括音圈马达VCM，并且
所述IR滤光器被设置在所述图像传感器单元与所述VCM之间。
3.根据权利要求2所述的相机模块，其中，所述VCM包括：
磁体保持器；
多个磁体，其被设置在所述磁体保持器上并且以预定间隔彼此间隔开；
线圈保持器；以及
多个线圈，其被设置在所述线圈保持器上并且以预定间隔彼此间隔开，以与所述多个磁体成对。
4.根据权利要求3所述的相机模块，其中，
所述IR滤光器包括玻璃层以及被配置成支承所述玻璃层的玻璃层保持器，并且
所述玻璃层保持器的至少一部分被所述磁体保持器包围。
5.根据权利要求4所述的相机模块，其中，
所述磁体保持器包括用于容纳所述多个磁体的多个磁体引导件，
所述玻璃层保持器包括与所述多个磁体引导件对应的多个突起，并且
所述多个突起根据在所述多个线圈与所述多个磁体之间生成的磁场而移动以与所述多个磁体引导件接触或间隔开。
6.根据权利要求5所述的相机模块，其中，所述玻璃层根据所述多个突起的移动而倾斜到预定角度。
7.根据权利要求4所述的相机模块，其中，所述玻璃层是IR透过玻璃层。
8.根据权利要求4所述的相机模块，其中，所述IR滤光器还包括IR透过玻璃层，所述IR透过玻璃层被设置在所述图像传感器单元上并且与所述玻璃层间隔开。
9.一种相机模块，包括：
照明单元，其被配置成输出要发射到对象的入射光信号；
透镜单元，其被配置成收集从所述对象反射的反射光信号；
图像传感器单元，其被配置成从由所述透镜单元收集的所述反射光信号生成电信号；
弹性膜，其被设置在所述图像传感器单元上；
倾斜单元，其被配置成使所述反射光信号的光学路径移位；以及
图像控制单元，其被配置成使用所述入射光信号与由所述传感器单元接收的所述反射光信号之间的相位差，从被所述倾斜单元移位的帧提取所述对象的深度信息，
其中，所述倾斜单元控制所述弹性膜的形状。
10.根据权利要求9所述的相机模块，还包括壳体，所述壳体被配置成容纳所述图像传感器，
其中，所述弹性膜的一个面耦接至所述壳体，并且所述弹性膜的另一面耦接至所述倾斜单元。
CN201980025629.2A 2018-04-13 2019-04-12 相机模块及其深度图提取方法 Active CN111971957B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0043431 2018-04-13
KR1020180043431A KR102473650B1 (ko) 2018-04-13 2018-04-13 카메라 모듈 및 그의 깊이 정보 추출 방법
PCT/KR2019/004416 WO2019199101A1 (ko) 2018-04-13 2019-04-12 카메라 모듈 및 그의 깊이 정보 추출 방법

Publications (2)

Publication Number Publication Date
CN111971957A true CN111971957A (zh) 2020-11-20
CN111971957B CN111971957B (zh) 2024-03-08

Family

ID=68164284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025629.2A Active CN111971957B (zh) 2018-04-13 2019-04-12 相机模块及其深度图提取方法

Country Status (6)

Country Link
US (1) US11568553B2 (zh)
EP (1) EP3780596A4 (zh)
JP (1) JP7485610B2 (zh)
KR (1) KR102473650B1 (zh)
CN (1) CN111971957B (zh)
WO (1) WO2019199101A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486425B1 (ko) * 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
KR102513680B1 (ko) * 2018-06-08 2023-03-24 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102618276B1 (ko) * 2019-01-07 2023-12-28 엘지이노텍 주식회사 카메라 모듈
KR20210072458A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
US20220357635A1 (en) * 2019-12-26 2022-11-10 Lg Innotek Co., Ltd. Camera module
US11867562B2 (en) * 2022-01-25 2024-01-09 Visera Technologies Company Limited Optical devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0689349A1 (en) * 1994-06-20 1995-12-27 Sharp Kabushiki Kaisha Imaging apparatus with mechanism for enhancing resolution
JPH11187309A (ja) * 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
US20110188028A1 (en) * 2007-10-02 2011-08-04 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (tof) systems
KR20140028536A (ko) * 2012-08-29 2014-03-10 엘지전자 주식회사 깊이 영상 생성 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
JPH09186920A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像入力装置
JP2005266676A (ja) 2004-03-22 2005-09-29 Nikon Corp 可変光学ローパスフィルタおよび撮像ユニット
US7551771B2 (en) 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7566854B2 (en) * 2006-12-08 2009-07-28 Advanced Chip Engineering Technology Inc. Image sensor module
JP2010122183A (ja) 2008-11-21 2010-06-03 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
CN103915454B (zh) * 2012-12-31 2017-02-08 意法半导体研发(深圳)有限公司 具有对齐的ir滤光片和电介质层的图像传感器设备和相关方法
KR20160142156A (ko) * 2015-06-02 2016-12-12 주식회사 옵트론텍 오토 포커스 촬영 모듈을 이용한 광각 촬영 장치
US9921298B2 (en) 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array
JP6852416B2 (ja) 2016-03-10 2021-03-31 株式会社リコー 距離測定装置、移動体、ロボット、装置及び３次元計測方法
KR101804779B1 (ko) 2016-08-26 2017-12-05 엘지이노텍 주식회사 카메라 모듈

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0689349A1 (en) * 1994-06-20 1995-12-27 Sharp Kabushiki Kaisha Imaging apparatus with mechanism for enhancing resolution
JPH11187309A (ja) * 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
US20110188028A1 (en) * 2007-10-02 2011-08-04 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (tof) systems
KR20140028536A (ko) * 2012-08-29 2014-03-10 엘지전자 주식회사 깊이 영상 생성 장치 및 방법

Also Published As

Publication number Publication date
KR102473650B1 (ko) 2022-12-02
JP2021521438A (ja) 2021-08-26
EP3780596A1 (en) 2021-02-17
US11568553B2 (en) 2023-01-31
CN111971957B (zh) 2024-03-08
JP7485610B2 (ja) 2024-05-16
WO2019199101A1 (ko) 2019-10-17
KR20190119904A (ko) 2019-10-23
EP3780596A4 (en) 2021-09-01
US20210166408A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN111971957B (zh) 相机模块及其深度图提取方法
CN112272948B (zh) 相机模块及由此的深度信息提取方法
US11393112B2 (en) Camera module and method for extracting depth information by same
CN112262572B (zh) 相机模块及由此的深度信息获取方法
CN113260892A (zh) 光学系统及包括该光学系统的相机模块
KR102571864B1 (ko) 카메라 장치
CN112313948B (zh) 图像传感器和使用图像传感器的相机模块
CN112771857B (zh) 相机装置
CN112823511B (zh) 摄像头模组
TW202117385A (zh) 飛行時間相機
US11885884B2 (en) Camera module
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20230027863A (ko) 카메라 모듈
KR20210100428A (ko) 카메라 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant