CN113767621A - 相机模块 - Google Patents

相机模块 Download PDF

Info

Publication number
CN113767621A
CN113767621A CN202080032566.6A CN202080032566A CN113767621A CN 113767621 A CN113767621 A CN 113767621A CN 202080032566 A CN202080032566 A CN 202080032566A CN 113767621 A CN113767621 A CN 113767621A
Authority
CN
China
Prior art keywords
light
area
camera module
sensor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080032566.6A
Other languages
English (en)
Other versions
CN113767621B (zh
Inventor
朱洋贤
李昌奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN113767621A publication Critical patent/CN113767621A/zh
Application granted granted Critical
Publication of CN113767621B publication Critical patent/CN113767621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

根据本发明的实施例，公开了一种相机模块包括：光输出单元，向对象输出光信号；光学单元，传输从对象反射的光信号；传感器，接收通过光学单元传输的光信号；以及控制单元，使用由传感器接收到的光信号获取对象的深度图，其中，传感器包括布置有光接收元件的有效区域和除有效区域之外的无效区域，并且传感器包括第一行区域和第二行区域，在第一行区域中有效区域和无效区域沿行方向交替布置，在第二行区域中有效区域和无效区域沿行方向交替布置，并且有效区域设置在沿列方向不与第一行区域的有效区域重叠的位置处，到达第一行区域的有效区域的光通过第一次移位控制而被控制以到达第一行区域的无效区域或第二行区域的无效区域，到达第二行区域的有效区域的光通过第一移位控制而被控制以到达第二行区域的无效区域或第一行区域的无效区域。

Description

相机模块
技术领域
本发明涉及一种用于提取深度信息的相机模块。
背景技术
三维(3D)内容在诸如教育、制造、自动驾驶领域以及游戏、文化领域的许多领域得到应用，并且获取3D内容需要深度信息()深度图)。深度信息是表示空间距离的信息，并且是指二维图像中一点相对于另一点的透视信息。
作为获取深度信息的方法，正在使用的有将红外(IR)结构光投射到物体上的方法、使用立体相机的方法、飞行时间(TOF)方法等。根据TOF方法，使用关于发射和反射的光的信息，来计算到物体的距离。ToF方法的最大优点是快速实时地提供有关3D空间的距离信息。此外，可以获得准确的距离信息而无需应用单独的算法或由用户执行硬件校正。此外，即使在测量非常近的物体或测量移动物体时也可以获得准确的深度信息。
然而，具有在对深度信息和颜色信息进行排序和校正时处理速度高的。此外，存在当与对象的距离增加时精度降低的问题。
发明内容
技术问题
本发明旨在提供一种使用飞行时间(TOF)方法提取深度信息的相机模块。
本发明还旨在提供一种通过从图像传感器获取的局部区域的距离信息而以高处理速度生成三维内容的相机模块。
本发明还旨在提供一种即使当距离增加时也能够容易地生成深度图的相机模块。
技术方案
根据本发明的示例性实施例，一种相机模块包括：光输出单元，所述光输出单元被配置为向对象输出光信号；滤光器，所述滤光器被配置为使被所述对象反射的光信号通过所述滤光器；传感器，所述传感器被配置为接收通过的光信号；以及控制单元，所述控制单元被配置为使用由所述传感器接收到的光信号获取对象的深度信息和与对象的深度信息相邻的对象的颜色信息，其中，滤光器包括第一滤光器区域和第二滤光器区域，作为通过带的第一波长带通过所述第一滤光器区域，作为通带的与第一波长带不同的第二波长带通过第二滤光器区域，所述传感器包括用于接收第一信号的第一感测区域和用于接收第二信号的第二感测区域，所述控制单元从第一感测区域获取对象的颜色信息并从第二感测区域获取对象的深度信息，第一信号为通过第一滤光器区域的光信号，第二信号为通过第二滤光器区域的光信号。
第一滤光器区域可以围绕所述第二滤光器区域，并且所述第一感测区域可以围绕所述第一感测区域。
第二感测区域可以被设置为彼此间隔开的多个第二感测区域。
相邻的第二感测区域在行方向或列方向上具有相同的距离。
第二感测区域中的每一个可以包括多个像素，所述多个像素的至少一部分设置为彼此接触。
光输出单元可以包括光收集单元，所述光收集单元被配置为以多个阵列的形式输出光信号。
相机模块可以进一步包括计算单元，所述计算单元被配置为使用获取的对象的颜色信息和获取的对象的深度信息输出针对所述对象的三维内容。
计算单元可以包括：图像生成器，所述图像生成器被配置为使用获取的对象的颜色信息和获取的对象的深度信息生成多个图像；提取器，所述提取器被配置为提取所述多个图像中的每一个的特征点；图生成器，所述图生成器被配置为使用特征点生成深度图；以及内容生成器，所述内容生成器被配置为通过将深度图应用于多个图像来生成三维内容。
特征点可以与获取的对象的深度信息的位置相对应。
传感器可以包括设置有光接收元件的有效区域以及除有效区域之外的无效区域，并且所述传感器可以包括第一行区域和第二行区域，在所述第一行区域中，有效区域和无效区域沿行方向交替设置，在第二行区域中，有效区域和所述无效区域沿行方向交替设置，并且有效区域设置于沿列方向不与第一行区域的有效区域重叠的位置。
第一感测区域和第二感测区域可以与有效区域重叠。
第二感测区域的宽度可以根据对象与光输出单元之间的距离而改变。
有益效果
根据本发明的一个示例性实施例，可以通过从图像传感器获取的图像的部分区域的距离信息来容易地输出三维内容。
此外，即使增加距离，也可以提高距离识别的精度。
此外，便于颜色信息与距离信息之间的匹配，从而提高了生成三维内容的处理速度。
此外，在不显著增加传感器的像素数量的情况下，通过使入射光信号的光路移位可以以高分辨率获取深度信息。
此外，可以提供一种通过容易地计算深度信息来减少处理数据的量的相机模块。
附图说明
图1是示出了根据示例性实施例的相机模块的概念图；
图2是示出了根据示例性实施例的光输出单元的图；
图3是示出了图2中对象的一个表面的图；
图4是用于描述根据示例性实施例的光输出单元的距离对光强度的影响的图；
图5是用于描述根据示例性实施例的光信号的频率的图；
图6是根据示例性实施例的相机模块的剖视图；
图7示出了根据示例性实施例的滤光器和传感器的概念图；
图8是图7中的K部分的放大图；
图9是图7中的M部分的放大图；
图10是示出了根据与对象的距离的、传感器的第二区域的示意图；
图11是根据变型例的传感器的俯视图；
图12是用于描述根据示例性实施例的在传感器中产生电信号的过程的图；
图13是用于描述根据示例性实施例的传感器的图；
图14至图17是用于描述传感器的各种变型例的图；
图18示出了根据示例性实施例的从相机模块获取的对于四个相位的原始图像；
图19示出了根据示例性实施例的从相机模块获取的幅度图像(amplitudeimage)；
图20示出了根据示例性实施例的从相机模块获取的深度图像；
图21示出了用于描述根据示例性实施例的在相机模块中获得深度信息和颜色信息的操作的图；
图22是根据示例性实施例的计算单元的框图；
图23至图25是用于描述根据示例性实施例的相机模块中的图像控制方法的图；
图26至图28是用于描述在根据示例性实施例的相机模块中获取高分辨率的控制方法的图。
具体实施方式
下面参考附图详细描述本发明的示例性实施例。
然而，本发明的技术精神不限于将描述的一些示例性实施例，并且可以实施为各种不同形式。在不脱离本发明的技术精神情况下，实施例中的一个或多个元件可以选择性地组合或替换使用。
此外，除非另外定义，否则可以用本领域普通技术人员通常理解的含义来解读在本文中使用的术语(包括技术术语和科学术语)。诸如词典中定义的术语等的常用术语可以在考虑其在相关技术中的背景含义的情况下进行理解。
另外，本文中使用的术语不旨在限制本发明，而旨在描述示例性实施例。
在说明书中，除非另有明确说明，否则单数形式也可以包括复数形式。当表述为“A、B和C中的至少一个(或一个或多个)”，其也可以包括A、B和C的所有可能组合中的一个或多个。
另外，诸如第一、第二、A、B、(a)和(b)的术语可以用来描述本发明的示例性实施例的元件。
每个术语不用于定义相应元件的本质、次序、顺序等，而仅用于将一个元件与其它元件区分开。
在将一个元件描述为“连接”、“耦接”或“联接”到另一个元件时，这种描述可以包括以下两种情况：该元件可以直接连接、耦接或联接到另一个元件；以及该元件还可以通过位于该元件与另一个元件之间的又一个元件而“连接”、“耦接”或“联接”到另一个元件。
而且，在将一个元件描述为形成或设置在另一个元件“上面或下面”时，这种描述可以包括以下两种情况：两个元件可以彼此直接接触；以及一个或多个其他元件也可以插设在这两个元件之间。此外，在将一个元件描述为形成在另一个元件“上面(或下面)”时，这种描述可以包括下述情况：相对于另一个元件，该一个元件可以形成在上侧或下侧。
根据将在下面描述的示例性实施例的相机模块可以用作光学装置或光学装置的一部分。首先，光学装置可以包括蜂窝电话、移动电话、智能手机、便携式智能装置、数码相机、笔记本电脑、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)和导航装置中的任一种。然而，光学装置的类型不限于此，用于捕获图像或照片的任何装置都可以被包括在光学装置中。
光学装置可以包括主体。主体可以具有条状。可替代地，主体可以具有各种结构，例如滑动式、折叠式、摆动式和旋转式，其中两个或更多个子体被耦接为可相对移动。主体可以包括形成外部的外壳(壳、壳体或盖)。例如，主体可以包括前壳和后壳。光学装置的各种电子部件可以嵌入到在前壳和后壳之间形成的空间中。
光学装置可以包括显示器。该显示器可以设置在光学装置的主体的一个表面上。该显示器可以输出图像。该显示器可以输出由相机捕获的图像。
光学装置可以包括相机。相机可以包括飞行时间(ToF)相机模块。ToF相机模块可以设置在光学装置的主体的前表面上。在这种情况下，ToF相机模块可以用于各种类型的生物特征识别(例如用户的面部识别、虹膜识别和静脉识别)，以实现光学装置的安全认证。
图1示出了根据示例性实施例的相机模块的概念图。
参考图1，根据示例性实施例的相机模块100可以包括光输出单元110、光学单元120、传感器130、控制单元140和计算单元150。
光输出单元110可以以期望的信号形式产生光并向对象O照射光。具体地，光输出单元可以是发光模块、发光单元、发光组件或发光装置。具体地，光输出单元110可以产生光信号，然后将产生的光信号照射到对象上。在这种情况下，光输出单元110可以产生并输出脉冲波或连续波形式的光信号。连续波可以是正弦波或方波的形式。当光输出单元110产生脉冲波或连续波形式的光信号时，相机模块100可以使用从光输出单元110输出的光信号与从对象反射然后输入到相机模块100的输入光信号之间的相位差或时间差。在本说明书中，输出光LS1是指从光输出单元110输出并入射到对象上的光，输入光LS2是指从光输出单元110输出的输出光到达对象而从对象反射，然后输入到相机模块100的光。从对象的角度来看，输出光LS1可以是入射光，输入光LS2可能是反射光。
光输出单元110将产生的光信号照射到对象上预定的曝光周期(积分时间)。这里，曝光周期是指一帧时段。当生成多个帧时，设定的曝光周期重复。例如，当相机模块100以每秒20帧(FPS)拍摄对象时，曝光周期为1/20[秒]。当生成100帧时，曝光周期可以重复100次。
光输出单元110不仅可以产生具有预定频率的输出光信号，而且可以产生具有不同频率的多个光信号。此外，光输出单元110可以顺序地和重复地输出具有不同频率的多个光信号。可替代地，光输出单元110可以同时输出具有不同频率的多个光信号。
对于这样的操作，在示例性实施例中，光输出单元110可以包括光源112、光改变单元114和光收集单元116。
首先，光源112可以产生光。由光源112产生的光可以是波长为770nm至3000nm的红外光，或者可以是波长为380nm至770nm的可见光。光源112可以包括发光二极管(LED)，并且可以具有多个LED根据特定图案布置的形式。此外，光源112可以进一步包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源112也可以是垂直腔面发射激光器(VCSEL)。VCSEL可以是将电信号转换为光信号的激光二极管之一，并且可以使用约800nm至1000nm的波长，例如约850nm或约940nm的波长。
光源112以特定的时间间隔重复地开启/关闭以产生脉冲波或连续波形式的光信号。特定的时间间隔可以是光信号的频率。光源112的开启/关闭可由光改变单元114控制。
光改变单元114控制光源112的开启/关闭，并控制光源112以产生连续波或脉冲波形式的光信号。光变化单元114可以通过频率调制、脉冲调制等控制光源112以产生连续波或脉冲波形式的光信号。
光收集单元116可以改变光路，使得从光源112产生的光具有阵列光斑。例如，光收集单元116可以包括成像透镜、微透镜阵列或衍射光学元件(DOE)。由于这种配置，从相机模块100向对象O发射的光可具有多个阵列光斑。因此，即使当相机模块100与对象O之间的距离增加时，从相机模块100发射的光也可以由于被收集而容易地到达对象O。因此，根据示例性实施例的相机模块100可以实现更长距离的光传输。在这种情况下，阵列光斑的数量可以被不同地设定，下面将详细描述光收集单元116的配置和效果。
同时，光学单元120可以包括至少一个透镜。光学单元120可以通过至少一个透镜收集从对象反射的输入光信号，以将收集到的光信号传输到传感器130。光学单元120的至少一个透镜可以包括固体透镜。此外，至少一个透镜可以包括可变透镜。可变透镜可以是焦点可变透镜。此外，可变透镜可以是焦点可调节透镜。此外，可变透镜可以是液体透镜、聚合物透镜、液晶透镜、音圈马达(VCM)类型和形状记忆(SMA)类型中的至少一种。液体透镜可以包括具有一种液体的液体透镜以及具有两种液体的液体透镜。在具有一种液体的液体透镜中，可以通过调整设置在与液体相对应的位置处的膜片来改变焦点，例如，可以通过用磁体和线圈的电磁力来按压膜片而改变焦点。具有两种类型液体的液体透镜可以包括导电液体和非导电液体，并且可以使用施加到液体透镜的电压来调整形成在导电液体与非导电液体之间的界面。在聚合物透镜中，可以通过利用压电驱动器等控制聚合物材料来改变焦点。在液晶透镜中，可以通过用电磁力控制液晶来改变焦点。在VCM类型中，可以通过利用磁体与线圈之间的电磁力控制固体透镜或包括固体透镜的透镜组件来改变焦点。在SMA类型中，可以通过使用形状记忆合金控制固体透镜或包括固体透镜的透镜组件来改变焦点。此外，光学单元120可以包括光学板。光学板可以是光透过板。
此外，光学单元120可以包括使特定波长范围内的光透过的滤光器F。在示例性实施例中，光学单元120的滤光器F可以仅使预设波长范围内的光透过，并且可以阻挡预设波长范围内的光以外的光。在这种情况下，滤光器F可以使红外(IR)区域中的光部分地通过。例如，滤光器F可以包括IR带通滤光器，其使具有780nm至1000nm波长的光部分地通过。下面将提供其详细描述。
传感器130可以使用通过光学单元120收集的输入光信号来产生电信号。在示例性实施例中，传感器130可以与光输出单元110的开启/关闭周期同步地吸收输入光信号。具体地，传感器130可以吸收与从光输出单元110输出的光信号同相和异相的各个光。
此外，传感器130可以使用具有不同相位的多个基准信号来产生与每个基准信号对应的电信号。例如，电信号可以是将每个基准信号和输入光混合而得到的信号，所述混合可以包括卷积、乘法等。此外，基准信号的频率可以被设置为与从光输出单元110输出的光信号的频率对应。在示例性实施例中，基准信号的频率可以与光输出单元110的光信号的频率相同。
如上所述，当光输出单元110以多个频率产生光信号时，传感器130可以使用与每个频率对应的多个基准信号来产生电信号。电信号可以包括关于与每个基准信号对应的电荷量或电压的信息。此外，可以针对每个像素计算电信号。
控制单元140可以控制光学单元120以使输入光信号的光路移位。由于这样的配置，如下所述，可以输出用于提取高分辨率深度图像的多个图像数据。下面将提供其详细描述。
此外，计算单元150可以使用从传感器130接收的电信号，并且组合从控制单元140提取的多个图像数据，来计算具有比图像数据的分辨率更高的高分辨率的深度信息。此外，计算单元150可以设置在包括相机模块的光学装置中或所示的相机模块100中，以执行计算。在下文中，将基于设置在相机模块100中的计算单元150来提供描述。
计算单元150可以从相机模块100接收由传感器130感测到的信息，以对其执行计算。计算单元150可以使用从传感器130接收到的电信号接收多个低分辨率信息，并使用多个低分辨率信息产生高分辨率深度信息。例如，可以通过重新布置多个低分辨率信息来生成高分辨率深度信息。
在这种情况下，计算单元150可以使用从光输出单元输出的光信号与由传感器接收到的光信号之间的时间差或使用在传感器的多个积分时间的期间中获取的多个信息来计算对象与相机模块100之间的距离，使得在不同的相位暴露传感器的有效区域。
在本示例性实施例中使用的术语“～单元”是指执行特定任务的软件部件或硬件部件，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。然而，术语“～单元”不限于软件部件或硬件部件。“～单元”可以被包括在可寻址存储介质中，并且被配置为操作一个或多个处理器。因此，以示例的方式，“～单元”可以包括诸如软件部件、面向对象的软件部件、类部件和任务部件、工艺、功能、属性、程序、子进程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据库结构、表格、数组和参数等的部件。在部件和“～单元”中提供的功能可以被组合成更少的部件和“～单元”，或者进一步分离成额外的部件和单元。此外，部件和单元可以被实现为使得部件和“～单元”操作装置或安全多媒体卡中的一个或多个中央处理器(CPU)。
图2是示出根据示例性实施例的光输出单元的图，图3示出了图2中的对象的一个表面的图，图4示出了用于描述根据示例性实施例的光输出单元的距离对光强度的影响的图。
参考图2，如上所述，从光源112发出的光可以穿过光收集单元116以照射到对象O上。另外，照射到对象O上的光可以为阵列光斑的形式，并且光收集单元116也可以设置有以与上述形式相对应的阵列形式布置的成像透镜。在这种情况下，在光收集单元116中，照射到每个单透镜的光的间隔d1可以不同于穿过每个单透镜的光的间隔d2。这里，可以在光收集单元116的在光收集单元116中具有相同间隔的前部区域和后部区域中测量光的间隔。
照射到每个单透镜的光的间隔d1可以比穿过每个单透镜的光的间隔d2大。由于这种配置，即使从光源112到对象O的距离增加，相机模块也能够容易地接收输入光。换言之，即使与对象的距离很长，根据示例性实施例的相机模块也可以容易地执行深度测量。
参考图3，穿过光收集单元160的光可以以阵列光斑的形式聚集在对象O上。在示例性实施例中，单个光斑K可以根据光收集单元160成像透镜的形状而以各种阵列形式存在。在示例性实施例中，每个单个光斑K可以设置为与相邻光斑间隔开预定间隔。由于这种配置，即使与对象O的距离增加，也可以容易地将根据距离的多条深度信息彼此区分开。换言之，可以提高深度信息的精度。此外，阵列光斑中的光斑的数量可以不同地改变。
参考图4(a)和图4(b)，图4(a)示出了不存在光收集单元时的光强度，图4(b)示出了存在光收集单元时的光强度。在这种情况下，当存在光收集单元和不存在光收集单元时，光强度可以在单个光斑的中心0处最大。然而，即使与对象的距离相同，根据光收集单元的存在与否，单个光斑中心0处的光强度也可能不同。
更具体地，由于单个光斑中心处的光强度通过光收集单元增加，所以由传感器转换的电信号的大小根据光强度也可以增加。可以看出，深度也随着传感器中电信号的宽度增加而增加。因此，可以进一步提高根据距离的深度信息的精度。此外，由于即使当与对象的距离增加时，光斑中心处的光强度也增加，因此可以根据与对象的距离来补偿光强度的降低。
图5是用于描述根据示例性实施例的光信号的频率的图。
参考图5，在示例性实施例中，如图5所示，光输出单元110可以执行控制，以在曝光周期的前半部分产生具有频率f1的光信号，并且光输出单元110可以执行控制，以在曝光周期的另一半产生具有频率f2的光信号。
根据另一示例性实施例，光输出单元110可以控制多个LED中的一些LED以产生具有频率f1的光信号，并且可以控制剩余的LED以产生具有频率f2的光信号。如上所述，光输出单元110可以针对每个曝光周期产生具有不同频率的输出信号。
例如，可以在频率f1和f2处产生光信号，并且多个基准信号可以具有90°的相位差。在这种情况下，由于入射光信号也具有频率f1和f2，因此下面将描述的传感器可以通过具有频率f1的输入光信号和与其对应的四个基准信号产生四个电信号。传感器可以通过具有频率f2的输入光信号和与其对应的四个基准信号产生四个电信号。因此，传感器可以产生总共八个电信号。然而，如上所述，光信号可以生成为具有一个频率(例如，f1)。
图6是根据示例性实施例的相机模块的剖视图。
参考图6，根据示例性实施例的相机模块可以包括透镜组件310、传感器320和印刷电路板330。这里，透镜组件310可以与图1的光学单元120对应，传感器320可以与图1的传感器130对应。图1的控制单元140可以在印刷电路板330或传感器320上实现。虽然未示出，但是图1的光输出单元110可以设置在印刷电路板330上或者可以设置为单独的部件。光输出单元110可以由控制单元140控制。
透镜组件310可以包括透镜312、镜筒314、透镜保持器316和IR滤光器318。
透镜312可以被设置为多个透镜，或者可以被设置为一个透镜。当透镜312被设置为多个透镜时，各个透镜可以相对于其中心轴布置以形成光学系统。这里，中心轴可以与光学系统的光轴相同。透镜312可以包括上述的可变透镜。
镜筒314耦接到透镜保持器316，并且可以在其中形成用于容纳透镜的空间。尽管镜筒314可以可旋转地耦接到一个透镜或多个透镜，但这仅仅是示例，镜筒314可以通过使用粘合剂(例如，诸如环氧树脂的粘合树脂)等的其他方法耦接。
透镜保持器316可以耦接到镜筒314以支撑镜筒314，并且可以设置在安装有传感器320的印刷电路板330上。由于透镜保持器316，可以在镜筒314中形成可以设置IR滤光器318的空间。虽然未示出，但是可以在镜筒314中设置能够在控制单元140b的控制下倾斜或移位IR镜筒314的驱动器。螺旋图案可以形成在透镜保持器316的内周面上，并且透镜保持器316可以可旋转地耦接到镜筒314，在镜筒314中螺旋图案类似地形成在其外周面上。然而，这仅是示例，透镜保持器316和镜筒314可以通过粘合剂耦接，或者透镜保持器316和镜筒314可以一体地形成。
透镜保持器316可以分为耦接到镜筒314的上保持器316-1和设置在安装有传感器320的印刷电路板330上的下保持器316-2。上保持器316-1和下保持器316-2可以一体地形成；上保持器316-1和下保持器316-2可以形成为分开的结构，然后连接或耦接；或者上保持器316-1和下保持器316-2可以具有彼此分离和间隔开的结构。在这种情况下，上保持器316-1的直径可以小于下保持器316-2的直径。
以上示例仅仅是示例性实施例，并且光学单元120可以形成为能够汇聚入射到ToF相机模块100的输入光信号并将输入光信号传输到传感器130的另一结构。
图7示出了根据示例性实施例的滤光器和传感器的概念图，图8是图7中的K部分的放大图，图9是图7中的M部分的放大图。图10是示出了根据与对象的距离的传感器的第二区域的图。图11是根据变型例的传感器的俯视图。
参考图7至图9，反射光LS2可以穿过滤光器F而最终被传感器130接收。在这种情况下，反射光可以是具有如上所述的预定波长带的光，并且一部分光可能被滤光器F阻挡。
具体地，滤光器F可以包括作为通带的第一波长带从其中通过的第一滤光器区域FA1以及作为与第一波长带不同的带的第二波长带从其中通过的第二滤光器区域FA2。换言之，滤光器F可以分为第一滤光器区域FA1和第二滤光器区域FA2。
此外，在示例性实施例中，第二波长带可以与使IR光透射的波长带相同。因此，由于第二滤光器区域F2过滤IR光的波长区域，所以第二滤光器区域F2可以以针对IR光的带通滤光器进行工作。另一方面，第一波长带可以包括第二波长带，或包括不含第二波长带的区域。在示例性实施例中，第一波长带是通带，其是不包括第二波长带的波长带，这将在下面主要描述。
在这种情况下，第一滤光器区域FA1可以被设置为围绕第二滤光器区域FA2。具体地，第二滤光器区域FA2可以设置为多个第二滤光器区域FA2，并且多个第二滤光器区域FA2可以设置在滤光器F中并且彼此间隔开。在这种情况下，第二滤光器区域FA2可以彼此间隔开预定间隔。例如，在第一方向(X轴方向)上相邻的第二滤光器区域FA2之间的宽度W1可以都相同，并且在第二方向(Y轴方向)上相邻的第二滤光器区域FA2之间的高度h1可以都相同。这里，第一方向(X轴方向)是指传感器中以阵列形式布置的多个像素被布置为平行的一个方向，第二方向(Y轴方向)是与第一方向垂直的方向并且是指多个像素被布置为平行的方向。此外，第三方向(Z轴方向)可以是与第一方向和第二方向两者垂直的方向。另外，以下以第一方向(X轴方向)为行方向、第二方向(Y轴方向)为列方向进行说明。在本说明书中，行方向可以与第一方向互换使用，列方向可以与第二方向互换使用。
由于这样的配置，如下文将描述的，可以从图像数据中检测深度信息和颜色信息这两者。
此外，反射光可以穿过第一滤光器区域FA1和第二滤光器区域FA2，以被其下方的传感器130接收。在这种情况下，穿过第一滤光器区域FA1的光信号(反射光)将被描述为第一信号，而穿过第二滤光器区域FA1的光信号(反射光)将被描述为第二信号。
传感器130可以包括用于接收第一信号的第一感测区域SA1和用于接收第二信号的第二感测区域SA2。换言之，传感器130可以根据穿过滤光器F的反射光的波长带而分为第一感测区域SA1和第二感测区域SA2。
首先，第一感测区域SA1可以与第一滤光器区域FA1对应。换言之，第一感测区域SA1可以是穿过第一滤光器区域FA1的光信号到达传感器130的区域。
类似地，第二感测区域SA2可以与第二滤光器区域FA2对应。第二感测区域SA1可以是穿过第二滤光器区域FA2的光信号到达传感器130的区域。
此外，由于第一感测区域SA1和第二感测区域SA2分别与第一滤光器区域FA1和第二滤光器区域FA2对应，所以第一感测区域SA1可以设置为围绕第二感测区域SA2。
更具体地，如上所述，传感器130可以包括多个像素，并且多个像素可以被设置为在行方向和列方向上平行。第二感测区域SA2可以被设置为多个第二感测区域SA2，并且多个第二感测区域SA2可以被设置为彼此间隔开。
此外，彼此间隔开的每个第二感测区域SA2可以位于至少一个像素上。在示例性实施例中，每个第二感测区域SA2可以包括多个像素，多个像素的至少一部分设置为彼此接触。在这种情况下，即使当相机模块与对象之间的距离发生变化时(例如，当拍摄以不同距离设置的各种对象的图像时)，也可以通过针对每个对象的多个像素提取深度信息，从而提高关于与对象的距离的深度信息的精度。
在传感器130中，多个像素PX1-1至PX9-9可以布置在行方向和列方向上。例如，在传感器130中，像素可以具有九行九列。这意味着第1-1像素位于第一行和第一列。在这种情况下，第2-2像素、第4-2像素、第6-2像素、第8-2像素、第2-4像素、第4-4像素、第6-4像素、第8-4像素、第2-6像素、第4-6像素、第6-6像素、第8-6像素、第2-8像素、第4-8像素、第6-8像素和第8-8像素可以与第二感测区域SA2对应。
在这种情况下，与第二感测区域SA2对应的每个像素可以被第一感测区域SA1的各个像素围绕。例如，第2-2像素可以被布置为被第1-1像素至第1-3像素、第2-1像素、第2-3像素以及第3-1像素至第3-3像素围绕。因此，即使当与对象的距离发生变化时，也尽可能地防止多个第二感测区域SA2彼此重叠，从而提高了深度信息的准确度。
此外，第二感测区域SA2可以彼此间隔开预定间隔。在示例性实施例中，在第一方向(X轴方向)上的相邻的第二感测区域SA2之间的宽度W2可以都相同。另外，在第二方向(Y轴方向)上的相邻的第二感测区域SA2的高度h2可以都相同。
此外，第一滤光器区域FA1的宽度可以与第一感测区域SA1的宽度不同。类似地，第二滤光器区域FA2的宽度可以与第二感测区域SA2的宽度不同。在示例性实施例中，第一滤光器区域FA1的宽度可以比第一感测区域SA1的宽度大，并且第二滤光器区域FA2的宽度可以比第二感测区域SA2的宽度大。
此外，在第一方向上的相邻的第二滤光器区域FA2之间的宽度W1可以与在第一方向上相邻的第二感测区域SA2之间的宽度W2不同。在示例性实施例中，在第一方向上的相邻的第二滤光器区域FA2之间的宽度W1可以比在第一方向上的相邻的第二感测区域SA2之间的宽度W2大。
在第二方向上的相邻的第二滤光器区域FA2之间的高度h1可以与在第二方向上的相邻的第二感测区域SA2之间的高度h2不同。在示例性实施例中，在第二方向上的相邻的第二滤光器区域FA2之间的高度h1可以比在第二方向上的相邻的第二感测区域SA2之间的高度h2大。由于这种配置，相机模块可以通过传感器的多个像素而提供具有更宽视角的图像数据。
参考图10，第二感测区域的宽度可以根据与对象O的距离而改变。作为示例，对象O可以包括与相机模块具有不同距离的第一点PO1、第二点PO2和第三点PO3。与第二点PO2和第三点PO3相比，第一点PO1距相机模块的距离可以更长。与第一点PO1和第二点PO2相比，第三点PO3距相机模块的距离可以更短。
在这种情况下，反射光的相位延迟可以根据与对象的距离而不同。例如，反射光可以包括作为从第一点PO1反射的光信号的第一反射光LS2-1、作为从第二点PO2反射的光信号的第二反射光LS2-2以及作为从第三点PO3反射的光信号的第三反射光LS2-3。
第一反射光LS2-1、第二反射光LS2-2和第三反射光LS2-3可以穿过第二滤光器区域FA2以在传感器130的第二感测区域SA2中被接收。
在这种情况下，第二感测区域SA2可以包括用于接收第一反射光LS2-1的第2-1感测区域SA2a、用于接收第二反射光LS2-2的第2-2感测区域SA2b以及用于接收第三反射光Ls2-3的第2-3感测区域SA2c。
第2-1感测区域SA2a的宽度可以比第2-2感测区域SA2b的宽度和第2-3感测区域SA2c的宽度小。第2-2感测区域SA2b的宽度可以比第2-1感测区域SA2a的宽度和第2-3感测区域SA2c的宽度小。第2-3感测区域SA2c的宽度可以比第2-1感测区域SA2a的宽度和第2-2感测区域SA2b的宽度大。
此外，当第2-1感测区域SA2a与一个像素对应时，第2-2感测区域SA2b和第2-3感测区域SA2c可以与多个像素对应。因此，由于多个第二感测区域SA2可以被设置为彼此间隔开，所以第二感测区域SA2可以彼此间隔开并且可以在行方向或列方向上不相互重叠。因此，根据示例性实施例的相机模块可以计算反映相机模块与对象之间的所有不同距离的深度信息。
参考图11，在滤光器中，第一滤光器区域可以围绕第二滤光器区域，并且围绕一个第二滤光器区域的第一滤光器区域可以不相互重叠。换言之，滤光器可以设置为多个集合滤光器，该多个集合滤光器包括第二滤光器区域和围绕第二滤光器区域的第一滤光器区域的，并且多个集合滤光器可以在第三方向(Z轴方向)上不相互重叠。
响应于这样的滤光器，即使在传感器中，第一感测区域SA1也可以围绕第二感测区域SA2，并且围绕一个第一感测区域SA1的第一感测区域可以不相互重叠。此外，传感器可以包括集合像素BDX，该集合像素BDX包括第二感测区域SA2和围绕第二感测区域SA2的第一感测区域SA1。在这种情况下，可以设置多个集合像素BDX并且多个集合像素BDX可以在第三方向(Z轴方向)上不相互重叠。由于这种配置，即使当与对象的距离改变时，也可以进行准确的深度测量。
图12是用于描述根据示例性实施例的在传感器中产生电信号的过程的示意图。
参考图12，如上所述，反射光(输入光)LS2的相位可以延迟与入射光(输出光)LS1在入射到对象上之后反射而返回的距离同样大小。
此外，如上所述，可以具有多个基准信号，并且在示例性实施例中，如图12所示，可以具有四个基准信号C1到C4。基准信号C1至C4可以各自具有与光信号相同的频率，并且可以具有90°的相位差。四个基准信号中的一个信号C1可以具有与光信号相同的相位。
在传感器130中，传感器130的有效区域可以响应于每个基准信号而暴露。传感器130可以在积分时间期间接收光信号。
传感器130可以将输入光信号和每个基准信号混合。然后，传感器130可以产生与图12的阴影部分对应的电信号。
在另一示例性实施例中，当在积分时间期间以多个频率产生光信号时，传感器130根据多个频率吸收输入光信号。例如，假设光信号以频率f1和f2产生，并且多个基准信号具有90°的相位差。在这种情况下，由于入射光信号也具有频率f1和f2，因此可以通过具有频率f1的输入光信号和与其对应的四个基准信号来产生四个电信号。可以通过具有频率f2的输入光信号和与其对应的四个基准信号，产生四个电信号。因此，可以产生总共八个电信号。在下文中，将主要描述这一点，但是如上所述，光信号可以生成为具有一个频率(例如，f1)。
图13是用于描述根据示例性实施例的传感器的图，图14至17是用于描述传感器的各种变型例的图。
参考图13至图17，如上所述，传感器130可以包括多个像素并且具有阵列结构。在这种情况下，传感器130可以是有源像素传感器(APS)，并且可以是互补金属氧化物半导体(CMOS)传感器。此外，传感器130可以是电荷耦合器件(CCD)传感器。此外，传感器130可以包括ToF传感器，其接收由对象反射的IR光以使用时间差或相位差测量距离。
多个像素可以设置为在第一方向和第二方向上平行。例如，多个像素可以为矩阵的形式。
此外，在示例性实施例中，多个像素可以包括第一像素P1和第二像素P2。第一像素P1和第二像素P2可以交替地设置在第一方向和第二方向上。即，相对于一个第一像素P1，多个第二像素P2可以在第一方向和第二方向上彼此相邻地设置。例如，在传感器130中，第一像素P1和第二像素P2可以以棋盘图案布置。
此外，第一像素P1和第二像素P2可以是接收具有不同波长带作为峰值波长的光束的像素。例如，第一像素P1可以接收具有IR带作为峰值波长的光。第二像素P2可以接收具有除IR带以外的波长作为峰值波长的光。
此外，第一像素P1和第二像素P2中的任一个可以不接收光。在示例性实施例中，多个像素可以包括在其中布置光接收元件的有效区域SA和除该有效区域之外的无效区域IA。
有效区域SA可以接收光以产生预定的电信号，并且无效区域IA可以是接收光而不产生电信号或不接收光的区域。即，无效区域IA可以具有包括即使当光接收元件位于无效区域IA中时也不能通过光产生电信号的情况的含义。
第一像素P1可以包括有效区域SA，但是第二像素P2可以仅包括无效区域IA，在无效区域IA中不存在有效区域SA。例如，诸如光电二极管的光接收元件可以仅位于第一像素中并且可以不位于第二像素中。此外，例如，传感器130可以包括多个行区域RR，该多个行区域RR包括沿行方向交替布置的有效区域SA和无效区域IA。此外，在示例性实施例中，传感器130可以包括多个列区域CR，该多个列区域CR包括沿列方向交替布置的有效区域SA和无效区域。
在示例性实施例中，传感器130可以包括第一行区域RR1以及第二行区域RR2，在第一行区域RR1中有效区域SA和无效区域IA交替设置，在第二行区域RR2中有效区域SA和无效区域IA在行方向上交替设置并且有效区域设置于在列方向上不与第一行区域RR1的有效区域重叠的位置处。因此，传感器130可以包括多个列区域CR，该多个列区域CR包括在列方向上交替布置的有效区域SA和无效区域IA。
此外，第一像素P1和第二像素P2可以具有各种形状，例如四边形、三角形、多边形和圆形。有效区域SA也可以具有各种形状，例如四边形、三角形、多边形和圆形(见图14和15)。
另外，电连接到相邻的第一像素P1的部件可以位于第二像素P2中。上述部件可以包括诸如布线和电容器的电气元件。此外，上述部件可以位于第一像素或第二像素上(见图14)。
在示例性实施例中，每个像素可以是由传感器上在布置方向(例如，第一方向或第二方向)上相邻的同一有效区域之间的间隔限定的区域。这里，相同的有效区域是指具有相同功能的有效区域(例如，用于接收具有相同波长带的光束的有效区域)。
此外，第一像素P1可以仅具有有效区域SA，或者可以具有有效区域SA和无效区域IA两者。有效区域SA可以存在于第一像素P1内的各个位置的每一处。因此，像素的中心与有效区域的中心可能不同，但以下以像素中心与有效区域的中心相同为前提进行说明。
此外，如图13所示，在具有320×240分辨率的传感器130的情况下，76800个像素可以以网格形式布置。在这种情况下，多个像素可以布置为彼此隔开预定间隔。即，如图5的阴影部分，可以在多个像素之间形成特定间隔L。间隔L的宽度dL可以远小于像素的尺寸。另外，上述布线等也可以以这样的间隔L设置。在本说明书中，省略间隔L进行说明。
此外，在示例性实施例中，每个像素132(例如，第一像素)可以包括第一光接收单元132-1和第二光接收单元132-1，第一光接收单元132-1包括第一光电二极管和第一晶体管，第二光接收单元132-1包括第二光电二极管和第二晶体管。
第一光接收单元132-1接收与输出光的波形相同相位的输入光信号。即，在光源开启时，第一光电二极管开启以吸收输入光信号。在光源关闭时，第一光电二极管关闭以停止吸收输入光。第一光电二极管将吸收的输入光信号转换为电流并将该电流传输至第一晶体管。第一晶体管将接收到的电流转换为电信号并输出该电信号。
第二光接收单元132-2接收与输出光的波形的相位相反相位的输入光信号。即，在光源开启时，第二光电二极管关闭以吸收输入光信号。在光源关闭时，第二光电二极管开启以停止吸收输入光。第二光电二极管将吸收的输入光信号转换为电流并将该电流传输到第二晶体管。第二晶体管将接收到的电流转换为电信号。
因此，第一光接收单元132-1可以被称为同相接收单元，而第二光接收单元132-2可以被称为异相接收单元。如上所述，当第一光接收单元132-1和第二光接收单元132-2在具有时间差的情况下被激活时，根据与对象的距离出现接收光量的差异。例如，当对象正好在相机模块100的前面时(即，当距离＝零时)，由于光从光输出单元110输出然后从对象反射所花费的时间为零，因此光源的开启/关闭周期为光接收周期，而没有任何改变。因此，仅第一光接收单元132-1接收光，而第二光接收单元132-2不接收光。作为另一个示例，当对象被放置为与相机模块100间隔开预定距离时，由于光从光输出单元110输出然后从物体反射需要时间，因此光源的开启/关闭周期不同于光的接收周期。因此，第一光接收单元132-1接收到的光量与第二光接收单元132-2接收到的光量之间产生差异。即，可以使用输入到第一光接收单元132-1的光量与输入到第二光接收单元132-2的光量之间的差异来计算与对象的距离。换言之，控制单元140使用从传感器130接收到的电信号计算输出光与输入光之间的相位差，并使用相位差计算对象与相机模块100之间的距离。
更具体地，控制单元140可以使用电信号的电荷量信息来计算输出光与输入光之间的相位差。
如上所述，可以针对光信号的每个频率产生四个电信号。因此，控制单元140可以使用下面的等式1来计算光信号与输入光信号之间的相位差td。
[等式1]
Figure BDA0003328803320000211
这里，Q1至Q4表示四个电信号的电荷量。Q1表示与具有与光信号相同相位的基准信号相对应的电信号的电荷量。Q3表示与相位比光信号的相位延迟180°的基准信号对应的电信号的电荷量。Q3表示与相位比光信号的相位延迟90°的基准信号对应的电信号的电荷量。Q4表示与相位比光信号的相位延迟270°的基准信号对应的电信号的电荷量。
控制单元140可以使用光信号与输入光信号之间的相位差来计算对象与相机模块100之间的距离。在这种情况下，控制单元140可以使用下面的等式2来计算对象与相机模块100之间的距离d(参见等式2)。
[等式2]
Figure BDA0003328803320000221
这里，c表示光速，f表示输出光的频率。
根据示例性实施例，可以从相机模块100获取ToF IR图像和深度图像。因此，根据本发明示例性实施例的相机模块可以被称为ToF相机模块或ToF相机模块。
更具体地说，如图18所示，根据示例性实施例的相机模块100可以生成针对四个相位的原始图像。这里，四个相位可以是0°、90°、180°和270°，并且针对每个相位的原始图像可以是具有针对每个相位数字化的像素值的图像且可以与相位图像、相位IR图像等互换使用。在这种情况下，可以通过从第二感测区域产生的电信号来获取针对四个相位的原始图像，图18至图20所示的每个图像可以是当传感器的整个区域作为第二感测区域工作时针对每个相位获取的图像，或者图18至20所示的每个图像可以从图像中获取。
图18示出了根据示例性实施例的从相机模块获取的针对四个相位的原始图像，图19示出了根据示例性实施例的从相机模块获取的幅度图像，图20示出了根据示例性实施例的从相机模块获取的深度图像。
参考图18和19，当使用四个相位图像Raw(x0)、Raw(x90)、Raw(x180)和Raw(x270)(见图18)如等式3中那样执行计算时，可以获取作为ToF IR图像的幅度图像(参见图19)。
[等式3]
Figure BDA0003328803320000222
这里，Raw(x0)可以表示由传感器在0°相位接收到的针对每个像素的数据值，Raw(x90)可以表示由传感器在90°相位接收到的针对每个像素的数据值，Raw(x180)可以表示由传感器在180°相位接收到的针对每个像素的数据值，Raw(x270)可以表示由传感器在270°相位接收到的针对每个像素的数据值。
当使用图18的四个相位图像如等式4中那样执行计算时，可以获取作为另一个ToFIR图像的强度图像。
[等式4]
强度＝|Raw(x90)-Raw(x270)|+|Raw(x180)-Raw(x0)|
这里，Raw(x0)可以表示由传感器在0°相位接收到的针对每个像素的数据值，Raw(X90)可以表示由传感器在90°相位接收到的针对每个像素的数据值，Raw(x180)可以表示由传感器在180°相位接收到的针对每个像素的数据值，Raw(x270)可以表示由传感器在270°相位接收到的针对每个像素的数据值。
如上所述，ToF IR图像可以通过从四个相位图像中的其他两个相位图像中分别去除两个相位图像的过程产生。例如，其中一个相位图像被从另一个图像去除的两个相位图像可能具有180°的相位差。在从另外两个相位图像中分别去除两个相位图像的过程中，可以移除背景光。因此，仅是由光源输出的波长带中的信号保留在ToF IR图像中，从而提高了相对于对象的IR灵敏度并显著降低了噪声。
在本说明书中，ToF IR图像可以指幅度图像或强度图像，并且强度图像可以与置信度图像互换使用。如图19所示，ToF IR图像可以是灰度图像。
同时，当使用图18的四个相位图像如等式5和6中那样执行计算时，还可以获取图20的深度图像。等式5和6可以分别对应于上述等式1和2。
[等式5]
Figure BDA0003328803320000231
[等式6]
Figure BDA0003328803320000232
图21示出了用于描述根据示例性实施例的在相机模块中获得深度信息和颜色信息的操作的图。
参考图21，如上所述，可以通过在积分时间期间获取的四个相位图像获取针对每个像素的深度信息，并且可以通过第二感测区域SA2中的电信号获取这种深度信息。另外，可以通过第一感测区域SA1的电信号获取颜色信息。第一感测区域SA1和第二感测区域SA2可以被设置为与上述像素或有效区域重叠。
在这种情况下，第二感测区域SA2可以根据与对象的距离而改变，并且在示例性实施例中，第二感测区域SA2可以以与多个像素中的一些像素重叠地位于传感器130上。换言之，第一感测区域SA1也可以设置为与多个像素中的一些像素重叠。下文中，基于与第二感测区域SA2相邻的九个像素进行说明，其中九个像素可以与上面参照图7到图11所述的像素不同。
在九个像素中，在行方向上，第1-1像素P1a至第1-3像素P1c可以位于第一行，第2-1像素P2a至第2-3像素P2c可以位于第二行，并且第3-1像素P3a至第3-3像素P3c可以位于第三行。
此外，第二感测区域SA2可以与第1-1像素P1a至第1-3像素P1c、第2-1像素P2a、第2-3像素P2c以及第3-1像素P3a至第3-3像素P3c中的每一个的部分区域重叠。也就是说，第2-2像素P2b的整个区域可以与第二感测区域SA2重叠，但是剩余像素的部分区域可以与第二感测区域SA2重叠。
在这种情况下，根据示例性实施例，控制单元可以从第2-2像素P2b中获取针对对象的深度信息。然而，由于与第2-2像素P2b相邻的剩余像素的整个区域不与第二感测区域SA2重叠，所以在剩余像素中产生的电信号中可能存在误差。
因此，在示例性实施例中，为了获取将在下面描述的高分辨率深度图像，可以通过移动光学单元、传感器等来改变反射光的路径。另外，可以通过改变反射光的路径并对与每个剩余像素相邻的像素的深度信息使用插值技术来计算剩余像素的深度信息。
在示例性实施例中，插值技术可以包括线性插值、多项式插值、样条插值、指数插值、对数线性插值、拉格朗日插值、牛顿插值、双线性插值、地理插值等。例如，第1-1像素P1a的深度信息可以使用作为与第1-1像素P1a相邻的像素的第1-2像素P1b、第2-1像素P2a和第2-2像素P2b中的每一个的深度信息来计算。在这种情况下，可以对作为与第1-1像素P1a相邻的像素的第1-2像素P1b、第2-1像素P2a和第2-2像素P2b应用不同的权重。由于这种插值技术，可以提高获取深度信息的速度。
此外，第一感测区域SA1可以与第1-1像素P1a至第1-3像素P1c、第2-1像素P2a、第2-3像素P2c和第3-1像素P3a至第3-3像素P3c中的每一个的部分区域重叠。也就是说，第2-2像素P2b的整个区域可以与第一感测区域SA1重叠，但是剩余像素的部分区域可以与第一感测区域SA1重叠。
在这种情况下，在示例性实施例中，控制单元可以从第2-2像素P2b中获取对象的颜色信息。然而，由于与第2-2像素P2b相邻的剩余像素的整个区域不与第一感测区域SA1重叠，所以在从在剩余像素中产生的电信号获取的颜色信息中可能存在一些误差。
因此，类似于上述深度信息，可以通过移动光学单元、传感器等来改变反射光的路径。通过反射光的改变路径，剩余像素可以设置为使得其整个区域与第一感测区域SA1重叠。此外，可以对与剩余像素中的每一个相邻的像素的颜色信息使用插值技术来计算剩余像素的颜色信息。
图22是根据示例性实施例的计算单元的框图，图23至图25是用于描述根据示例性实施例的相机模块中的图像控制方法的图。
参考图22，根据示例性实施例的计算单元可以使用由控制单元获取的对象的颜色信息和深度信息来输出针对对象的三维(3D)内容。如上所述，由于控制单元从一个或多个图像中获取深度信息和颜色信息，因此可以通过单个处理而不是个别的处理获取基于深度信息的深度图像和基于颜色信息的颜色图像，从而减少计算量以提高处理速度。即，可以不执行深度图像与颜色图像之间的校准或对准。此外，由于设置一个传感器，因此在发生冲击时可以提高可靠性，并且可以降低功耗。
更具体地，根据示例性实施例的计算单元150可以包括图像生成器151、提取器152、图生成器9153和内容生成器154。
首先，图像生成器151可以使用由控制单元获取的对象的颜色信息和对象的深度信息来生成多个图像。在这种情况下，多个图像可以包括颜色信息和深度信息两者。换句话说，图像可以具有来自其部分区域中的深度信息的深度图像和来自其另一区域中的颜色信息的颜色图像。
提取器152可以提取多个图像中的每一个的特征点。在这种情况下，特征点可以与对象的深度信息的位置对应。换言之，特征点可以与第二感测区域对应。此外，特征点的大小或位置可以根据光路的改变而改变。此外，特征点的尺寸可以根据上述的插值技术而增大，并且由于特征点与第二感测区域对应，所以可以容易地在图像中计算特征点。
图生成器153可以使用计算出的特征点生成深度图。换言之，图生成器153可以通过将同步定位与图构建(SLAM：simultaneous localization and mapping)技术应用于特征点来计算关于图像的整个区域的深度信息。SLAM技术是指用于在移动设备中识别其自身位置并同时图对周围环境进行图构建的技术。在这种情况下，可以通过将每个颜色图像的颜色信息与多个图像中的每个位置进行匹配来识别位置。可以通过将二维图像中的特征点与3D坐标匹配并获得应用齐次坐标的投影矩阵来识别位置。可以通过将每个特征点与来自具有颜色图像和深度图像的图像中的在图像中的点进行匹配来计算深度图。在这种情况下，可以互补地执行位置识别和图构建。
内容生成器154可以通过将深度图应用于多个图像来生成3D内容。
参考图23和24，多个图像可以沿一个方向(图中的右方向)移位。在这种情况下，根据示例性实施例的计算单元可以使用第k个图像的状态向量X、移位位移U和帧上地标m的观测向量Z来估计第(k+1)个图像的状态向量和地标的位置信息。也就是说，计算单元可以使用第k个图像的状态向量Xk、第k个移位位移Uk、图像上的地标mj以及观测向量Zk来估计第(k+1)帧的相机状态向量Xk+1和地图mk的位置信息。通过重复这样的方法，可以估计位置信息，并且可以估计未获取的关于像素的深度信息。因此，可以计算图像的整个区域的深度图，最终可以计算3D内容。
图26至图28是用于描述根据示例性实施例的用于在相机模块中获取高分辨率的控制方法的图。
参考图26至28，在示例性实施例中，为了增加深度图像的分辨率，可以使用超分辨率(SR)技术。首先，在示例性实施例中，如上所述，相机模块可以使用SR技术改变由传感器130接收到的反射光的路径以获取高分辨率图像。例如，可以改变由传感器针对每个预定幅度接收到的反射光的路径，并且图26示出了当反射光移位0.5个像素时反射光的路径的变化。然而，反射光的路径的改变不限于此。
此外，在示例性实施例中，控制单元可以控制光学单元或传感器的移动，以使输入光信号在传感器上移位预定移位距离。控制单元可以控制光学单元的可变透镜来使输入光信号在传感器上移位预定移位距离。此外，控制单元可以控制光学单元的滤光器以使输入的光信号在传感器上移位预定移位距离。例如，可以通过使光学单元的滤光器倾斜以使输入光信号在传感器上移位。尽管未示出，但相机模块可以包括用于使滤光器倾斜的驱动器。驱动器可以使用诸如音圈电机(VCM)型或压电型的驱动力来驱动滤光器。
SR技术是用于从多个低分辨率图像中获取高分辨率图像的技术，并且SR技术的数学模型可以由等式7表示。
[等式7]
yk＝DkBkMkx+nk
这里，1≤k≤p，p表示低分辨率图像的数量，yk表示低分辨率图像[yk1，yk2，...，andykM]T(其中M＝N1×N2)，Dk表示下采样(down sampling)矩阵，Bk表示光学模糊矩阵，Mk表示图像扭曲矩阵，x表示高分辨率图像[x1，x2，...，and xN]T(其中N＝L1N1×L2N2)，nk表示噪声。即，SR技术是指通过将估计的分辨率劣化因子的反函数应用于yk来估计x的技术。SR技术主要可以分为统计法和多帧法，多帧法主要可以分为空间分割法和时间分割法。当使用SR技术获取深度图像时，由于不存在等式1中的Mk的反函数，因此可以尝试统计方法。但是，由于统计方法需要迭代计算过程，因此存在效率低的问题。
为了将SR技术应用于深度信息提取，控制单元可以使用从传感器130接收到的电信号生成多个低分辨率子帧LRSF，然后可以使用多个低分辨率子帧LRSF提取多个低分辨率图像LRI和多个低分辨率深度信息。可以通过重新布置多个低分辨率深度信息的像素值来提取高分辨率深度信息。因此，计算单元可以最终输出高分辨率深度图像HRDI。在本说明书中，高分辨率是表示分辨率高于低分辨率的相对含义。
此外，子帧可以指从与任何一个曝光周期对应的电信号、以及基准信号产生的图像数据。例如，当在一个曝光周期内(即一帧图像)通过八个基准信号产生电信号时，可以产生八个子帧，还可以产生一个起始帧。在本说明书中，子帧可以与图像数据、子帧图像数据等互换使用。
可替代地，为了将根据本发明示例性实施例的SR技术应用于深度信息提取，计算单元150可以生成多个低分辨率子帧LRSF和包括多个低分辨率子帧LRSF的多个低分辨率图像LRI，然后可以通过重新布置多个低分辨率子帧LRSF的像素值来生成多个高分辨率子帧HRSF。高分辨率子帧HRSF可以用于提取高分辨率深度信息，并生成高分辨率深度图像HRDI。如上所述，可以通过这样的方法提取高分辨率深度信息，并且该方法可以同等地应用于下面描述的每个示例性实施例或其变型(见图27)。
另外，为了提取这样的高分辨率深度信息，在获取各自移位了预定移位距离的多个子帧之后，可以通过对每个子帧应用SR技术来获取多个高分辨率子帧HRSF，并且可以使用高分辨率子帧HRSF提取每个子帧的深度信息以提取高分辨率深度图像HRDI(见图28)。
同时，当根据本发明示例性实施例的相机模块100应用于需要高质量图像捕获的应用时，例如，当相机模块100应用于需要精确图像的应用(如在生物特征认证中)时，或者当相机模块100应用于用户应该只用一只手操作相机模块100并拍照的应用时，还需要用于防止或校正由手抖动引起的图像抖动的技术。用于防止或校正图像抖动的技术可以被称为光学图像稳定器(OIS)技术。在OIS技术中，当光轴为Z轴时，通过使用在与光轴垂直的X轴和Y轴上移动相机模块100内的结构(例如透镜等)的方法，可以防止或校正图像抖动。
此外，为了使相机模块100具有SR功能和OIS功能，根据本发明示例性实施例的相机模块100可以进一步包括用于在其中移动所述结构的驱动器。
已经基于示例性实施例描述了本发明，但是示例性实施例用于说明的目的而不是限制本发明，并且本领域技术人员将理解，没有在示例性实施例中示例的各种修改和应用可以在不脱离本示例性实施例的基本特征的范围的情况下获得。例如，可以修改示例性实施例中详细描述的每个部件。此外，与修改和应用有关的差异应理解为被包括在所附权利要求所限定的本发明的范围内。

Claims (10)

1.一种相机模块，包括：
光输出单元，所述光输出单元被配置为向对象输出光信号；
滤光器，所述滤光器被配置为使被所述对象反射的光信号通过所述滤光器；
传感器，所述传感器被配置为接收通过的所述光信号；以及
控制单元，所述控制单元被配置为使用由所述传感器接收到的所述光信号获取所述对象的深度信息和与所述对象的所述深度信息相邻的所述对象的颜色信息，
其中，所述滤光器包括第一滤光器区域和第二滤光器区域，作为通带的第一波长带通过所述第一滤光器区域，作为通带的与所述第一波长带不同的第二波长带通过所述第二滤光器区域，
所述传感器包括用于接收第一信号的第一感测区域以及用于接收第二信号的第二感测区域，
所述控制单元从所述第一感测区域获取所述对象的所述颜色信息，并且从所述第二感测区域获取所述对象的所述深度信息，
所述第一信号为通过所述第一滤光器区域的光信号，并且
所述第二信号为通过所述第二滤光器区域的光信号。
2.根据权利要求1所述的相机模块，其中，所述第一滤光器区域围绕所述第二滤光器区域，并且
所述第一感测区域围绕所述第一感测区域。
3.根据权利要求1所述的相机模块，其中，所述第二感测区域被设置为彼此间隔开的多个第二感测区域。
4.根据权利要求3所述的相机模块，其中，相邻的所述第二感测区域在行方向或列方向上具有相同的距离。
5.根据权利要求3所述的相机模块，其中，所述第二感测区域中的每一个包括多个像素，所述多个像素的至少一部分设置为彼此接触。
6.根据权利要求1所述的相机模块，其中，所述光输出单元包括光收集单元，所述光收集单元被配置为以多个阵列的形式输出所述光信号。
7.根据权利要求1所述的相机模块，还包括计算单元，所述计算单元被配置为使用获取的所述对象的所述颜色信息和获取的所述对象的所述深度信息输出所述对象的三维内容。
8.根据权利要求7所述的相机模块，其中，所述计算单元包括：
图像生成器，所述图像生成器被配置为使用获取的所述对象的所述颜色信息和获取的所述对象的所述深度信息生成多个图像；
提取器，所述提取器被配置为提取所述多个图像中的每个图像的特征点；
图生成器，所述图生成器被配置为使用所述特征点生成深度图；以及
内容生成器，所述内容生成器被配置为通过将所述深度图应用于所述多个图像来生成所述三维内容。
9.根据权利要求8所述的相机模块，其中，所述特征点与获取的所述对象的所述深度信息的位置相对应。
10.根据权利要求1所述的相机模块，其中，所述传感器包括设置有光接收元件的有效区域以及除所述有效区域之外的无效区域，并且
所述传感器包括：第一行区域，在所述第一行区域中所述有效区域和所述无效区域沿行方向交替设置；以及第二行区域，在所述第二行区域中所述有效区域和所述无效区域沿所述行方向交替设置，并且所述有效区域设置于沿列方向不与所述第一行区域的所述有效区域重叠的位置处。
CN202080032566.6A 2019-04-29 2020-04-27 相机模块 Active CN113767621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190049706A KR20200126129A (ko) 2019-04-29 2019-04-29 카메라 모듈
KR10-2019-0049706 2019-04-29
PCT/KR2020/005491 WO2020222477A1 (ko) 2019-04-29 2020-04-27 카메라 모듈

Publications (2)

Publication Number Publication Date
CN113767621A true CN113767621A (zh) 2021-12-07
CN113767621B CN113767621B (zh) 2023-12-01

Family

ID=73028922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080032566.6A Active CN113767621B (zh) 2019-04-29 2020-04-27 相机模块

Country Status (4)

Country Link
US (1) US11863735B2 (zh)
KR (1) KR20200126129A (zh)
CN (1) CN113767621B (zh)
WO (1) WO2020222477A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3096510B1 (fr) * 2019-05-24 2021-05-28 Aledia Dispositif optoélectronique ayant des systèmes optiques déplaçables entre différents pixels et procédé de contrôle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
KR20110033567A (ko) * 2009-09-25 2011-03-31 삼성전자주식회사 거리 센서를 포함하는 이미지 센서
US20140055565A1 (en) * 2012-08-27 2014-02-27 Samsung Electronics Co., Ltd. 3-dimensional image acquisition apparatus and 3d image acquisition method for simultaneously obtaining color image and depth image
CN104081528A (zh) * 2012-01-10 2014-10-01 软动力学传感器公司 多光谱传感器
CN105991978A (zh) * 2014-08-28 2016-10-05 爱思开海力士有限公司 具有深度检测像素的图像传感器和产生深度数据的方法
KR20170042226A (ko) * 2015-10-08 2017-04-18 주식회사 듀얼어퍼처인터네셔널 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
US20180197275A1 (en) * 2017-01-11 2018-07-12 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
KR20110033567A (ko) * 2009-09-25 2011-03-31 삼성전자주식회사 거리 센서를 포함하는 이미지 센서
CN104081528A (zh) * 2012-01-10 2014-10-01 软动力学传感器公司 多光谱传感器
US20140055565A1 (en) * 2012-08-27 2014-02-27 Samsung Electronics Co., Ltd. 3-dimensional image acquisition apparatus and 3d image acquisition method for simultaneously obtaining color image and depth image
CN105991978A (zh) * 2014-08-28 2016-10-05 爱思开海力士有限公司 具有深度检测像素的图像传感器和产生深度数据的方法
KR20170042226A (ko) * 2015-10-08 2017-04-18 주식회사 듀얼어퍼처인터네셔널 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
US20180197275A1 (en) * 2017-01-11 2018-07-12 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays

Also Published As

Publication number Publication date
WO2020222477A1 (ko) 2020-11-05
US20220210393A1 (en) 2022-06-30
KR20200126129A (ko) 2020-11-06
CN113767621B (zh) 2023-12-01
US11863735B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
US10863164B2 (en) Stereo camera and method of controlling stereo camera
EP3516626B1 (en) Device and method for obtaining distance information from views
Bok et al. Geometric calibration of micro-lens-based light field cameras using line features
JP5649091B2 (ja) 画像キャプチャ装置および画像キャプチャ方法
JP7286682B2 (ja) カメラモジュールおよびその深さ情報抽出方法
KR20080088591A (ko) 화상 입력 장치, 화상 입력 방법, 개인 인증 장치 및 전자기기
WO2019039996A1 (en) ARTIFICIAL VISION SYSTEM AND METHOD FOR IDENTIFYING LOCATIONS OF TARGET ELEMENTS
CN105980928B (zh) 使用超声波深度感测的rgb-d成像系统和方法
JP2017509986A (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
CN113260892B (zh) 光学系统及包括该光学系统的相机模块
Martel et al. Real-time depth from focus on a programmable focal plane processor
CN113767621B (zh) 相机模块
US11528416B2 (en) Camera device having shiftable optical path
JP6882266B2 (ja) ピクセルビームを表すデータを生成する装置及び方法
US11885884B2 (en) Camera module
KR102184210B1 (ko) 3차원 카메라 시스템
CN114979462A (zh) 图像信号处理器、图像处理方法和图像处理系统
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
US20210383561A1 (en) Camera module
KR102061087B1 (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
KR20210034300A (ko) 카메라 모듈
US20210027488A1 (en) General monocular machine vision system and method for identifying locations of target elements
US11856292B2 (en) Camera module outputting different optical signals based on depth of object
Krig et al. Image Capture and Representation
CN112073707A (zh) 摄像头模组、电子设备、车载测距系统及成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant