CN112313948B - 图像传感器和使用图像传感器的相机模块 - Google Patents

图像传感器和使用图像传感器的相机模块 Download PDF

Info

Publication number
CN112313948B
CN112313948B CN201980041586.7A CN201980041586A CN112313948B CN 112313948 B CN112313948 B CN 112313948B CN 201980041586 A CN201980041586 A CN 201980041586A CN 112313948 B CN112313948 B CN 112313948B
Authority
CN
China
Prior art keywords
depth map
memory
image processor
pixel array
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980041586.7A
Other languages
English (en)
Other versions
CN112313948A (zh
Inventor
张成河
李雄
李昌奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN112313948A publication Critical patent/CN112313948A/zh
Application granted granted Critical
Publication of CN112313948B publication Critical patent/CN112313948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的实施例的图像传感器包括：像素阵列，多个像素以网格形式排列在像素阵列中，并且像素阵列将从对象反射的反射光信号转换为电信号；图像处理器，对电信号进行转换以生成子帧，并提取第二深度信息片段，第二深度信息片段的分辨率比从多个子帧提取的第一深度信息片段的分辨率高；以及存储器，用于存储第一深度信息片段，其中，通过以像素阵列的子像素单位偏移的彼此不同的光路将反射光信号输入到像素阵列，并且存储器存储与彼此不同的光路对应的多个第一深度信息片段。

Description

图像传感器和使用图像传感器的相机模块
技术领域
本发明涉及图像传感器和使用该图像传感器的相机模块。
背景技术
除了游戏和文化领域以外，三维内容还应用于诸如教育、制造业、自动驾驶等各种领域，并且深度图对于获得三维内容是必需的。深度图是示出空间距离的图，并且示出二维图像中一个点相对于另一个点的视角信息。
获得深度图的方法之一是将红外(IR)结构光投射到对象上，并且对从对象反射的光进行解译以提取深度图。采用IR结构光，存在的问题在于，难以获得移动对象的期望水平的深度分辨率。
同时，作为一种替代IR结构光方法的技术，飞行时间(TOF)方法引起注意。
根据TOF方法，测量飞行时间(即光发射、反射并返回所用的时间)来计算距对象的距离。ToF方法的一个很大的优点是实时快速地提供三维空间中的距离的信息。而且，用户无需应用额外的算法或在硬件方面进行校正即可获得准确的距离信息。另外，即使在测量非常近的对象或移动对象时，也可以获得准确的深度图。
然而，在当前ToF方法的情况下，存在的问题在于，可以从一个帧获得的信息是不充足的，即其分辨率非常低。
作为提高分辨率的方法，存在一种增加图像传感器的像素的数量的方法。然而，在这种情况下，存在的问题在于，相机模块的体积和制造成本显着增加。
因此，需要一种在没有显著地增加相机模块的体积和制造成本的情况下提高分辨率的深度图的获得方法。
发明内容
技术问题
本发明旨在提供一种配置为使用飞行时间(TOF)方法提取深度图的图像传感器以及包括该图像传感器的相机模块。
技术解决方案
本发明的一个方面提供了一种图像传感器，包括：像素阵列，多个像素以网格形式排列在像素阵列中，并且像素阵列将对象反射的反射光信号转换为电信号；图像处理器，配置为对电信号进行转换以生成子帧，并提取第二深度图，第二深度图的分辨率比从多个子帧提取的第一深度图的分辨率高；以及存储器，配置为存储第一深度图，其中通过以像素阵列的子像素为单位偏移的不同光路将反射光信号输入到像素阵列中，并且存储器存储与不同光路对应的多个第一深度图。
图像处理器可以包括：转换器单元，配置为对从像素阵列接收的电信号进行转换以生成子帧，并配置为将深度计算应用于子帧以提取第一深度图；超分辨率(SR)处理单元，配置为使用存储器中存储的多个第一深度图来提取第二深度图；输出单元，配置为输出第二深度图；以及控制单元，配置为控制第一深度图和第二深度图的输入和输出。
当存储器存储第一深度图时，控制单元可以控制存储器中存储的多个第一深度图以传输到SR处理单元。
当SR处理单元接收到存储器中存储的多个第一深度图时，SR处理单元可以通过将SR技术应用于所接收的多个子帧来提取第二深度图。
当存储器从图像处理器接收第一深度图时，存储器可以删除其中预先存储的第一深度图之中对应于与从图像处理器接收的第一深度图的光路相同的光路的第一深度图，并且存储器可以存储从图像处理器接收的第一深度图。
像素阵列、图像处理器和存储器中的每一个可以形成为层类型，并且存储器可以堆叠在像素阵列和图像处理器之间。
像素阵列和图像处理器中的每一个可以形成为层类型，像素阵列可以堆叠在图像处理器上，并且存储器可以包括在形成有图像处理器的层中。
以像素阵列的子像素为单位偏移的光路的数量可以为N×M个，其中N和M为大于零的整数，并且存储器可以存储N×M个第一深度图。
子像素的大小可以大于零个像素的大小且小于一个像素的大小。
本发明的另一个方面提供了一种相机模块，包括：照明部件，配置为输出待发射到对象的入射光信号；透镜部件，配置为收集由对象反射的反射光信号；图像传感器部件，配置为使用由透镜部件收集的反射光信号来提取深度图；以及倾斜部件，配置为针对每个图像帧使入射光信号或反射光信号的至少一个光路以图像传感器部件的子像素为单位进行偏移，其中图像传感器部件包括：像素阵列，多个像素以网格形式排列在像素阵列中，并且像素阵列将对象反射的反射光信号转换为电信号；图像处理器，配置为对电信号进行转换以生成子帧，并使用多个子帧提取分辨率比子帧的分辨率高的深度图；以及存储器，配置为存储子帧，其中通过以像素阵列的子像素为单位偏移的不同光路将反射光信号输入到像素阵列中，并且存储器存储与不同光路对应的多个子帧。
当存储器存储第一深度图时，图像处理器可以控制存储器中存储的多个第一深度图以传输到超分辨率(SR)处理单元。
当图像处理器接收到存储器中存储的多个第一深度图时，图像处理器可以通过将SR技术应用于所接收的多个子帧来提取第二深度图。
当存储器从图像处理器接收第一深度图时，存储器可以删除其中预先存储的第一深度图中对应于与从图像处理器接收的第一深度图的光路相同的光路的第一深度图，并且存储器可以存储从图像处理器接收的第一深度图。
有益效果
当使用根据本发明的实施例的相机模块时，可以在不增加图像传感器中的像素数量的情况下获得高分辨率的深度图。
另外，当使用根据本发明的实施例的相机模块时，由于图像传感器处理信号并输出深度图，因而可以减小相机模块的体积和重量，并且还可以缩短信号传输时间，以减少信号处理时间。
附图说明
图1是根据本发明的实施例的相机模块的框图。
图2是用于描述入射光信号的频率的视图。
图3是示出相机模块的示例的剖视图。
图4是用于描述由倾斜部件引起的反射光信号的光路的变化的一组视图。
图5是根据本发明的实施例的图像传感器的框图。
图6是用于描述根据本发明的实施例的电信号生成过程的视图。
图7是用于描述根据本发明的实施例的像素阵列的结构的视图。
图8是用于描述根据本发明的实施例的超分辨率(SR)技术的视图。
图9和图10是用于描述根据本发明的实施例的图像传感器的数据流的一组视图。
图11是用于描述根据本发明的实施例的图像传感器的结构的视图。
图12是将通过根据本发明的实施例的图像传感器获得的具有第二深度的图像与具有常规深度的图像进行比较的一组视图。
具体实施方式
由于本发明允许各种改变和许多实施例，因而将在附图中示出并在撰写的说明书中详细描述具体的实施例。然而，这并不旨在将本发明限制于特定的实施例，并且应当理解，不脱离本发明的精神和技术范围的所有改变、等同和替代均包含在本发明中。
将理解，尽管在本文中可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应当受这些术语限制。这些术语仅用来对元件进行区分。例如，在不脱离本发明的范围的情况下，第一元件可以称为第二元件，并且类似地，第二元件可以称为第一元件。术语“和/或”包括多个相关联的所列术语的组合或任何一个。
将理解，当提及一个元件“连接”或“耦接”至另一个元件时，它可以直接连接或耦接至另一个元件，或者可以存在介于中间的元件。相反，当提及一个元件“直接连接”或“直接耦接”至另一个元件时，将理解，不存在介于中间的元件。
本文使用的术语仅用于描述特定实施例的目的，而不意图限制于本发明。除非上下文另外明确指出，否则如本文使用的单数形式“一”、“一个”和“该”旨在包括复数形式。还将理解，术语“包括”、“具有”或“包含”在本文使用时是表示所陈述的特征、数量、步骤、操作、元件、构件或其分组的存在，但是不排除一个或多个其他特征、数量、步骤、操作、元件、构件或其分组的存在或添加。
除非另有定义，否则本文使用的所有术语(包括技术术语和科学术语)所具有的含义与本发明所属领域的技术人员通常理解的含义相同。还将理解，术语，诸如在常用字典中定义的术语，应解读为具有与其在相关技术背景中的含义一致的含义，并且不应理想化地或过于形式化地进行解读，除非本文另有明确规定。
下面将参考附图详细描述本发明的示例实施例。无论附图编号怎样，相同或彼此对应的构件由相同的附图标记表示，并且将省略多余的描述。
然后，将参考图1至图4详细描述根据本发明的实施例的相机模块。根据本发明的实施例的相机模块可以是用于提取深度图像的飞行时间(ToF)相机模块，深度图像包括距对象的距离的信息，即，深度图。
图1是根据本发明的实施例的相机模块的框图。
如图1所示，根据本发明的实施例的相机模块10包括照明部件100、透镜部件200、图像传感器部件300和倾斜部件400。
照明部件100生成入射光信号，并且将入射光信号发射到对象。在这种情况下，照明部件100可以生成并输出呈脉冲波或连续波形式的入射光信号。连续波的形式可以为正弦波或方波。由于生成的入射光信号呈脉冲波或连续波的形式，因而相机模块10可以检测从照明部件100输出的入射光信号与从对象反射的反射光信号之间的相位差。在本说明书中，入射光可以是指从照明部件100输出并入射到对象上的光，并且反射光可以是指从照明部件100输出、到达对象并由对象反射的光。从相机模块10的视角看，入射光可以是输出光，而反射光可以是输入光。
照明部件100在预定的积分时间内将所生成的入射光信号发射到对象。在这种情况下，积分时间是指一个帧周期。在生成多个帧的情况下，重复设定的积分时间。例如，在ToF相机模块10以20FPS捕获对象的图像的情况下，积分时间是1/20秒。另外，在生成100个帧的情况下，积分时间可以重复100次。
照明部件100可以生成具有不同频率的多个入射光信号。照明部件100可以依次且重复地生成具有不同频率的多个入射光信号。可替代地，照明部件100也可以同时生成具有不同频率的多个入射光信号。
图2是用于描述入射光信号的频率的视图。根据本发明的实施例，如图2所示，可以控制照明部件100在积分时间的前半部分期间生成频率为f1的入射光信号，并且可以控制照明部件100在积分时间的其余部分期间生成频率为f2的入射光信号。
根据另一个实施例，照明部件100可以控制多个发光二极管(LED)之中的一些LED生成频率为f1的入射光信号，并且照明部件100可以控制其余的LED生成频率为f2的入射光信号。
为此目的，照明部件100可以包括配置为生成光的光源以及配置为对光进行调制的光调制器。
首先，光源生成光。由光源生成的光可以是波长为770nm至3000nm的红外光，并且也可以是波长为380nm至770nm的可见光。可以使用LED来形成光源，并且光源的形状可以是使多个LED可以按照预定的图案进行排列。另外，光源还可以包括有机LED(OLED)或激光二极管(LD)。
光源以预定的时间间隔重复地开启和关闭，从而生成呈脉冲波或连续波形式的入射光信号。预定的时间间隔可以是入射光信号的频率。可以通过光调制器来控制光源的开启和关闭。
光调制器控制光源的开启和关闭，以控制光源生成呈连续波或脉冲波形式的入射光信号。光调制器可以通过频率调制、脉冲调制等来控制光源，以生成呈连续波或脉冲波形式的入射光信号。
同时，透镜部件200收集由对象反射的光信号，并将反射光信号传输到图像传感器部件300。
图3是示出相机模块的示例的剖视图。
参照图3，相机模块500包括透镜组件510、像素阵列520和印刷电路板530。在这种情况下，透镜组件510可以与图1的透镜部件200对应，并且像素阵列520和印刷电路板530可以与图1的图像传感器部件300对应。尽管在图中未示出，但是图1的照明部件100可以设置在印刷电路板530上的图像传感器的侧面上，或者也可以设置在相机模块500的外部。
透镜组件510可以包括透镜512、透镜镜筒514、透镜保持架516和红外(IR)滤光器518。
透镜512可以设置为多个透镜512，并且也可以设置为一个透镜512。在透镜512设置为多个透镜512的情况下，透镜可以关于中心轴对准以形成光学系统。在这种情况下，中心轴可以与光学系统的光轴相同。
透镜镜筒514可以耦接至透镜保持架516，并且用于容纳透镜的空间可以设置在其中。透镜镜筒514可以通过旋转耦接至多个透镜中的一个透镜，但这是示例性的，并且透镜镜筒514可以通过不同的方法耦接至多个透镜中的一个透镜，所述不同的方法诸如使用粘合剂(例如，粘合树脂，诸如环氧树脂)的方法。
透镜保持架516可以耦接至透镜镜筒514并支撑透镜镜筒514，并且透镜保持架516可以耦接至其上安装有像素阵列520的印刷电路板530。由于透镜保持架516，可以在透镜镜筒514下方形成空间，在该空间中可以附接IR滤光器518。螺旋图案可以形成在透镜保持架516的内周面上，并且透镜保持架516可以通过旋转耦接到透镜镜筒514，在透镜镜筒514上，螺旋图案形成在其外周面上，如同在透镜保持架516上那样。然而，这是示例性的，并且透镜保持架516和透镜镜筒514可以通过粘合剂耦接，或者透镜保持架516和透镜镜筒514也可以一体地形成。
透镜保持架516可以分为与透镜镜筒514耦接的上保持架516-1以及与安装有像素阵列520的印刷电路板530耦接的下保持架516-2。上保持架516-1和下保持架516-2可以一体地形成、单独地形成并紧固或耦接、或者单独地形成并彼此间隔开。在这种情况下，上保持架516-1可以形成为具有比下保持架516-2的直径小的直径。
该示例仅仅是一个实施例，并且透镜部件200还可以设置为不同的结构，该结构可以收集入射到相机模块10上的反射光信号并传输反射光信号到图像传感器部件300。
再次参照图1，图像传感器部件300使用通过透镜部件200收集的反射光信号来提取深度图。在图像传感器部件300将由对象反射的反射光信号转换为电信号之后，图像传感器部件300将电信号转换为子帧。然后，图像传感器部件300使用子帧生成第一深度图。另外，图像传感器部件300使用多个第一深度图来提取分辨率比第一深度图的分辨率高的第二深度图。在这种情况下，图像传感器部件300存储第一深度图，其中多个第一深度图对应于不同的光路。在这种情况下，图像传感器部件300使用超分辨率(SR)技术来提高深度图的分辨率。图像传感器部件300是与下文将描述的图像传感器对应的部件，并且将在下文详细描述图像传感器部件300。
同时，根据本发明的实施例，为了提取分辨率比第一深度图的分辨率高的第二深度图，可以采用像素偏移技术。即，在采用像素偏移技术针对每一个帧获得偏移了与子像素对应的距离的几段图像数据之后，可以使用这几段图像数据获得具有高分辨率的第二深度图。为了使像素偏移，根据本发明的一个实施例的相机模块10包括倾斜部件400。
再次参照图1，倾斜部件400以图像传感器部件300的子像素为单位改变入射光信号或反射光信号的至少一个光路。
倾斜部件400针对每一个图像帧来改变入射光信号或反射光信号的至少一个光路。如上所述，可以在每个积分时间期间生成一个图像帧。因此，当一个积分时间结束时，倾斜部件400改变入射光信号或反射光信号的至少一个光路。
倾斜部件400基于图像传感器部件300以与子像素对应的距离来改变入射光信号或反射光信号的至少一个光路。在这种情况下，倾斜部件400在基于当前光路的向上方向、向下方向、向左方向和向右方向中的任何一个方向上改变入射光信号或反射光信号的至少一个光路。
图4是用于描述由倾斜部件引起的反射光信号的光路的变化的一组视图。
在图4A中，实线所示的部分示出了反射光信号的当前光路，而虚线所示的部分示出了其改变后的光路。当对应于当前光路的积分时间结束时，倾斜部件400可以将反射光信号的光路改变为虚线所示的光路。然后，使反射光信号的路径从当前光路移动与子像素对应的距离。例如，如图4A所示，在倾斜部件400将当前光路向右移动0.173°时，入射到图像传感器部件300上的反射光信号可以向右移动与0.5个像素(子像素)对应的距离。
根据本发明的实施例，倾斜部件400可以从参考位置沿顺时针方向改变反射光信号的光路。例如，如图4B所示，在第一积分时间结束之后，在第二积分时间期间，倾斜部件400基于图像传感器部件300将反射光信号的光路向右移动与0.5个像素对应的距离。另外，在第三积分时间期间，倾斜部件400基于图像传感器部件300将反射光信号的光路向下移动与0.5个像素对应的距离。另外，在第四积分时间期间，倾斜部件400基于图像传感器部件300将反射光信号的光路向左改变与0.5个像素对应的距离。另外，在第五积分时间期间，倾斜部件400基于图像传感器部件300将反射光信号的光路向上移动与0.5个像素对应的距离。也就是说，倾斜部件400可以通过四个积分时间将反射光信号的光路移动到原始位置。在移动入射光信号的光路时，可以同样应用这种方法，并且因此将省略对其的详细描述。另外，与顺时针方向对应的光路的改变模式仅仅是示例性的，并且改变模式可以与逆时针方向对应。
同时，子像素的大小可以大于零个像素的大小并且小于一个像素的大小。例如，子像素的大小可以为0.5个像素的大小，并且也可以为1/3个像素的大小。本领域技术人员可以改变子像素的大小的设计。
下面将参考图5至图7描述根据本发明的实施例的图像传感器。根据本发明的实施例的图像传感器可以是ToF图像传感器，并且可以是与图1的图像传感器部件300对应的传感器。
图5是根据本发明的实施例的图像传感器的框图。
如图5所示，根据本发明的实施例的图像传感器部件300包括像素阵列310、图像处理器320和存储器330。
首先，像素阵列310将由对象反射的反射光信号转换为电信号。
具体地，像素阵列310可以与图1的照明部件100的开关周期同步，以接收反射光信号。在这种情况下，像素阵列310可以接收与照明部件100输出的入射光信号同相或异相的光。即，像素阵列310可以重复执行在光源开启的时间内接收反射光信号的操作以及在光源关闭的时间内接收反射光信号的操作。
另外，像素阵列310可以使用具有不同相位差的多个参考信号来生成与参考信号对应的电信号。即，像素阵列310通过使用多个参考信号将反射光信号改变为电信号。参考信号的频率可以设置为与照明部件100输出的入射光信号的频率相同。因此，在照明部件100生成具有多个频率的入射光信号的情况下，像素阵列310使用与这些频率对应的多个参考信号来生成电信号。电信号可以包含关于与参考信号对应的电荷量或电压的信息。
图6是用于描述根据本发明的实施例的电信号生成过程的视图。
如图6所示，根据本发明的实施例的参考信号的数量可以是四个(参考信号C1至C4)。参考信号C1至C4的频率可以与入射光信号的频率相同，并且参考信号C1至C4彼此具有90°的相位差。四个参考信号中的一个参考信号C1的相位可以与入射光信号的相位相同。使反射光信号的相位延迟的量是入射光信号入射到对象上、由对象反射并返回的距离那么大。像素阵列310将反射光信号与每个对应的参考信号混合。然后，像素阵列310可以针对每个参考信号来生成与图6的阴影区域对应的电信号。
作为另一个实施例，在积分时间期间，在生成具有多个频率的入射光信号的情况下，像素阵列310接收具有多个频率的反射光信号。例如，假设入射光信号的频率为f1和f2，并且多个参考信号彼此之间具有90°的相位差。然后，因为反射光信号也具有频率f1和f2，因此由于频率为f1的反射光信号以及四个对应的参考信号而可以生成四个电信号。另外，由于频率为f2的反射光信号以及四个对应的参考信号而可以生成四个电信号。因此，可以生成总共八个电信号。
像素阵列310可以形成为多个像素在其中以网格形式进行排列的结构。像素阵列310可以使用互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)来实现。
图7是用于描述根据本发明的实施例的像素阵列的结构的视图。例如，在像素阵列310的分辨率为320×240的情况下，如图7所示，将76,800个像素以网格形式排列在其中。在这种情况下，可以在多个像素之间生成预定间隔，像图7的阴影区域那样。在本实施例中，将像素以及与该像素相邻的预定间隔一起描述为一个像素。
根据本发明的实施例，每个像素312可以包括：第一光接收部件312-1，具有第一光电二极管和第一晶体管；以及第二光接收部件312-2，具有第二光电二极管和第二晶体管。
第一光接收部件312-1以与入射光的波形的相位相同的相位接收反射光信号。换句话说，在光源开启时，第一光电二极管开启并接收反射光信号。另外，当光源关闭时，第一光电二极管关闭并停止接收反射光。第一光电二极管将接收到的反射光信号转换成电流，并将电流传输到第一晶体管。第一晶体管将接收到的电流转换成电信号并输出电信号。
第二光接收部件312-2以与入射光的波形的相位相反的相位接收反射光信号。换句话说，在光源开启时，第二光电二极管关闭并接收反射光信号。另外，在光源关闭时，第二光电二极管开启并停止接收反射光。第二光电二极管将接收到的反射光信号转换成电流，并将电流传输到第二晶体管。第二晶体管将接收到的电流转换成电信号。
因此，第一光接收部件312-1可以称为同相接收单元，而第二光接收部件312-2可以称为异相接收单元。如上所述，当在不同的时间激活第一光接收部件312-1和第二光接收部件312-2时，根据距对象的距离而产生接收到的光量的差异。例如，在对象位于相机模块10的紧前面(即，距离＝0)的情况下，由于光从照明部件100输出、被对象反射并返回所花费的时间为零，因而光源的开关周期为光接收周期。因此，仅第一光接收部件312-1接收光，而第二光接收部件312-2不接收光。作为另一个示例，在对象与相机模块10间隔预定距离的情况下，由于光从照明部件100输出、被对象反射并返回需要花费一定时间，因而光源的开关周期与光接收周期不同。因此，在第一光接收部件312-1与第二光接收部件312-2之间产生接收到的光量的差异。也就是说，可以使用在第一光接收部件312-1与第二光接收部件312-2之间接收到的光量的差异来计算距对象的距离。
再次参照图5，图像处理器320对电信号进行转换以生成子帧，并使用多个子帧来提取分辨率比子帧的分辨率高的深度图。为了执行这样的功能，图像处理器320包括转换器单元321、SR处理单元322、输出单元323和控制单元324。
转换器单元321对从像素阵列310接收的电信号进行转换以生成子帧。即，转换器单元321可以将作为模拟信号的电信号转换为被形成为数字信号的子帧。在这种情况下，子帧可以表示从与积分时间和参考信号中的任何一个对应的电信号生成的图像数据。例如，在第一积分时间(即，一个图像帧)期间使用八个参考信号生成电信号的情况下，可以生成八个第一深度图，并且可以另外生成一个帧起始。
另外，转换器单元321对子帧执行深度计算以提取第一深度图。在这种情况下，第一深度图的分辨率可以与子帧的分辨率相同。
具体地，转换器单元321使用电信号来计算入射光和反射光之间的相位差，并且使用该相位差来计算对象与相机模块10之间的距离。
转换器单元321可以使用电信号的电荷量信息来计算入射光和反射光之间的相位差。
如上所述，可以针对入射光信号的每个频率生成四个电信号。因此，转换器单元321可以使用下面的等式1计算入射光信号和反射光信号之间的相位差td。
[等式1]
Figure BDA0002848003510000121
这里，Q1至Q4是四个电信号的电荷量。Q1是对应于相位与入射光信号的相位相同的参考信号的电信号的电荷量。Q2是对应于相位比入射光信号的相位延迟180°的参考信号的电信号的电荷量。Q3是对应于相位比入射光信号的相位延迟90°的参考信号的电信号的电荷量。Q4是对应于相位比入射光信号的相位延迟270°的参考信号的电信号的电荷量。
然后，转换器单元321可以使用入射光信号和反射光信号之间的相位差来计算对象与相机模块10之间的距离。在这种情况下，转换器单元321可以使用下面的等式2来计算对象与相机模块10之间的距离d。
[等式2]
Figure BDA0002848003510000122
这里，c是光速，并且f是入射光的频率。
即，转换器单元321针对每个像素使用计算出的对象与相机模块10之间的距离d的结果值来生成第一深度图。
接下来，SR处理单元322使用存储器330中存储的多个第一深度图来提取分辨率比第一深度图的分辨率高的第二深度图。具体地，当SR处理单元322接收到存储器330中存储的多个第一深度图时，SR处理单元322将SR技术应用于接收到的多个第一深度图以提取深度图。
SR技术是用于从多个低分辨率图像获得高分辨率图像的技术，并且SR技术的数学模型可以表示为等式3。
[等式3]
yk＝DkBkMkx+nk
这里，1＝k≤p，p是低分辨率图像的数量，yk是低分辨率图像(＝[yk,1,yk,2,…,yk,M]T，这里，M＝N1*N2)，Dk是下取样矩阵，Bk是光学模糊矩阵，Mk是图像变形矩阵，x是高分辨率图像(＝[x1,x2,…,xN]T，这里，N＝L1N1*L2N2)，并且nk是噪声。也就是说，根据SR技术，将所估计的分辨率降级元素的反函数应用于yk来估计x。SR技术可以主要分为统计方法和多帧方法，并且多帧方法可以主要分为空间分割方法和时分方法。然而，在SR技术用于深度图的情况下，由于不存在等式3的Mk的反函数，因而可以尝试统计方法。然而，在统计方法的情况下，由于需要重复的计算过程，因而存在的问题是效率低。根据本发明的实施例，由于多个第一深度图是在以像素阵列310的子像素为单位改变光路之后捕获的图像，因而即使不使用统计方法也可以知道图像变形矩阵的反函数。因此，具有提高SR技术的效率的优点。
图8是用于描述根据本发明的实施例的SR技术的视图。
参照图8，转换器单元321可以使用在一个积分时间(即，一个帧)内生成的多个子帧来提取第一深度图。另外，转换器单元321可以通过将SR技术应用于不同帧的第一深度图来提取第二深度图。
例如，转换器单元321可以使用多个电信号来生成子帧1-1至4-8。具体地，子帧1-1至1-8是在第一积分时间期间生成的子帧。子帧2-1至2-8是在第二积分时间期间生成的子帧。子帧3-1至3-8是在第三积分时间期间生成的子帧。子帧4-1至4-8是在第四积分时间期间生成的子帧。然后，转换器单元321将深度图提取技术应用于在每个积分时间期间生成的多个子帧，以提取第一深度图LRD-1至LRD-4。具体地，通过将深度图提取技术(即，深度计算)应用于子帧1-1至1-8来提取第一深度图LRD-1。通过将深度计算应用于子帧2-1至2-8来提取第一深度图LRD-2。通过将深度计算应用于子帧3-1至3-8来提取第一深度图LRD-3。通过将深度计算应用于子帧4-1至4-8来提取第一深度图LRD-4。然后，SR处理单元322通过将SR技术应用于第一深度图LRD-1至LRD-4来提取第二深度图HRD。在图8的情况下，第二深度图的分辨率可以是第一深度图的分辨率的四倍大。
输出单元323输出第二深度图，并且控制单元324控制第一深度图和第二深度图的输入和输出。具体地，当转换器单元321提取第一深度图时，控制单元324将所提取的第一深度图传输到存储器330。另外，当存储器330存储第一深度图时，控制单元324控制存储器330中存储的多个第一深度图以传输到SR处理单元322。当SR处理单元322提取第二深度图时，控制单元324将第二深度图传输到输出单元323。
再次参照图5，存储器330存储第一深度图，其中存储器330存储对应于不同光路的多个第一深度图。当存储器330从图像处理器320接收第一深度图时，存储器330删除其中预先存储的第一深度图之中对应于与从图像处理器320接收的第一深度图的光路相同的光路的第一深度图，并且存储器330存储从图像处理器320接收到的第一深度图。此外，存储器330可以传输信号以将接收到的第一深度图的存储通知给图像处理器320，并且当图像处理器320接收到对应的信号时，图像处理器320可以接收存储器330中存储的多个第一深度图，以提取第二深度图。
图9和图10是用于描述根据本发明的实施例的图像传感器的数据流的一组视图。在这种情况下，数据包含电信号、子帧、第一深度图和第二深度图的信息。
首先，参照图9A，像素阵列310接收反射光信号以生成电信号，并将电信号传输到图像处理器320的转换器单元321。然后，转换器单元321使用电信号提取第一深度图，并且控制单元324将第一深度图传输给存储器330。存储器330存储接收到的第一深度图。存储器330存储与不同光路对应的多个第一深度图，其中通过不同光路生成多个第一深度图。例如，如图10A所示，在生成第一深度图以对应于四个不同光路的情况下，存储器330存储四个第一深度图。在生成第一深度图以对应于九个不同光路的情况下，存储器330可以存储九个第一深度图。即，当以像素阵列310的子像素为单位偏移的光路的数量是N×M个时，存储器330存储N×M个第一深度图。这里，N和M是整数。当存储器330存储第一深度图时，SR处理单元322通过控制单元324接收存储器330中存储的所有第一深度图，并向其应用SR技术以提取第二深度图。即，如图9A和图10A所示，SR处理单元322接收第一深度图LRD-1至LRD-4，并且向其应用SR技术以提取第二深度图HRD-1。通过控制单元324将所提取的第二深度图HRD-1传输到输出单元323，并且输出单元323输出第二深度图HRD-1。
在图9A和图10A中，在经过一个帧后，像素阵列310接收反射光信号以生成电信号，并将电信号传输到图像处理器320的转换器单元321。然后，转换器单元321使用电信号提取第一深度图LRD-5，并且控制单元324将第一深度图LRD-5传输到存储器330。在这种情况下，如图10A和图10B所示，第一深度图LRD-5的光路与第一深度图LRD-1的光路相同。因此，存储器330删除第一深度图LRD-1并存储所接收的第一深度图LRD-5。当存储器330存储第一深度图LRD-5时，SR处理单元322通过控制单元324接收存储器330中存储的所有第一深度图LRD-2至LRD-5，并向其应用SR技术以提取第二深度图HRD-2。通过控制单元324将所提取的第二深度图HRD-2传输到输出单元323，并且输出单元323输出第二深度图HRD-2。
图11是用于描述根据本发明的实施例的图像传感器的结构的视图。
首先，如图11A所示，在图像传感器部件300中，像素阵列310和图像处理器320可以被实现为层类型。具体地，像素阵列310可以被实现为诸如CCD或CMOS等光电元件以网格形式排列于其中的层类型。另外，图像处理器320可以被实现为诸如印刷电路板(PCB)等层类型。像素阵列310堆叠在图像处理器320的上端。在这种情况下，存储器330可以包括在形成有图像处理器320的层中。例如，可以在形成有图像处理器320的PCB上分配预定空间，并且存储器330可以形成在该预定空间中。
接下来，如图11B所示，在图像传感器部件300中，像素阵列310、图像处理器320和存储器330中的每一个可以形成为层类型。存储器330堆叠在实现为层类型的图像处理器320的上端。另外，像素阵列310堆叠在存储器330的上端。
图12是将通过根据本发明的实施例的图像传感器获得的具有第二深度的图像与具有常规深度的图像进行比较的一组视图。
图12A是通过分辨率为172×224的常规图像传感器获得的具有深度图的图像。图12B是通过根据本发明的实施例的图像传感器获得的具有深度图的图像。在图12A的常规图像传感器和根据本发明的实施例的图12B的图像传感器中的每一个中使用包括172×224个像素的像素阵列。然而，可以看出，在图12A中，输出分辨率为172×224的深度图，而在图12B中，输出分辨率为344×448的深度图，该分辨率是图12A的分辨率的四倍大。另外，当比较图12A和图12B时，可以看出，在图12A中，大大减少了作为对象的边界的线条的错误识别。即，可以看出，除了深度图的像素数量的简单增加之外，深度图的图像质量也得到显着改善。
尽管上面已经参考实施例主要描述了本发明，但是本领域技术人员将理解，本发明不限于实施例，实施例仅是示例，并且在不脱离本实施例的基本特征的情况下，上文未示出的各种修改和应用可以落入本发明的范围内。例如，可以修改和实现在实施例中具体描述的构件。另外，应该理解的是，与修改和应用有关的差异落入由所附权利要求限定的本发明的范围内。

Claims (8)

1.一种图像传感器，包括：
像素阵列，多个像素以网格形式排列在所述像素阵列中，并且所述像素阵列将由对象反射的反射光信号转换为电信号；
图像处理器，配置为对所述电信号进行转换以生成子帧，并且提取第二深度图，所述第二深度图的分辨率比从多个子帧提取的第一深度图的分辨率高；以及
存储器，配置为删除或存储所述第一深度图，
其中，针对以所述像素阵列的子像素为单位偏移的不同光路，所述图像处理器提取与所述反射光信号对应的第一深度图，并且
其中，当所述存储器从所述图像处理器接收所述第一深度图时，所述存储器配置为：
删除其中预先存储的第一深度图之中对应于与从所述图像处理器接收的第一深度图的光路相同的光路的第一深度图；以及
存储从所述图像处理器接收的第一深度图。
2.根据权利要求1所述的图像传感器，其中，所述图像处理器包括：
转换器单元，配置为对从所述像素阵列接收的所述电信号进行转换以生成所述子帧，并且配置为将深度计算应用于所述子帧以提取所述第一深度图；
超分辨率处理单元，配置为使用所述存储器中存储的所述多个第一深度图来提取所述第二深度图；
输出单元，配置为输出所述第二深度图；以及
控制单元，配置为控制所述第一深度图和所述第二深度图的输入和输出，
其中，当所述存储器存储所述第一深度图时，所述控制单元控制所述存储器中存储的所述多个第一深度图以传输到所述超分辨率处理单元。
3.根据权利要求2所述的图像传感器，其中，当所述超分辨率处理单元接收到所述存储器中存储的所述多个第一深度图时，所述超分辨率处理单元通过将超分辨率技术应用于所接收的多个子帧来提取所述第二深度图。
4.根据权利要求1所述的图像传感器，其中：
所述像素阵列、所述图像处理器和所述存储器中的每一个形成为层类型，并且
所述存储器堆叠在所述像素阵列和所述图像处理器之间。
5.根据权利要求1所述的图像传感器，其中：
所述像素阵列和所述图像处理器中的每一个形成为层类型；
所述像素阵列堆叠在所述图像处理器上；并且
所述存储器包括在形成有所述图像处理器的层中。
6.根据权利要求1所述的图像传感器，其中：
以所述像素阵列的子像素为单位偏移的光路的数量为N×M个，其中N和M为大于零的整数；并且
所述存储器存储N×M个第一深度图。
7.一种相机模块，包括：
照明部件，配置为输出待发射到对象的入射光信号；
透镜部件，配置为收集由所述对象反射的反射光信号；
图像传感器部件，配置为使用由所述透镜部件收集的反射光信号来提取深度图；以及
倾斜部件，配置为针对每个图像帧使所述入射光信号或所述反射光信号的至少一个光路以所述图像传感器部件的子像素为单位进行偏移，
其中，所述图像传感器部件包括：像素阵列，多个像素以网格形式排列在所述像素阵列中，并且所述像素阵列将由所述对象反射的反射光信号转换为电信号；图像处理器，配置为对所述电信号进行转换以生成子帧，并且提取分辨率比从所述多个子帧提取的第一深度图的分辨率高的第二深度图；以及存储器，配置为删除或存储所述第一深度图，
其中，针对以所述像素阵列的子像素为单位偏移的不同光路，所述图像处理器提取与所述反射光信号对应的第一深度图，并且
其中，当所述存储器从所述图像处理器接收第一深度图时，所述存储器配置为：
删除其中预先存储的第一深度图之中对应于与从所述图像处理器接收的第一深度图的光路相同的光路的第一深度图；并且
存储从所述图像处理器接收的第一深度图。
8.根据权利要求7所述的相机模块，其中：
当所述图像处理器接收到所述存储器中存储的所述第一深度图时，所述图像处理器通过将超分辨率技术应用于所接收的多个子帧来提取第二深度图。
CN201980041586.7A 2018-06-20 2019-06-20 图像传感器和使用图像传感器的相机模块 Active CN112313948B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0071029 2018-06-20
KR1020180071029A KR102523762B1 (ko) 2018-06-20 2018-06-20 이미지 센서 및 이를 이용하는 카메라 모듈
PCT/KR2019/007445 WO2019245300A1 (ko) 2018-06-20 2019-06-20 이미지 센서 및 이를 이용하는 카메라 모듈

Publications (2)

Publication Number Publication Date
CN112313948A CN112313948A (zh) 2021-02-02
CN112313948B true CN112313948B (zh) 2023-07-04

Family

ID=68983368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041586.7A Active CN112313948B (zh) 2018-06-20 2019-06-20 图像传感器和使用图像传感器的相机模块

Country Status (4)

Country Link
US (1) US11627301B2 (zh)
KR (1) KR102523762B1 (zh)
CN (1) CN112313948B (zh)
WO (1) WO2019245300A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471595B1 (ko) 2018-08-08 2022-11-28 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
KR20220000562A (ko) 2020-06-26 2022-01-04 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040370A (zh) * 2012-01-07 2014-09-10 约翰逊控股公司 用于测量距离的摄像机布置
CN105009291A (zh) * 2013-01-31 2015-10-28 苹果公司 垂直堆叠的图像传感器
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
CN106412388A (zh) * 2015-07-27 2017-02-15 恩逼真股份有限公司 光路改变单元、模块和方法及检测半导体基板的装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0372664A (ja) * 1989-08-11 1991-03-27 Olympus Optical Co Ltd 光入力型三次元集積メモリ
JP2004120403A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 撮像装置および画像データ並びに再生装置
WO2007035720A2 (en) * 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
DE102009037596B4 (de) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5855538B2 (ja) * 2012-06-28 2016-02-09 カシオ計算機株式会社 撮像装置、撮像システム、撮像方法及びプログラム
KR101858577B1 (ko) 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR101684448B1 (ko) * 2014-01-07 2016-12-08 삼성전자주식회사 방사선 디텍터, 그에 따른 단층 촬영 장치, 및 x 선 촬영 장치
US10237534B2 (en) * 2014-07-07 2019-03-19 Infineon Technologies Ag Imaging device and a method for producing a three-dimensional image of an object
WO2016124253A1 (en) * 2015-02-06 2016-08-11 Optotune Ag Optical device for enhancing resolution of an image
CN110832346B (zh) * 2017-07-11 2023-09-29 索尼半导体解决方案公司 电子装置和电子装置的控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040370A (zh) * 2012-01-07 2014-09-10 约翰逊控股公司 用于测量距离的摄像机布置
CN105009291A (zh) * 2013-01-31 2015-10-28 苹果公司 垂直堆叠的图像传感器
KR20170033909A (ko) * 2013-01-31 2017-03-27 애플 인크. 수직 적층형 이미지 센서
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
CN106412388A (zh) * 2015-07-27 2017-02-15 恩逼真股份有限公司 光路改变单元、模块和方法及检测半导体基板的装置

Also Published As

Publication number Publication date
KR102523762B1 (ko) 2023-04-20
KR20190143278A (ko) 2019-12-30
CN112313948A (zh) 2021-02-02
WO2019245300A1 (ko) 2019-12-26
US11627301B2 (en) 2023-04-11
US20210266519A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
US20220236419A1 (en) Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
US11486698B2 (en) Systems and methods for estimating depth from projected texture using camera arrays
CN111123289B (zh) 一种深度测量装置及测量方法
CN112313948B (zh) 图像传感器和使用图像传感器的相机模块
KR20150054568A (ko) 깊이 센서, 및 이의 동작 방법
KR102514487B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US11568553B2 (en) Camera module and depth map extraction method thereof
KR102571864B1 (ko) 카메라 장치
CN112262572B (zh) 相机模块及由此的深度信息获取方法
CN112585961A (zh) 相机
US11997383B2 (en) Camera module extracting distance information based on a time-of-flight method
KR102561533B1 (ko) 카메라 장치
CN112823511B (zh) 摄像头模组
CN116746144A (zh) 相机模块
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
Kwon et al. A Study on Depth Information Acquisition Improved by Gradual Pixel Bundling Method at TOF Image Sensor
US20230132809A1 (en) Image sensor, method of sensing image, and electronic device including the same
KR20240084888A (ko) 거리 측정을 위한 장치
KR20230069624A (ko) 카메라 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant