CN112806000B - 获得深度信息的方法和相机模块 - Google Patents

获得深度信息的方法和相机模块 Download PDF

Info

Publication number
CN112806000B
CN112806000B CN201980065857.2A CN201980065857A CN112806000B CN 112806000 B CN112806000 B CN 112806000B CN 201980065857 A CN201980065857 A CN 201980065857A CN 112806000 B CN112806000 B CN 112806000B
Authority
CN
China
Prior art keywords
light
phase
pixel
period
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980065857.2A
Other languages
English (en)
Other versions
CN112806000A (zh
Inventor
金润成
金炯珍
朴炷彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN112806000A publication Critical patent/CN112806000A/zh
Application granted granted Critical
Publication of CN112806000B publication Critical patent/CN112806000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Abstract

根据一个实施例，公开了一种通过使用能够获得深度信息的相机模块在第一周期和第二周期期间获得的光来获得物体的深度图像的方法。相机模块能够通过使用第一接收像素和第二接收像素中在第一周期和第二周期期间获得的光来获得物体的深度图像。

Description

获得深度信息的方法和相机模块
技术领域
本公开涉及一种获得深度信息的方法和相机模块。
背景技术
通过将光输出到物体并且从物体反射光来获得信息的装置已经被应用于许多领域中。例如，从3D相机到距离测量技术，通过输出光来获得信息的技术正以多种方式被使用。
例如，飞行时间(ToF)是表示通过测量输出光的时间与从物体反射并返回的接收光的接收时间之间的时间差来测量距离的原理的术语，并且由于TOF技术的实现方法简单，它用于诸如航空、造船、土木工程、相机、测量等各个领域。
另外，在这方面，具有与硬件相比更好性能的相机的需求正在增加。
发明内容
技术问题
本公开可以提供根据一个或多个实施例的获得深度信息的方法和相机模块。根据实施例，公开了一种通过使用能够获得深度信息的相机模块在第一周期和第二周期期间获得的光来获得物体的深度图像的方法。相机模块可以通过使用第一接收像素和第二接收像素在第一周期和第二周期期间获得的光来获得物体的深度图像。要解决的技术问题不限于如上所述的技术问题，并且可以进一步包括对于本领域技术人员而言显而易见的范围内的各种技术问题。
技术方案
根据第一方面的相机模块包括：光源，用于将光输出到物体；接收器，用于通过接收像素接收从物体反射的光；以及处理器，用于通过使用从光源输出的光与接收器接收的光之间的相位差来获得关于物体的深度信息，其中，接收像素包括第一接收像素和第二接收像素，其中，第一接收像素分别在第一周期的第一相位时间点和第二周期的第二相位时间点接收光，并且第二接收像素分别在第一周期的第三相位时间点和第二周期的第四相位时间点接收光，并且其中，处理器通过使用在第一周期和第二周期期间获得的信息来获得物体的深度图像。
另外，第一相位时间点至第四相位时间点可以0度、90度、180度和270度中的一个，并且可以彼此不同。
另外，第一接收像素和第二接收像素可以彼此相邻。
另外，处理器可以通过对与第一接收像素相邻的像素在第三相位时间点获得的信息进行插值来获得第一接收像素在第三相位时间点的信息。
关于第三相位时间点的信息可以包括关于在第三相位时间点接收的光的电荷量的信息。
另外，处理器可以通过应用超分辨率技术来提高分辨率。
另外，接收器包括通过划分接收像素得到的第一块和第二块，其中处理器可以通过使用通过第一块接收的光和通过第二块接收的光两者来获得深度信息。
另外，第一块中包括的两个像素与第二块中包括的两个像素中的一个可以重叠。
根据第二方面的获得深度信息的方法可以包括以下步骤：将光输出到物体；使用第一接收像素在第一周期的第一相位时间点接收光，并且使用第二接收像素在第一周期的第三相位时间点接收光；使用第一接收像素在第二周期的第二相位时间点接收光，并且使用第二接收像素在第二周期的第四相位时间点接收光；以及通过使用在第一时间段和第二时间段中获得的信息，获得物体的深度图像。
另外，第一相位时间点至第四相位时间点对应于0度、90度、180度和270度中的任意一个，并且可以彼此不同。
另外，第一接收像素和第二接收像素可以彼此相邻。
另外，该方法还可以包括以下步骤：通过使用由与第一接收像素对角相邻的一个或多个像素在第一周期期间获得的光信息，对通过在第一周期中由第一接收像素获得的光所获得的深度信息进行插值。
第三方面可以提供一种计算机可读记录介质，其中记录了用于在计算机上执行根据第二方面的方法的程序。
有益效果
本公开可以提供根据一个或多个实施例的获得深度信息的方法和相机模块。根据实施例公开了一种通过使用能够获得深度信息的相机模块在第一周期和第二周期期间获得的光来获得物体的深度图像的方法。
附图说明
图1是示出根据实施例的相机模块的配置和操作的框图。
图2是根据实施例的相机模块的截面图。
图3示出其中根据实施例的相机模块通过使用在第一周期和第二周期期间由第一像素和第二像素获得的光来获得物体的深度图像的示例。
图4是示出图3的相机模块随时间的操作的时序图。
图5是示出根据实施例的示例的图，其中，在第一周期期间将0度相位信号施加到第一像素，将180度相位信号施加到第二像素，并且在第二周期期间将90度相位信号施加到第一像素，将270度相位信号施加到第二像素。
图6是示出图5的相机模块100随时间的操作的时序图。
图7是示出根据实施例的示例的图，其中，在第一周期期间将0度相位信号施加到第一像素，将90度相位信号施加到第二像素，并且在第二周期期间将270度相位信号施加到第一像素，将180度相位信号施加到第二像素。
图8是示出图7的相机模块100随时间的操作的时序图。
图9是示出根据实施例的第一像素310和第二像素320在水平方向上相邻的示例的图。
图10是示出根据实施例的相机模块的操作示例的图，其中第一像素和第三像素在水平方向上相邻，第二像素和第四像素在水平方向上相邻。
图11是示出通过相机模块使用超分辨率技术来提高图像的分辨率的方法的图。
图12是描述根据实施例的采用超分辨率技术来提高分辨率的示例的图。
图13是描述根据实施例的通过执行插值来提高分辨率的示例的图。
图14是示出根据实施例的用于获得关于物体的深度信息的方法的流程图。
具体实施方式
在下文中，将参考附图详细描述本发明的优选实施例。
然而，本发明的技术理念不限于将要描述的一些实施例，并且可以以各种其他形式来实现，并且在本发明的技术理念的范围内，可以在实施例中选择性地结合或替代一个或多个构成元件。
另外，在本发明的实施例中使用的术语(包括技术术语和科学术语)，除非明确定义和描述，否则可以按照本领域技术人员通常可以理解的含义解释，并且诸如字典中定义的术语等常用术语应能够考虑现有技术的上下文含义来解释。
此外，在本发明的实施例中使用的术语用于描述实施例，而不旨在限制本发明。
在本说明书中，单数形式可以包括复数形式，除非在措辞中另有明确说明，并且当描述为“A和B和C中至少一个(或一个以上)”时，其可以包括能够由A、B和C组合的所有组合中的一个或多个。
另外，在描述本发明的实施例的部件时，可以使用诸如第一、第二、A、B、(a)和(b)的术语。这些术语仅用于将该部件与其他部件进行区分，并且该术语不能限制部件的实质、顺序或次序。
而且，当描述一个部件“连接”、“耦接”或“结合”到另一部件时，该部件可以直接连接、耦接或结合到另一部件，然而，应当理解，在部件之间可以“连接”、“耦接”或“结合”另一元件。
另外，当被描述为形成或布置在每个部件的“上方(上)”或“下方(下)”时，“上方(上)”或“下方(下)”表示其不仅包括两个部件彼此直接接触的情况，还包括在两个部件之间形成或设置一个或多个其它部件的情况。另外，当表述为“上部(上部)”或“下部(下部)”时，基于一个部件，其含义不仅可以包括向上的方向，还可以包括向下的方向。
另外，以下描述的数值可以根据误差解释为在合理范围内的值。例如，写为“1”的数字可以解释为“1.01”。
在下文中，将参考附图详细描述本发明的实施例。在下文中，“光”可以被理解为包括“光信号”的概念，“信号”可以被理解为包括“光信号”的概念，并且可以互换使用。
图1是示出根据实施例的相机模块的配置和操作的框图。
如图1所示，相机模块100可以包括光源1100、处理器1000和接收器120。
然而，本领域技术人员可以理解，图1中的相机模块100中还可以包括除了图1所示的部件以外的其他通用部件。例如，相机模块100可以进一步包括扩散器(光源阵列输出的光从扩散器中通过)、光源1100中包括的光调制器(未示出)或连接到处理器1000的存储器(未示出)。术语“存储器”可以广义上解释为包括能够存储电子信息的任何电子部件。术语存储器可以指各种类型的处理器可读介质，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储、寄存器等。如果处理器1000能够从存储器读取信息和/或向存储器写入信息，则该存储器被称为与处理器电子通信。集成在处理器1000中的存储器与处理器电子通信。
另外，存储器可以包括闪存型、硬盘型、微型多媒体卡型、卡式存储器(例如，SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘中的至少一种类型的存储介质。
可替代地，根据另一实施例，本领域技术人员可以理解，可以省略图1所示的某些部件。
根据实施例的光源1100可以输出光。从光源1100输出的光的波长可以在预设范围内。
例如，为了安全起见，光源1100可以是能够发射人眼不可见的具有红外波长的光以及具有约850nm的近红外(NIR)波长的光的发光二极管(LED)或激光二极管(LD)，但是波长带和光源阵列的类型不受限制。例如，从光源1100输出的光的波长可以被包括在可见光区域或紫外光区域中。
光源1100可以输出光。例如，光源1100可以通过根据从处理器1000接收的控制信号执行振幅调制或相位调制来输出光。根据处理器1000的控制信号从光源1100输出到物体130的光可以是具有预设周期的周期性连续函数的形式。例如，光可以具有特别定义的波形，例如正弦波、斜坡波、方波或脉冲波，但是可以具有未定义的一般形状。
接收器120可以接收从物体130反射的光。相机模块100可以通过由接收器120接收的接收光来获得各种信息。
根据实施例的相机模块100可以通过接收的光获得关于物体130的信息。例如，处理器1000可以获得关于物体的信息，诸如物体130的形状、大小、颜色、深度等。
接收器120可以在进入接收器120的各种光中区分通过反射从光源1100输出到物体130的光而获得的接收光。例如，当光源1100输出在750nm至950nm范围内的光时，接收器120通过滤光可以选择性地获得750nm至950nm范围内的光。另外，接收器120可以通过选择性地获得与光相对应的接收光来获得关于物体130的准确信息。
由于根据实施例的相机模块100能够使用ToF功能来提取深度信息，因此在本公开中可以理解为与ToF相机模块或ToF模块相结合。
光源1100可以产生要输出的光并且将其照到射物体130。在这种情况下，光源1100可以产生并输出脉冲波或连续波形式的光。连续波可以是正弦波或方波的形式。通过产生脉冲波或连续波形式的光，相机模块100可以确定从光源1100输出的光与从物体反射并随后被相机模块100接收的光之间的相位差。
光源1100可以在预设的曝光时段期间将产生的光照射到物体130上。曝光时段可以指一帧时段。在产生多个帧的情况下，可以重复设置的曝光时段。例如，当相机模块100以20FPS拍摄物体时，曝光时间为1/20秒。另外，当产生100帧时，曝光时段可以重复100次。
光源1100可以产生具有不同频率的多个光。光源1100可以顺序地并且重复地产生具有不同频率的多个光。可替代地，光源1100可以同时产生具有不同频率的多个光。
根据实施例的光源1100可以通过输出像素将光输出到物体130。光源1100可以包括多个输出像素，并且多个输出像素中的每个可以独立地输出光。例如，多个输出像素能够输出不同强度的光，能够输出不同频率的光，能够输出不同相位的光以及输出具有不同延迟时间的光。多个输出像素中的每一个可以包括发光二极管。
根据实施例的接收器120可以通过接收像素接收光。接收器120可以接收从光源1100输出的光从物体130反射时获得的反射光。接收器120可以包括接收像素，并且每个接收像素可以彼此独立地接收光。例如，接收像素可以在不同的时刻接收光，并且可以使用不同的滤光方法来接收光。
根据实施例的接收器120可以包括透镜(未示出)和图像传感器。透镜可以收集从物体130反射的光并将其透射到图像传感器(未示出)。图像传感器可以接收光并产生与所接收的光相对应的电信号。
根据实施例，光源1100可以随时间输出不同频率的光。例如，光源1100可以在曝光时段的前一半期间输出频率为f1的光，并且在曝光时段的后一半期间输出频率为f2的光。
根据实施例，光源1100中包括的多个发光二极管中的一些发光二极管可以输出具有频率f1的光，另一些发光二极管可以输出具有频率f2的光。
为了控制在光源1100中包括的多个发光二极管，光源1100可以包括光调制器。
光源1100可以产生光。由光源1100产生的光可以是具有770至3000nm的波长的红外光，或者是具有380至770nm的波长的可见光。光源1100可以使用发光二极管(LED)，并且可以具有其中多个发光二极管根据预定图案布置的形状。光源1100可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源1100可以是垂直腔表面发射激光器(VCSEL)。VCSEL是将电信号转换成光的激光二极管之一，并且可以使用约800至1000nm的波长，例如约850nm或约940nm的波长。
光源1100可以以预定的时间间隔重复闪烁(开/关)，并且以脉冲波或连续波的形式产生光。预定的时间间隔可以是光的频率。光源1100的闪烁可以由光调制器控制。
光调制器可以控制光源1100的闪烁以控制光源阵列1100产生连续波或脉冲波形式的光。光调制器可以控制光源1100以通过频率调制或脉冲调制等以连续波或脉冲波的形式产生光。
根据实施例的处理器1000可以通过使用从光源1100输出的光与接收器120接收到的光之间的相位差来获得关于物体130的深度信息。接收器120可以通过使用具有不同相位差的多个基准信号来产生与每个基准信号相对应的电信号。基准信号的频率可以被确定为等于从光源1100输出的光的频率。因此，当光源1100产生具有多个频率的光时，接收器120可以使用与每个频率对应的多个基准信号来产生电信号。电信号可以包括关于与每个基准信号相对应的电荷量或电压的信息。
根据实施例的基准信号的数量可以是四个，C1至C4。基准信号C1至C4中的每一个可以具有与从光源1100输出的光相同的频率，但是可以彼此具有90度的相位差。四个基准信号之一C1可以具有与从光源1100输出的光相同的相位。由于从光源1100输出的光被物体130反射并返回的距离，通过物体130的反射而获得的光的相位会被延迟。接收器120可以通过分别将接收到的光和每个基准信号混合来为每个基准信号产生信号Q1至Q4。
接收器120可以包括图像传感器，图像传感器被配置为其中多个像素以网格形式布置的结构。图像传感器可以是互补金属氧化物半导体(CMOS)图像传感器，或者可以是电荷耦合器件(CCD)图像传感器。另外，图像传感器可以包括ToF传感器，该ToF传感器接收从物体反射的红外光并且使用时间或相位差来测量距离。
具体地，处理器1000可以使用关于电信号的电荷量的信息来计算输出光与输入光之间的相位差。
如上所述，可以为从光源1100输出的光的每个频率产生四个电信号。因此，处理器1000可以通过使用下面的等式1来确定从光源1100输出的光与接收器120接收到的光之间的相位差td。
【等式1】
在此，Q1至Q4可以分别是四个电信号中的一个的电荷量。Q1是与从光源1100输出的光同相的基准信号所对应的电信号的电荷量，Q2是与相位比从光源1100输出的光滞后180度的基准信号所对应的电信号的电荷量，Q3是与相位比从光源1100输出的光滞后90度的基准信号所对应的电信号的电荷量，Q4是与相位比从光源1100输出的光滞后270度的基准信号所对应的电信号的电荷量。
然后，处理器1000可以使用从光源阵列1100输出的光与接收器120接收到的光之间的相位差来确定物体130与相机模块100之间的距离。在这种情况下，根据实施例的处理器1000可以使用等式2来确定物体130与相机模块100之间的距离d。
【等式2】
在此，c是光速，f可以是输出光的频率。
根据实施例，可以从相机模块100获得ToF IR图像和深度图像。
根据实施例的处理器1000可以通过使用光源1100输出光的时间点和接收器120接收光的时间点的差来获得关于物体130的深度信息。光源1100可以通过向物体130输出诸如激光或红外光之类的光、接收被反射和返回的光并且计算时间差来获得深度信息。
图2是根据实施例的相机模块100的截面图。
参考图2，相机模块100包括透镜组件200、图像传感器250和印刷电路板260。可以在印刷电路板260内实现图1的处理器1000等。尽管未示出，图1的光源1100设置在印刷电路板260上的图像传感器250的侧面上，或者它可以设置在相机模块100的外部，例如，在相机模块100的侧面上，但不限于此。
透镜组件200可以包括透镜230、镜筒210、透镜支架221和222以及IR滤光器240。
透镜230可以由多片组成，或者可以由一片组成。当透镜230由多片形成时，每个透镜可以相对于中心轴对准以形成光学系统。在此，中心轴可以与光学系统的光轴相同。
镜筒210耦接到透镜支架221和222，并且可以在其中设置用于容纳透镜的空间。镜筒210可以与一个或多个透镜旋转地耦接，但是这是示例性的，并且它可以以其它方式耦接，诸如使用粘合剂(例如，诸如环氧树脂的粘合剂树脂)的方法。
透镜支架221和222可以耦接到镜筒210以支撑镜筒210，并且可以耦接到其上安装有图像传感器250的印刷电路板260。可以通过透镜支架221和222在镜筒210下方形成能够附接IR滤光器240的空间。可以在透镜支架221和222的内周表面上形成螺旋图案，并且类似地，可以通过旋转而耦接在外周表面上形成有螺旋形图案的镜筒210。然而，这是示例性的，并且透镜支架221和222以及镜筒210可以通过粘合剂来耦接，或者透镜支架221和222以及镜筒210可以一体地形成。
透镜支架221和222可分为耦接到镜筒210的上支架221和耦接到印刷电路板260的下支架222，印刷电路板260上安装有图像传感器250。上支架221和下支架222可以一体地形成，形成为彼此分离的结构，然后紧固或组合，或者可以具有彼此分离并且彼此间隔开的结构。在这种情况下，上支架221的直径可以形成为小于下支架222的直径，但不限于此。
以上示例仅是实施例，并且透镜230可以配置为能够使入射到相机模块100上的光准直(collimating)并将其传送到图像传感器250的其它结构。
图像传感器250可以通过使用通过透镜230准直的(collimated)光来产生电信号。
图像传感器250可以与光源阵列1100的闪烁时段同步地检测输入光。具体地，图像传感器250可以分别同相和异相检测从光源阵列1100输出的光。即，图像传感器250可以在光源阵列1100打开时重复地执行吸收光的步骤，并且在光源阵列1100关闭时重复地执行吸收光的步骤。
图像传感器250可以通过使用具有不同相位差的多个基准信号来产生与每个基准信号相对应的电信号。基准信号的频率可以被确定为等于从光源1100输出的光的频率。因此，当光源1100产生具有多个频率的光时，图像传感器250可以使用与每个频率相对应的多个基准信号来产生电信号。电信号可以包括关于与每个基准信号相对应的电荷量或电压量的信息。
图3示出其中根据实施例的相机模块100通过使用第一像素310和第二像素320在第一周期和第二周期期间获得的光来获得物体的深度图像的示例。第一像素310和第二像素320可以是接收像素。
参考图3，相机模块可以顺序地获得第一深度图像(1)、第二深度图像(2)和第三深度图像(3)。具体地，相机模块100通过获得在第一个第一周期和第二周期中的0度相位图像、90度相位图像、180度相位图像和270度相位图像来获得第一深度图像(1)，通过获得在第二个第一周期和第二周期中的0度相位图像、90度相位图像、180度相位图像和270度相位图像来获得第二深度图像(2)，并且可以通过获得在第三个第一周期和第二周期中的0度相位图像、90度相位图像、180度相位图像和270度相位图像来获得第三深度图像(3)。
具体地，块300中包括的第一像素310在第一周期期间获得0度相位图像，并且可以在第二周期期间获得180度相位图像。块300中包括的第二像素320在第一周期期间获得90度相位图像，并且可以在第二周期期间获得270度相位图像。然而，不限于图3中公开的实施例，并且可以根据预定设置来确定在第一周期或第二周期中由第一像素310或第二像素320获得哪个相位图像。
由于单次从像素的打开时间到关闭时间接收到的信号的强度较弱，所以根据实施例的相机模块100可以重复若干次相同的过程以获得深度图像。例如，块300可以重复若干次(例如100次以上)获得相位图像的过程，以通过信号的积分(integration)或累积(accumulation)来获得深度图像。
参考图3，可以在每个周期T期间对块300中包括的每个像素施加不同的相位信号。例如，块300可以包括第一像素310和第二像素320，并且在第一周期期间将0度相位信号施加到第一像素310，并且可以在第二周期期间将180度相位信号施加到第一像素310。可以在第一周期期间将90度相位信号施加到块300中包括的第二像素320，并且可以在第二周期期间将270度相位信号施加到块300中包括的第二像素320，但是不限于此。
由于每个像素在一个周期T内接收到的信号的强度较弱，因此可以重复若干次相同的过程。相机模块100可以通过重复周期T(其中，对每个像素不同的相位信号被施加若干次，例如100次以上)来积分或累积信号。
相机模块100在第一周期中从第一像素310读取关于0度相位的信息，并且可以从第二像素320中读取关于90度相位的信息。此外，相机模块100在第二周期中从第一像素310读取关于180度相位的信息，并且可以从第二像素320读取关于270度相位的信息。并且，可以使用从第一像素310获得的关于0度相位的信息和关于180度的信息以及从第二像素320获得的关于90度相位的信息和关于270度相位的信息来获得第一深度图像(1)。
以此方式，在每个周期T期间，对一个块30中包括的各个像素施加不同的相位信号，并且当使用关于从各个像素获得的关于每个相位的信息来提取深度图像时，可以减少获得深度图像所需的时间。
在每个周期T期间，可以将不同的相位信号施加到相邻像素，并且在每个周期T期间，可以将施加到第一像素的0度相位信号或180度相位信号的部分和施加到第二像素的90度相位信号或270度相位信号的部分中的至少两个的至少一部分彼此重叠。因此，与施加0度相位信号的部分、施加90度相位信号的部分、施加180度相位信号的部分以及施加了270度相位信号的部分彼此不重叠的情况相比，可以减少获得一个深度图像所需的时间。
图4是示出图3的相机模块随时间的操作的时序图。第一像素310和第二像素320可以是接收像素。
第一像素310分别在第一周期的第一相位时间点和第二周期的第二相位时间点接收光，并且第二像素320可以分别在第一周期的第三相位时间点和第二周期的第四相位时间点接收光。
参考图4，由于第一像素310在第一周期中接收延迟了0度的光，所以第一像素310可以接收0度相位信号。
由于第二像素320在第一周期中接收延迟了90度的光，所以第二像素320可以接收90度相位信号。
由于第一像素310在第二周期中接收延迟了180度的光，所以第一像素310可以接收180度相位信号。
在第二周期中，由于第二像素320接收延迟了270度的光，所以第二像素320可以接收270度相位信号。
然而，不限于图4中公开的实施例，第一相位时间点至第四相位时间点可以对应于0度、90度、180度和270度中的任意一个，并且可以是彼此不同的任意组合。
第一像素310和第二像素320可以彼此相邻。如图4所示，第一像素310和第二像素320可以在垂直方向上彼此相邻，但不限于此。例如，第一像素310和第二像素320可以在水平方向上相邻。可替代地，第一像素310和第二像素320可以在对角线上彼此相邻。
图5是示出根据实施例的示例的图，其中在第一周期期间将0度相位信号施加到第一像素310，将180度相位信号施加到第二像素320，并且在第二周期期间将90度相位信号施加到第一像素310，并且将270度相位信号施加到第二像素320。第一像素310、第二像素320、第三像素330和第四像素340可以是接收像素。
具体地，块300中包括的第一像素310在第一周期期间获得0度的相位图像，并且可以在第二周期期间获得90度的相位图像。块300中包括的第二像素320在第一周期期间获得180度的相位图像，并且可以在第二周期期间获得270度的相位图像。然而，不限于图5中公开的实施例，可以根据预定设置来确定在第一周期或第二周期中由第一像素310或第二像素320获得的相位图像。
由于单次从像素的打开时间到关闭时间接收到的信号的强度较弱，所以根据实施例的相机模块100可以重复若干次相同的过程以获得深度图像。例如，块300可以重复若干次(例如100次以上)获得相位图像的过程，以通过信号的积分或累积来获得深度图像。
第三像素330对应于第一像素310，并且第四像素340可以对应于第二像素320。例如，与第一像素310一样，第三像素330在第一周期期间获得0度的相位图像，并且可以在第二周期中获得90度的相位图像。另外，在这种情况下，与第二像素320一样，第四像素340在第一周期期间获得180度的相位图像，并且可以在第二周期期间获得270度的相位图像。
图6是示出图5的相机模块100随时间的操作的时序图。
参考图6，由于第一像素310在第一周期中接收延迟了0度的光，所以第一像素310可以接收0度相位信号。
在第一周期中，由于第二像素320接收延迟了180度的光，所以第二像素320可以接收180度相位信号。
在第一周期中，由于第三像素330接收延迟了0度的光，所以第三像素330可以接收0度相位信号。
在第一周期中，由于第四像素340接收延迟了180度的光，所以第四像素340可以接收180度相位信号。
在第二周期中，由于第一像素310接收延迟了90度的光，所以第一像素310可以接收90度相位信号。
在第二周期中，由于第二像素320接收延迟了270度的光，所以第二像素320可以接收270度相位信号。
在第二周期中，由于第三像素330接收延迟了90度的光，所以第三像素330可以接收90度相位信号。
在第二周期中，由于第四像素340接收延迟了270度的光，所以第四像素340可以接收270度相位信号。
图7是示出根据实施例的示例的图，其中在第一周期期间将0度相位信号施加到第一像素310，将90度相位信号施加到第二像素320，并且在第二周期期间，将270度相位信号施加到第一像素310，将180度相位信号施加到第二像素320。
具体地，块300中包括的第一像素310在第一周期期间获得0度的相位图像，并且可以在第二周期期间获得270度的相位图像。块300中包括的第二像素320可以在第一周期期间获得90度的相位图像，并且在第二周期期间获得180度的相位图像。然而，不限于图7中公开的实施例，可以根据预定设置来确定在第一周期或第二周期中由第一像素310或第二像素320获得的相位图像。
由于单次从像素的打开时间到关闭时间接收到的信号的强度较弱，所以根据实施例的相机模块100可以重复若干次相同的过程以获得深度图像。例如，块300可以重复若干次(例如100次以上)获得相位图像的过程，以通过信号的积分或累积来获得深度图像。
图8是示出图7的相机模块100随时间的操作的时序图。
参考图8，在第一周期中，由于第一像素310接收延迟了0度的光，所以第一像素310可以接收0度相位信号。
在第一周期中，由于第二像素320接收延迟了90度的光，所以第二像素320可以接收90度相位信号。
在第二周期中，由于第一像素310接收延迟了270度的光，所以第一像素310可以接收270度相位信号。
在第二周期中，由于第二像素320接收延迟180度的光，所以第二像素320可以接收180度相位信号。
图9是示出根据实施例的第一像素310和第二像素320在水平方向上相邻的示例的图。
如图9所示，可以以各种方式确定第一像素310和第二像素320的相对位置。关于由第一像素310和第二像素接收的相位信号的详细信息，请参考图3。
图10是示出根据实施例的相机模块的操作示例的图，其中第一像素310和第三像素330在水平方向上相邻，第二像素320和第四像素340在水平方向上相邻。
参考图10，与图5的情况不同，第一像素310和第三像素330在水平方向上相邻，第二像素320和第四像素340在水平方向上相邻。即，由于以相同方式操作的像素在水平方向上相邻，所以处理器1000可以以线为单位控制像素。由于同一水平线的像素以相同的方式操作，所以处理器1000能够以线为单位控制像素，因此，可以降低电路的复杂性。另外，在块300中包括具有不同操作方法的两个像素310和320与图5的相同。
在图10中，示出了水平线的像素执行相同操作的情况，但是本发明不限于此。例如，可以设置接收器120中的像素，使得垂直线的像素执行相同的操作。
图11是示出通过相机模块100使用超分辨率技术来提高图像的分辨率的方法的图。
同时，根据实施例，相机模块100可以使用超分辨率(SR)技术以便提高深度图像的分辨率。SR技术可以广泛地指代用于从多个低分辨率图像获得高分辨率图像的方法。
具体地，处理器1000可以以块为单位获得一个深度信息。如果能够以像素为单位获得一个深度信息，则可以从25个像素获得25个深度信息。但是，如果能够以块为单位获得一个深度信息，则可获得的信息会减少。由于可以通过从两个像素收集信息来获得一个深度信息，所以理论上可获得的信息会减少一半。例如，处理器1000可以从第一块1110和第二块1120获得两个深度信息。
然而，在通过收集从两个像素获得的信息而获得一个深度信息的情况下，重复使用正在被使用的像素可以获得更多的信息。例如，处理器1000可以进一步使用第三块1130以及第一块1110和第二块1120。另外，在某些情况下，可以通过两个不相邻的像素来获得一个深度信息。
在图11中，根据实施例，描述了包括在块中的像素的数量是两个并且在重叠的块之间的重叠像素的数量是一个的情况，但是不限于此。
图12是描述根据实施例的采用超分辨率技术来提高分辨率的示例的图。
参照第一分辨率图1210，当以像素为单位获得信息时，能够获得与像素的数量相对应的分辨率。然而，在以块为单位获得信息的情况下，一个像素仅使用一次时，分辨率可能会由于该块中包括的像素数量而降低。例如，与第一分辨率图1210相比，第二分辨率图1220的分辨率减小到一半。然而，当使用上述SR技术时，能够显著提高分辨率，并且能够通过额外的算法来实现比第三分辨率图1230中表现的分辨率更高的分辨率。
图13是描述根据实施例的通过执行插值来提高分辨率的示例的图。
在第一周期图1350中公开了接收像素在第一周期期间接收的光的相位，在第二周期图1360中公开了接收像素在第二周期期间接收的光的相位。第一像素1310和第二像素1320可以是接收像素。
在第一时间段1350中，根据实施例的处理器1000可以通过对与第一像素1310相邻的像素1311、1312、1313和1320获得的90度相位信号(关于90度相位时间点的信息)进行插值来获得第一像素1310处的90度相位信号(关于90度相位时间点的信息)。在第一像素1310中，在第一周期和第二周期中只能分别获得0度相位信号和180度相位信号，而未获得90度相位信号。然而，处理器1000可以通过对相邻像素获得的相位信号进行插值来获得第一像素1310处的90度相位信号。
在第一时间段1350中，根据实施例的处理器1000可以通过对与第二像素1320相邻的像素1321、1322、1323和1310获得的0度相位信号(关于0度相位时间点的信息)进行插值来获得第二像素1320处的0度相位信号(关于0度相位时间点的信息)。在第二像素1320中，在第一周期和第二周期中只能分别获得90度相位信号和270度相位信号，而未获得0度相位信号。然而，处理器1000可以通过对相邻像素获得的相位信号进行插值来获得第二像素1320处的0度相位信号。
在第二周期1360中，根据实施例的处理器1000可以通过对与第一像素1310相邻的像素1311、1312、1313和1320获得的270度相位信号(关于270度相位时间点的信息)进行插值来获得第一像素1310处的270度相位信号(关于270度相位时间点的信息)。然而，处理器1000可以通过对相邻像素获得的相位信号进行插值来获得第一像素1310处的270度相位信号。在第一像素1310中，在第一周期和第二周期中只能分别获得0度相位信号和180度相位信号，而未获得270度相位信号。然而，处理器1000可以通过对相邻像素获得的相位信号进行插值来获得第一像素1310处的270度相位信号。
在第二周期1360中，根据实施例的处理器1000可以通过对与第二像素1320相邻的像素1321、1322、1323和1310获得的180度相位信号(关于180度相位时间点的信息)进行插值来获得第二像素1320处的180度相位信号(关于180度相位时间点的信息)。在第二像素1320中，在第一周期和第二周期中只能分别获得90度相位信号和270度相位信号，而未获得180度相位信号。然而，处理器1000可以通过对相邻像素获得的相位信号进行插值来获得第二像素1320处的180度相位信号。
图14是示出根据实施例的用于获得关于物体的深度信息的方法的流程图。可以参照上述图1至图13的内容来理解图14。
在步骤S1310中，根据实施例的相机模块100通过输出像素将光输出到物体。根据实施例，每个输出像素可以对应于每个接收像素。
在步骤S1320中，根据实施例的相机模块100在第一周期的第一相位时间点使用第一接收像素来接收光，并在第一周期的第三相位时间点使用第二接收像素来接收光。例如，在第一周期中，第一像素接收0度相位信号，并且第二像素可以接收90度相位信号。
在步骤S1330中，根据实施例的相机模块100在第二周期的第二相位时间点使用第一接收像素来接收光，并且在第二周期的第四相位时间点使用第二接收像素来接收光。例如，在第二周期中，第一像素接收180度相位信号，并且第二像素可以接收270度相位信号。第一像素和第二像素可以是接收像素。
然而，不限于本实施例，并且第一相位时间点至第四相位时间点可以对应于0度、90度、180度和270度中的任意一个，并且可以是彼此不同的任意组合。
在步骤S1340中，根据实施例的相机模块100通过使用在第一周期和第二周期期间获得的信息来获得物体的深度图像。处理器1000可以仅利用在两个周期期间获得的信息来获得一个深度图像。
另外，尽管在图13中未示出，但是可以进一步包括以下步骤：通过对与第一接收像素相邻的像素在第三相位时间点获得的信息进行插值，得到关于第一接收像素在第三相位时间点的信息。
同时，上述方法可以被编写为能够在计算机上执行的程序，并且能够在使用计算机可读记录介质来操作该程序的通用数字计算机中实现。另外，能够通过各种方式将在上述方法中使用的数据的结构记录在计算机可读记录介质上。利用上述计算机能够读取的记录介质包括存储介质，诸如磁存储介质(例如，ROM、RAM、USB、软盘、硬盘等)以及光学读取介质(例如，CD–ROM、DVD等)。
以上已经参考附图描述了本发明的实施例，但是本发明所属领域的技术人员可以理解，在不改变技术理念或本质特征的情况下，可以以其他特定形式来实现本发明。因此，应当理解，上述实施例在所有方面都是示例性的而非限制性的。

Claims (18)

1.一种相机模块，包括：
光源，所述光源用于将具有不同相位的基准信号的光输出到物体；
接收器，所述接收器用于通过接收像素接收从所述物体反射的光；以及
处理器，所述处理器用于通过使用由所述接收器接收到的所述具有不同相位的所述基准信号的光的反射光来获得关于所述物体的深度信息，
其中，所述接收像素包括第一接收像素和第二接收像素，
其中，所述第一接收像素分别在第一周期的第一相位时间点接收对应于具有第一相位的基准信号的光并且在第二周期的第二相位时间点接收对应于具有第二相位的基准信号的光，并且所述第二接收像素分别在所述第一周期的第三相位时间点接收对应于具有第三相位的基准信号的光并且在所述第二周期的第四相位时间点接收对应于具有第四相位的基准信号的光，
其中，所述处理器通过使用所述深度信息来获得所述物体的深度图像，
其中，所述接收器包括通过划分所述接收像素得到的第一块和第二块，
其中，所述处理器通过使用通过所述第一块接收到的光和通过所述第二块接收到的光两者来获得所述深度信息，并且
其中，所述第一块中包括的两个像素中的一个与所述第二块中包括的两个像素中的一个重叠。
2.根据权利要求1所述的相机模块，其中，所述第一相位时间点至所述第四相位时间点对应于0度、90度、180度和270度中的任意一个，并且彼此不同。
3.根据权利要求1所述的相机模块，其中，所述第一接收像素和所述第二接收像素彼此相邻。
4.根据权利要求1所述的相机模块，其中，所述处理器通过对与所述第一接收像素相邻的像素接收到的对应于具有第三相位的基准信号的光的信息进行插值来获得关于所述第一接收像素接收到的对应于具有第三相位的基准信号的光的信息。
5.根据权利要求4所述的相机模块，其中，关于接收到的对应于具有第三相位的基准信号的光的所述信息包括关于电荷量的信息。
6.根据权利要求1所述的相机模块，其中，所述处理器通过应用超分辨率技术来提高分辨率。
7.根据权利要求1所述的相机模块，其中，所述光源通过根据从所述处理器接收到的控制信号执行振幅调制或相位调制来输出光。
8.根据权利要求1所述的相机模块，其中，从所述光源输出的所述光具有预设周期的周期性连续函数的形式。
9.根据权利要求1所述的相机模块，其中，所述光源包括输出像素，并且每个所述输出像素独立地输出光。
10.根据权利要求9所述的相机模块，其中，所述输出像素输出强度、频率、相位以及延迟时间彼此不同的光。
11.一种相机模块，包括：
光源，用于将具有不同相位的基准信号的光输出到物体；
图像传感器，所述图像传感器用于通过接收像素接收从所述物体反射的光，并且所述图像传感器设置在印刷电路板上；
所述印刷电路板，包括处理器；以及
透镜组件，所述透镜组件包括透镜并且耦接到所述印刷电路板，
其中，所述处理器通过使用所述具有不同相位的基准信号的光的反射光来获得关于所述物体的深度信息，
其中，所述接收像素包括第一接收像素和第二接收像素，
其中，所述第一接收像素分别在第一周期的第一相位时间点接收对应于具有第一相位的基准信号的光并且在第二周期的第二相位时间点接收对应于具有第二相位的基准信号的光，所述第二接收像素分别在所述第一周期的第三相位时间点接收对应于具有第三相位的基准信号的光并且在所述第二周期的第四相位时间点接收对应于具有第四相位的基准信号的光，
其中，所述处理器通过使用所述深度信息来获得所述物体的深度图像，
其中，接收器包括通过划分所述接收像素得到的第一块和第二块，
其中，所述处理器通过使用通过所述第一块接收到的光和通过所述第二块接收到的光两者来获得所述深度信息，并且
其中，所述第一块中包括的两个像素中的一个与所述第二块中包括的两个像素中的一个重叠。
12.根据权利要求11所述的相机模块，其中，所述第一相位时间点至所述第四相位时间点对应于0度、90度、180度和270度中的任意一个，并且彼此不同。
13.根据权利要求11所述的相机模块，其中，所述第一接收像素和所述第二接收像素彼此相邻。
14.根据权利要求11所述的相机模块，其中，所述处理器通过与所述第一接收像素相邻的像素接收到的对应于具有第三相位的基准信号的光的信息进行插值来获得关于所述第一接收像素接收到的对应于具有第三相位的基准信号的光的信息。
15.一种获得深度信息的方法，包括以下步骤：
将具有不同相位的基准信号的光输出到物体；
使用第一接收像素在第一周期的第一相位时间点接收对应于具有第一相位的基准信号的光，并且使用第二接收像素在所述第一周期的第三相位时间点接收对应于具有第三相位的基准信号的光；
使用所述第一接收像素在第二周期的第二相位时间点接收对应于具有第三相位的基准信号的光，并且使用所述第二接收像素在所述第二周期的第四相位时间点接收对应于具有第四相位的基准信号的光；
通过使用反射光获得关于所述物体的深度信息；以及
通过使用所述深度信息来获得所述物体的深度图像，
其中，接收器包括通过划分所述接收像素得到的第一块和第二块，
其中，处理器通过使用通过所述第一块接收到的光和通过所述第二块接收到的光两者来获得所述深度信息，并且
其中，所述第一块中包括的两个像素中的一个与所述第二块中包括的两个像素中的一个重叠。
16.根据权利要求15所述的获得深度信息的方法，其中，所述第一相位时间点至所述第四相位时间点对应于0度、90度、180度和270度中的任意一个，并且彼此不同。
17.根据权利要求15所述的获得深度信息的方法，其中，所述第一接收像素和所述第二接收像素彼此相邻。
18.根据权利要求15所述的获得深度信息的方法，包括以下步骤：
通过对与所述第一接收像素相邻的像素接收到的对应于具有第三相位的基准信号的光的信息进行插值来获得所述第一接收像素接收到的对应于具有第三相位的基准信号的光。
CN201980065857.2A 2018-10-05 2019-10-07 获得深度信息的方法和相机模块 Active CN112806000B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180119341A KR102562360B1 (ko) 2018-10-05 2018-10-05 깊이 정보를 획득하는 방법 및 카메라 모듈
KR10-2018-0119341 2018-10-05
PCT/KR2019/013133 WO2020071883A1 (ko) 2018-10-05 2019-10-07 깊이 정보를 획득하는 방법 및 카메라 모듈

Publications (2)

Publication Number Publication Date
CN112806000A CN112806000A (zh) 2021-05-14
CN112806000B true CN112806000B (zh) 2023-12-12

Family

ID=70054440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980065857.2A Active CN112806000B (zh) 2018-10-05 2019-10-07 获得深度信息的方法和相机模块

Country Status (6)

Country Link
US (1) US20210373163A1 (zh)
EP (1) EP3863283A4 (zh)
JP (1) JP2022502652A (zh)
KR (1) KR102562360B1 (zh)
CN (1) CN112806000B (zh)
WO (1) WO2020071883A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961970B1 (en) * 2005-11-30 2011-06-14 Adobe Systems Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
KR20130006246A (ko) * 2011-07-07 2013-01-16 삼성전자주식회사 깊이 영상 변환 장치 및 방법
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
KR20160148596A (ko) * 2014-04-22 2016-12-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 센서 교정 및 픽셀별 보정
EP3193190A1 (en) * 2016-01-15 2017-07-19 Softkinetic Sensors Nv A detector device with majority current and a circuitry for controlling the current
KR20170121241A (ko) * 2015-03-31 2017-11-01 구글 엘엘씨 비행 시간 측정의 프레임 레이트를 증가시키기 위한 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895304B2 (ja) * 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
EP2733928B1 (en) * 2011-07-12 2021-09-22 Samsung Electronics Co., Ltd. Device and method for blur processing
KR102007275B1 (ko) * 2012-12-27 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
KR102136850B1 (ko) * 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법
EP3092871B1 (en) * 2014-01-06 2020-03-18 Signify Holding B.V. Ripple based light emitting diode driving
EP3792662A1 (en) * 2014-01-13 2021-03-17 Sony Depthsensing Solutions SA/NV Time-of-flight system for use with an illumination system
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US9921298B2 (en) * 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
US9921359B2 (en) * 2016-07-26 2018-03-20 Harvatek Corporation Light source module
US10189400B2 (en) * 2016-08-08 2019-01-29 Ford Global Technologies, Llc Mobile device tracking for control of vehicle subsystems
JP6862255B2 (ja) * 2017-04-12 2021-04-21 キヤノン株式会社 撮像装置、撮像方法および撮像プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961970B1 (en) * 2005-11-30 2011-06-14 Adobe Systems Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
KR20130006246A (ko) * 2011-07-07 2013-01-16 삼성전자주식회사 깊이 영상 변환 장치 및 방법
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
KR20160148596A (ko) * 2014-04-22 2016-12-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 센서 교정 및 픽셀별 보정
KR20170121241A (ko) * 2015-03-31 2017-11-01 구글 엘엘씨 비행 시간 측정의 프레임 레이트를 증가시키기 위한 방법 및 장치
EP3193190A1 (en) * 2016-01-15 2017-07-19 Softkinetic Sensors Nv A detector device with majority current and a circuitry for controlling the current

Also Published As

Publication number Publication date
KR102562360B1 (ko) 2023-08-02
EP3863283A1 (en) 2021-08-11
EP3863283A4 (en) 2022-07-06
CN112806000A (zh) 2021-05-14
US20210373163A1 (en) 2021-12-02
JP2022502652A (ja) 2022-01-11
KR20200039418A (ko) 2020-04-16
WO2020071883A1 (ko) 2020-04-09

Similar Documents

Publication Publication Date Title
EP2894492B1 (en) A method for driving a time-of-flight system
CN111758047B (zh) 单芯片rgb-d相机
EP3980807A1 (en) Mixed active depth
CN112823512B (zh) 获取深度信息的方法以及摄像头模块
CN105372667A (zh) 飞行时间装置和照明源
KR102590900B1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2015157097A1 (en) Low-power image change detector
WO2017172030A1 (en) Laser projector and camera
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN109842750A (zh) 摄像装置系统
CN109835266A (zh) 摄像装置模块
CN112806000B (zh) 获得深度信息的方法和相机模块
KR102630250B1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
US10212358B2 (en) Imaging devices with optical shutters and low-power drivers therefor
CN113325439B (zh) 一种深度相机及深度计算方法
US11290673B2 (en) Sensor operating based on measuring range of depth and sensing system including the same
KR20200049152A (ko) 카메라 장치
CN112558090A (zh) 距离测量设备和通过使用距离测量设备测量距离的方法
NL8500172A (nl) Beeldverwerkingsinrichting voor het op echte-tijd basis bewerken en herkennen van tweedimensionale beelden, en beeldverwerkingssysteem bevattende tenminste twee in serie verbondene van zulke beeldverwerkingsinrichtingen.
KR20210007336A (ko) 이미지를 획득하는 방법 및 카메라
AU2017338736A1 (en) Calibration method and calibration device for a group of reflectors for concentrating solar radiation onto a radiation receiver
JP2016134732A (ja) 撮像装置及び撮像方法
US20140022425A1 (en) Multi-band sensors
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20160040093A (ko) 독출 회로 어레이 및 이를 포함하는 영상 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant