CN114697587A - 成像设备及其控制方法 - Google Patents

成像设备及其控制方法 Download PDF

Info

Publication number
CN114697587A
CN114697587A CN202111616275.4A CN202111616275A CN114697587A CN 114697587 A CN114697587 A CN 114697587A CN 202111616275 A CN202111616275 A CN 202111616275A CN 114697587 A CN114697587 A CN 114697587A
Authority
CN
China
Prior art keywords
control signal
duty cycle
light
signal
light control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111616275.4A
Other languages
English (en)
Inventor
桂明均
申绳澈
吉珉墡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114697587A publication Critical patent/CN114697587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种成像设备,包括:光源,被配置为根据具有第一占空比的光控制信号来操作;像素阵列,在像素阵列中布置有多个像素,多个像素中的每一个包括用于响应于由光源输出并从对象反射的光接收信号而生成电荷的光电二极管,以及用于输出与光电二极管的电荷相对应的像素信号的像素电路;以及逻辑电路,被配置为使用像素信号来生成用于生成深度图像的原始数据,其中,逻辑电路向连接到在多个像素中的每一个中的光电二极管的像素电路输入具有第二占空比的光电控制信号,并且其中,第一占空比不是第二占空比的整数倍。

Description

成像设备及其控制方法
相关申请的交叉引用
于2020年12月28日在韩国知识产权局提交的标题为“成像设备及其控制方法”的第10-2020-0184615号韩国专利申请通过引用整体并入本文。
技术领域
实施例涉及一种成像设备及其控制方法。
背景技术
成像设备可以通过将光信号转换为电信号来生成图像。成像设备可以被安装在电子设备上,并且可以提供例如相机功能。
发明内容
实施例涉及一种成像设备,包括:光源,被配置为根据具有第一占空比的光控制信号(light control signal)来操作;像素,被布置在阵列中,每个像素包括:光电二极管,被配置为响应于由光源输出并从对象反射的光来生成电荷,以及像素电路,被配置为输出与电荷相对应的像素信号;以及逻辑电路,被配置为使用像素信号来生成用于生成深度图像的原始数据,并且被配置为向每个像素电路提供具有第二占空比的光电控制信号(photocontrol signal),其中,第一占空比不是第二占空比的整数倍。
实施例涉及一种成像设备,包括:光源,包括至少一个光发射设备和用于驱动光发射设备的光源驱动器;像素阵列,在像素阵列中布置有多个像素,多个像素中的每一个包括用于响应于由光源输出并从对象反射的光接收信号而生成电荷的光电二极管,以及用于输出与光电二极管的电荷相对应的像素信号的像素电路;以及逻辑电路,包括配置为通过获得像素信号来生成用于生成深度图像的原始数据以及输出具有预定解调频率和占空比的光控制信号的控制逻辑,并且包括配置为通过延迟光控制信号来向光源驱动器输出延迟信号的延迟电路。逻辑电路可以被配置为向连接到在多个像素中的每一个中的光电二极管的像素电路输入具有相对于光控制信号的不同的相位差的多个光电控制信号。
实施例还涉及一种控制包括光源和图像传感器的成像设备的方法,该方法包括:将用于驱动光源的光控制信号的占空比设置为第一参考占空比;在改变光控制信号的延迟时间的同时,获得与根据光控制信号的延迟时间的参考数据和由图像传感器生成的深度数据之间的差相对应的第一操作误差(operation error);当光控制信号的延迟时间达到最大延迟时间时,计算与第一操作误差当中的最大值和最小值之间的差相对应的第一结果值;将光控制信号的占空比设置为第二参考占空比;在改变光控制信号的延迟时间的同时,获得与根据光控制信号的延迟时间的参考数据和由图像传感器生成的深度数据之间的差相对应的第二操作误差;当光控制信号的延迟时间达到最大延迟时间时,计算与第二操作误差当中的最大值和最小值之间的差相对应的第二结果值;以及,基于第一结果值和第二结果值,确定第一参考占空比或第二参考占空比作为光控制信号的占空比。
附图说明
通过参考附图详细描述示例实施例,特征对于本领域技术人员来说将变得明显,其中:
图1和图2是示出根据示例实施例的成像设备的框图;
图3和图4是示出根据示例实施例的成像设备的框图;
图5A和图5B是示出根据示例实施例的成像设备的像素的电路图;
图6至图8是示出根据示例实施例的成像设备的操作的示意图;
图9是示出根据示例实施例的成像设备的操作的示意图;
图10是示出根据示例实施例的成像设备的操作的流程图;
图11A至图13E是示出根据示例实施例的成像设备的操作的示意图;
图14是示出根据示例实施例的成像设备的操作的示意图;
图15是示出根据示例实施例的成像设备的操作的流程图;
图16A至图18C是示出根据示例实施例的成像设备的操作的示意图;以及
图19至图21是示出根据示例实施例的包括成像设备的电子设备的示意图。
具体实施方式
图1和图2是示出根据示例实施例的成像设备的框图
参考图1,根据示例实施例的成像设备1可以包括传感器模块2和图像信号处理器5。传感器模块2可以包括光源3和传感器4。在示例实施例中,传感器模块2和图像信号处理器5可以被包括在不同的半导体设备中。在示例实施例中,传感器模块2可以被实现为包括光源3和传感器4的半导体封装的形式,并且图像信号处理器5可以被包括在通过预定接口连接到传感器模块2以进行通信的半导体设备(例如,应用处理器、中央处理单元和片上系统)中。
光源3可以包括可输出预定波段的光信号的至少一个光发射设备和用于驱动光发射设备的光源驱动器。光发射设备可以被实现为例如垂直腔面发射激光器(VCSEL)或发光二极管(LED)。光源3可以包括在基板上排列成阵列的多个光发射设备。光源3可以包括布置在光信号的路径中的光学设备,以改善光信号的特性。在示例实施例中,由光源3输出的光信号可以在红外波段下。
由光源3输出的光可以从对象6反射,并且从对象6反射的光可以入射到传感器4上。传感器4可以包括配置为响应于入射到传感器4上的光而生成电信号的像素。传感器4可以包括配置为使用电信号来生成用于生成结果图像的原始数据的逻辑电路。原始数据可以包括指示到对象6的距离和对象6的背景的深度信息。图像信号处理器5可以使用原始数据来生成结果图像,并且结果图像可以被配置为指示到对象6的距离和对象6的背景的深度图像。
参考图2,成像设备1A的传感器模块2A和图像信号处理器5A可以被实现在单个封装中。例如,光源3、传感器4A和图像信号处理器5A可以被包括在单个半导体封装中。图像信号处理器5A可以被包括在传感器4A中,或者可以与传感器4A分开被实现。
图像信号处理器5和图像信号处理器5A可以被实现为例如软件和/或硬件。作为示例,当如同在参考图1描述的示例实施例中图像信号处理器5与传感器模块2分开被实现时,图像信号处理器5可以被实现为例如应用处理器中的软件。此外,当图像信号处理器5A如同在参考图2描述的示例实施例中被集成到传感器模块2A中时,图像信号处理器5A可以被实现为例如硬件。
图3是示出根据示例实施例的成像设备的框图。
参考图3,成像设备10可以包括逻辑电路20、像素阵列30、光源驱动器42和光源40。像素阵列30可以包括以阵列形式(例如,以多行和多列)排列的多个像素PX。多个像素PX中的每一个可以包括光电二极管,其中,光电二极管用于响应于从对象60入射到光电二极管上的光而生成电荷。每个像素PX可以包括像素电路,其中,像素电路用于生成与由光电二极管生成的电荷相对应的电信号。
在示例实施例中,像素电路可以包括浮置扩散、传输晶体管、复位晶体管、驱动晶体管和选择晶体管。像素PX的配置可以根据示例实施例而变化。例如,像素PX中的每一个可以包括与硅光电二极管不同的具有有机材料的有机光电二极管,或者可以被实现为例如数字像素。当像素PX被实现为数字像素时,每个像素PX可以包括比较器和用于将比较器的输出转换为数字信号并输出该信号的计数器。
逻辑电路20可以包括用于控制像素阵列30的多个电路。作为示例,逻辑电路20可以包括时钟驱动器21、读出电路22、运算电路(operation circuit)23、控制逻辑24等。时钟驱动器21可以在第一方向或第二方向(例如,行方向或列方向)上驱动像素阵列30。在示例实施例中,时钟驱动器21可以生成输入到像素电路的传输门的传输控制信号、输入到复位门的复位控制信号、输入到选择门的选择控制信号和输入到光电门(photo gate)的光电控制信号。第一方向和第二方向可以采用各种方式来定义。在示例实施例中,第一方向可以与行方向相对应,并且第二方向可以与列方向相对应。
读出电路22可以包括相关双采样器(CDS)和模数转换器(ADC)。相关双采样器可以通过列线来连接到由时钟驱动器21供应的时钟信号选择的像素PX,并且可以通过执行相关双采样来检测复位电压和像素电压。模数转换器可以将由相关双采样器检测到的复位电压和像素电压转换为数字信号,并且可以向运算电路23传输该信号。
运算电路23可以包括用于临时存储数字信号的锁存器或缓冲电路和放大器电路,并且可以处理从读出电路22接收的数字信号。时钟驱动器21、读出电路22和运算电路23可以由控制逻辑24控制。控制逻辑24可以包括用于控制时钟驱动器21、读出电路22和运算电路23的操作定时的定时控制器,以及用于处理图像数据的图像信号处理器。在示例实施例中,运算电路23可以被包括在控制逻辑24中。
控制逻辑24可以通过处理由读出电路22和运算电路23输出的数据,生成用于生成结果图像的原始数据。在示例实施例中,由原始数据生成的结果图像可以是深度图像。当图像信号处理器被包括在控制逻辑24中时,控制逻辑24可以使用原始数据来生成结果图像。
在示例实施例中,控制逻辑24可以基于成像设备10的操作模式,使用由读出电路22和运算电路23输出的数据来计算对象60和成像设备10之间的距离,或者可以识别与成像设备10相邻的对象60。在另一实施方式中,运算电路23可以生成深度图像,并且控制逻辑24可以对深度图像进行后处理,以提高结果图像的质量。
成像设备10可以包括用于向对象60输出光的光源40。光源40可以包括至少一个光发射设备41和光源驱动器42,并且可以包括例如在其中多个光发射设备被排列成阵列的半导体芯片。光源驱动器42可以由逻辑电路20输出的光控制信号控制。在示例实施例中,光控制信号可以是具有预定频率和预定占空比的脉冲宽度调制(PWM)信号。
在示例实施例中,光源驱动器42可以响应于具有脉冲信号特性的光控制信号而驱动光发射设备41。在示例实施例中,逻辑电路20可以将由时钟驱动器21输入到像素阵列30的时钟信号中的至少一个与输入到光源40的光控制信号同步。在示例实施例中,与输入到光源40的光控制信号同步的信号可以是由时钟驱动器21输入到像素PX的光电控制信号(photo control signal)。光电控制信号可以控制连接在每个像素PX的光电二极管和浮置扩散(floating diffusion)之间的晶体管的导通/截止。
在示例实施例中,控制逻辑24可以包括延迟电路25。延迟电路25可以包括延迟锁定环路(DLL)。延迟电路25可以延迟由控制逻辑24生成并输出到光源40的光控制信号(light control signal)。
在示例实施例中,成像设备10可以在正常模式或校准模式下操作,并且成像设备10的模式可以由控制逻辑24选择。在校准模式下,成像设备10可以执行用于优化光控制信号的占空比的校准操作,并且延迟电路25可以延迟光控制信号。在校准操作期间,延迟电路25可以延迟光控制信号,从而可以在不调整成像设备10和对象60之间的实际距离的情况下,改变通过由成像设备10感测对象60而生成的深度数据。
在示例实施例中,通过由成像设备10感测对象60而生成的深度数据可以如等式1中确定。在等式1中,“c”表示光速,“d”表示通过由成像设备10感测对象60而生成的深度数据,并且“fm”表示光控制信号的频率。此外,在等式1中,
Figure BDA0003436791330000062
可以是输入到光源40的光控制信号和由时钟驱动器21输入到像素阵列30的光电控制信号之间的相位差。
【等式1】
Figure BDA0003436791330000061
当延迟电路25延迟光控制信号时,从对象60反射并由像素阵列30接收的光也可以被延迟得与光控制信号被延迟的一样多。因此,通过使用延迟电路25来延迟光控制信号,可以在不调整成像设备10和对象60之间的实际距离的情况下,改变由成像设备10生成的深度数据。在根据示例实施例的成像设备10中,可以执行用于优化光控制信号的占空比的校准操作。
校准操作可以如下被执行:在改变光控制信号的占空比的同时,将由成像设备10生成的深度数据与成像设备10和对象60之间的实际距离进行比较。
对于校准操作,可以在改变成像设备10和对象60之间的实际距离的同时,将由成像设备10生成的深度数据与实际距离进行比较,但是这可能增加用于校准操作的时间和资源。
在示例实施例中,通过使用延迟电路25,可以在不改变成像设备10和对象60之间的实际距离的情况下,执行校准操作。如上所述,当延迟电路25延迟光控制信号时,由成像设备10生成的深度数据可以被改变。因此,对于施加到光控制信号的每个延迟时间,可以在光源40根据延迟的光控制信号来操作的同时,将参考数据(对应于根据公式1计算的成像设备10和对象60之间的实际距离)与通过使用成像设备10来感测对象60而生成的深度数据进行比较。这可以缩短和简化校准操作,并且可以(例如在终端用户使用电子设备的同时,)通过用于执行成像设备10的应用来执行。
在另一实施方式中,可以在改变成像设备10和对象60之间的实际距离的同时,执行校准操作,在这种情况下,可能不将延迟时间施加到光控制信号。此外,可以在不单独计算参考数据的情况下,将成像设备10和对象60之间的实际距离与由成像设备10生成的深度数据进行比较。该校准操作可以在成像设备10被安装在电子设备上并出售给终端用户之前完成。
参考图4,在示例实施例中,成像设备10A可能不包括延迟电路25,并且成像设备10A的校准操作可以通过使用在控制逻辑24之外的延迟电路50延迟光控制信号来执行。在执行校准操作时,延迟电路50可以例如在安装有成像设备10A的测试板上实现。
图5A和图5B是示出根据示例实施例的成像设备的像素的电路图。
参考图5A,在示例实施例中的成像设备的像素PX可以包括用于响应于入射光而生成电荷的光电二极管PD和用于输出与由光电二极管PD生成的电荷相对应的电信号的像素电路(例如,第一至第四像素电路PC1-PC4)。
第一像素电路PC1可以连接到第一列线COL1。第二像素电路PC2可以连接到第二列线COL2。第三像素电路PC3可以连接到第三列线COL3。第四像素电路PC4可以连接到第四列线COL4。第一列线COL1至第四列线COL4可以连接到用于从第一像素电路PC1至第四像素电路PC4获得像素电路的采样电路和用于将像素电路转换为数字数据的模数转换器。
第一像素电路PC1至第四像素电路PC4可以具有相同的结构。在示例实施例中,第一像素电路PC1可以包括连接到光电二极管PD的第一光电晶体管(photo transistor)PX1、第一传输晶体管TX1、用于累积来自第一光电晶体管PX1的电荷的第一浮置扩散FD1、以及多个第一电路元件RX1、DX1和SX1。多个第一电路元件RX1、DX1和SX1可以包括第一复位晶体管RX1、第一驱动晶体管DX1和第一选择晶体管SX1。用于分别控制第一传输晶体管TX1、第一复位晶体管RX1和第一选择晶体管SX1的控制信号TG1、控制信号RG1和控制信号SEL1可以由成像设备的时钟驱动器输入。
当第一复位晶体管RX1导通时,第一浮置扩散FD1的电压可以被复位为电源电压VDD,并且选择晶体管SX1可以接通,使得第一复位电压可以被输出到第一列线COL1。在第一复位晶体管RX1截止并且第一传输晶体管TX1导通之前的第一曝光时间期间,光电二极管PD可以暴露在光中,并且可以生成电荷。
当第一传输晶体管TX1导通时,由光电晶体管PD生成并由第一光电二极管PX1累积的电荷可以移动到第一浮置扩散FD1。当第一选择晶体管SX1导通时,可以将第一像素电压输出到第一列线COL1。连接到第一列线COL1的第一模数转换器可以将第一复位电压和第一像素电压之间的差转换为第一原始数据DATA1(数字数据)。
第二像素电路至第四像素电路PC2-PC4的操作可以类似于第一像素电路PC1的操作。然而,输入到第一像素电路至第四像素电路PC1-PC4中的每一个的光电控制信号PG1-PG4可以具有不同的相位。在示例实施例中,光电控制信号PG1-PG4可以具有与光控制信号的频率相同的频率,可以具有基于光控制信号的0度、90度、180度和270度的相位差,并且可以在占空比(duty cycle)方面有所变化,如下面进一步描述的。
在执行上述校准操作的同时,光控制信号可以由延迟电路按预定延迟时间来延迟。即使是在执行校准操作的同时,光电控制信号PG1-PG4也可以具有基于在光控制信号被延迟之前的光控制信号(而不是由延迟电路延迟的光控制信号)的0度、90度、180度和270度的相位差。
参考图5B,在另一示例实施例中,像素PX可以包括第一子像素至第四子像素PXSUB1-PXSUB4。第一子像素至第四子像素PXSUB1-PXSUB4可以具有相同的结构。作为示例,参考第一子像素PXSUB1,第一子像素PXSUB1可以包括第一光电二极管PD1以及通过第一光电节点PN1连接到第一光电二极管PD1的像素电路。像素电路可以包括光电晶体管PX1、传输晶体管TX1、浮置扩散FD1、复位晶体管RX1、驱动晶体管DX1和选择晶体管SX1。像素电路的配置可以根据示例实施例而变化。像素电路的操作可以类似于参考图5A描述的示例。
在图5A和图5B所示的示例实施例中,光电控制信号PG1-PG4可以具有基于光控制信号的0度、90度、180度和270度的相位差,并且可以具有与光控制信号的频率相同的频率。此外,在示例实施例中,通过用于优化光控制信号的占空比的校准操作,光电控制信号PG1-PG4中的每一个的占空比可以比光控制信号的占空比的1/2更大,如下面参考图6至图8描述的。
图6至图8是示出根据示例实施例的成像设备的操作的示意图
参考图6至图8,输入到像素PX的光电控制信号PG1-PG4和输入到光源的光控制信号可以具有相同的频率。光电控制信号PG1至光电控制信号PG4可以具有基于光控制信号的0度、90度、180度和270度的相位差。
输入到成像设备的光源的光控制信号和输入到成像设备的像素阵列的(从由对象反射的光生成的)光接收信号可以具有预定相位差
Figure BDA0003436791330000081
相位差
Figure BDA0003436791330000082
可以根据原始数据来确定,其中,原始数据根据光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex1-ex3来确定。在示例实施例中,相位差
Figure BDA0003436791330000092
可以如下面的等式2中确定。在等式2中,“A1”至“A4”分别指示由第一像素电路至第四像素电路PC1-PC4输出的原始数据。
【等式2】
Figure BDA0003436791330000091
根据相位差
Figure BDA0003436791330000093
的对于对象的深度数据可以如上面参考等式1描述的来确定。
参考图6中的基本示例,光电控制信号PG1-PG4中的每一个的占空比可以被设置为光控制信号的占空比的1/2,例如,周期TPD和第一导通时间TON1(其中,光源的光发射设备实际上输出光)之间的比可以是50%,即占空比为50%,在这种情况下,光电控制信号PG1至光电控制信号PG4中的每一个的占空比可以被设置为其1/2,即25%。然而,当以这种方式采用光控制信号和光电控制信号PG1-PG4驱动成像设备时,可能出现谐波失真(其中,基频分量被光控制信号的频率的多个分量增强或抵消),并且由成像设备生成的深度数据的准确度可能降低。例如,光控制信号的下降沿可以与光电控制信号PG1-PG4中的一个或多个的下降沿对齐。
在示例实施例中,通过在维持光电控制信号PG1-PG4的占空比不变的同时执行用于优化光控制信号的占空比的校准操作,可以减少谐波失真,并且可以提高成像设备的性能。因此,在校准操作完成之后,光控制信号的占空比可以具有不同于光电控制信号PG1-PG4中的每一个的占空比的两倍的值。
在示例实施例中,在校准操作完成之后,光电控制信号PG1-PG4可以各自具有与光控制信号的频率相同的频率,可以具有相对于光控制信号分别为0度、90度、180度和270度的相位差,并且光电控制信号PG1-PG4的占空比可以被确定,使得光电控制信号PG1-PG4中的每一个的下降沿出现在与光控制信号的下降沿的时间点不同的时间点。在图7和图8中对此进行了说明。
例如,参考图7和图8,光电控制信号PG1-PG4中的每一个的占空比可以维持不变,例如,如上面参考图6描述的维持在25%,同时光控制信号的占空比在参考图7描述的示例实施例中可以是40%,在参照图8描述的示例实施例中可以是33.3%。
由于(从反射光生成的)光接收信号的占空比与(生成发射光的)光控制信号的占空比相同,因此在上面参考图6至图8描述的情况下,曝光时间ex1-ex3(其中,光电控制信号PG1-PG4与光接收信号重叠)可能是不同的。因此,在不同的情况下,由成像设备生成的深度数据可能是不同的。在校准操作中,可以将由成像设备在具有不同的占空比的每个光控制信号下生成的深度数据与成像设备和对象之间的实际深度进行比较。作为比较的结果,光控制信号可以被配置为使得深度数据和实际深度之间的差为最小值。
图9是示出根据示例实施例的成像设备的操作的示意图。
图9示出根据示例实施例的成像设备100的校准操作。校准操作可以例如在成像设备被安装在电子设备上之前被执行。
成像设备100可以包括图像传感器110、像素阵列111、逻辑电路112和光源120。光源120可以包括光发射设备121和光源驱动器122。
在示例中,成像设备100可能不包括诸如被配置为延迟由逻辑电路112输出的光控制信号、PWM信号并将该信号输入到光源驱动器122的延迟锁定环路的电路。因此,对于校准操作,可以通过使用安装在与成像设备100一起安装的测试板上的延迟电路300来延迟由逻辑电路112输出到光源驱动器122的光控制信号来生成延迟信号。在执行校准操作的同时,光源120可以根据延迟信号来操作,并且成像设备100和延迟电路300可以由外部处理器400控制。
在另一示例中,成像设备100的逻辑电路112包括诸如延迟锁定环路的电路,并且校准操作可以在没有延迟电路300的情况下被执行。在这种情况下,校准操作即使在成像设备100被安装在电子设备上之后也可以被执行,并且校准操作可以由电子设备的应用处理器或中央处理单元来执行。
测试物体(test object)200可以用于校准操作。测试物体200可以被布置成按预定距离与成像设备间隔开。可以使用白色图表(chart)等作为测试物体。在校准操作期间,测试物体200和成像设备100之间的距离可能不改变,并且延迟电路300可以使用通过延迟光控制信号获得的延迟信号,使得通过由成像设备100感测测试物体200而生成的深度数据可以改变。
在下面的描述中,将参考图10更详细地描述成像设备的校准操作。
图10是示出根据示例实施例的成像设备的操作的流程图。
参考图10,在示例实施例中的成像设备100的校准操作可以从由逻辑电路112初始化光控制信号的占空比(S10)开始。如上所述,光控制信号可以是逻辑电路112输出到光源驱动器122的信号,并且可以是具有预定频率的PWM信号。在示例实施例中,在操作S10中,光控制信号的占空比可以被初始化为50%。
当初始化光控制信号的占空比时,可以初始化光控制信号的延迟时间(S11)。在示例实施例中,延迟电路300可以响应于来自处理器400的控制命令而初始化延迟时间。当延迟时间被初始化时,由逻辑电路112输出的光控制信号可以被原样输入到光源驱动器122中。
光源驱动器122可以使用光控制信号来驱动光发射设备121,并且图像传感器110可以在光发射设备121操作的同时,使用(从由测试物体200反射的光生成的)光接收信号来计算测试物体200的深度数据(S12)。在操作S12中计算的深度数据可以包括指示成像设备100和测试物体200之间的距离的信息。
处理器400可以根据延迟时间来计算参考数据(S13)。当光源驱动器122响应于其中预定延迟时间反映在光控制信号中的延迟信号而驱动光发射设备121时,参考数据可以由通过对光控制信号和光接收信号之间的相位差加上延迟时间而获得的延迟相位差确定。
处理器400可以通过将在操作S12和操作S13中获得的深度数据与参考数据进行比较来获得操作误差(S14)。在示例实施例中,操作误差可以是深度数据和参考数据之间的差。已获得操作误差的处理器400可以确定在延迟信号中反映的延迟时间是否为最大延迟时间(S15)。作为在操作S15中的确定的结果,当延迟时间没有达到最大延迟时间时,处理器400可以控制延迟电路300来增加延迟时间(S16),并且可以重复执行操作S12至操作S14。操作S12至操作S14可以被重复执行,直到延迟时间达到最大延迟时间,因此处理器400可以使用具有不同的延迟时间的延迟信号来获得多个操作误差。
最大延迟时间可以根据光控制信号的频率来确定。在示例实施例中,处理器400可以通过由延迟电路300确定的延迟时间加上单位时间来增加延迟时间。当作为延迟时间加上单位时间的结果,确定延迟时间达到最大延迟时间或超过最大延迟时间时,处理器400可以确定多个操作误差当中的最大值和最小值之间的差作为结果值(S17)。在操作S17中确定的结果值可以显示在操作误差中的偏差有多大。
当执行操作S17时,处理器400可以确定对具有在操作S10中初始化的占空比(例如,50%的占空比)的光控制信号进行的性能评估已经完成。在示例实施例中,处理器400可以确定光控制信号的占空比是否达到最小占空比(S18)。光控制信号的最小占空比可以被定义为由图像传感器110中的逻辑电路112输入到像素阵列111的光电控制信号的占空比。例如,当光控制信号的占空比被初始化为50%时,光控制信号的最小占空比可以是25%。操作S18可以在成像设备100中而不是在处理器400中被执行。
当确定作为操作S18中的确定的结果是光控制信号的占空比大于最小占空比时,处理器400可以向成像设备100传输用于减少光控制信号的占空比的控制命令。成像设备100的逻辑电路112可以响应于控制命令而减少光控制信号的占空比(S19),并且操作S11至操作S17可以被再次执行。
例如,在操作S19中,当光控制信号的初始占空比被定义为第一占空比并且由逻辑电路112输入到像素阵列111的光电控制信号的占空比被定义为第二占空比时,光控制信号的占空比可以被改变为小于第一占空比并大于第二占空比的第一参考占空比。在操作S11中,可以初始化光控制信号的延迟时间,并且可以在增加光控制信号的延迟时间直到达到最大延迟时间的同时获得操作误差。因此,可以获得与出现在使用具有第一参考占空比的光控制信号的成像设备100中的操作误差当中的最大值和最小值之间的差相对应的结果值。
当第一参考占空比没有达到光控制信号的最小占空比(S18中的否)时,光控制信号的占空比可以被降低到小于第一参考占空比的第二参考占空比,并且操作S11至操作S17可以被再次执行。光控制信号的最小占空比可以被定义为第二占空比。例如,当光控制信号的占空比被初始化为50%时,光控制信号的最小占空比可以是25%。
作为在操作S18中的确定的结果,当确定作为降低光控制信号的占空比的结果是光控制信号的占空比达到最小占空比或者光控制信号的占空比被降低到小于最小占空比(S18中的是)时,处理器400可以控制光控制信号。
在示例实施例中,处理器400可以使用通过使用分别具有第一占空比、第一参考占空比和第二参考占空比的光控制信号来执行操作S11至操作S17而获得的结果值,确定光控制信号的占空比(S20)。在示例实施例中,可以确定结果值越小,在成像设备100中生成的操作误差的偏差就可以越小,并且在光源120的操作中的反映在深度数据中的谐波噪声分量的影响就可以越小。光控制信号的占空比可以被确定为在获得结果值当中的最小结果值时的占空比。
通常,例如,如上面参考图6描述的,光控制信号的占空比和光电控制信号的占空比可以根据成像设备的结构被设置为彼此的整数倍。例如,光控制信号和光电控制信号可以具有相同的占空比,或者光控制信号的占空比可以是光电控制信号的占空比的两倍。
在示例实施例中,在维持光电控制信号的占空比不变的同时,可以通过降低光控制信号的占空比,找到使谐波噪声分量最小化的光控制信号的占空比。因此,光控制信号的占空比可能不是光电控制信号的占空比的整数倍。作为示例,光控制信号的占空比可以大于光电控制信号的占空比,并且可以小于光电控制信号的占空比的两倍,例如,如上面参考图7和图8描述的。
在下面的描述中,将参考图11A至图13E详细描述在示例实施例中确定成像设备中的光控制信号的占空比的方法。
图11A至图13E是示出根据示例实施例的成像设备的操作的示意图。
图11A至图11E示出在光控制信号具有第一占空比(即初始占空比)的情况下的成像设备的操作。图12A至图12E示出在光控制信号具有小于第一占空比的第二占空比的情况下的成像设备的操作。图13A至图13E示出在光控制信号具有小于第二占空比的第三占空比的情况下的成像设备的操作。
参考图11A,第一占空比(即,光控制信号的初始占空比)可以被设置为50%。因此,第一导通时间TON1(其中,光发射设备实际上根据光控制信号来操作)可以是周期TPD的1/2。光电控制信号PG1-PG4中的每一个的周期可以与光控制信号的周期TPD相同,并且占空比可以是25%,即第一占空比的1/2。(从反射光生成的)光接收信号可以具有相对于(生成发射光的)光控制信号的第一相位差
Figure BDA0003436791330000131
在参考图11A描述的示例实施例中,由成像设备输出的深度数据可以根据使光电控制信号PG1-PG4中的每一个与光接收信号重叠的曝光时间ex1-ex3来确定。包括在成像设备中的每个像素可以输出与曝光时间ex1-ex3相对应的像素信号,并且逻辑电路可以通过将像素信号转换为原始数据来生成第一深度数据。可以将第一深度数据与第一参考数据(测试物体、对象和成像设备之间的实际距离)进行比较。成像设备的逻辑电路或用于在校准操作期间控制成像设备的处理器可以通过计算第一深度数据和第一参考数据之间的差来生成第一操作误差。
当生成第一操作误差时,预定延迟时间可以被反映在光控制信号中。参考图11B,布置在成像设备之内或成像设备之外的延迟电路可以通过按第一延迟时间TD1延迟光控制信号来生成延迟信号。由于光控制信号按第一延迟时间TD1延迟,光接收信号也可能按第一延迟时间TD1延迟。因此,(同步为具有与光控制信号的相位相同的相位的)的第一光电控制信号PG1可以具有相对于光接收信号的第二相位差
Figure BDA0003436791330000141
第二相位差
Figure BDA0003436791330000142
可以被确定为第一相位差
Figure BDA0003436791330000143
和第一延迟时间TD1的和。
因此,参考图11B,使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex2-ex4可以与参考图11A描述的示例实施例不同,这可以指示在不调整成像设备和测试物体之间的实际距离的情况下,通过由成像设备感测测试物体而生成的深度数据可以改变。
成像设备可以生成与曝光时间ex2-ex4相对应的第二深度数据,并且用于在校准操作期间控制成像设备的处理器可以使用第二相位差
Figure BDA0003436791330000144
来计算第二参考数据。在光控制信号和光接收信号具有第二相位差
Figure BDA0003436791330000145
而第一延迟时间TD1没有被反映在光控制信号中时,第二参考数据可以与成像设备和测试物体之间的距离相对应。在示例实施例中,处理器可以通过将第二相位差
Figure BDA0003436791330000146
应用到等式1来计算第二参考数据,因此,第二参考数据可以是成像设备和测试物体之间的距离,其中,该距离理论上可以使用第二相位差
Figure BDA0003436791330000147
来计算。
成像设备的逻辑电路或处理器可以通过计算第二深度数据和第二参考数据之间的差来生成第二操作误差。如上所述,第二相位差
Figure BDA0003436791330000148
可以是第一延迟时间TD1和第一相位差
Figure BDA0003436791330000149
的和,并且第一相位差
Figure BDA00034367913300001410
可以使用成像设备和测试物体之间的实际距离来计算。
参考图11C,光控制信号可以按第二延迟时间TD2来延迟,并且第一光电控制信号PG1和光接收信号之间的相位差可以被定义为第三相位差
Figure BDA00034367913300001411
即第二延迟时间TD2和第一相位差
Figure BDA00034367913300001412
的和。因此,参考图11C,曝光时间ex3和曝光时间ex4可以与图11A和图11B中所示的示例不同。成像设备可以输出第三深度数据,并且处理器可以使用第三相位差
Figure BDA00034367913300001413
来计算第三参考数据。成像设备的逻辑电路或处理器可以通过计算第三深度数据和第三参考数据之间的差来获得第三操作误差。
在上面参考图11D和图11E描述的示例实施例中,光控制信号可以分别按第三延迟时间TD3和第四延迟时间TD4来延迟。因此,第一光电控制信号PG1和光接收信号之间的相位差可以分别增加到第四相位差
Figure BDA0003436791330000151
和第五相位差
Figure BDA0003436791330000152
因此,曝光时间ex1-ex4可以变化。用于控制成像设备的处理器可以生成与第四相位差
Figure BDA0003436791330000153
和第五相位差
Figure BDA0003436791330000154
相对应的第四参考数据和第五参考数据。根据曝光时间ex1-ex4,成像设备可以输出第四深度数据和第五深度数据。成像设备的逻辑电路或处理器可以通过计算第四深度数据和第四参考数据之间的差以及第五深度数据和第五参考数据之间的差来获得第四操作误差和第五操作误差。
在示例实施例中,当比第四延迟时间TD4更长的延迟时间被施加到光控制信号时,延迟时间可能超过光控制信号的周期TPD。因此,当成像设备采用反映第四延迟时间TD4的延迟信号来操作并获得第五操作误差时,处理器可以在第一操作误差至第五操作误差当中选择最大值和最小值,并且可以确定最大值和最小值之间的差作为第一结果值。由处理器确定的第一结果值可以是用于在光控制信号具有第一占空比时评估成像设备的性能的值。
参考图12A,光控制信号的占空比可以被降低到小于第一占空比(即小于初始占空比)的第二占空比。在示例实施例中,成像设备可以响应于从处理器接收到的控制命令而将光控制信号的占空比减少为第二占空比。在示例实施例中,第二占空比可能是40%。光电控制信号PG1-PG4中的每一个的周期可以与光控制信号的周期TPD相同,并且占空比可以是25%,即第一占空比的1/2。因此,在示例实施例中,光控制信号的占空比可以不被确定为光电控制信号PG1-PG4的占空比的整数倍,并且可以小于光电控制信号PG1-PG4的占空比的两倍。由于成像设备和测试物体之间的距离不会改变,因此光接收信号与光控制信号可能具有第一相位差
Figure BDA0003436791330000155
在参考图12A描述的示例实施例中,由成像设备输出的深度数据可以根据使光电控制信号PG1-PG4中的每一个与光接收信号重叠的曝光时间ex1-ex3来确定。然而,由于光控制信号的占空比被调整为第二占空比,因此在参考图12A描述的示例实施例中的曝光时间ex1-ex3可以与在参考图11A描述的示例实施例中的曝光时间ex1-ex3不同。因此,第一深度数据可以与参考图11A描述的示例实施例不同地生成,并且第一操作误差也可以具有不同的值。
一旦获得第一操作误差,处理器就可以向光控制信号应用第一延迟时间TD1。在参考图12B描述的示例实施例中的第一延迟时间TD1可以与在参考图11B描述的示例实施例中的第一延迟时间TD1相同。因此,第一光电控制信号PG1和光接收信号之间的相位差可以是第二相位差
Figure BDA0003436791330000161
并且由处理器计算的第二参考数据可以与参考图11B描述的示例实施例相同。
然而,由于光控制信号的占空比被调整为第二占空比,因此使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex2和曝光时间ex3可能与参考图11B描述的示例实施例不同。因此,由成像设备生成的第二深度数据可以与参考图11B描述的示例实施例不同,并且第二操作误差也可以是不同的。
参考图12C至图12E,光控制信号可以分别按第二延迟时间TD2、第三延迟时间TD3和第四延迟时间TD4来延迟,并且第二延迟时间至第四延迟时间TD2-TD4可以与在参考图11C至图11E的前述示例实施例中描述的第二延迟时间至第四延迟时间TD2-TD4相同。然而,由于光控制信号具有第二占空比,因此曝光时间ex1-ex4可能与参考图11C至11E描述的示例实施例不同。因此,第三深度数据至第五深度数据以及第三操作误差至第五操作误差中的至少一个可能被计算为不同的值。
如上所述,第四延迟时间TD4可以与最大延迟时间相对应。因此,当成像设备采用反映第四延迟时间TD4的延迟信号来操作并获得第五操作误差时,处理器可以在第一操作误差至第五操作误差当中选择最大值和最小值,并且可以确定最大值和最小值之间的差作为第二结果值。第二结果值可以用于在光控制信号具有第二占空比时评估成像设备的性能。
参考图13A,光控制信号的占空比可以被降低到小于第二占空比的第三占空比。在示例实施例中,成像设备可以响应于从处理器接收的控制命令而将光控制信号的占空比设置为第三占空比。在示例实施例中,第三导通时间TON3可能是光控制信号的周期TPD的1/3,并且第三占空比可能是大约33.3%。光电控制信号PG1至光电控制信号PG4中的每一个的周期可以与光控制信号的周期TPD相同,并且占空比可以是25%,即第一占空比的1/2。因此,光控制信号的占空比可以被确定为除了光电控制信号PG1-PG4的占空比的整数倍之外的值。由于成像设备和测试物体之间的距离不会改变,因此光接收信号和光控制信号可以具有第一相位差
Figure BDA0003436791330000162
在参考图13A描述的示例实施例中,由成像设备输出的深度数据可以根据使光电控制信号PG1-PG4中的每一个与光接收信号重叠的曝光时间ex1和曝光时间ex2来确定。然而,由于光控制信号具有第三占空比,因此从在参考图13A描述的示例实施例中的曝光时间ex1和曝光时间ex2计算的第一深度数据可能与从在图11A和12A中所示的示例实施例中的曝光时间ex1-ex3计算的第一深度数据不同。因此,与没有延迟时间的示例相对应的第一操作误差也可以与参考图11A和图12A描述的示例实施例不同。
一旦获得第一操作误差,处理器就可以向光控制信号应用第一延迟时间TD1。在参考图13B描述的示例实施例中的第一延迟时间TD1可以与在图11B和图12B中所示的示例实施例中的第一延迟时间TD1相同。因此,第一光电控制信号PG1和光接收信号之间的相位差可以是第二相位差
Figure BDA0003436791330000171
并且由处理器计算的第二参考数据可以与参考图11B和图12B描述的示例实施例相同。
然而,由于光控制信号具有第三占空比,因此使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex2和曝光时间ex3可能与在图11B和图12B中所示的示例不同。因此,由成像设备生成的第二深度数据和第二操作误差可以与参考图11B和图12B描述的示例实施例不同。
参考图13C至图13E,光控制信号可以分别按第二延迟时间TD2、第三延迟时间TD3和第四延迟时间TD4来延迟,并且第二延迟时间至第四延迟时间TD2-TD4可以与参考图11C至图11E以及图12C至图12E描述的第二延迟时间至第四延迟时间TD2-TD4相同。然而,由于光控制信号具有第二占空比,因此第三深度数据至第五深度数据以及第三操作误差至第五操作误差中的至少一个可能被不同地计算。
第四延迟时间TD4可以与最大延迟时间相对应。因此,当成像设备采用反映第四延迟时间TD4的延迟信号来操作并获得第五操作误差时,处理器可以在第一操作误差至第五操作误差当中选择最大值和最小值,并且可以确定最大值和最小值之间的差作为第三结果值。第三结果值可以是用于在光控制信号具有第三占空比时评估成像设备的性能的值。
作为示例,处理器可以在第一结果值至第三结果值当中选择最小结果值,并且可以确定与所选择的结果值相对应的占空比作为光控制信号的最终占空比。在下面的描述中,将参考图14更详细地描述配置。
图14是示出根据示例实施例的成像设备的操作的示意图。
在图14中,第一图形至第三图形E1-E3与在成像设备的校准操作期间向光控制信号应用的占空比相对应。水平轴与参考数据相对应。垂直轴与操作误差相对应。
如参考图11A至图13E所描述的,第一参考数据至第五参考数据DR1-DR5理论上可以从反映延迟时间的第一相位差至第五相位差
Figure BDA0003436791330000181
计算。在示例实施例中,第一参考数据DR1至第五参考数据DR5可以不必按顺序与第一相位差
Figure BDA0003436791330000182
至第五相位差
Figure BDA0003436791330000183
相对应。
第一图形E1可以与光控制信号具有第一占空比的示例相对应。在示例实施例中,第一占空比可以是50%。因此,第一图形E1可以表示通过在向第一占空比的光控制信号应用不同的延迟时间的同时,计算由成像设备输出的深度数据和由处理器计算的参考数据之间的差而获得的操作误差。第一图形E1的操作误差当中的最大值MAX1和最小值MIN1之间的差可以是第一结果值R1。
第二图形E2可以与光控制信号具有小于第一占空比的第二占空比的示例相对应。在示例实施例中,第二占空比可以是40%。类似于第一图形E1,第二图形E2可以表示通过在向第二占空比的光控制信号应用不同的延迟时间的同时,计算由成像设备输出的深度数据和由处理器计算的参考数据之间的差而获得的操作误差。第二图形E2的操作误差当中的最大值MAX2和最小值MIN2之间的差可以是第二结果值R2。
第三图形E3可以与光控制信号具有小于第二占空比的第三占空比的示例相对应。在示例实施例中,第三占空比可以是1/3或33%。第三图形E3可以表示通过在向第三占空比的光控制信号应用不同的延迟时间的同时,计算由成像设备输出的深度数据和由处理器计算的参考数据之间的差而获得的操作误差。第三图形E3的操作误差当中的最大值MAX3和最小值MIN3之间的差可以是第三结果值R3。
在参考图14描述的示例实施例中,第三结果值R3可以是第一结果值至第三结果值R1-R3当中的最小结果值。因此,在校准操作中,光控制信号的占空比可以被设置为第三占空比。在校准操作完成之后,成像设备可以通过采用具有第三占空比的光控制信号驱动光源来生成深度图像。
如上所述,成像设备可以在正常模式和校准模式下操作。在校准操作终止之后的正常模式下,光控制信号的占空比可能小于光电控制信号的占空比的两倍。
图15是示出根据示例实施例的成像设备的操作的流程图。
参考图15,在示例实施例中的成像设备的校准操作可以从初始化光控制信号的延迟时间(S30)开始。如上所述,光控制信号可以是由逻辑电路输出到光源驱动器的信号,并且可以是具有预定频率的PWM信号。光控制信号的延迟时间可以由诸如延迟锁定环路的延迟电路来确定。在示例实施例中,光控制信号的延迟时间可以使用安装在成像设备上的延迟电路或使用用于执行校准操作的与成像设备一起安装在测试板上的延迟电路来初始化。在示例实施例中,延迟时间可以被初始化为零。在示例实施例中,校准操作可以由成像设备和控制成像设备的外部处理器执行。
当初始化光控制信号的延迟信号时,可以初始化光控制信号的占空比(S31)。在示例实施例中,光控制信号的占空比可以由包括在成像设备中的逻辑电路初始化。在示例实施例中,光控制信号的占空比可以被初始化为50%。
光源驱动器可以使用具有初始化的延迟时间和占空比的光控制信号来驱动光发射设备,并且图像传感器可以使用从测试物体反射的光接收信号来计算测试物体的深度数据(S32)。在操作S32中计算的深度数据可以包括关于成像设备和测试物体之间的距离的信息。
处理器可以根据延迟时间来计算参考数据(S33)。参考数据可以由光控制信号和光接收信号之间的相位差来确定,并且当光源采用通过向光控制信号应用预定延迟时间而获得的延迟信号来操作时,参考数据可以由通过向光控制信号和光接收信号之间相位差反映延迟时间而获得的延迟相位差确定。
处理器可以通过将在操作S32和操作S33中获得的深度数据与参考数据进行比较来获得操作误差(S34)。操作误差可能是深度数据和参考数据之间的差。已经获得操作误差的处理器可以确定光控制信号的占空比是否为最小占空比。光控制信号的占空比可以大于输入到成像设备的像素的光电控制信号的占空比,并且最小占空比可以在上述条件下确定。
当光控制信号的占空比没有达到最小占空比(S35中的否)时,处理器可以控制成像设备以减少光控制信号的占空比(S36)。当成像设备减少光控制信号的占空比时,可以再次执行操作S32至操作S34。因此,可以重复执行操作S32至操作S34,直到已经将光控制信号的占空比减少到最小占空比,并且处理器可以在改变具有单个延迟时间的光控制信号的占空比的同时,获得多个操作误差。
当光控制信号的占空比作为减少当前占空比的结果而达到最小占空比或降低到最小占空比以下(S35中的是)时,处理器可以增加光控制信号的延迟时间(S37)。当光控制信号的延迟时间增加时,处理器可以确定光控制信号的延迟时间是否达到最大延迟时间(S38)。当根据确定的结果的延迟时间没有达到最大延迟时间(操作S38中的否)时,成像设备可以重新初始化光控制信号的占空比(S31),并且可以在减少占空比的同时再次获得操作误差。
因此,在参考图15描述的示例实施例中,可以通过在没有延迟时间的情况下减少光控制信号的占空比来获得操作误差,可以通过减少具有第一延迟时间的光控制信号的占空比来获得操作误差,并且可以通过减少具有比第一延迟时间更长的第二延迟时间的光控制信号的占空比来获得操作误差。当延迟时间达到最大延迟时间时,处理器可以根据延迟时间来分类操作误差,并且可以确定在每个延迟时间的操作误差中的最大值和最小值之间的差作为结果值(S39)。处理器可以确定光控制信号的占空比为与针对延迟时间获得的结果值当中的最小结果值相对应的占空比(S40)。
在下面的描述中,将参考图16A至图18C详细描述在示例实施例中确定成像设备中的光控制信号的占空比的方法。
图16A至图18C是示出根据示例实施例的成像设备的操作的示意图。
图16A至图16C示出当延迟时间没有被反映在光控制信号中时的成像设备的操作。图17A至图17C示出当向光控制信号应用第一延迟时间TD1时的成像设备的操作。图18A至图18C示出当向光控制信号应用比第一延迟时间TD1更长的第二延迟时间TD2时的成像设备的操作。
参考图16A,第一占空比(即光控制信号的初始占空比)可以是50%。光电控制信号PG1-PG4中的每一个的周期与光控制信号的周期TPD相同,并且占空比可以是25%,即第一占空比的1/2。光接收信号可以具有相对于光控制信号的第一相位差
Figure BDA0003436791330000201
在参考图16A描述的示例实施例中,由成像设备输出的深度数据可以根据使光电控制信号PG1-PG4中的每一个与光接收信号重叠的曝光时间ex1-ex3来确定。逻辑电路可以通过将与曝光时间ex1-ex3相对应的像素信号转换为原始数据来生成第一深度数据。可以将第一深度数据与第一参考数据(测试物体、对象和成像设备之间的实际距离)进行比较。成像设备的逻辑电路或在校准操作期间控制成像设备的处理器可以通过计算第一深度数据和第一参考数据之间的差来生成第一操作误差。
当生成第一操作误差时,成像设备的逻辑电路可以将光控制信号的占空比从第一占空比减少到第二占空比。在参考图16B描述的示例实施例中,第二占空比可以是40%。由于光控制信号的占空比降低,因此使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex1-ex3可以与参考图16A描述的示例实施例不同。因此,由成像设备输出的第二深度数据也可以与第一深度数据不同。成像设备的逻辑电路或处理器可以通过计算第二深度数据和第一参考数据之间的差来生成第二操作误差。
当生成第二操作误差时,光控制信号的占空比可以被减少到如参考图16C描述的第三占空比。在示例实施例中,第三占空比可以是1/3或33%。由于光控制信号的占空比改变,因此使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex1和曝光时间ex2可以再次改变,并且由成像设备生成的第三深度数据可以与第一深度数据和第二深度数据不同。成像设备的逻辑电路或处理器可以通过计算第三深度数据和第一参考数据之间的差来生成第三操作误差。
当生成第一操作误差至第三操作误差时,光控制信号的占空比可以再次被初始化为第一占空比。此外,处理器可以通过使用布置在成像设备之内或成像设备之外的延迟电路按第一延迟时间TD1延迟光控制信号来生成延迟信号。参考图17A至图17C,由于光控制信号按第一延迟时间TD1延迟,因此光接收信号也可能按第一延迟时间TD1延迟。因此,同步到具有与光控制信号的相位相同的相位的第一光电控制信号PG1可以具有相对于光接收信号的第二相位差
Figure BDA0003436791330000211
第二相位差
Figure BDA0003436791330000212
可以被确定为第一相位差
Figure BDA0003436791330000213
和第一延迟时间TD1的和。
因此,参考图17A,使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex1-ex3可以与参考图16A描述的示例实施例不同。在不调整成像设备和测试物体之间的实际距离的情况下,通过由成像设备感测测试物体而生成的深度数据可能会改变。
成像设备可以生成与曝光时间ex1-ex3相对应的第四深度数据,并且在校准操作期间控制成像设备的处理器可以使用第二相位差
Figure BDA0003436791330000214
来计算第二参考数据。在示例实施例中,可以通过向等式1应用第二相位差
Figure BDA0003436791330000215
来计算第二参考数据。成像设备的逻辑电路或处理器可以通过计算第四深度数据和第二参考数据之间的差来生成第四操作误差。
参考图17B,在光控制信号的延迟时间被维持为第一延迟时间TD1的同时,光控制信号的占空比可以被减少到第二占空比。成像设备可以生成与曝光时间ex2和曝光时间ex3相对应的第五深度数据。由于第一光电控制信号PG1和光接收信号之间的相位差是如参考图17A描述的第二相位差
Figure BDA0003436791330000221
因此第五操作误差可以通过计算第五深度数据和第二参考数据之间的差来获得。
参考图17C,光控制信号的占空比可以被减少到第三占空比。光控制信号的延迟时间可以被维持为第一延迟时间TD1。成像设备可以生成与曝光时间ex2和曝光时间ex3相对应的第六深度数据,并且处理器可以通过计算第六深度数据和第二参考数据之间的差来获得第六操作误差。
当获得第四操作误差至第六操作误差时,成像设备可以将光控制信号的占空比初始化为第一占空比。此外,处理器可以使用布置在成像设备之内或成像设备之外的延迟电路来按比第一延迟时间TD1更长的第二延迟时间TD2延迟光控制信号。参考图18A至图18C,光接收信号也可以按第二延迟时间TD2延迟。因此,同步到具有与光控制信号的相位相同的相位的第一光电控制信号PG1与光接收信号可以具有第三相位差
Figure BDA0003436791330000222
第三相位差
Figure BDA0003436791330000223
可以被确定为第一相位差
Figure BDA0003436791330000224
和第二延迟时间TD2的和。
因此,参考图18A,使光电控制信号PG1-PG4与光接收信号重叠的曝光时间ex3和曝光时间ex4可以与图16A和图17A中所示的示例实施例不同。此外,可以在不调整成像设备和测试物体之间的实际距离的情况下,改变通过由成像设备感测测试物体而生成的深度数据。
成像设备可以生成与曝光时间ex3和曝光时间ex4相对应的第七深度数据,并且在校准操作期间控制成像设备的处理器可以使用第三相位差
Figure BDA0003436791330000226
和等式1来计算第三参考数据。成像设备的逻辑电路或处理器可以通过计算第七深度数据和第二参考数据之间的差来生成第七操作误差。
参考图18B,在光控制信号的延迟时间被维持为第二延迟时间TD2的同时,光控制信号的占空比可以被减少到第二占空比。成像设备可以生成与曝光时间ex3和曝光时间ex4相对应的第八深度数据,并且由于曝光时间ex3和曝光时间ex4与参考图18A描述的示例实施例不同,因此第八深度数据可能与第七深度数据不同。由于第一光电控制信号PG1和光接收信号之间的相位差是第二相位差
Figure BDA0003436791330000225
因此第八操作误差可以通过计算第八深度数据和第二参考数据之间的差来获得。
参考图18C,光控制信号的占空比可以被减少到第三占空比,并且光控制信号的延迟时间可以被维持为第二延迟时间TD2。成像设备可以根据光控制信号的占空比的减少,生成与改变后的曝光时间ex3和曝光时间ex4相对应的第九深度数据,并且处理器可以通过计算第九深度数据和第二参考数据之间的差来获得第九操作误差。
作为示例,在图18A至图18C所示的示例实施例中,第七深度数据可以大于第八深度数据,并且第八深度数据可以大于第九深度数据。因此,在第七深度数据至第九深度数据当中,与具有与第二参考数据的大小最相似的大小的深度数据相对应的占空比可以被确定为被优化以提高成像设备的性能的光控制信号的占空比。
在示例实施例中,在参考图16A至图18C描述的示例实施例中获得的第一操作误差至第九操作误差可以根据占空比进行分类。光控制信号具有第一占空比的第一操作误差、第四操作误差和第七操作误差可以被分类为第一组。光控制信号具有第二占空比的第二操作误差、第五操作误差和第八操作误差可以被分类为第二组。光控制信号具有第三占空比的第三操作误差、第六操作误差和第九操作误差可以被分类为第三组。
成像设备的逻辑电路或成像设备的外部处理器可以通过计算包括在第一组至第三组中的每一个中的操作误差当中的最大值和最小值之间的差来计算第一结果值至第三结果值。可以选择第一结果值至第三结果值当中的最小结果值,并且可以选择与所选择的结果值相对应的占空比作为光控制信号的占空比。
图19至图21是示出根据示例实施例的包括成像设备的电子设备的示意图。
图19示出根据示例实施例的包括成像设备的电子设备500的外观。在图19中,电子设备500可以被实现为例如移动设备或智能电话。在示例实施例中,除了移动设备之外,电子设备500还可以被应用于诸如电视、台式计算机、监视器、冰箱的设备以及诸如门锁和自动取款机的提供安全性的设备。
参考图19,电子设备500可以包括壳体510和相机单元520。相机单元520可以被布置在壳体510的后表面上和/或在布置有显示器的壳体510的前表面上。相机单元520可以包括多个相机521-523和光源524。
多个相机521-523中的至少一个可以被实现为根据示例实施例的成像设备。在示例实施例中,成像设备可以采用预定光控制信号来驱动安装在相机单元520上的光源524。由通过光控制信号操作的光源输出的光可以从对象反射,并且可以入射到成像设备的像素阵列,以生成光接收信号。光接收信号与光控制信号可以具有预定相位差,并且成像设备可以通过计算光控制信号和光接收信号之间的相位差来生成包括对象的深度图像。成像设备的具体操作可以参考上面参考图1至图18描述的示例实施例进行理解。在示例实施例中,光控制信号的占空比可以小于输入到通过与光源524互锁而操作的成像设备的像素阵列的光电控制信号的占空比的两倍。因此,光控制信号的占空比可以不是光电控制信号的占空比的整数倍。
参考图20,电子设备1000可以包括相机模块组1100、应用处理器1200、PMIC 1300以及存储或外部存储器1400。
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。虽然附图示出三个相机模块1100a、1100b和1100c,但是这仅是示例,并且相机模块组1100可以包括例如两个相机模块或者四个或更多个的相机模块。在示例实施例中,包括在相机模块组1100中的多个相机模块1100a、1100b和1100c中的至少一个是根据上面参考图1至图18描述的示例实施例之一的成像设备。
在下文中,参考图21,将更详细地描述相机模块1100b的详细配置,并且下面的描述同样适用于根据示例实施例的相机模块1100a和相机模块1100b。
参考图21,相机模块1100b可以包括棱镜1105、光路折叠元件(在下文中称为“OPFE”)1110、致动器(actuator)1130、图像感测设备1140和存储单元1150。
棱镜1105可以包括由光反射材料组成的反射表面1107,以改变从外部入射的光L的路径。在示例实施例中,棱镜1105可以将在第一方向X上入射的光L的路径改变到垂直于第一方向X的第二方向Y上。棱镜1105可以使由光反射材料组成的反射表面1107在方向A上绕中心轴线1106旋转,或者可以在方向B上旋转中心轴线1106,以将在第一方向X上入射的入射光L的路径改变到垂直的第二方向Y上。OPFE 1110还可以在垂直于第一方向X和第二方向Y的第三方向Z上移动。例如,棱镜1105在A方向上的最大旋转角度可以在正(+)A方向上为15度或更小,并且可以在负(-)A方向上为大于15度。棱镜1105可以例如在正(+)B方向或负(-)B方向上移动大约20度、在10度和20度之间、或者在15度和20度之间,并且棱镜1105可以在正(+)B方向或负(-)B方向上移动相同的角度,或者可以移动相似(在大约1度的范围内)的角度。棱镜1105可以在平行于中心轴线1106的延伸方向的第三方向(例如,Z方向)上移动反射表面1107。
OPFE 1110可以包括例如包括m(其中,m是自然数)个组的光学透镜。m个透镜可以在第二方向Y上移动,以改变相机模块1100b的光学变焦比。例如,当相机模块1100b的基本光学变焦比为Z并且包括在OPFE 1110中的m个光学透镜移动时,相机模块1100b的光学变焦比可以是3Z、5Z或者5Z或更高。
致动器1130可以将OPFE 1110或光学透镜移动到特定位置。在示例实施例中,致动器1130可以调整光学透镜的位置,使得成像设备1142可以被布置在光学透镜的焦距处,以供准确感测。
图像感测设备1140可以包括成像设备1142、控制逻辑1144和存储器1146。成像设备1142可以使用通过光学透镜提供的光L来感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的整体操作。控制逻辑1144可以根据通过控制信号线CSLb提供的控制信号,控制相机模块1100b的操作。
存储器1146可以存储用于相机模块1100b的操作的信息,诸如校准数据1147。校准数据1147可以包括用于相机模块1100b使用从外部提供的光L来生成图像数据的信息。校准数据1147可以包括例如上述的关于旋转的角度的信息、关于焦距的信息、关于光学轴线的信息等。当相机模块1100b被实现为焦距根据光学透镜的位置来改变的多状态相机时,校准数据1147可以包括关于针对光学透镜的每个位置(或每个状态)的焦距值和自动对焦的信息。
存储单元1150可以存储通过成像设备1142感测的图像数据。存储单元1150可以被布置在图像感测设备1140之外,并且可以被实现为与形成图像感测设备1140的传感器芯片堆叠。在示例实施例中,存储单元1150可以被实现为例如电可擦除可编程只读存储器(EEPROM)。
参考图20和图21,在示例实施例中,多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。因此,根据包括在其中的致动器1130的操作,多个相机模块1100a、1100b和1100c中的每一个可以包括相同或不同的校准数据1147。
在示例实施例中,多个相机模块1100a、1100b和1100c当中的一个相机模块(例如,1100b)可以被实现为例如包括上述的棱镜1105和OPFE 1110的折叠透镜型相机模块,并且其他相机模块(例如,1100a和1100b)可以是不包括棱镜1105和OPFE 1110的垂直型相机模块。
在示例实施例中,例如,多个相机模块1100a、1100b和1100c当中的一个相机模块(例如,1100c)可以被实现为例如可以使用红外线(IR)来提取深度信息的垂直型深度相机。在这种情况下,应用处理器1200可以将从深度相机提供的图像数据与从另一相机模块(例如,相机模块1100a或相机模块1100b)提供的图像数据合并,并且可以生成3D深度图像。
在示例实施例中,多个相机模块1100a、1100b和1100c当中的至少两个相机模块(例如,1100a和1100b)可以具有不同的视场。在这种情况下,例如,多个相机模块1100a、1100b和1100c当中的至少两个相机模块(例如,1100a和1100b)的光学透镜可以彼此不同。
在示例实施例中,多个相机模块1100a、1100b和1100c的视场可以彼此不同。在这种情况下,包括在多个相机模块1100a、1100b和1100c中的每一个中的光学透镜也可以彼此不同。
在示例实施例中,多个相机模块1100a、1100b和1100c可以被配置为在物理上彼此隔离。因此,一个成像设备1142的感测区域可以不会由多个相机模块1100a、1100b和1100c划分和使用,并且独立的成像设备1142可以被布置在多个相机模块1100a、1100b和1100c中的每一个中。此外,多个相机模块1100a、1100b和1100c中的至少一个可以包括用于基于与对象的距离信息来生成深度图像的ToF传感器。
参考图20,应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以被实现为与多个相机模块1100a、1100b和1100c分开。在示例实施例中,应用处理器1200和多个相机模块1100a、1100b和1100c可以被实现为作为单独的半导体芯片彼此分开。
图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。图像处理设备1210可以包括与多个相机模块1100a、1100b和1100c的数量相对应的多个子图像处理器1212a、1212b和1212c。由相机模块1100a、相机模块1100b和相机模块1100c中的每一个生成的图像数据可以通过彼此分开的图像信号线ISLa、图像信号线ISLb和图像信号线ISLc,被提供给相对应的子图像处理器1212a、子图像处理器1212b和子图像处理器1212c。例如,由相机模块1100a生成的图像数据可以通过图像信号线ISLa被提供给子图像处理器1212a,由相机模块1100b生成的图像数据可以通过图像信号线ISLb被提供给子图像处理器1212b,并且由相机模块1100c生成的图像数据可以通过图像信号线ISLc被提供给子图像处理器1212c。图像数据传输可以使用例如基于移动工业处理器接口(MIPI)的相机串行接口(CSI)来执行。
在示例实施例中,一个子图像处理器可以被设置为与多个相机模块相对应。在示例实施例中,子图像处理器1212a和子图像处理器1212c可以不被实现为彼此分开,而是可以被实现为集成到单个子图像处理器中,以及由相机模块1100a和相机模块1100c提供的图像数据可以通过选择设备(例如,多路复用器)来选择,并且可以被提供给集成的子图像处理器。
提供给子图像处理器1212a、子图像处理器1212b和子图像处理器1212c中的每一个的图像数据可以被提供给图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号,使用由子图像处理器1212a、子图像处理器1212b和子图像处理器1212c中的每一个提供的图像数据来生成输出图像。在示例实施例中,图像生成器1214可以根据图像生成信息或模式信号,通过合并由具有不同的视场的相机模块1100a、相机模块1100b、相机模块1100c生成的图像数据的至少一些部分来生成输出图像。图像生成器1214可以根据图像生成信息或模式信号,通过选择由具有不同的视场的相机模块1100a、相机模块1100b和相机模块1100c生成的图像数据之一来生成输出图像。图像生成信息可以包括缩放信号或缩放系数。模式信号可以是例如基于由用户选择的模式的信号。当图像生成信息是缩放信号(缩放系数)并且相机模块1100a、相机模块1100b和相机模块1100c具有不同的视场时,图像生成器1214可以根据缩放信号的类型,执行不同的操作。例如,当缩放信号是第一信号时,可以将由相机模块1100a输出的图像数据与由相机模块1100c输出的图像数据合并,并且可以使用合并后的图像信号和没有在合并中使用的由相机模块1100b输出的图像数据来生成输出图像。当缩放信号是与第一信号不同的第二信号时,图像生成器1214可以不执行图像数据合并,并且可以通过选择由相机模块1100a、相机模块1100b和相机模块1100c中的每一个输出的图像数据之一来生成输出图像。
在示例实施例中,图像生成器1214可以从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同的曝光时间的多个图像数据,并且可以对其执行高动态范围(HDR)处理,从而可以生成具有增加的动态范围的合并的图像数据。
相机模块控制器1216可以向相机模块1100a、相机模块1100b和相机模块1100c中的每一个提供控制信号。从相机模块控制器1216生成的控制信号可以通过彼此分开的控制信号线CSLa、控制信号线CSLb和控制信号线CSLc,被提供给相对应的相机模块1100a、相机模块1100b和相机模块1100c。
多个相机模块1100a、1100b和1100c之一可以根据包括缩放信号(zoom signal)或模式信号的图像生成信息,被指定为主相机(例如,1100b),并且其他相机模块(例如,1100a和1100c)可以被指定为从相机。上述的信息可以被包括在控制信号中,并且可以通过彼此分开的控制信号线CSLa、控制信号线CSLb和控制信号线CSLc,被提供给相对应的相机模块1100a、相机模块1100b和相机模块1100c。作为主设备和从设备操作的相机模块可以根据缩放系数或操作模式信号来改变。例如,当相机模块1100a的视场比相机模块1100b的视场更宽并且缩放系数表现为低缩放比时,相机模块1100b可以作为主设备操作,并且相机模块1100a可以作为从设备操作。或者,当缩放系数表现为高缩放比时,相机模块1100a可以作为主设备操作,并且相机模块1100b可以作为从设备操作。
在示例实施例中,从相机模块控制器1216提供给相机模块1100a、相机模块1100b和相机模块1100c中的每一个的控制信号可以包括同步使能信号。例如,当相机模块1100b是主相机并且相机模块1100a和相机模块1100c是从相机时,相机模块控制器1216可以向相机模块1100b传输同步使能信号。接收同步使能信号的相机模块1100b可以基于所提供的同步使能信号来生成同步信号,并且可以向相机模块1100a和相机模块1100c传输生成的同步信号。相机模块1100b以及相机模块1100a和相机模块1100c可以采用同步信号来同步,并且可以向应用处理器1200传输图像数据。
在示例实施例中,从相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可以包括根据模式信号的模式信息。多个相机模块1100a、1100b和1100c可以基于模式信息,在与感测速度相关的第一操作模式和第二操作模式下操作。
在第一操作模式下,多个相机模块1100a、1100b和1100c可以以第一速率生成图像信号(例如,可以以第一帧速率生成图像信号),可以以比第一速率更高的第二速率编码图像信号(例如,可以编码比第一帧速率更高的第二帧速率的图像信号),并且可以向应用处理器1200传输编码后的图像信号。在这种情况下,第二速度可以是第一速度的30倍或更低。应用处理器1200可以将接收到的图像信号(编码的图像信号)存储在设置在其中的存储器1230或布置在应用处理器1200之外的外部存储器1400中,可以从存储器1230或外部存储器1400读出编码的图像信号,并且可以显示基于解码的图像信号来生成的图像数据。例如,图像处理设备1210的多个子图像处理器1212a、1212b和1212c当中的相对应的子处理器可以执行解码,并且还可以对解码的图像信号执行图像处理。
在第二操作模式下,多个相机模块1100a、1100b和1100c可以以比第一速率更低的第三速率生成图像信号(例如,生成比第一帧速率更低的第三帧速率的图像信号),并且可以向应用处理器1200传输图像信号。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对接收到的图像信号执行图像处理,或者可以将图像信号存储在存储器1230或外部存储器1400中。
PMIC 1300可以向多个相机模块1100a、1100b和1100c中的每一个提供电力(power),诸如电源电压(power voltage)。在示例实施例中,PMIC 1300可以在应用处理器1200的控制下通过功率信号线(power signal line)PSLa向相机模块1100a供应第一功率,可以通过功率信号线PSLb向相机模块1100b供应第二功率,并且可以通过功率信号线PSLc向相机模块1100c供应第三功率。PMIC 1300可以响应于来自应用处理器1200的功率控制信号(power control signal)PCON而生成与多个相机模块1100a、1100b和1100c中的每一个相对应的功率,并且还可以调整功率水平。功率控制信号PCON可以包括用于多个相机模块1100a、1100b和1100c中的每个操作模式的功率调整信号(power adjustment signal)。操作模式可以包括低功率模式,并且在这种情况下,功率控制信号PCON可以包括关于相机模块在低功率模式和确定的功率水平下操作的信息。提供给多个相机模块1100a、1100b和1100c的功率水平可以相同或不同。此外,功率水平可以动态地改变。
通过总结和回顾,成像设备可以使用光信号来生成包括距离信息的深度图像。这样的成像设备可以被安装在各种电子设备上。用于提高生成深度图像的成像设备的性能的方法是可预期的。
如上所述,实施例可以提供一种可以减少由谐波失真引起的噪声的影响并且可以生成具有高准确度的深度图像的成像设备及其控制方法。
根据示例实施例,通过将计算深度(其可以随着用于驱动光源的光控制信号的占空比而改变,并且可以在使用成像设备感测距对象的距离时被输出)与成像设备和对象之间的实际深度进行比较,可以选择具有计算深度和实际深度之间的最小差的占空比。因此,光源可以由具有优化的占空比的光控制信号驱动,使得成像设备的性能可以提高。此外,通过使用延迟光控制信号的方法来反映成像设备和对象之间的距离的改变,可以迅速地选择光控制信号的优化占空比。
在本文中已经公开了示例实施例,并且虽然采用了特定术语,但是特定术语仅以一般和描述性的含义使用和解释,而不是出于限制的目的。在一些情况下,如同在提交本申请时对于本领域普通技术人员而言将是明显的,除非另有特别指示,否则结合特定实施例描述的特征、特点和/或元素可以单独使用或与结合其他实施例描述的特征、特点和/或元素结合使用。因此,本领域技术人员将理解,在不背离如随附的权利要求提出的本发明的精神和范围的情况下,可以在形式和细节上进行各种改变。

Claims (20)

1.一种成像设备,包括:
光源,被配置为根据具有第一占空比的光控制信号来操作;
像素,被布置在阵列中,每个所述像素包括:
光电二极管,被配置为响应于由所述光源输出并从对象反射的光来生成电荷,以及
像素电路,被配置为输出与所述电荷相对应的像素信号;以及逻辑电路,被配置为使用所述像素信号来生成用于生成深度图像的原始数据,并且被配置为向每个所述像素中的像素电路提供具有第二占空比的光电控制信号,其中,所述第一占空比不是所述第二占空比的整数倍。
2.根据权利要求1所述的成像设备,其中,所述第一占空比小于所述第二占空比的两倍。
3.根据权利要求1所述的成像设备,其中,所述光控制信号的频率等于所述光电控制信号的频率。
4.根据权利要求1所述的成像设备,其中:
所述逻辑电路包括配置为驱动所述像素的时钟驱动器、配置为从每个所述像素接收所述像素信号的读出电路、以及配置为使用所述像素信号来生成所述原始数据的控制逻辑,并且
所述光源包括光发射设备和配置为根据所述光控制信号来驱动所述光发射设备的光源驱动器。
5.根据权利要求4所述的成像设备,其中,所述控制逻辑被配置为在校准操作期间向所述光源驱动器传输通过延迟所述光控制信号而获得的延迟信号作为光控制信号。
6.根据权利要求5所述的成像设备,其中:
所述控制逻辑被配置为使用所述延迟信号来计算参考数据,以及从在所述光源根据所述延迟信号来操作时生成的原始数据计算深度数据,并且
所述控制逻辑被配置为使用所述深度数据和所述参考数据之间的差来计算操作误差。
7.根据权利要求4所述的成像设备,其中:
所述控制逻辑被配置为在第一校准操作期间确定所述第一占空比为比所述第二占空比更大的第一参考占空比,
所述控制逻辑被配置为在第二校准操作期间确定第一占空比为比所述第二占空比更大且比所述第一参考占空比更小的第二参考占空比,以及
所述控制逻辑被配置为在所述第一校准操作和所述第二校准操作中的每一个中,向所述光源驱动器按顺序传输通过按不同的延迟时间延迟所述光控制信号而获得的多个延迟信号作为光控制信号。
8.根据权利要求7所述的成像设备,其中:
所述控制逻辑被配置为使用所述延迟时间来计算多个参考数据,以及在所述光源根据所述多个延迟信号来操作的同时,使用所述原始数据来生成多个深度数据,并且
所述控制逻辑被配置为通过将所述多个参考数据与所述多个深度数据进行比较,获得用于所述第一校准操作和所述第二校准操作中的每一个中的多个参考数据的操作误差。
9.根据权利要求8所述的成像设备,其中:
所述控制逻辑被配置为使用所述第一校准操作和所述第二校准操作中的每一个中的操作误差当中的最大值和最小值之间的差来确定第一结果值和第二结果值,以及
所述控制逻辑被配置为通过将所述第一结果值与所述第二结果值进行比较,确定所述第一占空比。
10.根据权利要求9所述的成像设备,其中:
所述控制逻辑被配置为在所述第一结果值小于所述第二结果值时确定所述第一参考占空比作为所述第一占空比,以及
所述控制逻辑被配置为在所述第二结果值小于所述第一结果值时确定所述第二参考占空比作为所述第一占空比。
11.根据权利要求1所述的成像设备,其中:
所述逻辑电路被配置为向所述像素电路输入多个光电控制信号,其中,所述多个光电控制信号分别具有相对于所述光控制信号的0度、90度、180度和270度的相位差,以及
所述多个光电控制信号中的每一个的下降沿在与所述光控制信号的下降沿的时间点不同的时间点生成。
12.根据权利要求1所述的成像设备,其中,所述第一占空比为1/3,并且所述第二占空比为1/4。
13.一种成像设备,包括:
光源,包括至少一个光发射设备和用于驱动所述光发射设备的光源驱动器;
像素阵列,在所述像素阵列中布置有多个像素,所述多个像素中的每一个包括用于响应于由所述光源输出并从对象反射的光接收信号而生成电荷的光电二极管,以及用于输出与所述光电二极管的电荷相对应的像素信号的像素电路;以及
逻辑电路,包括配置为通过获得所述像素信号来生成用于生成深度图像的原始数据以及输出具有预定解调频率和占空比的光控制信号的控制逻辑,并且包括配置为通过延迟所述光控制信号来向所述光源驱动器输出延迟信号的延迟电路,
其中,所述逻辑电路被配置为向连接到所述多个像素中的每一个中的光电二极管的像素电路输入具有相对于所述光控制信号的不同的相位差的多个光电控制信号。
14.根据权利要求13所述的成像设备,其中:
所述控制逻辑被配置为选择正常模式和校准模式之一,以及
所述延迟电路在正常模式下停用,并且在校准模式下激活。
15.根据权利要求14所述的成像设备,其中,所述控制逻辑被配置为在所述校准模式下依次将所述延迟信号的占空比确定为第一参考占空比和比所述第一参考占空比更小的第二参考占空比。
16.根据权利要求15所述的成像设备,其中:
所述控制逻辑被配置为从在所述延迟信号的占空比为所述第一参考占空比时生成的第一原始数据计算第一深度数据,并且所述控制逻辑被配置为从在所述延迟信号的占空比为所述第二参考占空比时生成的第二原始数据计算第二深度数据,以及
所述控制逻辑被配置为通过将所述第一深度数据和所述第二深度数据中的每一个与预定参考数据进行比较,选择所述第一参考占空比或所述第二参考占空比作为所述光控制信号的占空比。
17.根据权利要求16所述的成像设备,其中,所述控制逻辑被配置为使用解调频率和所述延迟信号的延迟时间来计算所述预定参考数据。
18.根据权利要求16所述的成像设备,其中,在所述校准模式下,在所述像素阵列和所述对象之间的距离被维持恒定的同时,所述控制逻辑计算所述第一深度数据和所述第二深度数据。
19.根据权利要求15所述的成像设备,其中,所述第一参考占空比和所述第二参考占空比大于所述多个光电控制信号中的每一个的占空比。
20.一种控制包括光源和图像传感器的成像设备的方法,所述方法包括:
将用于驱动所述光源的光控制信号的占空比设置为第一参考占空比;
在改变所述光控制信号的延迟时间的同时,获得与根据所述光控制信号的延迟时间的参考数据和由所述图像传感器生成的深度数据之间的差相对应的第一操作误差;
当所述光控制信号的延迟时间达到最大延迟时间时,计算与所述第一操作误差当中的最大值和最小值之间的差相对应的第一结果值;
将所述光控制信号的占空比设置为第二参考占空比;
在改变所述光控制信号的延迟时间的同时,获得与根据所述光控制信号的延迟时间的参考数据和由所述图像传感器生成的深度数据之间的差相对应的第二操作误差;
当所述光控制信号的延迟时间达到最大延迟时间时,计算与所述第二操作误差当中的最大值和最小值之间的差相对应的第二结果值;以及
基于所述第一结果值和所述第二结果值,确定所述第一参考占空比或所述第二参考占空比作为所述光控制信号的占空比。
CN202111616275.4A 2020-12-28 2021-12-27 成像设备及其控制方法 Pending CN114697587A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200184615A KR20220093663A (ko) 2020-12-28 2020-12-28 이미징 장치 및 그 제어 방법
KR10-2020-0184615 2020-12-28

Publications (1)

Publication Number Publication Date
CN114697587A true CN114697587A (zh) 2022-07-01

Family

ID=82118214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111616275.4A Pending CN114697587A (zh) 2020-12-28 2021-12-27 成像设备及其控制方法

Country Status (3)

Country Link
US (1) US11598863B2 (zh)
KR (1) KR20220093663A (zh)
CN (1) CN114697587A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022124675A1 (de) 2022-09-26 2024-03-28 Ifm Electronic Gmbh PMD-Sensor mit mehreren Halbleiterebenen

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0933649A3 (en) 1998-01-28 2002-03-27 Nikon Corporation Distance measurement apparatus
JP2006267035A (ja) 2005-03-25 2006-10-05 Matsushita Electric Works Ltd パルスレーダ装置
DE102007000377A1 (de) 2007-07-16 2009-01-22 Hilti Aktiengesellschaft Laserdistanzhandmessgerät mit einem Impulsrückmischverfahren
KR101301376B1 (ko) 2012-03-02 2013-08-28 순천대학교 산학협력단 거리 측정시스템
WO2015086663A1 (en) 2013-12-11 2015-06-18 Mesa Imaging Ag Time-of-light-based systems using reduced illumination duty cycles
KR101958554B1 (ko) 2017-06-28 2019-03-14 현대오토에버 주식회사 블라인딩 공격을 회피하는 회전식 라이더시스템
KR102624984B1 (ko) 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
CN113518930B (zh) * 2019-03-08 2024-05-03 布鲁克曼科技株式会社 距离图像传感器以及距离图像拍摄装置
KR20220018215A (ko) * 2020-08-06 2022-02-15 삼성전자주식회사 비행 거리 센서 및 비행 거리 센서의 거리 측정 방법

Also Published As

Publication number Publication date
US20220210357A1 (en) 2022-06-30
KR20220093663A (ko) 2022-07-05
US11598863B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
US20060038915A1 (en) Image capturing apparatus
CN114697587A (zh) 成像设备及其控制方法
US20220182589A1 (en) Image device and operation method of image device
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
CN114070972A (zh) 包括图像传感器的电子设备
EP3462730B1 (en) Image sensing circuit and image depth sensing system
KR20220169822A (ko) 픽셀, 및 이를 포함하는 이미지 센서
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
US11601611B2 (en) Pulse generator and image sensor including the same
US20220021794A1 (en) Camera module and imaging apparatus including the same
US11818484B2 (en) Imaging device
CN115701130A (zh) 补偿动态视觉传感器的时间延迟的电子装置
US20230254474A1 (en) Image sensor, processor of image sensor, and image processing method
US11722795B2 (en) Image processing device for noise reduction using dual conversion gain and operation method thereof
US11683603B2 (en) Image sensor including pixels and reference pixels, operating method of the image sensor, and electronic device including the image sensor
US20230132809A1 (en) Image sensor, method of sensing image, and electronic device including the same
US20230011827A1 (en) Image sensor using transfer gate signal having three voltage levels, and method of operating the same
US20230073138A1 (en) Image sensor, image processing system including the same, and image processing method
US20220247949A1 (en) Image sensor and electronic device including the same
US11601612B2 (en) Imaging device and method of operating the same
KR20230008496A (ko) 이미지 센서 및 이미지 센서의 동작 방법
EP4120674A1 (en) Image sensor sampling pixel signal multiple times and an operating method of the image sensor
CN113840061A (zh) 相机模块、相关操作方法以及电子设备
KR20240050051A (ko) 이미지 센서, 상기 이미지 센서의 동작 방법 및 이미지 처리 장치
CN117596502A (zh) 图像传感器及其操作方法、包括图像传感器的相机模块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination