CN113841394A - 相机模块 - Google Patents

相机模块 Download PDF

Info

Publication number
CN113841394A
CN113841394A CN202080036210.XA CN202080036210A CN113841394A CN 113841394 A CN113841394 A CN 113841394A CN 202080036210 A CN202080036210 A CN 202080036210A CN 113841394 A CN113841394 A CN 113841394A
Authority
CN
China
Prior art keywords
signal
light
output
light signal
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080036210.XA
Other languages
English (en)
Other versions
CN113841394B (zh
Inventor
朴贵莲
李庸仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN113841394A publication Critical patent/CN113841394A/zh
Application granted granted Critical
Publication of CN113841394B publication Critical patent/CN113841394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种相机模块，包括：光输出单元，向对象输出第一光信号和第二光信号；传感器，用于接收作为被对象反射的第一光信号的第一反射光信号；以及控制单元，使用第一光信号和第一反射光信号来获取对象的第一距离信息，其中，第一光信号的输出比第二光信号的输出小，并且控制单元确定是否使用第一距离信息输出第二光信号。

Description

相机模块
技术领域
本发明涉及一种用于提取距离信息的相机模块。
背景技术
三维内容应用于许多领域，例如，教育、制造业、自动驾驶领域以及游戏和文化领域，并且获取三维内容需要距离信息(深度地图)。距离信息是表示空间距离的信息，是指在二维图像中一个点相对于另一个点的视角信息。
作为获取距离信息的方法，正在使用将红外(IR)结构光投射到对象上的方法、使用立体相机的方法、飞行时间(TOF)方法等。根据TOF方法，使用关于发射和反射的光的信息计算到对象的距离。ToF方法的最大优点是可以快速地实时提供有关3D空间的距离信息。此外，无需用户应用单独的算法或执行硬件校正即可获得准确的距离信息。此外，即使在测量非常近的物体或测量移动物体时也可以获得准确的距离信息。
然而，当将一定量的光照射在非常近的对象(例如，皮肤或眼睛)上预定时间时，存在难以确保对象安全的问题。
发明内容
技术问题
本发明旨在提供一种使用飞行时间(TOF)方法提取距离信息的相机模块。
本发明还旨在提供一种在容易确保对象的安全性的同时精确地确定与对象的距离的相机模块。
本发明还旨在提供一种当与对象的短距离被确定时具有改进的电力效率的相机模块。
技术方案
根据本发明的示例性实施例，一种相机模块包括：光输出单元，所述光输出单元被配置为向对象输出第一光信号和第二光信号；传感器，所述传感器被配置为接收第一反射光信号，所述第一反射光信号为被对象反射的第一光信号；以及控制单元，所述控制单元被配置为使用第一光信号和第一反射光信号来获取对象的第一距离信息，其中，所述第一光信号的输出电力比所述第二光信号的输出电力小，所述控制单元确定是否使用第一距离信息输出第二光信号。
当距离信息小于预设值时，控制单元可以控制第一光信号使其输出，当距离信息大于预设值时，控制单元可以控制第二光信号使其输出。
光输出单元可以包括第一通道单元和第二通道单元，并且第二通道单元可以包括比第一通道单元更多数量的光源。
第一光信号可以从第一通道单元输出，第二光信号可以从第二通道单元输出。
光输出单元可以包括多个光源，并且第二光信号输出时的多个光源的输出电力比第一光信号输出时的多个光源的输出电力大。
第一光信号的周期可以比第二光信号的周期短。
光输出单元可以以预设周期输出帧信号，帧信号是用于计算第一距离信息的最小单位。
控制单元可以使用第二光信号获取对象的第二距离信息。
光输出单元可以交替地输出第一光信号的帧信号和第二光信号的帧信号。
预设值可以是对应于10cm的值。
当由传感器接收到的第一反射光信号以小于或等于第一接收光量的量被接收时，可以输出第二光信号。
当由传感器接收到的第一反射光信号以小于或等于第二接收量的量被接收时或者当第一反射光信号没有被接收时，可以关闭第一光信号的输出，其中所述第二接收量小于所述第一接收光量。
根据本发明的示例性实施例，相机模块包括：光输出单元，所述光输出单元被配置为向对象输出第一光信号和第二光信号；传感器，所述传感器被配置为接收第一反射光信号，所述第一反射光信号为被对象反射的第一光信号；以及控制单元，所述控制单元被配置为当使用第一光信号和第一反射光信号获取的距离信息大于预设值时输出第二光信号，并且被配置为当距离信息小于预设值时输出第一输出信号，其中，使用第二光信号获取对象的三维(3D)信息。
有益效果
根据本发明的示例性实施例，可以准确地确定与对象的距离以容易地确保对象的安全。
此外，可以使用低输出电力的预脉冲确定与对象的距离，然后可以输出具有高输出电力的主脉冲，从而确保对象的安全并且也增加可测量距离。
此外，可以准确地确定与位于短距离处的对象的距离。
此外，当生成距离信息时，可以减少电力消耗。
附图说明
图1是示出根据示例性实施例的相机模块的概念图的图；
图2是示出根据示例性实施例的光输出单元的图；
图3是示出根据示例性实施例的光输出单元的光信号的图；
图4是示出根据示例性实施例的光输出单元的图；
图5是用于描述根据与图4中的第一通道单元的距离的照射的量的图；
图6是用于描述根据与图4中的第二通道单元的距离的照射的量的图；
图7是示出根据另一示例性实施例的光输出单元和光信号的图；
图8是示出根据又一示例性实施例的光输出单元的光信号的图；
图9是示出根据又一示例性实施例的光输出单元的光信号的图；
图10是示出根据示例性实施例的光输出单元的光信号的图；
图11是根据示例性实施例的相机模块的示意图；
图12是用于描述根据示例性实施例的传感器的图；
图13是用于描述根据示例性实施例的在传感器中产生电信号的过程的图；
图14是根据示例性实施例的一帧周期的时序图，在该一帧周期中在传感器中生成距离图像；
图15是用于描述根据示例性实施例的传感器的驱动的图；
图16是用于描述根据另一示例性实施例的传感器的驱动的图；
图17是用于描述根据再一示例性实施例的传感器的驱动的图；
图18示出了根据示例性实施例的从相机模块获取的四个相位的原始图像；
图19是根据示例性实施例的从相机模块获取的幅度图像；
图20示出了根据示例性实施例的从相机模块获取的距离图像；
图21是用于描述根据示例性实施例的驱动相机模块的方法的流程图；
图22是用于描述根据另一示例性实施例的驱动相机模块的方法的流程图。
具体实施方式
下面，参考附图详细描述本发明的示例性实施例。
然而，本发明的技术精神不限于将描述的一些示例性实施例，并且可以实施为各种不同形式。在不脱离本发明的技术精神情况下，在实施例之间一个或多个元件可以选择性地组合或替换使用。
此外，除非另外定义，否则可以用本领域普通技术人员通常理解的含义来解读在本文中使用的术语(包括技术术语和科学术语)。诸如词典中定义的术语等的常用术语可以在考虑其在相关技术中的背景含义的情况下进行理解。
另外，本文中使用的术语不是为了限制本发明，而是用于描述示例性实施例。
在说明书中，除非另有明确说明，否则单数形式也可以包括复数形式。当表述为“A、B和C中的至少一个(或一个或多个)”，其也可以包括A、B和C的所有可能组合中的一个或多个。
另外，诸如第一、第二、A、B、(a)和(b)的术语可以在此用来描述本发明的示例性实施例的部件。
每个术语不用于限定相应部件的本质、次序、顺序等，而仅用于将相应的部件与其它部件区分开。
在将一个部件描述为“连接”、“耦接”或“接合”到另一部件时，这种描述可以包括以下两种情况：一个部件直接连接、耦接和接合到另一个部件；以及该一个部件通过位于该一个部件与另一个部件之间的又一个部件而“连接”、“耦接”或“接合”到另一个部件。
而且，在将一个部件描述为形成或设置在另一个部件“上面或下面”时，这种描述可以包括以下两种情况：两个部件形成为彼此直接接触；以及两个部件形成为彼此间接接触使得一个或多个其他部件插设在这两个部件之间。此外，在将一个部件描述为形成在另一个部件“上面或下面”时，这种描述可以包括一个部件相对于另一个部件形成在上侧或下侧的情况。
根据将在下面描述的示例性实施例的相机模块可以用作光学装置或光学装置的一部分。首先，光学装置可以包括蜂窝电话、移动电话、智能手机、便携式智能设备、数码相机、笔记本电脑、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)和导航设备中的任一者。然而，光学装置的类型不限于此，任何用于捕获图像或照片的装置都可以被包括在光学装置中。
光学装置可包括主体。主体可以呈条形。可替代地，主体可以具有各种结构中的一种，例如滑动式、折叠式、摆动式和旋转式，其中两个或更多个子体耦接为可相对移动。主体可以包括形成外部的外壳(壳、壳体或盖)。例如，该主体可以包括前壳和后壳。光学装置的各种电子部件可以嵌入到在前壳和后壳之间形成的空间中。
光学装置可以包括显示器。该显示器可以设置在光学装置的主体的一个表面上。显示器可以输出图像。显示器可以输出由相机捕获的图像。
光学装置可以包括相机。相机可以包括飞行时间(ToF)相机模块。ToF相机模块可以设置在光学装置的主体的前表面上。在这种情况下，ToF相机模块可以用于各种类型的生物特征识别(例如，用户的面部识别、虹膜识别和静脉识别)，以进行光学装置的安全认证。
图1示出了根据示例性实施例的相机模块的概念图。
参考图1，根据示例性实施例的相机模块100可以包括光输出单元110、光学单元120、传感器130和控制单元140。
首先，光输出单元110可以以期望的信号形式向对象O产生并照射光。具体地，光输出单元110可以是发光模块、发光单元、发光组件和发光器件中的任意一种。
光输出单元110可以以脉冲波或连续波的形式产生并输出光信号。这里，连续波可以是正弦波或方波的形式，但不一定限于此。
此外，由于光输出单元110以脉冲波或连续波的形式产生光信号，所以相机模块100可以使用从光输出单元110输出的光信号与从对象反射的反射光信号之间的相位差或时间差，然后输入到相机模块100。在示例性实施例中，相机模块9100可以使用反射光信号之间的相位差或时间差来计算与对象的距离。
在本说明书中，照射光GS可以指从光输出单元110输出并入射到对象上的光信号，反射光RS可以指这样的光信号，该光信号是从光输出单元110输出，到达对象，被对象反射，并输入到相机模块100的照射光。从对象的角度来看，照射光GS可以是入射光，而从相机模块的角度来看，反射光RS可以是输入光。在下文中，照射光将被描述为光信号(例如，第一光信号或第二光信号)或照射光信号，并且反射光将被描述为反射光信号。
此外，光输出单元110将生成的光信号照射到对象上预定的积分时间。这里，积分时间是指像素接收反射光以生成电荷来获取距离信息的时间周期。积分时间可以被设置为一个或多个积分时间，并且一个或多个积分时间可以构成帧周期。下面将提供其详细描述。
此外，当生成多个帧时，上述的积分时间可以存在多次。例如，积分时间可以重复。例如，当相机模块100以每秒20帧(FPS)拍摄对象时，积分时间可以是1/20[秒]。当产生100帧并且积分时间和帧周期相同时，积分时间可以重复100次。然而，本发明不限于此，在一帧周期中可以存在多个积分时间。
光输出单元110不仅可以生成具有预定频率的输出光信号，而且可以生成具有不同频率的多个光信号。此外，光输出单元110可以按顺序地和重复地输出具有不同频率的多个光信号。可替代地，光输出单元110可以同时输出具有不同频率的多个光信号。对于这样的操作，在示例性实施例中，光输出单元110可以包括光源E(见图2)、光改变单元(未示出)和光收集单元(未示出)。
首先，光源E可以产生光。由光源E产生的光可以是波长为770nm～3000nm的红外线光，或者可以是波长为380nm～770nm的可见光。光源E可以包括发光二极管(LED)，并且可以具有多个LED根据特定图案布置的形式。此外，光源E可以还包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源E也可以是垂直腔面发射激光器(VCSEL)。VCSEL可以是将电信号转换为光信号的激光二极管中的一个，并且可以使用约800nm至1000nm的波长，例如约850nm或约940nm的波长。
光源E以特定时间间隔被重复地接通/断开从而以脉冲波或连续波的形式产生光信号。该特定时间间隔可以与光信号的频率有关。光源E的接通/断开可以由光改变单元控制。
光改变单元(未示出)可以控制光源E的接通/断开，并且控制光源E使其产生连续波或脉冲波形式的光信号。即，光改变单元(未示出)可以通过频率调制、脉冲调制等控制光源E使其产生连续波或脉冲波形式的光信号。
光收集单元(未示出)可以改变光路，使得从光源E产生的光具有阵列光斑。例如，光收集单元(未示出)可以包括成像透镜、微透镜阵列或衍射光学元件(DOE)。由于这种配置，从相机模块100朝向对象O发射的光可以具有多个阵列光斑。因此，即使当相机模块100与对象O之间的距离增加时，从相机模块100发出的光由于被收集也可以容易地到达对象O。因此，根据示例性实施例的相机模块100可以实现长距离光传输。在这种情况下，可以阵列光斑的数量可以不同地设置，但是在本说明书中，将基于光输出单元110包括光源E来提供描述。
此外，光改变单元可以包括致动器。例如，当由致动器保持的透镜上下移动时，光可以作为点光被收集并发射到对象，或者可以作为平面光发射到对象。
同时，光学单元120可以包括至少一个透镜。光学单元120可以通过至少一个透镜收集从对象反射的反射光信号，以将收集的光信号传输到传感器130。
光学单元120的至少一个透镜可以包括固体透镜。此外，至少一个透镜可以包括可变透镜。可变透镜可以是焦点可变透镜。此外，可变透镜可以是焦点可调节透镜。此外，可变透镜可以是液体透镜、聚合物透镜、液晶透镜、音圈马达(VCM)型和形状记忆(SMA)型中的至少一种。液体透镜可以包括包含一种液体的液体透镜和包含两种液体的液体透镜。在包含一种液体的液体透镜中，可以通过调节设置在与液体相对应的位置处的膜片来改变焦点，例如，可以通过用磁体和线圈的电磁力来按压膜片以改变焦点。包含两种类型液体的液体透镜可以包括导电液体和非导电液体，并且可以使用施加到液体透镜的电压来调节形成在导电液体与非导电液体之间的界面。在聚合物透镜中，可以通过经由压电驱动器等控制聚合物材料来改变焦点。在液晶透镜中，可以通过用电磁力控制液晶来改变焦点。在VCM类型中，可以通过经由磁体与线圈之间的电磁力来控制固体透镜或包括固体透镜的透镜组件以改变焦点。在SMA类型中，可以通过使用SMA控制固体透镜或包括固体透镜的透镜组件来改变焦点。此外，光学单元120可以包括光学板。光学板可以是光透过板。
此外，光学单元120可以包括透射特定波长范围内的光的滤光器(未示出)。在示例性实施例中，光学单元120的滤光器(未示出)可以仅透射预设波长带的光，并且可以阻挡预设波长带的光以外的光。在这种情况下，滤光器(未示出)可以使红外(IR)带的光部分地通过。例如，滤光器(未示出)可以包括使具有780nm至1000nm波长的光部分地通过的IR带通滤光器。
传感器130可以使用通过光学单元120收集的输入光信号来产生电信号。在示例性实施例中，传感器130可以针对每个照射光GS与光学输出单元110的接通/断开周期同步地吸收输入光信号。例如，传感器130可以吸收与从光输出单元110输出的光信号同相和异相的各个光。
此外，传感器130可以使用具有不同相位的多个基准信号来产生与每个基准信号对应的电信号。例如，电信号可以是通过混合各基准信号和反射光而得到的信号，该混合可以包括卷积、乘法等。此外，基准信号的频率可以被设置为与从光输出单元110输出的光信号的频率相对应。在示例性实施例中，基准信号的频率可以与光输出单元110的光信号的频率相同。
如上所述，当光输出单元110生成具有多个频率的光信号时，传感器130可以根据与光信号的每个频率相对应的多个基准信号而产生电信号。例如，可以响应于多个基准信号，在传感器130的每个像素中执行栅极的切换操作，可以根据栅极的切换操作而将通过吸收反射光信号RS产生的电信号的电荷充电到充电元件中(例如，电容器)，从而可以最终输出电信号(充有电荷)。例如，电信号可以与每个基准信号的电荷量或电压对应，并且电信号可以针对每个像素输出。
控制单元140可以使用照射光GS与反射光信号RS之间的相位差来获取关于与对象的距离的信息。这里，相位差可以根据从传感器130输出的电信号来计算。
另外，在示例性实施例中，为了检测位于距相机模块100短距离处的对象O，控制单元140可以通过使用从光输出单元110输出的第一光信号和与第一光信号相对应的第一反射光信号之间的相位差通过预处理来获取关于与对象的距离的信息(第一距离信息)，并且可以根据获取的与对象的距离来确定光输出单元110是否照射第二光信号，该第二光信号是在第一光信号之后照射的光信号。
换句话说，当对象O与相机模块100之间的距离非常短时，反射照射的量可能很大，因此由反射光信号产生的电信号可能具有很大的幅值。例如，由于电信号具有大于基准值的幅值，所以控制单元可能难以准确地计算关于距每个像素的距离的信息。此外，当相邻对象是人体的一部分(例如皮肤或眼睛)时，可能难以确保安全。因此，当测量距离时，根据示例性实施例的控制单元可以初始照射具有低照射量的光信号(此处为第一光信号)，然后可以确定具有高照射量的光信号(此处为第二光信号)的输出电力，从而容易地确保对于光信号的安全性。下面将提供其详细描述。
通过第一光信号和第一反射光信号获取的距离信息将被描述为第一距离信息，通过第二光信号和第二反射光信号获取的距离信息将被描述为第二距离信息。第一反射光信号是这样的信号，该信号是被对象反射并输入到相机模块的第一光信号，第二反射光信号是这样的信号，该信号是被对象反射并输入到相机模块中的第二光信号。
此外，控制单元140可以控制光学单元120使其移位反射光信号(例如，第一反射光信号或第二反射光信号)的光路。由于这种配置，可以输出用于提取高分辨率距离图像的多个图像数据。
此外，根据示例性实施例的相机模块100可以进一步包括计算单元(未示出)。计算单元(未示出)可以使用从传感器130接收到的电信号并且组合从控制单元140提取的多个图像数据来计算具有比图像数据的分辨率更高的高分辨率的深度信息。此外，计算单元(未示出)可以被布置在包括相机模块的光学装置中或如图所示的相机模块100中以执行计算。下文中，基于计算单元(未图示)设置于相机模块100中进行说明。
计算单元(未示出)可以从相机模块100接收由传感器130检测到的信息以对其执行计算。计算单元(未示出)可以使用从传感器130接收到的电信号来接收多个低分辨率信息，并使用多个低分辨率信息产生高分辨率距离信息。例如，可以通过重新排列多个低分辨率信息来生成高分辨率距离信息。
在这种情况下，计算单元(未示出)可以使用从光输出单元输出的光信号与由传感器接收到的光信号之间的时间差或使用在使传感器的有效区域在不同相位暴露的传感器的多个暴露时间期间中获取的多个信息来计算对象与相机模块100之间的距离。
在本示例性实施例中使用的术语“～单元”是指执行特定任务的软件组件或硬件组件，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。然而，术语“～单元”不限于软件组件或硬件组件。“～单元”可以被配置为位于可寻址存储介质中，并且被配置为操作一个或多个处理器。因此，作为示例，“～单元”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件、过程、函数、属性、程序、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据库结构、表格、数组和参数等的组件。组件和“～单元”中提供的功能可以被组合成更少的组件和“～单元”，或者进一步分离成额外的组件和单元。此外，组件和单元可以被实现为使得组件和“～单元”操作装置或安全多媒体卡中的一个或多个中央处理单元(CPU)。
图2是示出根据示例性实施例的光输出单元的图，图3是示出根据示例性实施例的光输出单元的光信号的图。
参考图2和图3，如上所述，根据示例性实施例的光输出单元110可以包括多个光源E。作为示例，多个光源E可以以矩阵等的形式布置。根据示例性实施例的光输出单元110可以输出第一光信号GS1和第二光信号GS2。也就是说，每个光源E可以输出第一光信号GS1和第二光信号GS2。然而，在下文中，第一光信号GS1和第二光信号GS2将被描述为从光输出单元110输出的所有光信号。
在示例性实施例中，第一光信号GS1的相位可以领先于第二光信号GS2的相位。换言之，第一光信号GS1可以比第二光信号GS2先输出。
第一光信号GS1的输出电力(下文中，可与第一输出电力S1互换使用)可以小于第二光信号GS2的输出电力(下文中，与第二输出电力S2互换使用)。即，第一输出电力S1可以小于第二输出电力S2。在此，第一输出电力S1为第一光信号GS1的照度(mW/cm2)，第二输出电力S2为第二光信号GS2的照度(mW/cm2)。照度是指单位面积的光输出电力。
也就是说，根据示例性实施例的相机模块可以比第二光信号GS2先照射具有小于第二光信号GS2的照度的照度的第一光信号GS1，以获取距离信息(或距离)。相应地，当对象O距离相机模块非常近时，相机模块可以确定是否在相应距离处照射可能对人体等更有害的第二光信号GS2，从而确保相机模块的安全。
第一光信号GS1可以具有第一幅值A1、第一周期T1和第一帧周期F1。第一光信号GS1的第一幅值A1可以是第一光信号GS1的幅值，第一光信号GS1的第一周期T1可以是信号周期，第一光信号GS1的第一帧周期F1可以是可计算距离信息的周期。第一光信号GS1中的第一幅值A1与第一周期T1的乘积可以是作为第一光信号G1的总输出电力的总照度。
类似地，第二光信号GS2可以具有第二幅值A2、第二周期T2和第二帧周期F2。第二光信号GS2的第二幅值A2可以是第二光信号GS2的幅值，第二光信号GS2的第二周期T2可以是信号周期，第二光信号GS2的第二帧周期F2可以是可计算距离信息的周期。
在这种情况下，在示例性实施例中，第一光信号GS1的第一幅值A1可以比第二光信号GS2的第二幅值A2小。第一光信号GS1的第一周期T1可以与第二光信号GS2的第二周期T2相同。此外，第一光信号GS1的第一帧周期F1可以与第二光信号GS2的第二帧周期F2相同。类似地，第二光信号GS2中的第二幅值A2和第二周期T2的乘积可以是作为第二光信号G2的总输出电力的总照度。因此，由于第一光信号GS1的幅值小于第二光信号GS2的幅值，所以第一输出电力S1可以大于第二输出电力S2。
图4是示出根据示例性实施例的光输出单元的示意图。图4是用于描述根据与图5中的第一通道单元的距离的照射量的图，图6是用于描述根据与图4中的第二通道单元的距离的照射量的图。
参考图4，根据示例性实施例的光输出单元110可以根据设置在区域中的光源E的数量来划分，并且可以包括第一通道单元CH1和第二通道单元CH2。
首先，第一通道单元CH1和第二通道单元CH2可以均包括一个或多个光源E。另外，第一通道单元CH1中的光源E的数量可以比第二通道单元CH2中的光源E的数量少。
第一通道单元CH1可以至少部分地与第二通道单元CH2重叠。然而，本发明不限于此，第一通道单元CH1和第二通道单元CH2可以设置为彼此间隔开。
此外，在示例性实施例中，第一光信号可以是从第一通道单元CH1照射的光信号，第二光信号可以是从第二通道单元CH2照射的光信号。因此，如上所述，由于第一通道单元CH1中的光源E的数量比第二通道单元CH2中的光源E的数量少，所以第一光信号的第一输出电力可以比第二光信号的第二输出电力小。
换句话说，为了使第一输出电力小于第二输出电力，光输出单元110的区域可以被划分和驱动，使得照射量不同。由于这种配置，相机模块可以准确地测量相邻对象，并确保对于光输出单元110的光信号的安全性。
参考图5和图6，当光输出单元在3mm×3mm内包括203个光源，并被划分为具有一个光源的第一通道单元CH1和具有203个光源的第二通道单元CH2，并且第一通道单元CH1和第二通道单元CH2中的每一个被驱动时，测量根据距离的照度。下面的图5和表1示出了当第一通道单元CH1被驱动时根据距离的照度，下面的图6和表2示出了当第二通道单元CH2被驱动时根据距离的照度。
[表1]
距离(mm) 照射(mW/cm<sup>2</sup>)
350 62.53
550 23.45
750 12.55
1000 7.05
[表2]
距离(mm) 照射(mW/cm<sup>2</sup>)
5 1666.60
25 58.57
50 14.66
75 6.38
100 3.59
即，在相同距离处，第一通道单元CH1的照射量可以比第二通道单元CH2的照射量小。此外，与第一通道单元CH1具有与第二通道单元CH2相同照度的点的距离可以比第二通道单元CH2中的距离短。换言之，由于当根据示例性实施例的相机模块靠近对象时照射非常大，所以为了准确地测量距离并确保人体的安全，第一光信号和第二光信号可以通过根据光源数量被区分而输出。图7是示出根据另一示例性实施例的光输出单元和光信号的图。
参考图7，根据另一示例性实施例的光输出单元110可以通过驱动相同通道单元的光源来输出第一光信号GS1和第二光信号GS2。
作为示例，光输出单元110可以包括包含所有光源的第三通道单元CH3，并且第三通道单元CH3可以被驱动以输出第一光信号GS1和第二光信号GS2。也就是说，第一光信号GS1和第二光信号GS2可以是从相同数量的光源照射的光信号。
然而，在另一示例性实施例中，每个光源的第一光信号GS1的幅值可以比每个光源的第二光信号GS2的幅值小。在图7中，第一光信号GS1和第二光信号GS2以一个光源示出，但第一光信号GS1和第二光信号GS2是指从第三通道单元CH3输出的所有光信号。
因此，即使当第一光信号GS1和第二光信号GS2从同一通道单元输出时，由于第一光信号GS1的第一幅值A1’比第二光信号GS2的第二幅值A2小，所以第一光信号GS1的第一输出电力S1’可以比第二光信号GS2的第二输出电力A2’小。即，在光输出单元110中，当输出第二光信号GS2时，与输出第一光信号GS1时相比，每个光源的光输出电力可以更大。
在这种情况下，第一光信号GS1的周期T1’可以与第二光信号GS2的周期T2’相同。因此，通过调整施加到光输出单元110的光源的驱动信号(例如，驱动电流或驱动电压)，可以通过低电力和简单的操作来调节光输出单元的照射量。
图8是示出根据又一示例性实施例的光输出单元的光信号的图。
参考图8，如上所述，根据又一示例性实施例的光输出单元可以比第二光信号GS2先输出第一光信号GS1，并且第一输出电力S1”可以比第二输出电力S2”小。
在这种情况下，第一光信号GS1的第一幅值A1”可以与第二光信号GS2的第二幅值A2”相同。例如，第一光信号GS1和第二光信号GS2可以从相同通道和具有相同输出电力的光源输出。
然而，与上述光信号的幅值不同，第一光信号GS1的第一周期T1”可以不同于第二光信号GS2的第二周期T2”，并且第一周期T1”可以比第二周期T2”短。因此，第一帧周期F1”可以比第二帧周期F2”短。
此外，在下面将要描述的传感器中，第一反射光信号的积分时间可以不同于第二反射光信号的积分时间，并且第一反射光信号的积分时间可以比第二个反射光信号的积分时间短。
图9是示出根据又一示例性实施例的光输出单元的光信号的图。
参考图9，根据又一示例性实施例的光输出单元可以比第二光信号GS2先输出第一光信号GS1，并且第一输出电力S1”’可以比第二输出电力S2”’小。
在这种情况下，第一光信号GS1的第一幅值A1”’和第一周期T1”’可以分别与第二光信号GS2的第二幅值A2”’和第二周期T2”’不同。在示例性实施例中，第一幅值A1”’可以小于第二幅值A2”’，并且第一周期T1”’可以比第二周期T2”’短。例如，第一光信号GS1和第二光信号GS2可以从不同的通道或具有不同输出电力的光源输出。此外，第一帧周期F1”’可以不同于第二帧周期F2”’，并且第一帧周期F1”’可以比第二帧周期F2”’短。
此外，除了本说明书中描述的示例性实施例之外，当第一幅值A1”’和第一周期T1”’中的任一个小于第二幅值A2”’和第二周期T2”’中的任一个时并且第一幅值A1”’和第一周期T1”’中的另一个大于第二幅值A2”’和第二周期T2”’中的另一个时，第一输出电力S1”’可以比第二输出电力S2”’小，并且本发明可以包括所有这样的示例。
图10是示出根据示例性实施例的光输出单元的光信号的图。
参考图10，根据示例性实施例的光输出单元可以按顺序地输出第一光信号GS1和第二光信号GS2，然后再次输出第一光信号GS1。
也就是说，当使用第一光信号GS1和第一反射光信号测量到的与对象的距离被识别为长于预设距离时，控制单元可以考虑人体等的安全被确保，从而照射第二光信号GS2。控制单元可以使用第二光信号和第二反射光信号获取关于与对象的距离的信息。下面将详细描述距离信息的获取。
此外，控制单元可以控制光输出单元以在预设周期内输出第一光信号GS1。例如，光输出单元可以在第一驱动周期td中输出第一光信号GS1。相应地，相机模块可以周期性地检查对象与相机模块之间的距离，当对象与相机模块之间的距离小于预设距离时，相机模块可以关闭第二光信号GS2的输出以确保安全。因此，当测量与对象的距离时，根据示例性实施例的相机模块可以降低由移动等引起的安全问题的风险。
另外，作为变型例，光输出单元可以在作为第二光信号的最小单位的每个帧周期输出第一光信号。因此，可以使用对象的第一距离信息周期性地确定是否根据与对象的距离来获取第二距离信息。此外，可以在作为最小单位的每个帧周期确定光信号的输出电力，从而有效地测量表示与不安全的真实对象的距离的第二距离信息。
根据上述示例性实施例，当由传感器接收到的第一反射光信号以小于或等于第一接收光量的量被接收时，控制单元可以输出第二光信号。这里，第一光接收量可以被设定为在与对象的距离为10cm的点处对人体有害的量。
例如，当与对象的距离远时，由于第一反射光信号以小于第一接收光量的量(包括没有反射信号的情况)被接收，因此控制单元可以输出第二光信号。由于这种配置，可以在保护人体免于被近距离处的对象伤害的同时，准确地获取关于与远距离处的对象的距离的信息。
此外，如上所述，当对象位于非常靠近相机模块的位置时，由于第一反射光信号的结果可能大于第一接收光量，因此控制单元可能不输出第二光信号。此外，可以关闭第一光信号的输出。在这种情况下，将描述由于将在下面描述的电容器的过充电导致的空值大于第一光接收量的情况。
此外，当第一反射光信号以小于或等于比第一接收光量小的第二接收量的量被接收时或者当第一反射光信号没有被接收时，控制单元可以关闭第一个光信号的输出。由于这种配置，可以在对象可能与光输出单元接触的短距离处确保人体的安全。
图11是根据示例性实施例的相机模块的剖视图。
参考图11，根据示例性实施例的相机模块可以包括透镜组件310、传感器320和印刷电路板330。这里，透镜组件310可以与图1的光学单元120对应，并且传感器320可以与图1的传感器130对应。图1的控制单元140可以被实施在印刷电路板330或传感器320上。虽然未示出，但是图1的光输出单元110可以设置在印刷电路板330上，或者可以设置为单独的部件。此外，光输出单元110的光信号的输出可以由控制单元140控制。
具体地，透镜组件310可以包括透镜312、镜筒314、透镜保持器316和IR滤光器318。
透镜312可以设置为多个透镜或者可以设置为一个透镜。当透镜312被设置为多个透镜时，各个透镜可以相对于其中心轴布置以形成光学系统。这里，中心轴可以与光学系统的光轴相同。透镜312可以包括上述的可变透镜。
镜筒314可以耦接到透镜保持器316，并且可以具有能够在其中容纳透镜的空间。虽然镜筒314可以旋转地耦接到一个透镜或多个透镜，但这仅仅是示例，并且镜筒314可以通过其他方法(例如使用粘合剂(例如，诸如环氧树脂的粘合树脂))耦接。
透镜保持器316可以耦接到镜筒314以支撑镜筒314，并且可以设置在安装有传感器320的印刷电路板330上。由于透镜保持器316，可以在镜筒314中形成可以在其中设置IR滤光器318的空间。虽然未示出，但是能够在控制单元140
Figure BDA0003355082320000181
的控制下倾斜或移位IR镜筒314的驱动器可以设置在镜筒314中。螺旋图案可以形成在透镜保持器316的内周面上；并且透镜保持器316可以可旋转地耦接到镜筒314，在镜筒314中螺旋图案类似地形成在其外周面上。然而，这仅是示例，透镜保持器316和镜筒314可以通过粘合剂耦接，或者透镜保持器316和镜筒314可以一体地形成。
透镜保持器316可以分为耦接到镜筒314的上保持器316-1和设置在安装有传感器320的印刷电路板330上的下保持器316-2。上保持器316-1和下保持器316-2可以一体地形成；上保持器316-1和下保持器316-2可以形成为单独的结构，然后连接或耦接；或者上保持器316-1和下保持器316-2可以具有彼此分离和间隔开的结构。在这种情况下，上保持器316-1的直径可以小于下保持器316-2的直径。
以上示例仅仅是示例性实施例，并且光学单元120可以形成为能够汇聚入射到ToF相机模块100的反射光信号并将收集的光信号传输到传感器130的另一种结构。
图12是用于描述根据示例性实施例的传感器的图。图13是用于描述在根据示例性实施例的传感器中产生电信号的过程的图，图14是在根据示例性实施例的传感器中产生距离图像的一帧周期的时序图。
参考图12，如上所述，传感器130可以包括多个像素PX并且具有阵列结构。在这种情况下，传感器130可以是有源像素传感器(APS)，并且可以是互补金属氧化物半导体(CMOS)传感器。此外，传感器130可以是电荷耦合器件(CCD)传感器。传感器130可以包括ToF传感器，其接收被对象反射的IR光信号以使用时间差或相位差测量距离。
例如，在传感器130中，多个像素可以沿第一方向和第二方向平行设置。多个像素可以是矩阵的形式。此外，在示例性实施例中，多个像素可以包括第一像素P1和第二像素P2。第一像素P1和第二像素P2可以在第一方向和第二方向上交替地布置。即，关于一个第一像素P1，多个第二像素P2可以在第一方向和第二方向上彼此相邻设置。例如，在传感器130中，第一像素P1和第二像素P2可以以棋盘图案设置。即，如图12所示，在具有320×240分辨率的传感器130的情况下，76800个像素可以以网格形式布置。
此外，第一像素P1和第二像素P2可以是接收具有不同波段的的峰值波长的光束的像素。例如，第一像素P1可以接收具有将IR带作为峰值波长的光。第二像素P2可以接收具有将IR带以外的波长作为波长峰值的光。此外，第一像素P1和第二像素P2中的任一个可以不接收光。
此外，多个像素PX可以具有各种形状，例如四边形、三角形、多边形和圆形。此外，像素PX中的有效区域也可以具有各种形状，例如四边形、三角形、多边形和圆形。
也就是说，多个像素PX可以被设置为彼此间隔开特定间隔。这样的空间间隔可以远小于像素PX的尺寸，并且可以在空间间隔中设置布线。在下文中，在本说明书中将通过忽略空间间隔来提供描述。
像素PX可以包括检测单元131(光电门)、开关单元(在下文中，称为第一栅极132和第二栅极133)以及累积单元134和135。检测单元131可以包括N型半导体层、P型半导体层以及设置在N型半导体层与P型半导体层之间的有源层，该有源层可以根据反射的光信号产生电流。换言之，检测单元131可以接收反射光信号以产生电子。
第一栅极132和第二栅极133可以调节由检测单元131产生的电子分别向累积单元134和135的转移。图12示出了设置多个栅极，例如，第一栅极132和第二栅极133，并且根据用于切换栅极的控制信号将电子选择性地转移到累积单元134和135。此外，可以根据说明书中描述的基准信号来控制栅极的接通/断开。累积单元134和135可以累积转移的电子。电子累积时间或周期可以由施加到开关单元的信号控制。累积单元134和135可以累积电子一定的时间，输出累积的电子的量，然后释放累积的电子。
换言之，传感器130可以包括充电元件和开关元件。这里，充电元件可以是累积单元134和135，开关元件可以是第一栅极132和第二栅极133。另外，在这种情况下，充电元件可以包括电容器等，开关元件可以包括各种开关元件，例如场效应晶体管，但本发明不限于上述类型。
通过上述操作，每个像素PX可以产生电信号。此外，像素PX可以包括多个光电二极管和多个晶体管。
参考图13，反射光(输入光)RS的相位可以根据输入光(照射光)GS在入射到对象上之后被反射返回的距离而延迟。
在这种情况下，根据示例性实施例的控制单元可以向像素的栅极提供基准信号，以便导出照射光GS与反射光信号RS之间的相位差。在这种情况下，可能存在多个基准信号。在示例性实施例中，如图13所示，可以具有四个基准信号C1到C4。基准信号C1至C4可以各自具有与光信号或反射光信号相同的频率，并且可以具有90°的相位差。在四个基准信号中，一个信号(例如，C1)可以具有与光信号相同的相位。基准信号C1至C4可以被施加到传感器，并且传感器可以根据基准信号从反射光LS2产生电信号。换句话说，在传感器中，传感器的有效区域可以响应于每个基准信号而曝光，并且传感器可以在有效区域被曝光的时间(曝光时间)中接收反射光信号。当基准信号处于接通状态(正状态)时，传感器可以被来自反射光LS2的电荷充电以产生电信号。因此，传感器可以产生与图13的阴影部分对应的电信号。
在另一个示例性实施例中，可以在曝光时间期间以多个频率产生光信号。在这种情况下，传感器根据多个频率吸收输入的反射光信号。例如，假设光信号以频率f1和f2产生，并且多个基准信号具有90°的相位差。在这种情况下，由于反射光信号也具有频率f1和f2，因此可以通过具有频率f1的光信号和与其对应的四个基准信号产生四个电信号。可以通过具有频率f2的反射光信号和与其对应的四个基准信号产生四个电信号。因此，可以产生总共八个电信号。在下文中，将描述以一个频率产生光信号的情况，但是如上所述，可以以多个频率产生光信号。
此外，积分时间是指栅极响应于基准信号而接通/关闭的预定周期。例如，可以根据传感器的驱动方法而不同地改变积分时间。当在传感器的像素中存在多个光接收单元(例如，多个光电二极管)时，可以在一个积分时间内获取该像素的距离信息。即，一个积分时间可以对应于一个帧周期。然而，本发明不限于此，传感器可以以多相类型(例如，一相类型或两相类型)驱动，并且多个积分时间可以构成一个帧周期。
参考图14，四个积分时间P1到P4可以形成一个帧周期(一帧循环)。四个积分时间可以包括第一积分时间P1、第二积分时间P2、第三积分时间P3和第四积分时间P4。
可以在第一积分时间P1期间向像素PX提供第一基准信号C1。在第二积分时间P2期间，像素PX可以被接通，此后可提供第二基准信号C2。可以在第三积分时间P3期间向像素提供第三基准信号C3。可以在第四积分时间P4期间向像素PX提供第四基准信号C4。
第一积分时间P1到第四积分时间P4可以构成一个帧周期，并且在积分时间之间可以存在读出(read-out)。例如，读出可以存在于第一积分时间P1与第二积分时间P2之间。在这种情况下，读出是在像素中充电的电荷量被放电的部分。一个帧周期可以是包括第一积分时间P1到第四积分时间P4以及按顺序位于积分时间之间的读出全体的时间周期。
此外，由于第一基准信号C1至第四基准信号C4是用于控制像素中的充电元件的充电的信号，并且是开关元件中的栅极信号，所以多个像素中的每一个可以输出与基准信号对应的电信号中的每一个。因此，可以通过每个读出容易地释放存储在像素中的电荷，从而准确地计算每个积分时间中充电的电荷量。
另外，更具体地，可以使用基准信号计算光信号与反射光信号之间的相位差。如上所述，对于每一帧周期的光信号可以产生四个电信号。因此，控制单元140可以使用下面的等式1来计算光信号与反射光信号之间的相位差td。
[等式1]
Figure BDA0003355082320000221
这里，Q1至Q4各自表示四个电信号中的一个电信号的充电电荷量(以下称为电荷量，其中电荷量被提供给控制单元，并且如下所述计算距离信息或距离信息)。Q1表示与具有与光信号相同相位的基准信号对应的电信号的电荷量。Q2表示与具有比光信号的相位延迟180°的相位的基准信号相对应的电信号的电荷量。Q3表示与具有比光信号的相位延迟90°的相位的基准信号对应的电信号的电荷量。Q4表示与具有比光信号的相位延迟270°的相位的基准信号对应的电信号的电荷量。
然而，如上所述，计算一帧周期内光信号与反射光信号之间的相位差td所需的积分时间可以根据传感器130中的充电元件的数量、开关元件的数量和光接收单元的数量而不同地改变。
另外，在一帧周期中可以存在多个积分时间，并且对于每个积分时间可以向像素提供具有90°相位差的四个基准信号。控制单元可以使用在每个积分时间期间产生的电信号的电荷量来计算光信号与反射光信号之间的上述相位差td。
另外，控制单元140可以使用光信号与反射光信号之间的相位差td计算对象与相机模块100之间的距离。在这种情况下，控制单元140可以使用下面的等式2计算对象与相机模块100之间的距离d(参见等式2)。
[等式2]
Figure BDA0003355082320000231
这里，c表示光速，f表示输出光的频率。
根据示例性实施例，可以从相机模块100获取ToF IR图像和距离(深度)图像。因此，根据本发明示例性实施例的相机模块可以被称为ToF相机模块或ToF相机模块。因此，在根据示例性实施例的相机模块中，控制单元可以提取表示对象与相机模块之间的距离的距离信息。
在本示例性实施例中，一个帧周期可以重复两次。即，在示例性实施例中，由于在执行第一光信号GS1的距离测量之后执行第二光信号G2的距离测量，所以可以重复第一积分时间P1至第四积分时间P4。
更具体地说，如图18所示，根据示例性实施例的相机模块100可以产生对于四个相位的原始图像。这里，四个相位可以是0°、90°、180°和270°，并且对于每个相位的原始图像可以是具有针对每个相位数字化的像素值或模拟像素值的图像，并且可以与相位图像、相位红外线图像等互换使用。在这种情况下，可以通过从第二感测区域产生的电信号来获取对于四个相位的原始图像，如图18至图20所示的图像可以是当传感器的整个区域是提取区域时针对相位获取的图像，或者如图18至图20所示的图像可以是从图像获取的幅度图像或距离图像。
图15是用于描述根据示例性实施例的传感器的驱动的图。
参考图15，在传感器可以提取距离图像的一帧周期的期间可能具有四个积分时间和四个读出。
一个帧周期可以包括第一积分时间P1、第二积分时间P2、第三积分时间P3和第四积分时间P4。可以在各个积分时间之间执行读出。
此外，对于每个积分时间，每个像素可以产生对于不同相位的电信号。即，可以施加不同的基准信号。具体地，可以在第一积分时间P1向像素PX施加具有与第一光信号GS1相同周期的第一基准信号(对应于上述C1)。在这种情况下，假设第一光信号GS1和第二光信号GS2具有相同的周期。因此，可以在针对第一光信号GS1进行第一积分时间到第四积分时间之后，针对第二光信号GS2再次进行第一积分时间到第四积分时间。
然而，如上所述，当第一光信号GS1的周期比第二光信号GS2的周期短时，对于第一反射光信号施加的基准信号C1至C4的周期可以比对于第二反射光信号施加的基准信号C1’至C4’的周期短。
另外，在第二积分时间P2中，具有比第一基准信号的相位延迟180°的相位的第二基准信号(对应于上述C2)可以被施加到像素PX。在第三积分时间P3中，具有比第一基准信号C1的相位延迟90°的相位的第三基准信号(对应于上述C3)可以被施加到像素PX。此外，在第四积分时间P4中，可以施加具有比第一基准信号的相位延迟270°的相位的第四基准信号(对应于上述C4)。
对于第二光信号GS2的第一基准信号C1’至第四基准信号C4’可以在第一积分时间P1至第四积分时间P4的期间分别施加于像素。
因此，在第一积分时间P1，像素PX可以根据第一基准信号C1产生第1-1电荷量Q1，第1-1电荷量Q1是与第一光信号GS1对应的电荷量。在第二积分时间P2内，像素PX可以根据第二基准信号C2产生第1-2电荷量Q2，第1-2电荷量Q2是与第一光信号GS1对应的电荷量。在第三积分时间P3内，像素PX可以根据第三基准信号C3产生第1-3电荷量Q3，第1-3电荷量Q3是与第一光信号GS1对应的电荷量。在第四积分时间P4，像素PX可以根据第四基准信号C4产生第1-4电荷量Q4，第1-4电荷量Q4是与第一光信号GS1对应的电荷量。
另外，在一个帧周期之后，第一积分时间P1至第四积分时间P4可以针对第二光信号按顺序地进行。因此，在第一积分时间P1内，像素PX可以根据第一基准信号C1’产生第2-1电荷量Q1’，第2-1电荷量Q1’是与第二光信号GS2对应的电荷量。在第二积分时间P2内，像素PX可以根据第二基准信号C2’产生第2-2电荷量Q2’，第2-2电荷量Q2’是与第二光信号GS2对应的电荷量。在第三积分时间P3内，像素PX可以根据第三基准信号C3’产生第2-3电荷量Q3’，其是与第二光信号GS2对应的电荷量。在第四积分时间P4中，像素PX可以根据第四基准信号C4’产生第2-4电荷量Q4’，第2-4电荷量Q4’是与第二光信号GS2对应的电荷量。
图16是用于描述根据另一示例性实施例的传感器的驱动的示意图。
参考图16，一个帧周期可以包括两个积分时间(两个积分时间包括在前的第一积分时间和随后的第二积分时间，这将在本图中主要描述)。传感器130可以在第一积分时间期间向像素PX提供第一基准信号C1和第二基准信号C2中的每一个。在第二积分时间的期间，传感器130可以向像素PX提供第三基准信号C3和第四基准信号C4中的每一个。因此，Q1和Q2可以在第一积分时间中产生，Q3和Q4可以在第二积分时间中产生。因此，控制单元可以在前一帧周期中生成所有的Q1到Q4，并且可以使用产生的四个电信号的电荷量来计算第一光信号GS1与第一反射光信号RS1之间的相位差。因此，根据示例性实施例的控制单元可以输出距离信息。
在随后的一个帧周期中，传感器130可以在第一积分时间的期间向像素PX提供第一基准信号C1’和第二基准信号C2’中的每一个。在第二积分时间期间，传感器130可以向像素PX提供第三基准信号C3’和第四基准信号C4中的每一个。因此，Q1’和Q2’可以在第一积分时间中产生，Q3’和Q4’可以在第二积分时间中产生。因此，控制单元可以在随后的一个帧周期中产生所有的Q1’到Q4’，并且可以使用产生的四个电信号的电荷量来计算第一光信号GS2与第一反射光信号RS2之间的相位差。因此，根据示例性实施例的控制单元可以输出距离信息。
此外，如上所述，当第一光信号GS1的周期比第二光信号GS2的周期短时，对于第一反射光信号施加的基准信号C1至C4的周期可以比对于第二反射光信号施加的基准信号C1’至C4’的周期短。
图17是用于描述根据又一示例性实施例的传感器的驱动的图。
一帧周期可以包括一个积分时间。传感器130可以在积分时间期间向像素PX提供第一基准信号C1至第四基准信号C4中的每一个。因此，Q1、Q2、Q3和Q4可以在积分时间内产生。因此，控制单元可以在之前的一帧周期中生成所有的Q1到Q4，并且可以使用产生的四个电信号的电荷量来计算第一光信号GS1与第一反射光信号RS1之间的相位差。因此，根据示例性实施例的控制单元可以输出距离信息。
在随后的一个帧周期中，传感器130可以在积分时间的期间向像素PX提供第一基准信号C1’至第四基准信号C4’中的每一个。因此，Q1’、Q2’、Q3’和Q4’可以在积分时间内产生。因此，控制单元可以在随后的一帧周期中产生所有的Q1’到Q4’，并且可以使用产生的四个电信号的电荷量来计算第一光信号GS2与第一反射光信号RS2之间的相位差。因此，根据示例性实施例的控制单元可以输出距离信息。
此外，控制单元可以将通过多个子积分时间获取的电信号的平均值处理成一个积分时间的电信号。因此，可以进一步提高针对距离的电信号精度。
此外，如上所述，当第一光信号GS1的周期比第二光信号GS2的周期短时，对于第一反射光信号施加的基准信号C1至C4的周期可以比对于第二反射光信号施加的基准信号C1’至C4’的周期短。
图18示出了根据示例性实施例的从相机模块获取的四个相位的原始图像，图19是根据示例性实施例的从相机模块获取的幅度图像，图20示出了根据示例性实施例的从相机模块获取的距离图像。
参考图18和19，当使用四个相位图像Raw(x0)、Raw(x90)、Raw(x180)和Raw(x270)(见图18)如等式3中那样执行计算时，可以获得作为ToF IR图像的幅度图像(参见图19)。
[等式3]
Figure BDA0003355082320000261
这里，Raw(x0)可以表示由传感器在0°相位接收的对于每个像素的数据值，Raw(x90)可以表示由传感器在90°相位接收的对于每个像素的数据值，Raw(x180)可以表示由传感器在180°相位接收的对于每个像素的数据值，Raw(x270)可以表示由传感器在270°相位接收的对于每个像素的数据值。这里，所述相位表示比第一基准信号的相位延迟的相位。
可替代地，当使用图18的四个相位图像如等式4中那样执行计算时，可以获取作为另一个ToF IR图像的强度图像。
[等式4]
强度＝|Raw(x90)-Raw(x270)|+|Raw(x180)-Raw(x0)|
这里，Raw(x0)可以表示由传感器在0°相位接收的对于每个像素的数据值，Raw(x90)可以表示由传感器在90°相位接收的对于每个像素的数据值，Raw(x180)可以表示由传感器在180°相位接收的对于每个像素的数据值，Raw(x270)可以表示由传感器在270°相位接收的对于每个像素的数据值。
如上所述，ToF IR图像可以通过分别从四个相位图像中的其他两个相位图像中提取两个相位图像的过程产生。例如，其中一个相位图像从另一图像中提取的两个相位图像可能具有180°的相位差。在分别从另外两个相位中提取两个相位图像的过程中，可以去除背景光。因此，在ToF IR图像中仅是由光源输出的波长带中的信号残酷，从而提高了对于对象的IR灵敏度并显著降低了噪声。
在本说明书中，ToF IR图像可以是指幅度图像或强度图像，并且强度图像可以与置信度图像互换使用。如图19所示，ToF IR图像可以是灰度图像。
同时，当使用图18的四个相位图像如等式5和6中那样执行计算时，也可以获取图20的距离图像。等式5和6可以分别对应于上述的等式1和2。
[等式5]
Figure BDA0003355082320000271
[等式6]
Figure BDA0003355082320000272
图21是用于描述根据示例性实施例的驱动相机模块的方法的流程图，图22是用于描述根据另一示例性实施例的驱动相机模块的方法的流程图。
参考图21和22，根据示例性实施例的相机模块可以输出第一光信号(S1000)。相机模块可以通过第一反射光信号计算相位差，第一反射光信号是被对象反射而返回的第一光信号。如上所述，控制单元可以通过相位差导出对象与相机模块之间的距离或关于距离的信息(第一距离信息)(S1100)。在这种情况下，当对象位于预设距离内时，相机模块可以通过重新照射第一光信号来重新计算与对象的距离。例如，相机模块可以根据与对象的距离的测量来确定对象是否位于预设距离内。例如，当电信号达到预定阈值或高于预定阈值时或者当电信号达到饱和时，相机模块可以确定对象位于预设距离内。然而，当对象与相机模块之间的距离大于预设距离时，可以输出第二光信号(S1200)。在这种情况下，如上所述，第二光信号可以具有与第一光信号的照度不同的照度。
在示例性实施例中，第二光信号的照射量可以大于第一输出信号的照射量。换言之，当对象与相机模块之间的距离较短时，可以输出第一光信号。由于这种配置，根据示例性实施例的相机模块可以准确地测量与对象的距离，并且当对象是人时，可以确保人体的安全。然而，上述内容可以同样地应用于与第一光信号和第二光信号之间的关系相关的各种示例性实施例。
在输出第二光信号之后(S2000)，可以检查是否已经经过预设时间(S2100)。也就是说，当在输出第二光信号之后经过了预设时间时，控制单元可以再次输出第一光信号(S2200)。这是为了应对对象再次移动的情况，确保对象的安全。
再次检查对象是否位于预设距离内(S2300)，并且当对象存在于预设位置内时，可以输出第一光信号。当对象位于比预设距离长的距离处时，可以输出第二光信号(S2400)以获取第二距离信息，因此可以再次测量对象与相机模块之间的距离。
已经基于示例性实施例描述了本发明，但是示例性实施例用于说明而不限制本发明，并且本领域技术人员将理解，在本发明中未示例的各种修改和应用可以在不脱离本示例性实施例的基本特征的范围的情况下进行以上描述。例如，可以修改示例性实施例中详细描述的每个部件。此外，与修改和申请有关的差异应理解为被包括在所附权利要求所限定的本发明的范围内。

Claims (10)

1.一种相机模块，包括：
光输出单元，所述光输出单元被配置为向对象输出第一光信号和第二光信号；
传感器，所述传感器被配置为接收第一反射光信号，所述第一反射光信号为被所述对象反射的所述第一光信号；以及
控制单元，所述控制单元被配置为使用所述第一光信号和所述第一反射光信号来获取所述对象的第一距离信息，
其中，所述第一光信号的输出功率比所述第二光信号的输出功率小，并且
所述控制单元确定是否使用所述第一距离信息输出所述第二光信号。
2.根据权利要求1所述的相机模块，其中，当距离信息小于预设值时，所述控制单元控制所述第一光信号使所述第一光信号输出，并且
当所述距离信息大于所述预设值时，所述控制单元控制所述第二光信号使所述第二光信号输出。
3.根据权利要求1所述的相机模块，其中，所述光输出单元包括第一通道单元和第二通道单元，并且
所述第二通道单元包括比所述第一通道单元更多数量的光源。
4.根据权利要求3所述的相机模块，其中，所述第一光信号从所述第一通道单元输出，并且
所述第二光信号从所述第二通道单元输出。
5.根据权利要求1所述的相机模块，其中，所述光输出单元包括多个光源，并且
所述第二光信号输出时的所述多个光源的输出功率比所述第一光信号输出时的所述多个光源的输出功率大。
6.根据权利要求1所述的相机模块，其中，所述第一光信号的周期比所述第二光信号的周期短。
7.根据权利要求1所述的相机模块，其中，所述光输出单元以预设周期输出帧信号，所述帧信号是用于计算所述第一距离信息的最小单位。
8.根据权利要求1所述的相机模块，其中，所述控制单元使用所述第二光信号获取所述对象的第二距离信息，并且
所述光输出单元交替地输出所述第一光信号的帧信号和所述第二光信号的帧信号。
9.根据权利要求1所述的相机模块，其中，当由所述传感器接收到的所述第一反射光信号以小于或等于第一接收光量的量被接收时，输出所述第二光信号，并且
当所述第一反射光信号以小于或等于第二接收量的量被接收时或者当所述第一反射光信号没有被接收时，关闭所述第一光信号的输出，其中所述第二接收量小于所述第一接收光量。
10.一种相机模块，包括：
光输出单元，所述光输出单元被配置为向对象输出第一光信号和第二光信号；
传感器，所述传感器被配置为接收第一反射光信号，所述第一反射光信号为被所述对象反射的所述第一光信号；以及
控制单元，所述控制单元被配置为当使用所述第一光信号和所述第一反射光信号获取的距离信息大于预设值时输出所述第二光信号，并且被配置为当所述距离信息小于所述预设值时输出第一输出信号，
其中，使用所述第二光信号获取所述对象的三维信息即3D信息。
CN202080036210.XA 2019-05-13 2020-05-13 相机模块 Active CN113841394B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190055720A KR20200131029A (ko) 2019-05-13 2019-05-13 카메라 모듈
KR10-2019-0055720 2019-05-13
PCT/KR2020/006266 WO2020231165A1 (ko) 2019-05-13 2020-05-13 카메라 모듈

Publications (2)

Publication Number Publication Date
CN113841394A true CN113841394A (zh) 2021-12-24
CN113841394B CN113841394B (zh) 2024-04-19

Family

ID=73290200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036210.XA Active CN113841394B (zh) 2019-05-13 2020-05-13 相机模块

Country Status (4)

Country Link
US (1) US11856292B2 (zh)
KR (1) KR20200131029A (zh)
CN (1) CN113841394B (zh)
WO (1) WO2020231165A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2006250716A (ja) * 2005-03-10 2006-09-21 Ricoh Co Ltd 位置検出装置
US20100091264A1 (en) * 2008-10-15 2010-04-15 Fujifilm Corporation Distance measurement apparatus and method
US20100290674A1 (en) * 2009-05-14 2010-11-18 Samsung Electronics Co., Ltd. 3D image processing apparatus improving depth accuracy of region of interest and method
US20120162370A1 (en) * 2010-12-27 2012-06-28 Samsung Electronics Co., Ltd. Apparatus and method for generating depth image
US20140240464A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Context-Based Depth Sensor Control
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
KR20160090464A (ko) * 2015-01-21 2016-08-01 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
KR20160092137A (ko) * 2015-01-26 2016-08-04 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 방식의 거리 측정 장치에서 제어 방법
US20190033624A1 (en) * 2016-04-04 2019-01-31 Carl Zeiss Vision International Gmbh Method and device for determining parameters for spectacle fitting
US20190051005A1 (en) * 2017-08-10 2019-02-14 Wistron Corporation Image depth sensing method and image depth sensing apparatus
US20190079170A1 (en) * 2017-09-11 2019-03-14 Hitachi-Lg Data Storage, Inc. Distance measurement apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016035901A1 (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 홍채 인식하기 위한 방법 및 그 전자 장치
WO2017119846A1 (en) * 2016-01-06 2017-07-13 Heptagon Micro Optics Pte. Ltd. Three-dimensional imaging using frequency domain-based processing
KR102547054B1 (ko) 2016-07-29 2023-06-23 삼성전자주식회사 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
US10957059B1 (en) * 2016-09-08 2021-03-23 Facebook Technologies, Llc Multi-pattern depth camera assembly
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
KR101882282B1 (ko) 2017-09-22 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
WO2019199645A1 (en) * 2018-04-09 2019-10-17 Sense Photonics, Inc. Automatic gain control for lidar for autonomous vehicles

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2006250716A (ja) * 2005-03-10 2006-09-21 Ricoh Co Ltd 位置検出装置
US20100091264A1 (en) * 2008-10-15 2010-04-15 Fujifilm Corporation Distance measurement apparatus and method
US20100290674A1 (en) * 2009-05-14 2010-11-18 Samsung Electronics Co., Ltd. 3D image processing apparatus improving depth accuracy of region of interest and method
US20120162370A1 (en) * 2010-12-27 2012-06-28 Samsung Electronics Co., Ltd. Apparatus and method for generating depth image
US20140240464A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Context-Based Depth Sensor Control
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
KR20160090464A (ko) * 2015-01-21 2016-08-01 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
KR20160092137A (ko) * 2015-01-26 2016-08-04 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 방식의 거리 측정 장치에서 제어 방법
US20190033624A1 (en) * 2016-04-04 2019-01-31 Carl Zeiss Vision International Gmbh Method and device for determining parameters for spectacle fitting
US20190051005A1 (en) * 2017-08-10 2019-02-14 Wistron Corporation Image depth sensing method and image depth sensing apparatus
US20190079170A1 (en) * 2017-09-11 2019-03-14 Hitachi-Lg Data Storage, Inc. Distance measurement apparatus

Also Published As

Publication number Publication date
CN113841394B (zh) 2024-04-19
US20220264021A1 (en) 2022-08-18
US11856292B2 (en) 2023-12-26
WO2020231165A1 (ko) 2020-11-19
KR20200131029A (ko) 2020-11-23

Similar Documents

Publication Publication Date Title
US20240012142A1 (en) Light Ranging Device Having An Electronically Scanned Emitter Array
US10771714B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
ES2264476T3 (es) Medida del perfil superficial.
US6822687B1 (en) Three-dimensional image capturing device and its laser emitting device
WO2018100082A1 (en) Apparatus and method
CN104931957B (zh) 一种基于移动终端的测距方法和装置
US20150268450A1 (en) Imaging system
KR20170122206A (ko) 적어도 하나의 물체의 광 검출용 검출기
EP2652956A2 (en) Capturing gated and ungated light in the same frame on the same photosurface
CN111025321B (zh) 一种可变焦的深度测量装置及测量方法
US7615729B2 (en) Apparatus and method for resonant lens focusing
US11997383B2 (en) Camera module extracting distance information based on a time-of-flight method
US11659155B2 (en) Camera
JP2006267031A (ja) ３次元入力装置および３次元入力方法
CN113841394B (zh) 相机模块
US11863735B2 (en) Camera module
KR20210034301A (ko) 카메라 모듈
KR20210034300A (ko) 카메라 모듈
KR20210150765A (ko) 이미지 센싱 장치 및 이를 포함하는 촬영 장치
US11885884B2 (en) Camera module
KR20200108735A (ko) 카메라 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant