CN112020856B - 相机模块和用于通过相机模块提取深度信息的方法 - Google Patents

相机模块和用于通过相机模块提取深度信息的方法 Download PDF

Info

Publication number
CN112020856B
CN112020856B CN201980028493.0A CN201980028493A CN112020856B CN 112020856 B CN112020856 B CN 112020856B CN 201980028493 A CN201980028493 A CN 201980028493A CN 112020856 B CN112020856 B CN 112020856B
Authority
CN
China
Prior art keywords
structured light
light
camera module
unit
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980028493.0A
Other languages
English (en)
Other versions
CN112020856A (zh
Inventor
李昌奕
朴康烈
张成河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN112020856A publication Critical patent/CN112020856A/zh
Application granted granted Critical
Publication of CN112020856B publication Critical patent/CN112020856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3152—Modulator illumination systems for shaping the light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的实施例的相机模块包括：结构化投光器，该结构化投光器产生具有特定图案的结构化光并且然后将该结构化光投射到对象上，并且针对每个图像帧将结构化光的光路改变为图像传感器的子像素；以及结构化光相机，该结构化光相机拍摄在其上投射结构化光的对象以便生成多个低分辨率图像帧，并且使用多个低分辨率图像帧以便生成高分辨率深度图。

Description

相机模块和用于通过相机模块提取深度信息的方法
技术领域
本发明涉及一种相机模块以及使用该相机模块提取深度信息的方法。
背景技术
三维(3D)内容已应用于各个领域，诸如教育、制造、自动驾驶等领域以及游戏和文化领域，并且深度信息(例如，深度图)是获取 3D内容所必要的。深度信息是表示空间距离和从二维(2D)图像上的一个点到另一点的距离的信息。
作为获得深度信息的方法中的一个，存在一种红外(IR)结构化光方法，该方法通过将IR结构化光投射到物体上并分析从该物体反射的光来提取深度信息。IR结构化光方法的缺点在于，相对于移动物体难以获得期望水平的深度分辨率。
为了使用IR结构化光方法获得期望水平的深度分辨率，应增加组成结构化光的图案的点的数量。然而，应根据图像传感器的分辨率来识别点，并且因此难以无限地增加点的数量，直到获得期望水平的深度分辨率。
发明内容
技术问题
本发明旨在提供一种用于使用结构化光方法提取深度信息的相机模块以及使用该相机模块提取深度信息的方法。
技术解决方案
根据本发明的实施例的相机模块包括：结构化投光器(structured lightprojector)，该结构化投光器被配置成生成特定图案的结构化光并且针对每个图像帧将结构化光的光路改变为图像传感器的子像素单位以将结构化光投射到对象(subject)上；以及结构化光相机，该结构化光相机被配置成拍摄在其上投射结构化光的对象，以生成多个低分辨率图像帧并且从多个低分辨率图像帧生成高分辨率深度图。
结构化投光器可以被布置成距结构化光相机预定距离。
子像素可以具有大于零个像素并且小于一个像素的尺寸。
结构化投光器可以包括：光源单元，其被配置成产生光；光学单元，其被配置成收集所产生的光以生成特定图案的结构化光；以及倾斜单元，其被配置成针对每个图像帧以相机图像传感器的子像素为单位来改变结构化光的光路。
倾斜单元可以将结构化光的光路向上、下、左和右方向中的一个改变。
倾斜单元可以被定位在光源单元和光学单元之间，以改变结构化光的光路。
倾斜单元可以被定位在光学单元的前面以改变结构化光的光路。
光学单元可以包括：聚光元件，其被配置成收集由光源单元生成的光；以及图案元件，其被配置成衍射由聚光元件收集的光以生成特定图案的结构化光。倾斜单元可以被定位在聚光元件和图案元件之间，以改变结构化光的光路。
与多个低分辨率图像帧相对应的结构化光的光路可以彼此不同。
结构化光相机可以生成与多个低分辨率图像帧相对应的多个低分辨率深度图，并且将超分辨率技术应用于多个低分辨率深度图以生成高分辨率深度图。
结构化光相机可以将超分辨率技术应用于多个低分辨率图像帧以生成高分辨率图像帧并且生成与高分辨率图像帧相对应的高分辨率深度图。
本发明的有益效果
利用根据本发明的实施例的相机模块，在没有显著地增加图像传感器的像素数量或结构化光图案的点数量的情况下，可以获得高分辨率深度信息。
附图说明
图1是根据本公开的实施例的相机模块的框图。
图2是图示根据本发明的实施例的改变结构化光的光路的示意图。
图3是根据本发明的实施例的结构化投光器的框图。
图4是根据本发明的实施例的光学单元的框图。
图5是用于描述根据本发明的实施例的子像素的示意图。
图6是用于描述根据本发明的实施例的可调棱镜的示意图。
图7是用于描述根据本发明的实施例的液体透镜的视图。
图8至图10是图示根据本发明的实施例的倾斜单元的布置的示意图。
图11是根据本发明的实施例的结构化投光器的框图。
具体实施方式
在本发明中可以进行各种改变并且可以实施各种实施方式，并且因此，示例实施例在附图中被图示并且在本文中进行描述。然而，应当理解，本发明不限于特定实施例，并且包括落入本发明的思想和范围内的所有修改、等效物和替代方案。
包括序数(诸如第一和第二)的术语可用于描述各种组件，但是这些组件不应解释为受这些术语的限制。这些术语仅用于区分一个组件和另一个组件。例如，在不脱离本发明的范围的情况下，第二组件可以被称为第一组件，并且类似地，第一组件也可以被称为第二组件。术语“和/或”包括本文所述的多个相关项目的组合或多个相关项目中的任何一个。
当组件被称为“耦合至”或“连接至”另一组件时，应理解，该组件可直接耦合至或连接至另一组件，但另一组件可以置于其间。相反，当组件被称为“直接耦合至”或“直接连接至”另一组件时，应理解为没有组件被置于其间。
在本申请中使用的术语仅用于描述某些实施例，并且无意于限制本发明。如本文所使用的，单数表达也旨在包括复数形式，除非上下文另外明确指出。应当理解，术语“包括”和/或“包含”在本文中使用时指定陈述的特征、整数、步骤、操作、元件、组件或其组合的存在，但不排除一个或多个特征、整数、步骤、操作、元件、组件或其组合的存在或添加。
除非另有定义，否则本文使用的所有术语，包括技术或科学术语，具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。诸如在常用字典中定义的那些术语应被解释为具有与相关技术的上下文中的含义一致的含义，并且除非在本申请中明确定义，否则不应被解释为理想的或过于正式的含义。
在下文中，将参考附图详细描述实施例，但是即使在不同的附图中，相同或相应的组件也被指配有相同的附图标记，并且在此不再赘述。
首先，将参考图1和图2详细描述根据本发明的实施例的相机模块。
图1是根据本公开的实施例的相机模块的框图。图2是图示根据本发明的实施例的改变结构化光的光路的示意图。
如图1中所图示，根据本发明的实施例的相机模块10包括结构化投光器100和结构化光相机200。
结构化投光器100生成特定图案的结构化光，并且然后将结构化光投射到对象上。结构化投光器100通过针对每个图像帧以结构化光相机200中包括的图像传感器的子像素为单位改变结构化光的光路，将结构化光投射到对象上。
在图2中，第一图像帧表示在参考光路中将结构化光投射到对象上。第二图像帧表示将其光路相对于参考光路以子像素为单位向右移动的结构化光投射到对象上。第一图像帧和第二图像帧之间的比较揭示投射到对象上的结构化光的特定图案以子像素为单位向右移动。即，通过将结构化光的光路改变了子像素，特定图案被移动了子像素并投射到对象上。图2图示将结构化光的光路向右改变了子像素，但是该光路可以向上、下、左和右方向中的一个改变。
可以将结构化投光器100布置成距结构化光相机200一定距离以提取深度信息。例如，当将根据本发明的实施例的相机模块10应用于诸如智能电话之类的移动终端时，结构化投光器100与结构化光相机 200之间的距离可以在5至200mm的范围内。可替选地，结构化投光器100和结构化光相机200可以一起布置在相机模块10中。
结构化光相机200拍摄特定图案的结构化光投射到其上的对象，以生成多个低分辨率图像帧。另外，结构化光相机200通过将多个低分辨率图像帧匹配在一起来生成高分辨率图像帧。这里，高分辨率图像帧指代具有比多个低分辨率图像帧的分辨率更高的分辨率的图像帧。
结构化光相机200被配置成与结构化光的波长相对应的光学结构。例如，当生成结构化光以具有红外线的波长时，结构化光相机200 可以被配置成能够拍摄红外线的波长的光学结构。
相机模块10可以进一步包括照明单元(未示出)。照明单元可以与结构化投光器100分离地向对象发射光。照明单元所发射的光可以是近红外线或可见光。当照明单元发射光时，结构化光相机200可以拍摄对象以提取对象的形状和特征点。
接下来，将参考图3和图4详细描述根据本发明的实施例的结构化投光器。
图3是根据本发明的实施例的结构化投光器的框图。图4是根据本发明的实施例的光学单元的框图。
如图3中所图示，根据本发明的实施例的结构化投光器100包括光源单元110、光学单元120和倾斜单元130。
光源单元110产生光。在这种情况下，由光源单元110产生的光可以是具有770至3000nm的波长的红外线或具有380至770nm的波长的可见光。光源单元110可以使用发光二极管(LED)产生光。LED 包括有机发光二极管(OLED)和激光二极管(LD)。光源单元110 可以是多个LED的阵列。
光学单元120收集由光源单元110产生的光，以产生特定图案的结构化光。另外，光学单元120将特定图案的结构化光投射到对象上。光学单元120包括聚光元件121和图案元件122。
聚光元件121收集由光源单元110产生的光。聚光元件121可以包括凹透镜、凸透镜和准直仪中的至少一个。
图案元件122衍射从聚光元件121接收到的光以产生特定图案的结构化光。图案元件122可以包括衍射光学元件(DOE)、全息光学元件(HOE)和计算机生成的全息图(CGH)中的至少一个。例如，当图案元件122是衍射光学元件(DOE)时，可以通过改变图案元件 122的凹凸形状来产生特定图案的结构化光。
在这种情况下，可以使用多个点来实现特定图案，以促进找到相应点。在此，多个点均具有彼此区分开的独特图案。特定图案可以体现为网格图案、垂直图案或水平图案。
倾斜单元130针对每个图像帧以结构化光相机中包括的图像传感器的子像素为单位来改变结构化光的光路。在这种情况下，倾斜单元 130可以将结构化光的光路向上、下、左和右方向中的一个改变。因此，当结构化光相机在将结构化光发射到对象上之后拍摄对象时，光路以图像传感器的子像素为单位被改变，在上、下、左以及右方向中移动了子像素的低分辨率图像帧被生成。
图5是用于描述根据本发明的实施例的子像素的示意图。图3图示具有320×240的分辨率的图像传感器，其中76,800个像素被布置成矩阵。即，在图3中，一个块是一个像素。在这种情况下，在多个像素之间可能存在一定的间隙，如在图5中被阴影化。在本发明的一个实施例中，像素和与其相邻的特定间隙将被一起描述为一个像素。每个子像素可以大于零像素并且小于一个像素。例如，每个子像素的尺寸可以是0.5像素尺寸、1/3像素尺寸或1/4像素尺寸。可以由本领域的普通技术人员根据低分辨率图像帧和高分辨率图像帧的分辨率来设计或改变每个子像素的尺寸。
接下来，将参考图6和图7描述根据本发明的实施例的倾斜单元的结构。
根据本发明的实施例的倾斜单元使入射在其上的光偏转以改变光的光路。具体地，倾斜单元利用具有特定折射率的材料的高度差来改变光的光路。在这种情况下，具有特定折射率的材料可以是光学液体。倾斜单元可以被配置成具有能够改变反射光的光路的光学结构的可调棱镜或液体透镜。
图6是用于描述根据本发明的实施例的可调棱镜的示意图。
图6的(a)图示可调棱镜的结构。如图6的(a)中所图示，可调棱镜包括玻璃容器131、光学液体层132、膜片133、透镜成形器134、玻璃窗135和致动器(未示出)。
玻璃容器131被配置成存储液体。玻璃容器131由允许光通过的透明材料形成。玻璃容器131可以由硼硅酸盐形成。
光学液体层132由具有流动性并且允许光通过的光学液体形成。通过将光学液体存储在玻璃容器131中来获得光学液体层132。可以通过透镜成形器134改变光学液体层132的形状来改变光路。光学液体的折射率可以在1到1.5的范围内。光学液体可以是全氟聚醚(PFPE)。
膜片133密封玻璃容器131，以防止存储在其中的光学液体流到外部。另外，膜片133密封光学液体层132以防止异物进入光学液体层132。膜片133由允许光通过的透明材料形成。膜片133是可拉伸的。膜片133可以由聚二甲基硅氧烷(PDMS)形成。
玻璃窗135包括由允许光通过的透明材料形成的板。玻璃窗135 可以由硼硅酸盐形成。
透镜成形器134可以由金属形成。透镜成形器134可以被配置成圆形板，在该圆形板中形成有光可以通过的孔。透镜成形器134可以包括动力传递构件，力从致动器施加到动力传递构件上的关于原点对称的点。
致动器可以将压力施加到透镜成形器134的动力传递构件上，以改变光学液体层132的形状。致动器可以是音圈马达(VCM)。
图6的(b)图示可调棱镜的驱动机构。如图6的(b)中所图示，在根据本发明的实施例的可调棱镜中，致动器将压力施加到透镜成形器134 的动力传递构件上，以改变光学液体层312的形状，从而实现高度差。由于光学液体层132的高度差，入射光被偏转，从而改变光路。
图7是用于解释根据本发明的实施例的液体透镜的视图。
如图7中所图示，液体透镜可以具有其中具有不同属性的两种光学液体被存储在两个板之间的结构。两种光学液体由折射率为1至2 的液体材料形成。当向两种光学液体施加驱动电压时，两种光学液体之间的界面变形。当光通过界面时，光的光路可能会改变。随着施加到两种光学液体的驱动电压之间的偏差增加，界面的视场角(FOV) 的变化程度可能增加。
例如，如图7所图示，当施加60V和30V的电压时，第一液体的高度在60V时降低并且在30V时增加。然后，随着入射反射光通过液体透镜，入射反射光的光路在30V处改变。当将45V的电压施加到两种光学液体这两者时，如图7中所图示，反射光的光路不改变。
接下来，将参考图8至图10描述根据本发明的实施例的倾斜单元的布置。图8至图10是图示根据本发明的实施例的倾斜单元的布置的示意图。
首先，如图8中所图示，倾斜单元130可以被定位在光源单元110 和光学单元120之间。因此，倾斜单元130改变由光源单元110产生的光的光路。当光的光路改变时，光学单元120产生其光路被改变的结构化光。例如，假定在第一帧中，根据如图6中所图示的实线指示的光路将结构化光投射到对象1上。然后，在继第一帧之后的第二帧中，倾斜单元130移动由光源单元110产生的如由箭头a所指示的光的光路，并将该光传送到光学单元120。然后，光学单元120根据改变后的光路来生成由箭头b所指示的光路的结构化光，并将该结构化光投射到对象1上。
接下来，如图9中所图示，倾斜单元130可以被定位在光学单元 120的前面。因此，倾斜单元130改变由光学单元120产生的结构化光的光路。例如，假设在第一帧中，根据如图9中所图示的实线所指示的光路，结构化光被投射到对象1上。然后，在继第一帧之后的第二帧中，倾斜单元130移动由光学单元120产生的如由箭头c所指示的结构化光的光路，并将结构化光投射到对象1。
接下来，如图10中所图示，倾斜单元130可以被包括在光学单元中。具体地，倾斜单元130可以被定位在光学单元的聚光元件121和图案元件122之间。因此，倾斜单元130改变由聚光元件121收集的光的光路，并且将该光透射到图案元件122。然后，图案元件122可以产生其光路被改变的结构化光。例如，假设在第一帧中，根据如图8 中所图示的实线所指示的光路将结构化光投射到对象1上。然后，在继第一帧之后的第二帧中，倾斜单元130改变从聚光元件121接收到的如由箭头d所指示的光的光路，并且将该光传送到图案元件122。然后，图案元件122生成具有由箭头e所指示的光路的结构化光，并将该结构化光投射到对象1上。
图11是根据本发明的实施例的结构化投光器的框图。
如图11中所图示，根据本发明的实施例的结构化光相机200包括透镜单元210、图像传感器单元220和图像控制器230。
透镜单元210收集从对象反射的结构化光，并将该结构化光传送到图像传感器220。
根据本发明的实施例，透镜模块210可以包括透镜、透镜镜筒和保持器。
可以设置多个透镜或一个透镜。当设置多个透镜时，多个透镜可以绕中心轴对准以形成光学系统。在此，中心轴可以与结构化光相机 200的光学系统的光轴相同。
透镜镜筒可以耦合到保持器，并且可以包括用于容纳透镜的内部空间。透镜镜筒可以例如可旋转地耦合到一个或多个透镜，或者可以以诸如使用粘合剂(例如，诸如环氧树脂的粘合剂树脂)的方法的不同方式耦合到透镜镜筒。
保持器可以耦合到透镜镜筒以支撑透镜镜筒，并且耦合到附接有图像传感器的基板。保持器在透镜镜筒下面可以具有可附接IR玻璃的空间。保持器可以包括螺旋结构，并且可旋转地耦合到具有螺旋结构的透镜镜筒。然而，这仅是示例，并且保持器和透镜镜筒可以通过粘合剂彼此耦合或一体地形成。
图像传感器单元220通过吸收通过透镜单元210收集的结构化光来产生图像信号。图像传感器可以包括能够吸收结构化光的波长的光电二极管。图像传感器单元220可以被配置成其中多个像素以矩阵布置的结构。图像传感器单元220可以是互补金属氧化物半导体(CMOS) 图像传感器或电荷耦合器件(CCD)图像传感器。
图像控制器130使用图像信号来生成多个低分辨率图像帧，并使用多个低分辨率图像帧来生成高分辨率深度图像。
在本发明的实施例中，为了增加深度信息的分辨率，超分辨率(SR) 技术用于从多个低分辨率图像帧生成高分辨率图像。SR技术的数学模型可以通过下面的等式1表示。
[等式1]
yk＝DkBkMkx+nk
这里，1≤k≤p，p表示低分辨率图像的数量，yk表示低分辨率图像(＝[yk,1,yk,2,…,yk,M]T)，其中M＝N1*N2，Dk表示下采样矩阵，Bk表示光学模糊矩阵，Mk表示图像扭曲矩阵，并且x表示高分辨率图像 (＝[x1,x2,…,xN]T，)，其中N＝L1N1*L2N2)，并且nk表示噪声。即， SR技术是指通过应用从yk估计的分辨率退化元素的反函数来估计x 的技术。SR技术可以主要划分成统计方法和多帧方法，并且多帧方法可以主要划分成空分方法和时分方法。当使用SR技术获取深度信息时，因为不存在等式1的Mk的反函数，所以可以尝试采用统计方法。然而，在统计方法的情况下，需要迭代计算过程，并且因此效率低。
为了应用SR技术以提取深度信息，图像控制器230可以使用从图像传感器单元220接收到的图像信号来生成多个低分辨率图像帧，通过将SR技术应用于多个低分辨率图像帧来生成高分辨率图像帧，并提取与高分辨率图像帧相对应的深度信息。
具体地，图像控制器230使用图像信号生成多个低分辨率图像帧。
另外，图像控制器230匹配多个低分辨率图像帧之中的位置关系。具体地，图像控制器230将多个低分辨率图像帧中的一个设置为参考图像，并且相对于参考图像匹配多个低分辨率图像帧之中的位置关系。在本发明的一个实施例中，多个低分辨率图像帧是通过根据不同的光路拍摄投射到对象上的结构化光而获得的图像。即，在根据本发明的实施例的多个图像帧的情况下，当捕获图像时，以像素为单位确定帧之间的运动。因此，与用于通过以像素为单位估计运动来匹配多个图像的SR技术不同，根据本发明的实施例的图像控制器在不以像素为单位执行运动估计的情况下匹配多个低分辨率图像帧之中的位置关系。
接下来，图像控制器230使用匹配的位置关系来估计匹配点，并使用所估计的匹配点来估计高分辨率图像帧的每个像素的值。另外，图像控制器230通过对像素的估计值进行后处理来生成高分辨率图像帧。在这种情况下，图像控制器230可以使用去块滤波器或去模糊滤波器来执行后处理。
接下来，图像控制器230可以使用高分辨率图像帧来提取深度信息，并使用深度信息来生成高分辨率深度图。
可替选地，可以通过将SR技术应用于多条低分辨率深度信息来提取高分辨率深度信息。
具体地，图像控制器230使用图像信号生成多个低分辨率图像帧。接下来，图像控制器230为多个低分辨率图像帧中的每个生成低分辨率深度图。
此后，图像控制器230通过将SR技术应用于多个低分辨率深度图的每个来生成高分辨率深度图。将SR技术应用于多个低分辨率深度图的过程与如上所述的将SR技术应用于低分辨率图像帧的过程相同，并且因此，将省略其详细描述。
尽管上面已经描述了实施例，但是这些实施例仅是示例，并且本发明不应被解释为限于此，并且在不背离本实施例的基本特征的情况下本发明所属的本领域的普通技术人员可以进行在此未提及的各种修改和应用。例如，可以修改和实现在实施例中具体描述的每个组件。与这些修改和应用有关的所有不同都应解释为包括在所附权利要求书所限定的本发明的范围内。

Claims (11)

1.一种相机模块，包括：
结构化投光器，所述结构化投光器被配置成生成特定图案的结构化光并且针对每个图像帧以图像传感器的子像素为单位来改变所述结构化光的光路以将所述结构化光投射到对象上；以及
结构化光相机，所述结构化光相机被配置成拍摄所述结构化光被投射到其上的所述对象以生成多个低分辨率图像帧，并且使用所述多个低分辨率图像帧来提取高分辨率深度图；
其中，所述结构化投光器包括倾斜单元，所述倾斜单元被配置为针对每个图像帧以相机图像传感器的子像素为单位来改变所述结构化光的光路，所述倾斜单元包括液体层，所述液体层被配置为在向所述液体层施加外部刺激时改变所述液体层的形状，以及
其中，高分辨率指代比低分辨率更高的分辨率。
2.根据权利要求1所述的相机模块，其中，所述结构化投光器被布置为距所述结构化光相机预定距离。
3.根据权利要求1所述的相机模块，其中，所述子像素具有大于零个像素并且小于一个像素的尺寸。
4.根据权利要求1所述的相机模块，其中，所述结构化投光器包括：
光源单元，所述光源单元被配置成生成光；以及
光学单元，所述光学单元被配置成收集所生成的光以生成所述特定图案的所述结构化光。
5.根据权利要求4所述的相机模块，其中，所述倾斜单元将所述结构化光的光路相对于参考光路向上、下、左和右方向中的一个改变。
6.根据权利要求4所述的相机模块，其中，所述倾斜单元被定位在所述光源单元和所述光学单元之间，以改变所述结构化光的光路。
7.根据权利要求4所述的相机模块，其中，所述倾斜单元被定位在所述光学单元的前面，以改变所述结构化光的光路。
8.根据权利要求4所述的相机模块，其中，所述光学单元包括：
聚光元件，所述聚光元件被配置成收集由所述光源单元产生的光；以及
图案元件，所述图案元件被配置成衍射由所述聚光元件收集的光以生成所述特定图案的所述结构化光，以及
其中，所述倾斜单元被定位在所述聚光元件与所述图案元件之间，以改变所述结构化光的光路。
9.根据权利要求1所述的相机模块，其中，与所述多个低分辨率图像帧相对应的所述结构化光的光路彼此不同。
10.根据权利要求9所述的相机模块，其中，所述结构化光相机生成与所述多个低分辨率图像帧相对应的多个低分辨率深度图，并且将超分辨率技术应用于所述多个低分辨率深度图以生成高分辨率深度图。
11.根据权利要求9所述的相机模块，其中，所述结构化光相机将超分辨率技术应用于所述多个低分辨率图像帧以生成高分辨率图像帧并且生成与所述高分辨率图像帧相对应的高分辨率深度图。
CN201980028493.0A 2018-04-26 2019-04-26 相机模块和用于通过相机模块提取深度信息的方法 Active CN112020856B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0048635 2018-04-26
KR1020180048635A KR102572974B1 (ko) 2018-04-26 2018-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법
PCT/KR2019/005057 WO2019209064A1 (ko) 2018-04-26 2019-04-26 카메라 모듈 및 그의 깊이 정보 추출 방법

Publications (2)

Publication Number Publication Date
CN112020856A CN112020856A (zh) 2020-12-01
CN112020856B true CN112020856B (zh) 2023-03-24

Family

ID=68293790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028493.0A Active CN112020856B (zh) 2018-04-26 2019-04-26 相机模块和用于通过相机模块提取深度信息的方法

Country Status (4)

Country Link
US (1) US11393112B2 (zh)
KR (1) KR102572974B1 (zh)
CN (1) CN112020856B (zh)
WO (1) WO2019209064A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572974B1 (ko) * 2018-04-26 2023-08-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2021162450A1 (ko) * 2020-02-13 2021-08-19 엘지이노텍 주식회사 카메라 모듈
CN115218820A (zh) * 2021-04-20 2022-10-21 上海图漾信息科技有限公司 结构光投射装置、深度数据测量头、计算设备和测量方法
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3083719B2 (ja) * 1994-07-05 2000-09-04 シャープ株式会社 投射型液晶表示装置
WO2006134793A1 (ja) * 2005-06-14 2006-12-21 Brother Kogyo Kabushiki Kaisha 投影装置
US8538166B2 (en) * 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP2015185947A (ja) 2014-03-20 2015-10-22 株式会社東芝 撮像システム
JP2015212927A (ja) * 2014-04-17 2015-11-26 株式会社リコー 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム
US9264591B2 (en) * 2014-06-02 2016-02-16 Apple Inc. Comb drive and leaf spring camera actuator
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN107209007B (zh) * 2014-11-20 2021-07-06 螳螂慧视科技有限公司 以深度估计进行图像采集的方法、设备、配件、系统
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
TWI781085B (zh) * 2015-11-24 2022-10-21 日商索尼半導體解決方案公司 複眼透鏡模組及複眼相機模組
KR102410030B1 (ko) * 2016-03-02 2022-06-17 옵토튠 컨슈머 아게 광학 장치, 특히, 자동초점, 이미지 흔들림 방지 및 초-고해상도 기능을 포함하는 카메라
EP3516328B1 (en) * 2016-09-21 2023-05-03 Philip M. Johnson Non-contact coordinate measuring machine using hybrid cyclic binary code structured light
US10360693B2 (en) * 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
JP7024551B2 (ja) * 2017-03-29 2022-02-24 Ａｇｃ株式会社 ガラス板構成体及びそれを用いた振動板並びに映像投影構造体
KR102572974B1 (ko) * 2018-04-26 2023-08-31 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US11250277B2 (en) * 2018-11-30 2022-02-15 Universal City Studios Llc Alternating crossed alignment object detection

Also Published As

Publication number Publication date
KR20190124542A (ko) 2019-11-05
CN112020856A (zh) 2020-12-01
US11393112B2 (en) 2022-07-19
KR102572974B1 (ko) 2023-08-31
US20210065390A1 (en) 2021-03-04
WO2019209064A1 (ko) 2019-10-31

Similar Documents

Publication Publication Date Title
CN112020856B (zh) 相机模块和用于通过相机模块提取深度信息的方法
US10321033B2 (en) Light field camera
TWI668997B (zh) 產生全景深度影像的影像裝置及相關影像裝置
US7319783B2 (en) Methods for minimizing aberrating effects in imaging systems
JP4673202B2 (ja) 画像入力装置
US9060140B2 (en) Microlens array unit and solid state imaging device
CN111866387B (zh) 深度图像成像系统和方法
US11509835B2 (en) Imaging system and method for producing images using means for adjusting optical focus
CN113260892B (zh) 光学系统及包括该光学系统的相机模块
CN102681146A (zh) 红外线透镜
Brückner et al. Ultra-thin wafer-level camera with 720p resolution using micro-optics
CN102645832B (zh) 投射型显示装置、便携型电子设备及数字拍摄机
US11039117B2 (en) Dual lens imaging module and capturing method thereof
CN110908133A (zh) 一种基于二面角反射镜阵列的集成成像3d显示装置
JP2013236291A (ja) 立体撮像装置
US11882263B2 (en) ToF camera
Oberdörster et al. Digital focusing and refocusing with thin multi-aperture cameras
CN215218570U (zh) 一种透镜系统、成像模组及tof深度相机
CN215264246U (zh) 一种准直透镜系统、投影模组及深度相机
RU2429509C1 (ru) Способ оптической обработки изображения и оптическая система для него
Vail Explorations in Monocular Distance And Ranging (MODAR) Techniques for Real-World Applications
Rangappa Absolute depth using low-cost light field cameras
Bräuer et al. Ultra-thin multi-aperture depth monitoring camera modules with megapixel resolution
Bräuer et al. High resolution multichannel imaging systems
Kumar Three-dimensional imaging using a novel rotating point spread function imager

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant