CN110298874B - 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置 - Google Patents

基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置 Download PDF

Info

Publication number
CN110298874B
CN110298874B CN201910228496.0A CN201910228496A CN110298874B CN 110298874 B CN110298874 B CN 110298874B CN 201910228496 A CN201910228496 A CN 201910228496A CN 110298874 B CN110298874 B CN 110298874B
Authority
CN
China
Prior art keywords
structured
structured light
image
image sensor
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910228496.0A
Other languages
English (en)
Other versions
CN110298874A (zh
Inventor
王康怀
G·C·威尔逊
M·A·哈德利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN110298874A publication Critical patent/CN110298874A/zh
Application granted granted Critical
Publication of CN110298874B publication Critical patent/CN110298874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置。本发明揭示撷取非结构光图像及结构光图像以导出深度信息的方法及装置。依据该方法，在调节该结构光源以生成在初始强度级的初始结构光的情况下，通过投射在可见光谱中的结构光图案来撷取在公共图像平面上所形成的不具有结构光的一个或多个非SL(non‑structured light；非结构光)图像以及一个或多个初始SL(结构光)图像。基于该非SL图像及该初始SL图像评估自一个或多个对象反射的结构光图案的信号质量。若结构光图案的该信号质量低于阈值，则通过自先前级增加该结构光级来撷取下一组SL图像，直至该结构光图案的该信号令人满意。

Description

基于单个图像传感器及在可见光谱中的结构光图案撷取图像 及相关三维模型的方法及装置
相关申请的交叉参考
本发明与2015年10月16日提交的序列号为14/884,788的美国 专利申请相关。该美国专利申请整体通过参考包括于此。
技术领域
本发明涉及通过用结构光图案照明对象来撷取图像及相关三维模 型。尤其，本发明涉及针对在非静态环境中且限制为没有或仅有少量 干扰结构光(structured light；SL)的应用的低成本解决方案。
背景技术
近年来，三维(3D)成像有各种应用，例如虚拟-现实可视化、制 造、机器视觉、手术模型、认证等。可通过使用常规相机以获得纹理 信息以及独立的深度相机(例如飞行时间相机)以获得视场中的场景 中的对象的深度信息，从而撷取三维图像。也可通过使用多个相机来 撷取三维图像，其中，常在平面配置中使用多个相机，以自不同的视 角撷取场景。接着，在多个视图之间建立点对应，以进行三维三角剖 分。
已开发另一种三维成像技术(即结构光技术)，以通过使用单个相 机导出场景中的对象的深度或形状。在结构光(structured light； SL)系统中，常使用一个或多个光源以及投影仪来将一个或多个已知 的几何图案投射于场景中的对象上。可使用常规相机撷取具有或不具 有该投射图案的图像。可使用在具有及不具有该结构光的情况下所撷 取的该图像导出与场景中的该对象关联的形状。接着，将该深度或形 状信息用于常规图像(该常规图像是在不具有结构光的情况下撷取 的)，以创建该对象的三维纹理模型。该结构光技术在本领域中是公知的。例如，在“structured-light 3D surface imaging:atutorial”(Geng,in Advances in optics and photonics,Vol.3,Issue 2,pp. 128-160，March 31,2011)中，说明了使用各种结构光图案的结构光 技术并比较相应的性能。在另一个例子中，在“3-D Computer Vision Using Structured Light:Design,Calibration andImplementation Issues”(DePiero et al.,Advances in Computers,Volume 43,January1,1996,pages 243-278)”中说明各种设计、校准及实施问 题。在2013年7月23日公告的序列号为8,493,496的美国专利中， 揭示用于映射对象的方法及装置。依据美国专利8,493,496，以不均匀 图案布置包含多个微透镜的透明装置。光源经配置而以光辐射透射该 透明装置且该微透镜经配置以聚焦该光照射，从而在焦平面形成呈不 均匀图案的相应焦点。图像传感器撷取被投射于该对象上的图案的图像，以重构该对象的三维映射。该结构光技术的细节在本领域中是公 知的，因此这里不重复该些细节。
近来，结构光成像已被用于面部识别，作为用户解锁移动装置例 如智能手机的认证方法。结构光三维系统常常适于映射静态环境中的 对象，其中，该对象是静止的。而且，为了导出可靠的三维模型，常 常使用与环境光相比具有很高强度的结构光撷取结构光图像。因此， 传统的结构光成像方法可能不适用于移动装置中的三维面部识别，因为强结构光不仅是烦扰的，而且引起眼睛安全担忧。为了克服该些问 题，上市的系统使用专用相机撷取结构光图像。而且，使用近红外光 源投射结构光图案，以避免或减少在结构光图像撷取期间对被摄者的 干扰。例如，苹果公司最近推出的iPhone X包含结构光发射器，其使 用VCSEL(vertical-cavity surface-emitting laser；垂直腔面发射激光器)作为光源以将30,000个点投射于对象上(Zac Hall,“iPhone X’s one design limitation rumored tobe improved next year”, 9to5Mac Online Article,Jan.16,2018, https://9to5mac.com/2018/01/16/iphone-12-almost-notchless/)。 使用包括具有近红外滤波器的1.4MP CMOS(complementary metal-oxide-semiconductor；互补金属-氧化物-半导体)传感器的结构光接收器来撷取结构光图像。而且，iPhone X包括泛光照明器(Alex Webband Sam Kin,“Inside Apple’s Struggle to Get the iPhone X to Market on Time”,Bloomberg Technology,Oct.25,2017,https://www.bloomberg.com/news/articles/2017-10-25/inside- apple-s-struggle-to-get-the-iphone-x-to-market-on-time+&cd＝1&hl＝en&ct＝clnk&gl＝us)，其针对红外相机发射红外光，以建立面部的 呈现。尽管独立的传感器及在不可见光谱中的光源的使用提供用于撷 取结构光图像的可靠方式，但该解决方案因需要额外的组件(也就是， 点投影仪/VCSEL光源、泛光照明器及红外相机)而非常昂贵。图1示 出利用结构光进行面部识别的市场上的移动电话100的例子，其中显 示点投影仪/VCSEL光源110、红外相机120、泛光照明器130以及前置 相机140。
对于任何消费者应用，成本是要考虑的非常敏感的因素。想要开 发三维结构光成像系统，其具有减少的组件，同时保持质量及准确度 与具有独立结构光投影仪及独立结构光图像传感器的系统一样，且没 有对被摄者造成显著干扰。
发明内容
本发明揭示使用包括图像传感器及一个或多个结构光源的相机撷 取场景的图像以导出深度信息的方法及装置。依据该方法，在没有开 启任意结构光源的情况下，在一个或多个第一帧周期期间，使用该图 像传感器撷取在公共图像平面上所形成的一个或多个非SL(non-structured light；非结构光)图像。在调节该一个或多个结 构光源以生成在一个或多个初始强度级的初始结构光的情况下，通过 投射在可见光谱中的结构光图案，在一个或多个第二周期期间，使用 该图像传感器撷取在该公共图像平面上所形成的一个或多个初始SL(结构光)图像。基于该一个或多个非SL图像及该一个或多个初始SL 图像评估自该图像传感器的视场中的一个或多个对象反射的结构光图 案的信号质量。若结构光图案的该信号质量低于阈值，则重复下列步 骤直至结构光图案的该信号质量等于或高于该阈值：针对该一个或多 个结构光源，从包括高于至少一个先前强度级的一个目标强度级的范围或组中选择一个或多个目标强度级；以所选的该一个或多个目标强度级，通过投射在该可见光谱中的该结构光图案，在一个或多个第三 周期期间，撷取在该公共图像平面上所形成的一个或多个接下来的SL 图像作为一个或多个目标SL图像；以及基于该一个或多个非SL图像 及该一个或多个目标SL图像评估自该图像传感器的该视场中的一个或 多个对象反射的结构光图案的信号质量。若结构光图案的该信号质量 令人满意，则提供该一个或多个非SL图像及一个或多个最终目标SL 图像，其中，该一个或多个最终目标SL图像对应至最后迭代中所撷取 的该一个或多个目标SL图像。
该方法还可包括在没有开启任意结构光源的情况下，通过将该图 像传感器设置为常规模式，通过该图像传感器撷取在常规帧周期期间 利用该图像传感器在该公共图像平面上所形成的常规图像，其中，该 一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第 三周期可远小于该常规帧周期。例如，该一个或多个第一帧周期、该 一个或多个第二周期以及该一个或多个第三周期等于或小于该常规帧 周期的1/8。
在一个实施例中，在撷取该一个或多个非SL图像、该一个或多个 初始SL图像以及该一个或多个接下来的SL图像(称为快速模式图像) 期间，将该图像传感器设置为快速撷取模式，以使该一个或多个第一 帧周期、该一个或多个第二周期以及该一个或多个第三周期远短于用 以通过该图像传感器撷取常规图像的常规帧周期。该快速撷取模式可 对应至通过降低与该图像传感器的模拟-数字转换器 (analog-to-digital converter；ADC)关联的位深度或空间分辨率 或参照该常规模式增加该图像传感器的读出增益来设置该图像传感 器。该快速撷取模式也可对应至降低该图像传感器的空间分辨率，通过设置该图像传感器以整合同一颜色的相邻传感器像素来降低空间分 辨率。
在一个实施例中，所述评估自该图像传感器的视场中的一个或多 个对象反射的结构光图案的该信号质量包括评估自该图像传感器的视 场中的一个或多个对象反射的该结构光图案的信噪比、平均信号或峰 值信号。
在一个实施例中，该一个或多个结构光源包括具有不同光谱密度 的多个光源，并调节该多个光源以最大限度地增加该图像传感器的颜 色平面之间的结构光-环境光信号比。
在一个实施例中，依据该一个或多个非SL图像的图像强度以及通 过距离传感器所检测的该相机与目标对象之间的距离信息确定该一个 或多个初始强度级。在另一个实施例中，依据来自环境光传感器的环 境光信息以及距离信息确定该一个或多个初始强度级。
该方法还可包括对该一个或多个非SL图像应用平均、中值滤波器 或离群值剔除(outlier rejection)以导出增强非SL图像，对该一个或多个初始SL图像应用平均、中值滤波器或离群值剔除以导出处理 后的初始SL图像以及对该一个或多个目标SL图像应用平均、中值滤 波器或离群值剔除以导出增强SL图像。基于该增强非SL图像及该处 理后的初始SL图像、或基于该增强非SL图像及该增强SL图像，评估 自该图像传感器的该视场中的一个或多个对象反射的结构光图案的该 信号质量。该方法还可包括基于该增强非SL图像与该增强SL图像之间的差别导出该图像传感器的该视场中的一个或多个对象的深度信 息。
附图说明
图1示出利用结构光进行面部识别的市场上的移动电话的例子， 其中显示点投影仪/VCSEL光源、红外相机、泛光照明器以及前置相机。
图2A示出包含本发明的实施例的集成图像传感器的简化方块图。
图2B示出包含本发明的实施例的集成图像传感器的简化方块图。
图3示出包含本发明的实施例以通过使用同一图像传感器撷取具 有及不具有结构光的图像的装置的示例方块图。
图4示出依据本发明的实施例用于撷取不具有结构光的一组非SL 图像以及具有连续增加的结构光强度的一组或多组SL图像的示例流程 图。
具体实施方式
将很容易理解，这里的附图中概括说明并显示的本发明的组件可 以各种不同的配置来安排和设计。因此，下面对附图中所示的本发明 的系统及方法的实施例的更详细说明并非意图限制所请求保护的本发 明的范围，而仅是本发明的所选实施例的代表。本说明书中提到的“一个实施例”、“实施例”或类似语言是指与该实施例关联说明的特定特 征、结构或特性可被包括于本发明的至少一个实施例中。因此，在本 说明书中的不同地方出现“在一个实施例中”或“在实施例中”等说 法并不一定都指同一个实施例。
而且，在一个或多个实施例中可以任意合适的方式组合所述的特 征、结构或特性。不过，相关领域的技术人员将意识到，本发明可在 不具有一个或多个具体细节的情况下或者通过其它方法、组件等实施。 在其它例子中，未显示或详细说明已知结构或操作，以避免模糊本发 明的态样。通过参照附图将更好地理解本发明的示例实施例，附图中类似的附图标记表示类似的部件。下面的说明仅为示例，简单说明与 这里所请求保护的发明一致的装置及方法的某些选定实施例。
如上所述，对于特定的结构光应用，想要使结构光不被察觉，从 而不干扰被摄者，该被摄者的图像被撷取以用于三维映射。传统的结 构光系统常常使用明亮的激光源来投射结构图案，其适用于静态对象。 然而，出于安全考虑，此类系统可能不适用于人类被摄者，因为明亮 的光线可能损伤被摄者的眼睛。而且，被摄者可能处于运动中且在结构光(SL)图像与被摄者的相应常规图像之间可能存在实质差别。
在本领域中正在实施的一种解决方案利用在红外或近红外频带中 的不被察觉的光源以及匹配的图像传感器以撷取在不被察觉的频带中 的图像。尽管此系统运行良好，但它因所需的额外组件(例如该匹配 图像传感器及红外光源)而增加系统成本。因此，想要开发低成本系 统，其可可靠地撷取对象(例如人类被摄者)的三维信息，而不会对 该对象造成显著干扰。除撷取该被摄者的该三维信息以外，还想要以 良好质量撷取该对象的图像。可将该对象的该三维信息与该对象关联，以用于各种应用。例如，该对象可对应人类被摄者的面部，并通过将 当前导出的三维面部信息与先前储存的该被摄者的三维面部信息匹配，可将该三维面部信息用于该被摄者的认证。
近来，Gao等人(“A smartphone-based laser distance sensor for outdoorenvironments”,2016IEEE International Conference on Robotics and Automation(ICRA),Stockholm,Sweden,May 16-21, 2016,pp.2922-2929)揭示了基于智能手机的三维映射系统，其中， 使用线激光器作为结构光源，使用带通滤波器减少环境光通量，以及使用CMOS图像传感器撷取自对象反射的激光照明。通过使用智能手机 的处理资源导出距离相机的对象距离。该系统能够在环境光及太阳光 条件下检测对象距离。一个目标应用是针对机器人车辆的LDS(laser distance system；激光距离系统)。尽管该系统可实现低成本，但它 主要用于检测对象(例如障碍物)的距离，并不太关心超出眼睛安全 级的对被摄者的可能干扰。而且，用于撷取与自对象反射的激光照明 对应的图像的图像传感器不用于撷取常规图像，因为该LDS主要关心 可能是车辆的障碍的对象距离。相反，智能手机具有内置的高质量图 像传感器以撷取常规图像/视频。因此，Gao等人的系统未解决用于撷 取结构光图像以及在没有投射干扰结构光的情况下的常规图像的低成本系统的问题。
在本发明中，低成本系统使用同一图像传感器撷取结构光(SL) 图像及常规图像，而不投射非常显著的干扰结构光。在相机中，图像 传感器位于图像平面中，相机光学向其上投射视场(field of view； FOV)中的场景。当使用同一图像传感器时，将FOV中的该场景投射于 同一图像平面，而不论是结构光图像还是常规图像。而且，它适用于 对象(例如，人类被摄者)可能为非静止的应用。对于本系统，使用 同一图像传感器撷取结构光图像以及常规图像。在序列号为 14/884,788的美国专利申请中，揭示通过使用同一图像传感器撷取结 构光图像及常规图像的胶囊相机。在人体胃肠环境中，没有环境光。因此，可使用结构光图像导出三维信息，例如对象的深度及形状。对 于当前的预定应用，环境光常常存在，甚至可能对应强列的太阳光。 因此，当撷取结构光图像时，该图像与对应结构光的图像和对应环境 光的图像的混合体对应。为利用结构光导出三维信息，也需要撷取不 具有结构光的图像(也就是，仅对应环境光的图像)。相应地，若场景 是静止的，可自这两个图像的差别导出结构光特定图像(也就是，自场景中的对象的相应反射结构光)。在使用在可见频带中的结构光源的 情况下，结构光的光强度必须足够高，从而可检测结构光图案。在环 境光环境下，若在具有结构光的所撷取图像与不具有结构光的所撷取 图像之间没有运动或几乎没有运动，则该两个图像之间的差别揭示自对象反射的结构光。在本申请中，将在具有结构光的情况下所撷取的 图像称为SL图像，将在不具有结构光的情况下所撷取的图像称为非SL图像。在相机的视场(FOV)中的对象的深度可从自该对象反射的结构 光图案导出。例如，可使用在SL图像与非SL图像之间的差别图像导 出对象的三维信息。本申请中的用语“具有结构光”是指结构光开启 的情形。本申请中的用语“不具有结构光”是指结构光关闭的情形。而且，结构光关闭的情形还包括结构光基本上关闭的情形，例如仅为 预定强度的10％或更小。
为了最大限度地降低在可见光谱中的结构光可能对被摄者造成的 可能干扰，本发明揭示一种通过设置初始低强度结构光来撷取非SL图 像及初始SL图像的方法。可从该非SL图像及该初始测试SL图像导出 自相机的视场中的对象反射的结构光图案。检查自对象反射的结构光 图案的质量。若自对象反射的结构光图案的质量不是足够好，则将结 构光源的强度选择为自先前强度级增加的一个强度级，直至自对象反 射的结构光图案的质量足够好，例如在SL图像与非SL图像之间的差 别可使处理器能够可靠地检测结构光图案。在每个步骤中，撷取新的 测试SL图像并可再次从该非SL图像及该新的测试SL图像导出自相机 的视场中的对象反射的结构光图案。在一个例子中，可将结构光源的强度选择为连续增加。在此情况下，重复增加结构光源的强度、撷取 新的SL图像、导出自对象反射的结构光图案以及检查自对象反射的结 构光图案的质量的过程，直至自对象反射的结构光图案的质量足够好。
在上文中，可通过单独的帧周期撷取非SL图像及初始测试SL图 像。例如，可在第一周期期间撷取非SL图像并可在第二周期期间撷取 初始SL图像。该第一周期与该第二周期可具有相同或不同的长度。而 且，可通过使用单独的帧周期(称为第三周期)撷取新的SL图像。同 样，该第一周期、第二周期及第三周期可具有相同或不同的长度。
自对象反射的结构光图案的质量依赖于自对象反射的结构光图案 在存在各种噪声例如来自太阳光的散粒噪声、对象运动等情况下的可 靠程度。可以各种方式测量自对象反射的结构光图案的质量，例如自 对象反射的结构光图案的信噪比、平均或峰值信号电平等。
本发明适用于各种环境光条件，包括明亮的太阳光环境。有时， 太阳光可能是明亮的并需要减少图像传感器曝光时间以防止饱和。另 一方面，结构光源在功率可达到多高方面有其局限性。而且，强烈的 太阳光可导致大的散粒噪声且在如此短的曝光时间内，结构光可能没 有大到足以使图像传感器引发足够的电子信号来克服该散粒噪声。目前市场上的大多数图像传感器通过在模拟域中或以数字方式组合或整 合相邻的同一颜色的像素来支持低空间分辨率模式。尽管该整合模式 允许以较低的空间分辨率在较高的帧速率操作图像传感器，但该整合 操作就其增强信噪比的效果而言是重要的。
在选择非SL图像强度时，对于例如存在强太阳光的情况，在图像 传感器的像素阱容量方面具有优选级。同时，将结构光图案叠加于非 SL图像强度的顶部，以撷取SL图像。出于强调这一点的目的，让我们 仅考虑散粒噪声。光能量将被转换为图像传感器的像素电位阱中的光 子。在下面的式子中，ESL表示结构光能量，其对应结构光功率强度PSL与曝光时间te的乘积。这同样适用于环境光能量EA，其表示环境光的 能量。相应地，Ea等于环境光功率PA与te的乘积。下面的SNR(signal to noise ratio；信噪比)式子中，当te较大时，SNR较大。因此， 有利的条件应当是允许像素电位足够接近饱和。相应地，该级较佳为 高于目标像素值且该目标像素值应当是在覆盖接近最大像素值的像素 值的范围内，具有一定余量，以避免过度曝光。例如，对于8位传感 器输出，依据一个实施例，该范围可为从160至240。例如，可将目标 像素值选择为200。应当理解，像素值随图像区域变化。在一个实施例 中，使用位于图像的中央区域中的像素值选择曝光时间te。例如，在 移动电话的面部认证应用中，图像的中间区域对应被摄者面部，它是 要处理的目标。在一个实施例中，曝光时间te经选择以使图像的中间 区域中的像素值的直方图具有约210的最高值。
为了进一步提升自图像传感器的FOV中的对象反射的结构光图案 的质量，本发明的另一个实施例撷取多个SL图像及多个非SL图像以导出结构光图案。该多个SL及非SL图像通过包括自先前强度级增加 的一个强度级的选择结构光强度撷取，直至结构光图案的质量令人满 意。每组中的多个SL图像不一定通过相同的SL光强度撷取。换句话 说，每组中的多个SL图像可通过不同的SL强度撷取。在一个实施例 中，可使结构光强度由低至高上升，直至结构光图案的质量令人满意。 依据此实施例，在不具有结构光的情况下撷取一组非SL图像并在具有 相同强度或不同强度级的结构光的情况下撷取一组SL图像。自多个SL 图像及多个非SL图像导出的结构光图案应当具有增强的信噪比。相应 地，结构光图案的质量应当得以提升。在一个或多个新的结构光强度级撷取每组SL图像以后，检查结构光图案的质量。若结构光图案的质 量不够好，则通过自先前级增加的结构光强度撷取下一组SL图像。在 此情况下，仅撷取一组非SL图像。不过，可能需要撷取多组SL图像， 其中，通过相同的结构光强度或通过不同的SL强度级撷取每组SL图 像。当针对每组SL图像使用不同的强度级时，从包括自至少一个先前 强度级增加的一个目标强度级的范围或组选择该一个或多个新的SL强 度级。当该组SL图像使用相同的SL强度时，针对新的每组SL图像， 自前一组增加结构光强度。当针对每组SL图像使用不同的强度级时，新的SL图像的至少其中之一通过低于至少一个先前强度的目标强度撷 取。重复通过增加的结构光强度撷取新的一组SL图像并评估该结构光 图案的质量的过程，直至结构光图案的质量令人满意。
当使用多个SL图像及多个非SL图像导出结构光图案时，可组合 该组SL图像以形成增强SL图像。另外，可组合该组非SL图像以形成 增强非SL图像。若在该组SL及非SL图像中没有运动，则可将该增强 SL及非SL图像分别导出为该组SL及非SL图像的平均值。不过，若在 该组SL图像或该组非SL图像中有运动，则该处理应当考虑在该组SL 或非SL图像内的该运动。在视频处理/压缩领域中，各种运动估计及 补偿技术是已知的。可将这些运动估计及补偿技术应用于该组SL及非 SL图像，以在组合这些SL或非SL图像之前补偿该运动。就移动电话 应用而言，在该组SL及非SL图像中的该运动可能因手没有牢固地持有该移动电话引起。在此情况下，在该多个SL或非SL图像中的该运 动可通过使用全局运动估计/补偿处理。
减轻该运动问题的另一种技术是缩短两个连续图像之间的周期， 从而以较高速率撷取图像。因此，依据本发明，应用快速撷取模式来 撷取该组S图像及该组非SL图像。在该快速模式中，大幅缩短用于撷取图像的帧周期。例如，将该帧周期减少至常规帧周期的1/8或更小。 若以30fps(frames per second；每秒帧数)操作相机，则该快速模 式对应240fps。因此，在结构光图像与不具有结构光的相应图像之间 的时间差变为1/240秒。对于如此短的时间周期，预期在两个连续图 像之间的运动是微不足道的。
在序列号为14/884,788的美国专利申请中，揭示单个图像传感器 相机，以撷取结构光图像及常规图像用于人体胃肠 (gastrointestinal；GI)道成像应用。由于在GI环境中没有环境光， 因此该结构光图像对应自对象反射的结构光。在序列号为14/884,788 的美国专利申请中揭示一些例子，以缩短的帧周期(也就是，以快速撷取模式)撷取结构光。例如，与常规图像相比，通过降低结构光图 像的位深度或空间分辨率，可配置图像传感器在缩小的动态范围中操 作。而且，可将传感器的读出电路中的增益设高，从而以缩短的帧周期撷取结构光图像。
图2A示出包含本发明的实施例的集成图像传感器200的简化方块 图的一个例子。该集成图像传感器包括：像素阵列(210)，响应该像 素阵列所接收的光能量，以依据所接收的该光能量产生具有电压电平 的信号数据；读出电路(220)，与该像素阵列耦接，以访问该像素阵列所产生的该信号数据；增益控制250，与读出电路220耦接，还包括 增益控制250以调节像素阵列210的输出信号的增益；一个或多个模拟-数字转换器(ADC，230)，具有第一动态范围及第二动态范围；以 及时序/控制电路(240a及240b)。该像素阵列可由单色像素或彩色像素组成。该像素阵列可基于CMOS技术或CCD技术。在该时序/控制电 路的控制下，将输出电路与该像素阵列耦接。例如，在该时序/控制电 路的控制下，可将该像素阵列输出逐行传送至输出电路。输出电路还 可包括放大器及CDS电路，其中，该CDS电路用以在重置以后处理单 独像素中的偏移。尽管将该时序/控制电路(240a及240b)显示为两 个独立的方块，但也可将它们实施为一体化方块。
图2B示出包含本发明的实施例的集成图像传感器260的简化方块 图的另一个例子。集成图像传感器260的该简化方块图与图2A中所示 类似。不过，增益控制功能被嵌入读出电路270及ADC 280中，其中， 增益输入1与调节该读出电路的输出增益的增益控制信号对应，且增 益输入2与调节ADC 280的增益的增益控制信号对应。
该ADC电路能够操作于第一动态范围及第二动态范围。该第一动 态范围小于该第二动态范围。例如，该第一动态范围可对应6位且该 第二动态范围可对应9位。也将该ADC动态范围称为ADC分辨度或位深度。在上面的例子中，该ADC支持6位分辨率及9位分辨率或该ADC 所支持的位深度为6位或9位。可使用具有不同动态范围的独立ADC。 由于顺序地而非平行地撷取结构光图像及常规图像，因此也可使用具 有可配置动态范围的单个ADC。例如，在2013年2月5日授予Wong 等人的序列号为8,369,458的美国专利中揭示自适应可配置ADC。该时 序/控制电路可包括行扫描电路及列扫描电路。该时序/控制电路也可 负责生成各种控制信号例如重置信号。在下文中，提供关于配置图像传感器以撷取结构光图像及常规图像的优选实施例。
在图2A中，可将增益控制250设至高，以减少所需曝光时间。在 图2B中，也可将读出电路270的增益输入1及/或ADC 280的增益输 入2设至高，以减少所需曝光时间。当开启结构光以照明被摄者时， 想要保持曝光时间短及/或保持强度低，以免对被摄者造成非常显著的 干扰。因此，在快速撷取模式中可将增益设高。不过，若环境光(例 如，太阳光)强烈，则需要将增益设至合适的较低水平，以避免饱和 的像素值，且结构光需要足够强于因强环境光而导致的散粒噪声。
降低传感器空间分辨率也可有助于增加帧速率(也就是，减少帧 撷取时间)。该降低的空间分辨率可通过子采样或整合实现。该子采样 技术简单地沿水平及/或垂直方向略过像素，从而可快速地读出图像 帧。如先前所述，像素整合是通过降低空间分辨度来增加帧速率的另一种技术。像素整合在模拟或数字域中水平地及/或垂直地组合来自多 个像素的电荷。它不仅增加帧速率，而且增加所撷取图像的信噪比 (SNR)。目前，这两种降低空间分辨率的技术都可用于各种商业图像 传感器产品中。
在撷取一组快速模式SL图像及一组快速模式非SL图像以后，可 自该组快速模式SL图像及该组快速模式非SL图像确定自对象反射的 结构光图案，并可导出与对象关联的三维信息，例如形状或深度。在 先前所述的实施例中，在不具有结构光的情况下撷取一组非SL图像， 并通过选择包括自先前强度级增加的一个强度级的结构光强度撷取SL 图像组，直至结构光图案的质量令人满意。例如，所选择的结构光强 度对应连续增加的结构光强度。通过在不具有结构光的情况下撷取一 组快速模式非SL图像并通过连续增加结构光强度撷取快速模式SL图 像组直至结构光图案的质量令人满意，可将快速撷取模式应用于该实 施例。
图3中显示用于实施上述实施例的一种示例装置，其中，该装置 包括集成图像传感器310、结构光源320以及控制处理器330。图3中 未显示相机系统所需的其它组件，例如光学透镜及闪光灯。可将如图 2A或图2B中所示的集成图像传感器用作图3中的图像传感器310。尽 管图3中仅显示结构光源320，但应当理解，还需要其它组件，例如具 有所选图案的透明装置及用以投射该图案的光学(图3中未显示)。包 含控制及处理单元330以提供所需的控制信号，例如将该图像传感器 设置为快速撷取模式以撷取快速模式图像，从而导出三维信息。另外， 控制及处理单元330控制该结构光源的操作，例如是否开启/关闭及何 时开启/关闭结构光源320。控制及处理单元330还可负责基于所撷取 的快速模式图像导出三维信息。对于移动电话应用，在移动电话内总 是具有强大的处理单元(例如，应用处理器)。可编程该移动电话处理 单元以执行上面的任务。而且，想要使用同一图像传感器撷取该快速模式图像以及常规图像。因此，可改装移动电话中的该图像传感器或 多个图像传感器以撷取该快速模式图像以及常规图像。关于具有该结 构光源的结构光模块，结构光模块将为传统移动电话的额外组件，因 为传统移动电话中不需要结构光模块。
如前所述，在一些环境中，太阳光可能强烈。为导出可靠的结构 光图案，撷取不具有结构光的一组非SL图像以及具有连续增加的结构 光强度的多组SL图像。可组合该组非SL图像以形成增强非SL图像。 类似地，可组合每组SL图像以形成增强SL图像。如前所述，通过组 合具有相同类型(也就是，SL或非SL)的多个图像可增强图像信噪比， 其有利于处理各种噪声例如散粒噪声及量化噪声。在导出该增强SL图 像及增强非SL图像后，可接着自该增强SL图像及增强非SL图像导出 结构光图案。例如，该结构光图案可通过自该增强SL图像减去该增强 非SL图像导出。该增强SL图像可对应该组SL图像的平均值且该增强 非SL图像可对应该组非SL图像的平均值。不过。也可使用其它方法 以分别基于该组SL/非SL图像导出该增强SL/非SL图像。例如，可应 用离群值剔除以在组合多个SL或非SL图像之前或期间移除一些极端 样本。在另一个例子中，替代平均，可将中值滤波器应用于该多个SL 图像以导出该增强SL图像。类似地，可将该中值滤波器应用该多个非 SL图像以导出该增强非SL图像。不过，可共同地自该组SL图像及该 组SL图像导出该结构光图案，而无需自该组SL图像导出该增强SL图 像并自该组非SL图像导出该增强非SL图像。
在下文中，撷取一组非SL图像以及具有连续增加的结构光强度的 一组或多组SL图像的一个例子：
1.通过传感器撷取在相机的公共图像平面上所形成的M个非SL图 像，其中，M≥1。
2.在将结构光设为初始强度级的情况下，通过传感器撷取在相机 的该公共图像平面上所形成的N个初始SL图像，其中，N1≥1。
3.基于该M个非SL图像及该N个初始SL图像导出自图像传感器 的视场中的对象反射的结构光图案。
4.检查该结构光图案的质量。若该质量令人满意，则停止；否则 执行步骤5a至5c。
5a.通过传感器撷取在相机的该公共图像平面上所形成的N个接下 来的SL图像，而结构光被设为针对该N个接下来的的SL图像的固定 强度级，其中，该固定强度级高于先前强度级，
5b.基于该M个非SL图像及该N个接下来的SL图像导出自图像传 感器的视场中的对象反射的结构光图案，以及
5c.进至步骤4。
如上所述，当前应用适用于结构光不会对被拍摄的被摄者造成非 常显著的干扰的环境。因此，应当适当调整结构光的强度，以便结构 光投射足够的结构光图案来导出被摄者的三维信息。在上面的例子中， 将结构光强度从初始的低级连续增加，直至可导出可靠的结构光图案。 故意将该初始低级设低，以确保结构光不会干扰被摄者。不过，这会有缺点，因为可能需要更多步骤(也就是，更多时间)来将结构光上 升至所需强度级。为加速结构光设置，本发明的一个实施例利用相机 中可能用于其它目的其它有用信息。例如，在一些移动电话中使用环 境光传感器。利用已知的环境光，可适当选择初始结构光级，以加速识别最小所需结构光级从而获得可靠的结构光图案的过程。在另一个实施例中，移动电话可能具有初略的距离测量例如接近传感器或其它 距离测量装置。此类装置可向传感器提供对象的指示。相应地，实施 例可基于一个或多个非SL图像的强度及对象距离确定适当的初始结构 光级，以加速识别最小所需结构光级从而获得可靠的结构光图案的过 程。
在又一个实施例中，移动装置包括具有不同发射光谱或波长的光 源且可选择性开启/关闭或调节该光源以改变强度，从而生成目标光谱 特性。另一方面，彩色图像传感器具有多个颜色平面，每个颜色平面 包括具有相似颜色滤波器的像素。想要调节该结构光源以最大限度地 增加在彩色图像传感器的该颜色平面之间的结构光-环境光信号比。通 过调节结构光以生成不同光谱的光，可基于一个非SL图像及多个SL 图像估计该最大结构光-环境光信号比。选择导致该最大结构光-环境 光信号比的设置以撷取其它SL图像。
为确定最佳组合光谱以提取SL图像与非SL图像之间的更可靠差 别，可检查光源的不同设置，以选择最佳的一个。在本发明的另一个 实施例中，首先撷取非SL图像并评估该非SL图像的颜色特性。例如， 对象可对应被摄者面部，其主要包括肤色。若可调节结构光源以生成 目标光谱，这可导致与该非SL图像的大多数颜色更加不同的SL颜色。相应地，在本发明的又一个实施例中，评估测试图像的颜色信息。依 据包括第一图像的评估颜色的条件设置结构光。例如，在人面部是测 试图像中的对象的情况下，将调节结构光源以围绕接近肤色的互补颜 色的蓝色生成具有较高光谱密度的目标光谱。在一个实施例中，仅读 出蓝色像素以加速操作。
图4示出依据本发明的一个实施例用于撷取不具有结构光的一组 非SL图像以及具有连续增加的结构光强度的一组或多组SL图像的示例流程图。依据此方法，在步骤410中，在没有开启任何结构光源的 情况下，在一个或多个第一帧周期期间，通过使用图像传感器撷取在 公共图像平面上所形成的一个或多个非SL(非结构光)图像。在步骤 420中，在调节该一个或多个结构光源以生成在初始强度级的初始结构 光的情况下，通过投射在可见光谱中的结构光图案，在一个或多个第二周期期间，通过图像传感器撷取在该公共图像平面上所形成的一个 或多个初始SL(结构光)图像。在步骤430中，基于该一个或多个非 SL图像及该一个或多个初始SL图像评估自图像传感器的视场中的一 个或多个对象反射的结构光图案的信号质量。如前所述，尽管可撷取 单个非SL图像及单个SL图像，但多个非SL图像及多个SL图像将提 供较好的性能以导出该结构光图案。在步骤440中，检查结构光图案的信号质量是否低于阈值。若确认该结果(也就是，步骤440的“是” 路径对应结构光图案的信号质量低于阈值)，则重复步骤450至470， 直至结构光图案的信号质量等于或高于该阈值。若该步骤的结果是否定的(也就是，步骤440的“否”路径对应结构光图案的信号质量等于或高于该阈值)，则该流程进至步骤480。在步骤450中，针对该一 个或多个结构光源，从包括自先前强度级增加的一个目标强度级的范 围或组选择目标强度级。在步骤460中，以所选的该目标强度级，通 过投射在该可见光谱中的该结构光图案，在一个或多个第三周期期间， 通过使用图像传感器撷取在该公共图像平面上所形成的一个或多个接 下来的SL图像作为一个或多个目标SL图像。在步骤470中，基于该 一个或多个非SL图像及该一个或多个目标SL图像评估自图像传感器 的视场中的一个或多个对象反射的结构光图案的信号质量。在步骤470以后，该流程再次进至步骤440，以检查结构光图案的信号质量。在步 骤480中，提供该一个或多个非SL图像及一个或多个最终目标SL图 像作为输出以导出深度信息，其中，该一个或多个最终目标SL图像对 应在最后迭代中所撷取的该一个或多个目标SL图像。
本发明可以其它特定形式实施，而不背离其精神或基本特性。上 述例子应当在所有方面都仅被视为说明性质而非限制性质。因此，本 发明的范围由权利要求而非上述说明表示。在权利要求的等同的意思 及范围内所作的所有变更都将被包括于权利要求的范围内。

Claims (30)

1.一种使用包括图像传感器及一个或多个结构光源的相机撷取场景的图像的方法，该方法包括：
在没有开启任意结构光源的情况下，在一个或多个第一帧周期期间，通过该图像传感器撷取在公共图像平面上所形成的一个或多个非结构光图像；
在调节该一个或多个结构光源以生成在一个或多个初始强度级的初始结构光的情况下，通过投射在可见光谱中的结构光图案，在一个或多个第二周期期间，通过该图像传感器撷取在该公共图像平面上所形成的一个或多个初始结构光图像；
基于该一个或多个非结构光图像及该一个或多个初始结构光图像，导出自该图像传感器的视场中的一个或多个对象反射的该结构光图案；
评估自该图像传感器的该视场中的该一个或多个对象反射的该结构光图案的信号质量，若该结构光图案的该信号质量低于阈值，则重复下列步骤直至该结构光图案的该信号质量等于或高于该阈值：
针对该一个或多个结构光源，从包括自至少一个先前强度级增加的一个目标强度级的范围或组中选择一个或多个目标强度级；
以所选的该一个或多个目标强度级，通过投射在该可见光谱中的该结构光图案，在一个或多个第三周期期间，通过该图像传感器撷取在该公共图像平面上所形成的一个或多个接下来的结构光图像作为一个或多个目标结构光图像；以及
基于该一个或多个非结构光图像及该一个或多个目标结构光图像，导出自该图像传感器的该视场中的一个或多个对象反射的该结构光图案的信号质量；以及
提供该一个或多个非结构光图像及一个或多个最终目标结构光图像，其中，该一个或多个最终目标结构光图像对应至最后迭代中所撷取的该一个或多个目标结构光图像。
2.如权利要求1所述的方法，还包括在没有开启任意结构光源的情况下，通过将该图像传感器设置为常规模式，通过该图像传感器撷取在常规帧周期期间利用该图像传感器在该公共图像平面上所形成的常规图像，其中，该一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第三周期短于该常规帧周期。
3.如权利要求2所述的方法，其中，该一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第三周期等于或小于该常规帧周期的1/8。
4.如权利要求2所述的方法，其中，在撷取该一个或多个非结构光图像、该一个或多个初始结构光图像以及该一个或多个接下来的结构光图像期间，将该图像传感器设置为快速撷取模式，以使该一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第三周期短于该常规帧周期。
5.如权利要求4所述的方法，其中，该快速撷取模式对应至降低与该图像传感器的模拟-数字转换器关联的位深度或空间分辨率，或参照常规模式增加该图像传感器的读出增益。
6.如权利要求1所述的方法，其中，通过设置该图像传感器以在模拟域中整合同一颜色的相邻传感器像素来降低空间分辨率，从而以该图像传感器的降低的空间分辨率来撷取该一个或多个非结构光图像、该一个或多个初始结构光图像以及该一个或多个接下来的结构光图像，或者在该图像传感器内部或外部以数字方式执行。
7.如权利要求1所述的方法，其中，所述评估自该图像传感器的该视场中的该一个或多个对象反射的该结构光图案的该信号质量包括：评估自该图像传感器的该视场中的该一个或多个对象反射的该结构光图案的信噪比、平均信号或峰值信号。
8.如权利要求1所述的方法，其中，该一个或多个结构光源包括具有不同光谱密度的多个光源，并调节该多个光源以最大限度地增加该图像传感器的颜色平面之间的结构光-环境光信号比。
9.如权利要求1所述的方法，其中，依据该一个或多个非结构光图像的图像强度以及通过距离传感器所检测的该相机与目标对象之间的距离信息，确定该一个或多个初始强度级。
10.如权利要求1所述的方法，其中，依据来自环境光传感器的环境光信息以及距离信息，确定该一个或多个初始强度级。
11.如权利要求1所述的方法，还包括对该一个或多个非结构光图像应用平均、中值滤波器或离群值剔除以导出增强非结构光图像，对该一个或多个初始结构光图像应用平均、中值滤波器或离群值剔除以导出增强初始结构光图像，以及对该一个或多个目标结构光图像应用平均、中值滤波器或离群值剔除以导出增强结构光图像。
12.如权利要求11所述的方法，其中，基于该增强非结构光图像及该增强初始结构光图像、或基于该增强非结构光图像及该增强结构光图像，评估自该图像传感器的该视场中的一个或多个对象反射的该结构光图案的该信号质量。
13.如权利要求12所述的方法，还包括基于该增强非结构光图像与该增强结构光图像之间的差别，导出该图像传感器的该视场中的一个或多个对象的深度信息。
14.如权利要求1所述的方法，还包括确定所述通过该图像传感器撷取该一个或多个非结构光图像的曝光时间，其中，确定该曝光时间以在移除离群值以后使围绕该一个或多个非结构光图像的中间区域的像素的最高像素值等于或大于目标像素值。
15.如权利要求14所述的方法，对于具有8位输出的该图像传感器，该目标像素值在从160至240的范围内。
16.一种用于使用相机撷取场景的图像的装置，该装置包括：
图像传感器；
一个或多个结构光源；
一个或多个处理器，与该图像传感器及该一个或多个结构光源耦接，其中，该一个或多个处理器经配置以：
在没有开启任意结构光源的情况下，在一个或多个第一帧周期期间，通过该图像传感器撷取在公共图像平面上所形成的一个或多个非结构光图像；
在调节该一个或多个结构光源以生成在一个或多个初始强度级的初始结构光的情况下，通过投射在可见光谱中的结构光图案，在一个或多个第二周期期间，通过该图像传感器撷取在该公共图像平面上所形成的一个或多个初始结构光图像；
基于该一个或多个非结构光图像及该一个或多个初始结构光图像，导出自该图像传感器的视场中的一个或多个对象反射的该结构光图案；
评估自该图像传感器的该视场中的该一个或多个对象反射的该结构光图案的信号质量，若该结构光图案的该信号质量低于阈值，则重复下列步骤直至该结构光图案的该信号质量等于或高于该阈值：
针对该一个或多个结构光源，从包括自至少一个先前强度级增加的一个目标强度级的范围或组中选择一个或多个目标强度级；
以所选的该一个或多个目标强度级，通过投射在该可见光谱中的该结构光图案，在一个或多个第三周期期间，通过该图像传感器撷取在该公共图像平面上所形成的一个或多个接下来的结构光图像作为一个或多个目标结构光图像；以及
基于该一个或多个非结构光图像及该一个或多个目标结构光图像，导出自该图像传感器的该视场中的一个或多个对象反射的该结构光图案的信号质量；以及
提供该一个或多个非结构光图像及一个或多个最终目标结构光图像，其中，该一个或多个最终目标结构光图像对应至最后迭代中所撷取的该一个或多个目标结构光图像。
17.如权利要求16所述的装置，其中，该一个或多个处理器经配置以在没有开启任意结构光源的情况下，通过将该图像传感器设置为常规模式，通过该图像传感器撷取在常规帧周期期间利用该图像传感器在该公共图像平面上所形成的常规图像，其中，该一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第三周期小于该常规帧周期。
18.如权利要求17所述的装置，其中，该一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第三周期等于或小于该常规帧周期的1/8。
19.如权利要求17所述的装置，其中，在撷取该一个或多个非结构光图像、该一个或多个初始结构光图像以及该一个或多个接下来的结构光图像期间，将该图像传感器设置为快速撷取模式，以使该一个或多个第一帧周期、该一个或多个第二周期以及该一个或多个第三周期短于该常规帧周期。
20.如权利要求19所述的装置，其中，该快速撷取模式对应至配置该一个或多个处理器以降低与该图像传感器的模拟-数字转换器关联的位深度或空间分辨率，或参照常规模式增加该图像传感器的读出增益。
21.如权利要求16所述的装置，其中，通过设置该图像传感器以在模拟域中整合同一颜色的相邻传感器像素来降低空间分辨率，从而以该图像传感器的降低的空间分辨率来撷取该一个或多个非结构光图像、该一个或多个初始结构光图像以及该一个或多个接下来的结构光图像，或者在该图像传感器内部或外部以数字方式执行。
22.如权利要求16所述的装置，其中，依据自该图像传感器的视场中的一个或多个对象反射的该结构光图案的信噪比、平均信号或峰值信号，评估自该图像传感器的该视场中的该一个或多个对象反射的该结构光图案的该信号质量。
23.如权利要求16所述的装置，其中，依据该一个或多个非结构光图像的图像强度以及通过距离传感器所检测的该相机与目标对象之间的距离信息，确定该一个或多个初始强度级。
24.如权利要求16所述的装置，其中，该一个或多个结构光源包括具有不同光谱密度的多个光源，并调节该多个光源以最大限度地增加该图像传感器的颜色平面之间的结构光-环境光信号比。
25.如权利要求16所述的装置，其中，依据来自环境光传感器的环境光信息以及距离信息，确定该一个或多个初始强度级。
26.如权利要求16所述的装置，其中，该一个或多个处理器经配置以对该一个或多个非结构光图像应用平均、中值滤波器或离群值剔除以导出增强非结构光图像，对该一个或多个初始结构光图像应用平均、中值滤波器或离群值剔除以导出增强初始结构光图像以及对该一个或多个目标结构光图像应用平均、中值滤波器或离群值剔除以导出增强结构光图像。
27.如权利要求26所述的装置，其中，基于该增强非结构光图像及该增强初始结构光图像、或基于该增强非结构光图像及该增强结构光图像，评估自该图像传感器的该视场中的一个或多个对象反射的该结构光图案的该信号质量。
28.如权利要求27所述的装置，其中，该一个或多个处理器经配置以基于该增强非结构光图像与该增强结构光图像之间的差别，导出该图像传感器的该视场中的一个或多个对象的深度信息。
29.如权利要求16所述的装置，其中，该一个或多个处理器经配置以确定所述通过该图像传感器撷取该一个或多个非结构光图像的曝光时间，其中，确定该曝光时间以在移除离群值以后使围绕该一个或多个非结构光图像的中间区域的像素的最高像素值等于或大于目标像素值。
30.如权利要求29所述的装置，其中，对于具有8位输出的该图像传感器，该目标像素值在从160至240的范围内。
CN201910228496.0A 2018-03-23 2019-03-25 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置 Active CN110298874B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/933,375 US10593055B2 (en) 2018-03-23 2018-03-23 Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
US15/933,375 2018-03-23

Publications (2)

Publication Number Publication Date
CN110298874A CN110298874A (zh) 2019-10-01
CN110298874B true CN110298874B (zh) 2023-10-20

Family

ID=67985298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910228496.0A Active CN110298874B (zh) 2018-03-23 2019-03-25 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置

Country Status (2)

Country Link
US (1) US10593055B2 (zh)
CN (1) CN110298874B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
CN109932828B (zh) * 2019-02-01 2024-10-01 杭州驭光光电科技有限公司 光投射方法及光投射装置
CN112461154B (zh) * 2019-09-09 2023-11-10 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机
JP2021060900A (ja) * 2019-10-09 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 顔認証システム及び電子機器
DE112019007808T5 (de) * 2019-10-10 2022-08-04 Google LLC Kamera-synchronisation und bild-markieren für eine gesichtsauthentifizierung
US11363188B2 (en) * 2020-06-17 2022-06-14 Microsoft Technology Licensing, Llc Motion-based operation of imaging devices
CN114079709B (zh) * 2020-08-07 2024-04-12 安霸国际有限合伙企业 用于卷帘式快门传感器的驱动器机构以获取结构光图案
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构
US11954877B2 (en) * 2020-12-08 2024-04-09 Zoox, Inc. Depth dependent pixel filtering
DE112022001551T5 (de) * 2021-03-12 2024-01-18 Sony Group Corporation Abbildungsvorrichtung und Entfernungsmesssystem
KR20220134276A (ko) * 2021-03-26 2022-10-05 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
US11494926B1 (en) * 2021-07-01 2022-11-08 Himax Technologies Limited Method for performing hybrid depth detection with aid of adaptive projector, and associated apparatus
TWI800188B (zh) * 2021-12-29 2023-04-21 群光電子股份有限公司 影像擷取裝置及方法
US11979661B1 (en) * 2022-11-07 2024-05-07 Himax Technologies Limited Method for performing light shaping with aid of adaptive projector, and associated apparatus
CN116067306B (zh) * 2023-03-07 2023-06-27 深圳明锐理想科技有限公司 一种自动调光方法、三维测量方法、装置和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1037069A3 (en) * 1999-03-17 2004-01-14 Matsushita Electric Industrial Co., Ltd. Rangefinder
WO2005082075A2 (en) * 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US8054290B2 (en) * 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
KR20130092989A (ko) * 2010-04-26 2013-08-21 가부시키가이샤 니콘 프로파일 측정 장치
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
US9141868B2 (en) * 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
US9142019B2 (en) * 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
EP3002550B1 (en) * 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
US9762793B2 (en) * 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
WO2016071020A1 (en) * 2014-11-06 2016-05-12 Sony Corporation Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method
CN107144239A (zh) * 2016-03-01 2017-09-08 杭州腾聚科技有限公司 一种手持式结构光三维扫描仪增益自动调节方法
US10726569B2 (en) * 2017-05-16 2020-07-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN107682607B (zh) * 2017-10-27 2019-10-22 Oppo广东移动通信有限公司 图像获取方法、装置、移动终端和存储介质

Also Published As

Publication number Publication date
US20190295279A1 (en) 2019-09-26
US10593055B2 (en) 2020-03-17
CN110298874A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298874B (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
US11330199B2 (en) Method and system of adaptable exposure control and light projection for cameras
US8830227B2 (en) Depth-based gain control
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
CN108702437A (zh) 用于3d成像系统的高动态范围深度生成
TW201544848A (zh) 包括用於不同波長之獨立成像器之結構化立體成像組件
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2012014668A (ja) 画像処理装置、画像処理方法、プログラム、および電子装置
EP3162048B1 (en) Exposure metering based on background pixels
CN111491109B (zh) 光检测芯片、图像处理装置及其运作方法
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
US9875423B2 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
CN110830730B (zh) 电子装置中用于生成移动图像数据的设备和方法
KR102640236B1 (ko) 동적 이미지 캡처 방법 및 장치
US20210072396A1 (en) Method and system for pseudo 3D mapping in robotic applications
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US20210209783A1 (en) Image processing apparatus, image processing method, mobile device, and program
US9219869B1 (en) Image capturing device and method for shading compensation thereof
CN112866596A (zh) 基于cmos传感器的抗强光三维捕捉方法及系统
TW201710772A (zh) 影像擷取裝置及方法
US20240062398A1 (en) Depth sensing apparatus and depth map generating method
JP6902906B2 (ja) 画像処理装置
CN118710504A (zh) 热图像的处理方法、装置及存储介质
JP2024080560A (ja) イメージにボケ効果を適用する方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant