CN112019773B - 深度数据测量头、测量装置和方法 - Google Patents

深度数据测量头、测量装置和方法 Download PDF

Info

Publication number
CN112019773B
CN112019773B CN201910400277.6A CN201910400277A CN112019773B CN 112019773 B CN112019773 B CN 112019773B CN 201910400277 A CN201910400277 A CN 201910400277A CN 112019773 B CN112019773 B CN 112019773B
Authority
CN
China
Prior art keywords
pixel
exposure
imaging
light
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910400277.6A
Other languages
English (en)
Other versions
CN112019773A (zh
Inventor
王敏捷
梁雨时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tuyang Information Technology Co ltd
Original Assignee
Shanghai Tuyang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tuyang Information Technology Co ltd filed Critical Shanghai Tuyang Information Technology Co ltd
Priority to CN201910400277.6A priority Critical patent/CN112019773B/zh
Priority to US17/437,512 priority patent/US11885613B2/en
Priority to JP2022502318A priority patent/JP7224708B6/ja
Priority to EP19919943.1A priority patent/EP3943882A4/en
Priority to PCT/CN2019/122667 priority patent/WO2020186825A1/zh
Publication of CN112019773A publication Critical patent/CN112019773A/zh
Application granted granted Critical
Publication of CN112019773B publication Critical patent/CN112019773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种图像传感器、深度数据测量头、测量装置和方法。该图像传感器包括：像素阵列，所述像素阵列包括多个像素单元，并且每个像素单元包括感光部件和存储部件；控制单元，用于控制像素单元的曝光；读取单元，用于读取存储部件内的曝光信号；以及重置单元，用于将所述存储部件内的信号进行重置，其中，所述控制单元控制所述像素单元在预定时间段的至少部分时间段内的曝光，所述读取单元对存储部件在所述预定时间段内的累积的曝光信号进行N次读取，其中，N是大于等于2的整数，并且所述重置单元使得所述存储部件在所述预定时间段内不被重置。由此，提升高动态范围数据的获取效率。

Description

深度数据测量头、测量装置和方法
技术领域
本发明涉及成像领域，尤其涉及一种图像传感器，以及使用图像传感器的深度数据测量头、测量装置和方法。
背景技术
相比普通图像，高动态范围(High-Dynamic Range，简称HDR)图像可以提供更多的动态范围和图像细节。在现有技术中，通过拍摄多张不同的曝光时间的常规图像(常规的LDR(Low-Dynamic Range)图像)，并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。HDR图像能够更好的反映出真实环境中的视觉效果。
图1示出了使用多张图片合成一幅HDR图像的例子。图下部示出了曝光时间不同的三幅图像。通过从三幅图像中提取各个区域最佳细节，最终合成图上部所示的HDR图像。图2示出了图像传感器拍摄一幅HDR图像的时序图。在需要n幅图像合成HDR图像的情况下，需要对图像传感器进行n次曝光，在每次曝光后读取相应帧。即，读取帧1、帧2、帧3…帧N。在每次读取后使用重置装置将像素内的存储值清零。上述N个帧可被用于一幅HDR图像的合成。在现有技术中，需要经历多个完整的图像帧才能实现图像动态范围的扩大。
因此，需要一种更为高效的图像获取技术。
发明内容
有鉴于此，本发明结合一种新的图像传感器，提出了一种更为高效的HDR图像获取技术。该技术通过在累积曝光时间内对曝光值的多次读取，复用了曝光时间，提升了高动态范围数据的获取效率。另外，本发明的图像传感器可以与深度成像技术相结合，尤其是主动扫描投射条纹图像的方案相结合，通过列同步，获取高信噪比的深度数据。
在本发明的一个方面，提出了一种图像传感器，包括：像素阵列，所述像素阵列包括多个像素单元，并且每个像素单元包括感光部件和存储部件；控制单元，用于控制像素单元的曝光；读取单元，用于读取存储部件内的曝光信号；以及重置单元，用于将所述存储部件内的信号进行重置，其中，所述控制单元控制所述像素单元在预定时间段的至少部分时间段内的曝光，所述读取单元对存储部件在所述预定时间段内的累积的曝光信号进行N次读取，其中，N是大于等于2的整数，并且所述重置单元使得所述存储部件在所述预定时间段内不被重置。由此，通过累积曝光和多次读取，能够有效复用曝光时间，提升成帧效率，并且有利于对动态目标的准确捕捉。
在不同的应用场景中，控制单元可以控制所述像素单元在预定时间段内持续曝光，并且读取单元对存储部件在所述预定时间段内的曝光信号进行相同或不同间隔的多次读取；或者控制单元可以控制所述像素单元在预定时间段内的多次曝光，并且所述读取单元对存储部件在所述预定时间段内的曝光信号进行相应的多次读取。
优选地，预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，并且所述控制单元控制所述像素单元在每个成像阶段中的至少部分时间段内曝光，以使得所述存储部件累积在所述N个成像阶段中的曝光信号；所述读取单元针对每个成像阶段进行一次所述存储部件内的曝光信号读取。进一步地，读取单元在每个成像阶段中读取所述存储部件内的信号所获取的N组像素阵列的曝光信号被用于合成一幅图像帧。由此，通过在一个图像帧内的分阶段曝光和多次读取，能够更全面地获取每个像素所反映的拍摄对象信息。
针对每个像素单元，从N个像素信号中选择亮度符合预定规则的一个或多个像素信号用于所述图像帧的合成。优选地，预定规则可以包括如下至少一项：从N个像素信号中选择亮度值位于预定亮度取值范围内的像素信号；从N个像素信号中选择亮度值最接近中间亮度值的像素信号；从N个像素信号中选择亮度值最接近但尚未进入亮度饱和区的亮度信号。由此，可以基于不同的应用场景，获取能够更好反映拍摄对象信息的图像。
优选地，控制单元控制所述像素阵列中的每个像素列或像素行在每个成像阶段中的固定时间段内开启曝光。由此，使得本发明的图像传感器尤其适用于需要与拍摄对象进行列或行同步的应用场景。
优选地，每个像素单元可以包括M个存储部件，每个存储部件都用于存储M个图像帧周期中的一个图像帧周期的曝光信号，其中，M是大于等于2的整数。由此，使得本发明的图像传感器能够同时存储多幅图像帧。
优选地，每个像素单元包括一个附加的环境光存储部件，并且，所述控制单元控制所述像素阵列中的每个像素列或像素行的环境光存储部件在N个成像阶段的至少两个成像阶段中的所述固定时间段之外的时间段内开启对曝光信号的累积存储。由此，使得本发明的图像传感器适用于同时存储环境光和非环境光图像帧信息。
优选地，控制单元和读取单元可由固定的曝光读取执行模块实现，例如，可以将曝光和读取实现为流水线，以提升操作效率。
根据本发明的另一个方面，提出了一种深度数据测量头，包括：投影装置，用于向拍摄区域投射结构光；以及如上所述的图像传感器，用于对所述拍摄区域进行拍摄以获得在所述结构光照射下的图像帧。通过引入本发明的上述图像传感器，能够获取更为清晰的深度数据图像。
优选地，所述预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，并且所述投影装置在每个成像阶段向拍摄区域扫描投射一次图案相同的结构光，或者所述投影装置在一个图像帧周期内持续投射相同的结构光。由此，方便各个像素在相同场景下对曝光的累积。
优选地，投影装置向拍摄区域扫描投射具有条纹编码的结构光；并且，所述测量头还包括：同步装置，用于使得所述投影装置当前投射的条纹位置与所述图像传感器当前开启像素列或像素行的成像位置至少部分重叠。由此，通过主动投射的条纹光和开启像素列(或行)的同步，能够滤除环境光的影响，提升信噪比。
优选地，所述同步装置包括用于测量所述投影装置的扫描位置的测量装置，并且基于所述测量装置的测量结果，进行所述像素列成像的同步开启。由此，能够进一步提升同步效果。
优选地，投影装置可以包括：发光装置，用于产生线型光；以及反射装置，用于反射线型光，以向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光，所述反射装置包括如下之一：以预定频率往复运动的机械转镜，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向；以预定频率往复振动的微镜器件，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向。
优选地，投影装置可以在M个图像帧周期内依次投射不同图案的条纹编码结构光，每个图案被投射N次，以使得所述图像传感器生成针对不同图案的一组M个图像帧，其中，所述一组M个图像帧被用于进行一次深度数据计算，其中，M是大于等于2的整数。进一步地，图像传感器的每个像素单元可以包括M个存储部件，每个存储部件都用于存储M个图像帧周期中的一个图像帧周期的曝光信号，并且所述测量头还包括数字运算模块，所述数字运算模块在生成所述一组M个图像帧之后，直接对每个像素单元中存储的M个曝光信号进行数字运算以进行像素匹配。
根据本发明的再一个方面，提出了一种深度数据测量装置，包括：如上所述的深度数据测量头，以及与所述深度数据测量头相连接的处理器，用于根据所述图像传感器的对所述结构光成像得到的图像帧，确定所述拍摄区域中拍摄对象的深度数据。
优选地，所述处理器可以获取所述读取单元N次读取的所述存储部件内的曝光信号来进行一幅图像帧的合成，例如，针对每个像素单元，选择N个曝光信号中位于预定亮度取值范围内或最接近中间亮度值的信号进行所述图像帧的合成。
优选地，所述预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，并且所述投影装置在M个图像帧周期中依次投射不同图案的条纹编码结构光，每个图案投射N次，并且所述图像传感器生成针对M个图案的一组M个图像帧，其中，所述处理器使用所述一组M个图像帧进行一次深度数据计算，并且所述处理器控制所述图像传感器针对其中的至少一个图案的N次投射，进行针对每个成像阶段的曝光信号读取以及选择亮度符合预定规则的一个或多个像素信号用于所述图像帧的合成用于修正计算得到的深度数据的显示亮度。由此，可以针对多个图案的投射，得到多个图像帧以计算一次深度数据的方案。在这其中，可以仅针对一个图案进行HDR成像，获取的亮度信息用于修正最终的深度数据。
根据本发明的又一个方面，提出了一种深度数据测量方法，包括：在预定时间段内，向拍摄区域扫描投射相同图案的结构光；使用图像传感器对所述拍摄区域进行成像以获得在所述结构光照射下的一幅图像帧，其中，所述图像传感器的像素单元在预定时间段的至少部分时间段内的曝光，所述存储部件在所述预定时间段内不被重置，以使得所述像素单元的存储部件累积在所述预定时间段内的曝光信号，并且针对所述预定时间段进行N次存储部件内曝光信号的读取，并从每个像素单元的N个读取的曝光信号中选择亮度符合预定规则的一个或多个像素信号进行所述图像帧的合成。
优选地，所述预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，在预定时间段内，向拍摄区域投射相同图案的结构光包括：向拍摄区域扫描投射N次具有明暗间隔的线型光，每次扫描投射的线型光组成的条纹图案相同，并且使用图像传感器对所述拍摄区域进行成像以获得在所述结构光照射下的一幅图像帧包括：基于结构光条纹的扫描位置，同步开启所述图像传感器中与当前扫描位置相对应的条纹方向上的像素列或像素行进行曝光成像。
优选地，该方法还可以包括：在M个图像帧周期中依次投射不同图案的条纹编码结构光，每个图案投射N次；使用图像传感器获取各自针对一种图案的一组M个图像帧；以及使用所述一组M个图像帧于求取一次所述拍摄区域内被测对象的深度数据，其中，在至少一个图案的N次投射中，进行针对每个成像阶段的曝光信号读取并选择预定亮度取值范围内或最接近中间亮度值的信号用于修正计算得到的深度数据的显示亮度。
本发明的图像传感器通过曝光、读取和重置的配合，提供了一种能够复用曝光时间并多次提取曝光信息以更全面获取拍摄对象信息的方案。该图像传感器可以用于主动投射结构光的深度数据成像，尤其可以与扫描投射条纹光的深度成像方案结合，以提供与扫描线型光同步的列(或行)曝光，由此获得更为清晰准确的深度信息。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了使用多张图片合成一幅HDR图像的例子。
图2示出了图像传感器拍摄一幅HDR图像的时序图。
图3示出了根据本发明一个实施例的图像传感器的组成示意图。
图4示出了像素单元的一个例子。
图5示出了本发明的图像传感器进行操作的一个时序图例。
图6示出了本发明的图像传感器进行操作的另一个时序图例。
图7示出了本发明使用的图像传感器的像素结构的另一个例子。
图8示出了根据本发明一个实施例的深度数据测量头的组成示意图。
图9示出了利用条纹编码的结构光进行深度成像的原理。
图10示出了投射条纹编码结构光的另一个例子。
图11示出了图像传感器中的像素列轮番开启的示意图。
图12A-12B示出了图8所示投影装置的放大操作例。
图13示出了根据本发明一个实施例的深度数据测量装置的示意图。
图14示出了根据本发明一个实施例的深度数据测量方法的示意性流程图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
图3示出了根据本发明一个实施例的图像传感器的组成示意图。如图3所示，图像传感器300包括用于成像的像素阵列301、用于控制像素阵列曝光的控制单元302、用于读取像素阵列的曝光信号的读取单元303以及用于重置像素阵列的重置单元304。
像素阵列包括多个像素单元。例如，在1000x1000分辨率的图像传感器中，像素阵列可以包括1000,000个像素单元。每个像素单元可以包括感光部件和存储部件。图4示出了像素单元的一个例子。如图4所示，一个像素阵列421可以包括k个像素P1-Pk。每个像素都包括相同的结构，即，一个感光部件、一个开关和一个存储部件。具体地，像素P1422可以包括用作感光部件的光电二极管424、一个开关426和一个存储部件428。像素Pk423可以包括用作感光部件的光电二极管425、一个开关427和一个存储部件429。存储部件例如是用于存储电荷光电二极管基于接收到的光生成的电荷并基于电荷存储量输出曝光信息(例如，亮度值)的部件。
控制单元302可以接通相应像素的开关，以使得光电二极管转换的电荷可被存储单元存储来实现像素的曝光。读取单元303可以读取每个存储部件内的曝光信号。重置单元304则可用于将存储部件内的信号进行重置。应该理解的是，控制单元302、读取单元303和重置单元304需要连接至每个像素单元，但是根据不同的应用场景，对像素阵列301的操作可以是以全体、逐行、逐列、甚至逐像素进行的。
本发明的图像传感器具有累积曝光时间，并在累积的曝光时间中多次读取曝光信息的特征。于是，控制单元302可以控制像素单元在预定时间段的至少部分时间段内的曝光，读取单元303可以对存储部件在所述预定时间段内的累积的曝光信号进行多次读取，例如N次读取，其中，N是大于等于2的整数。重置单元304则可以使得存储部件在预定时间段内不被重置。由此，通过累积曝光和多次读取，能够有效复用曝光时间，提升成帧效率，并且有利于对动态目标的准确捕捉。
图5示出了本发明的图像传感器进行操作的一个时序图例。如图5所示，图像传感器像素阵列的各个像素可以在控制单元302的控制下在t2-t10的预定时间段内持续曝光。由此，各个像素单元所包含的存储部件可以在t2-t10的时间段内持续曝光。读取单元对存储部件在t2-t10的预定时间段内的曝光信号进行多次读取，如图信号1、信号2、信号3…信号N读出所示。重置单元304则可以使得存储部件在预定时间段内不被重置。如图所示，重置单元304在t11时刻才进行曝光信号的重置。由此，每个像素单元中N次读取的曝光信号1-N包括该像素在逐渐增长的曝光时长中累积的曝光信号。即，针对某一像素单元读取的信号1、信号2、信号3…信号N的亮度随着曝光时间的增长而逐渐增大。上述具有不同曝光强度的各个信号可被用于图像帧的获取。
应该理解的是，图5示出了的时序图可以是单个或多个像素单元、单个或多个像素列(或行)或是整个像素阵列的时序图。在全幅曝光的情况下，由于各个像素单元同时曝光，因此图5的时序图可以反映出针对每个像素单元的操作时序。而在卷帘式曝光的情况下，由于曝光逐行进行，因此图5的时序图可以反映某行像素单元的操作时序。此时，其他行的时序图与图5类似，但其具体操作时刻在时间轴上有平移。另外，在图像传感器的各个像素单元能被分别操作的情况下，图5的时序图至少能够反映部分像素单元的操作时序，和/或其他像素单元的操作时序与图5所示的类似，但在具体操作时刻上会有不同。
在不同的应用场景中，控制单元302可以如图5所示，控制像素单元在预定时间段内持续曝光，并且读取单元303对存储部件在预定时间段内的曝光信号进行相同或不同间隔的多次读取。另外，控制单元302也可以控制像素单元在预定时间段内的多次曝光，并且读取单元303可以对存储部件在预定时间段内的曝光信号进行相应的多次读取。在上述多次曝光和多次读取的实施例中，控制单元302和读取单元303可由固定的曝光读取执行模块实现，例如，可以将曝光和读取实现为流水线，以提升操作效率。
在一个实施例中，预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段。即，可以将两次重置信号之间的时段看作是一个图像帧周期。控制单元302可以控制像素单元在每个成像阶段中的至少部分时间段内曝光，以使得存储部件累积在N个成像阶段中的曝光信号。读取单元303可以针对每个成像阶段进行一次存储部件内的曝光信号读取。进一步地，读取单元303在每个成像阶段中读取所述存储部件内的信号所获取的N组像素阵列的曝光信号可以被用于合成一幅图像帧。由此，通过在一个图像帧内的分阶段曝光和多次读取，能够更全面地获取每个像素所反映的拍摄对象信息。
图6示出了本发明的图像传感器进行操作的另一个时序图例。如图所示，像素阵列中的部分或全部像素单元可以在控制单元302的控制下，在t2-t9的图像帧周期中的t2、t5和t8进行三次曝光，读取单元303在每次曝光后进行信号1、信号2和信号3的读取，重置单元304在t10对像素单元进行重置。像素阵列在被重置后，开始下一个图像帧周期的成像。即，开始新一轮的信号1、信号2和信号3的读取。
由此，在一个图像帧周期中，可以获得曝光时间依次变长(亮度依次变大)的3组曝光信号，这些信号可以用于一幅图像帧的合成。针对每个像素单元，从N个像素信号中选择亮度符合预定规则的一个或多个像素信号用于所述图像帧的合成。例如，可以选择N个像素信号中位于预定亮度取值范围内或最接近中间亮度值的信号可被选择用于所述图像帧的合成，由此获取能够更好反映拍摄对象信息的图像。
可以基于不同的标准，从针对每个像素单元中获取的N个信号进行选择，以得到最终用于合成图像帧的亮度值。于是，用于选择像素信号的预定规则可以包括如下至少一项：从N个像素信号中选择亮度值位于预定亮度取值范围内的像素信号；从N个像素信号中选择亮度值最接近中间亮度值的像素信号；从N个像素信号中选择亮度值最接近但尚未进入亮度饱和区的亮度信号。
例如，可以滤除过亮或过暗的亮度值；选择接近中间亮度的值；求取预定亮度取值范围内多个值的均值；或是优选N个阶段中第n轮获取的值。例如，在亮度取值范围在0～255的情况下，可以规定滤除50以下和200以上的值，而挑选位于预定亮度取值范围内的亮度适中的值。在经过滤除仍有多个值的情况下，可以选择最接近中间亮度值127的值；求取多个值的平均；或是优选选择某一轮的值(例如，优选第三阶段的亮度值)。另外，在N个取值都小于50或大于200的情况下，则从中选取最接近中间亮度值的信号。例如，某一像素的3个成像阶段的信号亮度分别是5、20、44，由于没有信号的亮度取值大于阈值50，则选取最亮的取值44作为合成图像帧中该像素的亮度值。
另外，由于图像传感器成像中的亮度饱和曲线通常呈S型，因此可以选取亮度值最接近亮度饱和区，但未进入该饱和区的亮度信号。在具体操作中，可以选择亮度值P0与曝光时间值T0的比值小于预定饱和斜率阈值且亮度最大的像素，作为该像素点上的亮度值。由此，能够获取亮度最大且没有过亮饱和像素的图像帧。
在一个实施例中，控制单元302可以控制像素阵列中的每个像素列或像素行在每个成像阶段中的固定时间段内开启曝光(如下将结合深度测量的实施例进行详述)。由此，使得本发明的图像传感器尤其适用于需要与拍摄对象进行列或行同步的应用场景。类似地，每个像素单元可以包括M个存储部件，每个存储部件都用于存储M个图像帧周期中的一个图像帧周期的曝光信号，其中，M是大于等于2的整数。由此，使得本发明的图像传感器能够同时存储多幅图像帧。
图7示出了本发明使用的图像传感器的像素结构的另一个例子。如图7所示，一个像素阵列721可以包括k个像素单元P1-Pk。每个像素单元都包括相同的结构，即，一个感光部件、M个开关和M个存储部件，其中每个开关对应控制一个存储单元的电荷存储。具体地，像素单元P1722可以包括用作感光部件的光电二极管724、M个开关726和M个存储部件728。像素单元Pk723可以包括用作感光部件的光电二极管725、M个开关727和M个存储部件729。
存储部件例如是用于存储电荷光电二极管基于接收到的光生成的电荷并基于电荷存储量以输出曝光值(例如，亮度值)的部件。如下将详述的，每个存储单元分别用于对所述投射装置依次投射的不同图案的条纹编码结构光进行成像，以生成针对不同图案的一组图像帧。该组图像帧可被整体用于进行一次深度数据计算。
每个像素单元还可以包括一个附加的环境光存储部件，并且，所述控制单元控制所述像素阵列中的每个像素列或像素行的环境光存储部件在N个成像阶段的至少两个成像阶段中的所述固定时间段之外的时间段内开启对曝光信号的累积存储。例如，在图6中t2、t5和t8进行三次曝光的其他时间段内开启。由此，使得本发明的图像传感器适用于同时存储环境光和非环境光图像帧信息。
本发明如上所述的图像传感器可以是应用于各种场景中的图像传感器，例如，可以是常规的RGB传感器或是灰度传感器。在一个实施例中，本发明的上述图像传感器尤其适用于实现为红外光传感器。该红外光图像传感器可以与结构光投射装置相配合，用于深度数据的求取。
图8示出了根据本发明一个实施例的深度数据测量头的组成示意图。如图8所示，深度数据测量头800包括投影装置810以及图像传感器820。投影装置810用于向拍摄区域投射结构光，例如，经编码的红外离散光。图像传感器820则可以是如上参考图3-7描述的曝光累积型传感器，用于对所述拍摄区域进行拍摄以获得在所述结构光照射下的图像帧。通过引入本发明的上述图像传感器，能够获取更为清晰的深度数据图像。
在一个实施例中，预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，并且所述投影装置在每个成像阶段向拍摄区域扫描投射一次图案相同的结构光，或者所述投影装置在一个图像帧周期内持续投射相同的结构光。由此，方便各个像素在相同场景下对曝光的累积。
如图8所示，投影装置810可以用于向拍摄区域扫描投射具有条纹编码的结构光。
图9示出了利用条纹编码的结构光进行深度成像的原理。为了方便理解，图中以两灰度级三位二进制时间编码简要说明条纹结构光的编码原理。投射装置可以向拍摄区域中的被测对象依次投射如图所示的三幅图案，三幅图案中分别用亮暗两灰度将投射空间分为8个区域。每个区域对应各自的投射角，其中可以假设亮区域对应编码“1”，暗区域对应编码“0”。将投射空间中景物上一点在三幅编码图案中的编码值按投射次序组合，得到该点的区域编码值，由此确定该点所在区域进而解码获得该点的扫描角。
在双目成像系统中，上述解码过程可以通过对第一和第二图像传感器中的各个点的编码值直接进行匹配而得以简化。为了提升匹配精度，可以增加时间编码中投射图案的数量。图10示出了投射条纹编码结构光的另一个例子。具体地，图中示出了两灰度级的五位二进制时间编码。在双目成像的应用场景下，这意味着例如左右每幅图像帧中的每个像素都包含5个或0或1的区域编码值，由此能够以更高精度(例如，像素级)实现左右图像匹配。在投射装置的投射速率不变的情况下，相比于图1的三幅编码图案，图3的例子相当于以更高的时域代价实现了更高精度的图像匹配。这在投射装置原本的投射速率极高的情况下(如，本发明的一个实施例中采用的微镜器件)，仍然是相当可取的。
在投影装置810投射如图9所示的三个图案的情况下，图像传感器820可以在三个图像帧成像周期内分别对投射有这三个图案的拍摄区域(例如，图1中的成像平面及其前后一定范围内的区域)进行成像。换句话说，投影装置810可以在M个图像帧周期内依次投射不同图案的条纹编码结构光，每个图案被投射N次，以使得所述图像传感器生成针对不同图案的一组M个图像帧，其中，所述一组M个图像帧被用于进行一次深度数据计算，其中，M是大于等于2的整数。例如，在相继的3个图像帧投射周期内，投影装置810可以接连投射具有条纹编码相关性的多个图案，这多个图案的成像结果可共同用于深度数据的生成。图像传感器820则用于对拍摄区域进行拍摄以分别获得在结构光照射下的图像帧。
此时，图像传感器820可以具有图7所示的结构，即，每个像素单元可以包括M个存储部件，每个存储部件都用于存储M个图像帧周期中的一个图像帧周期的曝光信号。由此，图像传感器820可以同时存储M个图像帧。在一个优选实施例中，测量头800还可以包括数字运算模块，所述数字运算模块在生成所述一组M个图像帧之后，直接对每个像素单元中存储的M个曝光信号进行数字运算以进行像素匹配。
以图10的五图案一组的图像帧为例，投影装置810首先投射图10中最左侧的第一幅图案。应该理解的是，投影装置810针对每幅图案都可以投射N次。图像传感器在图案扫描过程中，依次接通对应像素阵列721中的第一组开关和存储单元。随后，投射装置投射图10中左起第二幅图案。图像传感器在图案扫描过程中，依次接通对应像素阵列721中的第二组开关和存储单元。随后，投射装置投射图10中的中间幅图案。图像传感器在图案扫描过程中，依次接通对应像素阵列721中的第三组开关和存储单元。随后，投射装置投射图10中的右起第二幅图案。图像传感器在图案扫描过程中，依次接通对应像素阵列721中的第四组开关和存储单元。最后，投射装置投射图10中最右侧的第一幅图案。图像传感器在图案扫描过程中，依次接通对应像素阵列721中的第五组开关和存储单元。由此，完成针对一组五种图案的图像帧成像。这时，每个像素的五个存储单元中都存储有曝光值(例如，亮度值)，通过配备的数字运算模块直接进行图像传感器中的像素匹配，例如，像素级匹配。换句话说，在图像传感器的像素本身配备有多个存储单元的情况下，可以直接通过将虚拟图像信号转换成数字信号直接在数字运算模块上进行诸如加减乘除的处理来进行图像间的像素匹配。相比于需要逐幅读取的图像帧，再由处理器进行像素匹配的软件计算的现有技术而言，本申请的数字运算方案能够大幅提升图像处理的速度，并由此提升深度数据的生成速率。
存储部件可以是能够存储多阶灰度值的存储部件。相应地，激光发生器可以投射强度按一定规律变化的条纹光，以便存储单元对其进行灰度成像。可以通过选择特定的光强变化投射模式，结合多存储单元的图像传感器和前端的数字运算模块，实现灰度成像下基于数字运行的高度像素匹配，从而在确保高速深度数据计算的同时，进一步提升图像清晰度。
同样地，为了对环境光进行成像(例如，不同的二维成像)，每个图像传感器中的像素单元还可以如上所述各自包括一个附加存储单元，附加存储单元用于在该像素的至少一个结构光图像帧存储单元开启时关闭，并在不接受所述结构光照射的至少部分时段开启，以使得图像传感器基于附加存储单元生成环境光图像帧。
如图8所示，投影装置810可以在z方向上(即，朝向拍摄区域)投射在x方向上延伸的线型光。在不同的实施例中，上述线型光的投射可以是已经成形的(即，出射光本身即是线型光)，也可以是在x方向上移动的光点(即，扫描得到的线型光)。投射的线型光可以在y方向上持续移动，以覆盖整个成像区域。图8下部针对拍摄区域的透视图对线型光的扫描给出了更易理解的图示。
在本发明的实施例中，将光线出射测量头的方向约定为z方向，拍摄平面的竖直方向为x方向，水平方向为y方向。于是，投射装置所投射的条纹结构光，可以是在x方向延伸的线型光在y方向上移动的结果。虽然在其他实施例中，也可以针对水平y方向上延伸的线型光在x方向上移动得到的条纹结构光进行同步和成像处理，但在本发明的实施例中仍优选使用竖直条纹光进行说明。
进一步地，测量头800还包括同步装置830。同步装置830分别与投影装置810以及图像传感器820相连接，以实现投影装置810与图像传感器820的精确同步。同步装置830可以基于投影装置810的扫描位置，同步开启图像传感器820中与当前扫描位置相对应的条纹方向上的像素列进行成像。如图8所示，当前条纹正扫描至拍摄区域的中心区域。为此，图像传感器820中，位于中心区域的像素列(例如，3个相邻的像素列)被开启进行成像。随着条纹在y方向上的移动(如图8下部透视图中的箭头所示)，图像传感器820中开启用于成像的像素列也相应地同步移动(如图8左上框图中矩阵上方的箭头所示)。由此，可以利用条纹图像的一维特性，控制每一时刻进行成像的像素列的范围，从而降低环境光对测量结果的不利影响。为了进一步降低环境光的影响，投射装置尤其适用于投射不易与环境光混淆的光，例如红外光。另外，由于像素列与扫描光的对应关系受到投射光的宽度、功率、速度、图像传感器的感光效率等诸多因素的影响，因此每次同步开启的像素列范围(及对应数量)例如可以基于标定操作来确定。
图11示出了图像传感器中的像素列轮番开启的示意图。如图11所示，成像窗口的宽度为2(即，每一时刻同时开启的像素列为2)。按照传感器的额定的每列曝光时间，开启用于成像的像素列逐列从左向右移动。相应地，投影装置投射的条纹也在同步装置的控制下从成像区域的中部向右侧移动。当完成一次从左至右的曝光，传感器会如图11最右侧所示从左侧开始新一次的曝光。此时，投影装置投射的条纹也会从成像区域的左侧开始重新扫描。由此，使得像素列能够仅在对应的拍摄区域被扫描的那一段时间内进行成像记录，并且在其他时间内不进行记录。由于投射的激光的强度要高于环境光强度，因此在环境光在本发明的同步开启方案下无法累加(至少无法完全累加)的情况下，能够准确地对结构光本身进行成像。应该理解的是，在某些实施例中，像素列的扫描方向可以是单向的，例如，始终是从左向右移动，此时，图11中最右图可以改为从左侧像素列开始重新曝光。
由于本发明中使用的逐列(或多列同时)曝光的图像传感器可以基于逐行可控曝光的图像传感器转置90°得到，因此，在如下的描述中，关于像素行和像素列的操作可以看作是等价的。
应该理解的是，图8和图11中示出的像素矩阵仅仅是为了说明本发明同步原理的给出的例子。在实际的应用中，图像传感器的像素矩阵往往具有更高的量级(例如，1000x1000)，并且每次同时开启的像素列也可以根据标定、投影装置的扫描能力等具有不同的范围(例如，每次开启3列、30列，甚至200列等)。另外，图像传感器中像素列的开启可以仅仅与投射装置中投射结构的扫描位置相关，与当前是否真的投射出条纹光无关。换句话说，基于投影结构光明暗条纹的分布而进行的激光发射器的关闭和开启，并不会影响投射结构的扫描投射动作，也不会影响与上述扫描投射动作同步的图像传感器像素列开启动作。
图像传感器每一时刻可以开启的像素列个数决定了成像窗口的宽度，并且扫描光随着成像窗口的移动而移动。在图8的示例中，投影装置810可以在y方向上扫描投射线型光，图像传感器820的成像窗口则可在同步装置830的控制下同步移动，以确保图像传感器对条纹光的成像。应该理解的是，成像窗口越窄(越接近与条纹光本身的成像宽度)，其对环境光的滤除程度也就越大，成像帧的信噪比也就越高。但由于拍摄对象距离测量头的距离(即，z方向的距离)会在一定范围内变化，并且考虑到标定步骤无法完全精确地实现，因此需要为成像窗口留出一定的冗余度。换句话说，成像窗口越宽，越不容易出现当前投射光落在成像窗口范围之外而无法成像的情况下，但其成像帧的信噪比会相对较低。因此，可以基于操作难易性、冗余度和图像信噪比的折中，恰当选择成像窗口的宽度。
图12A-12B示出了图8所示投影装置的放大操作例。本发明的投影装置包括发光装置和用于扫描投射发光装置发出的光的反射装置。具体地，如图8所示的，在投影装置810中，作为发光装置一部分的激光发生器(如图12A-B中详细示出的激光发生器1211)发出的激光经投射机构(如图12A-B中详细示出的反射机构1212)扫描投射至拍摄区域(图8中的灰色区域)，用以对拍摄区域中的待测对象(例如，图8中的人)进行主动结构光投射。图像传感器820对拍摄区域进行成像，由此获取进行深度数据计算所需的图像帧。如图8所示，投影装置810发出的虚线用于表示其投射范围，而图像传感器820发出的虚线用于表示其各自的成像范围。拍摄区域通常位于投射和成像范围的重叠区域。
在一个实施例中，激光发生器可以持续发出强度相同的激光，并且投射的条纹图案通过对激光发生器的开启和关断来实现。在此情况下，由于激光发生器只投射一种强度的光，图像传感器的每个像素仅需记录光的“有无”，因此配备的图像传感器可以是黑白图像传感器。
在另一个实施例中，激光发生器本身可以发出光强变化的激光，例如，根据施加的功率使得出射光强呈正弦变换的激光。上述正弦变换的激光可以与条纹投射相结合，由此，扫描投射出明暗相间且明条纹之间的亮度也有所不同的图案。在此情况下，图像传感器需要具备对不同光强进行区别成像的能力，因此可以是多阶的灰度图像传感器。显见的是，灰度投射和成像可以比黑白投射和成像提供更为精确的像素间匹配，从而提升深度数据测量的准确性。
在一个实施例中，激光发生器1211可以是线型激光发生器，生成在x方向上延伸的线型光(图12A-B中垂直于纸面的方向)。该线型光随后由可沿着x方向上的轴摆动的反射机构912投射至成像平面。反射机构1212的摆动附图如图12B所示。由此就能够在成像平面的AB范围内进行往复的线型光扫描。
在一个实施例中，上述反射机构1212可以是微镜器件(也可称为数字微镜器件，DMD)，并且可被实现为一种MEMS(微机电系统)。激光器产生的点激光可经由透镜得到线型光，上述线型光再经由MEMS形式的微镜器件反射，反射的线型光再经由光窗投射至外部空间。微镜器件有着极高的性能，例如，市售的DMD能够以2k的频率进行高度平稳的往复振动，从而为高性能深度成像奠定基础。
如上的投影装置可以包括以预定频率往复振动的微镜器件(DMD)，用于以预定频率向所述拍摄区域扫描投射线型激光。由于微镜器件的振动频率极高，例如，每秒2k，这相当于250ns扫出一个完整的投射结构光，因此需要对微镜器件反射的光线位置进行极为精确的同步。上述精确性使得无法直接利用微镜器件的启动信号来进行同步(因为延时不可靠)，因此考虑到微镜器件相位振动的特性，可以在同步装置中包括用于实时测量微镜器件的振动相位的测量装置，并且基于测量装置的测量结果，进行像素列成像的同步开启。由此确保扫描和成像在极高频率下的同步。
在一个实施例中，上述测量可以基于出射光本身。于是，上述测量装置可以是一个或多个光电传感器(例如，两个光电二极管PD)，并且所述两个光电传感器以如下任一方式布置：布置在所述投影装置的不同出射路径上；布置在所述投影装置内的不同反射路径上；以及分别布置在所述投影装置内外的出射和反射路径上。可以合理选择光电传感器的布置方式，以使其在准确测量相位的同时，不对结构光的正常投影产生影响。如图5所示，可将PD安装在投影装置内，通过测量激光出射光窗时的反射角来确定瞬时的振动相位。由于DMD的振动相位成正弦分布，因此一个PD就能确定正弦分布信息，而更多的PD有助于更准确的测量相位。在其他实施例中，也可以将PD安装在投影装置外，例如，安装在光窗上，例如靠近光窗边缘以防止对拍摄区域内投影的影响。在其他实施例中，还可以利用其他方式进行相位测量，例如进行电容测量。
在投影装置的投射功率有限，或是被测对象离开测量头较远的情况下，图像传感器在单次扫描后获取的电荷量通常无法进行成像，则需要进行多次扫描成像，每次扫描可以对应于图像帧周期中的一个成像阶段。于是，每个图像传感器在投影装置每进行预定次数的扫描投射后完成一幅图像帧的成像。例如，DMD可以在对应于N个成像阶段的连续5个振动周期内扫描相同的结构光图案，使得图像传感器获取足以成像的电荷量，再在下5个振动周期内扫描相同的下一幅结构光图案，并由此类推。
在另一个实施例中，反射装置可以是以预定频率往复运动的机械转镜，用于以所述预定频率向所述拍摄区域扫描投射激光发生器生成的线型光。相应地，同步装置所包括的测量装置可以是用于实时测量所述反射装置的电机旋转角度的角测量器。同步装置于是可以基于角测量器的测量结果，进行像素列成像的同步开启。
在如上的实施例中，扫描线与列像素曝光之间的同步通过控制图像传感器的曝光来实现。这可以用于光源扫描可控的情况下(例如，可以通过电压和电流来控制机械转镜的角度和转速)，尤其适用于光源扫描的相位和速度不可控(例如，对于微镜器件)的情况。于是，微镜器件可以分别PD或者电容来检测角度，机械转镜也可以通过电压检测或光电编码来实现位置检测。
同步装置可以基于光源扫描的实时测量结果，对列曝光加以控制。在一个实施例中，同步装置可以包括列曝光控制装置，所述列曝光控制装置根据反射装置的转动位置和/或速度(例如，读取微镜的角度测量结果或是机械转镜的位置测量结果)，控制图像传感器中像素列的开启和关闭时间。在此，控制图像传感器中像素列的开启和关闭时间可以指代对图像传感器中与当前扫描位置相对应的条纹方向上的像素列所包含的一个或多个像素存储子列的开启和关闭进行控制，即，实时控制相应像素存储子列的曝光时间。
由于微镜器件按照既定规则振动，所以每次启动扫描请求时，微镜会处于不同位置，这时就需要图像传感器的指定区域能够在列曝光控制装置的控制下作为起始位进行曝光。另外，因为微镜的扫描速度两头慢中间快，因此，在结合微镜器件进行光源扫描时，列曝光控制装置需要根据微镜的扫描速度进行变速曝光。
本发明的上述测量方案也适用于双目情境。于是，在一个实施例中，图像传感器可以包括：具有预定相对位置关系的第一和第二图像传感器，用于对所述拍摄区域进行拍摄以分别获得在所述结构光照射下的第一和第二图像帧，并且其中，所述第一图像传感器中由当前开启的像素列组成的第一成像窗口和所述第二图像传感器中由当前开启的像素列组成的第二成像窗口间隔所述第一和第二图像传感器的预定视差宽度。例如，可由同步装置控制所述第一和第二图像传感器的成像窗口以预定视差宽度开启。
本发明还公开了一种使用上述测量头的测量装置。具体到，一种深度数据测量装置可以包括如上所述的深度数据测量头，以及与深度数据测量头相连接的处理器，用于根据图像传感器对结构光成像得到的像帧，确定拍摄区域中拍摄对象的深度数据。在不同的实施例中，测量头可以具有相对独立的封装，也可以与处理器一并封装在测量装置中。
图13示出了根据本发明一个实施例的深度数据测量装置的示意图。如图所示，测量装置1300可以包括如上所述的测量头和处理器1340。测量头则包括投影装置1310和图像传感器1320，并且可选地包括同步装置1330。在不同的实施例中，测量头可以具有相对独立的封装，也可以与处理器一并封装在测量装置中。
处理器1340可以与测量头相连接，例如与投影装置1310、图像传感器1320、同步装置1330每一个相连接，用于根据图像帧，确定所述拍摄区域中拍摄对象的深度数据。进一步地，处理器1340可以获取读取单元N次读取的所述存储部件内的曝光信号来进行一幅图像帧的合成。针对每个像素单元，可以如上所述选择N个曝光信号中选择亮度值符合如上预定规则的一个或多个像素信号进行所述图像帧的合成。
在一个实施例中，同步装置的至少部分同步功能可由处理器实现。例如，处理器可以基于同步装置所包括的测量装置所测量的数据实时确定条纹的扫描位置，并且并入同步装置的同步功能，以实现对各个部件的同步控制，例如，直接基于无延时的电信号。
预定时间段可以是一个图像帧周期，所述图像帧周期包括N个成像阶段，并且投影装置1310在M个图像帧周期中依次投射不同图案的条纹编码结构光，每个图案投射N次，并且图像传感器1320生成针对M个图案的一组M个图像帧。处理器1340使用所述一组M个图像帧进行一次深度数据计算，并且所述处理器控制所述图像传感器针对其中的至少一个图案的N次投射，进行针对每个成像阶段的曝光信号读取以及选择亮度符合预定规则的一个或多个像素信号用于修正计算得到的深度数据的显示亮度。
例如，在N＝3，M＝5的情况下，投影装置1310需要进行15次投射以实现一次深度数据的计算。例如，投影装置1310可以依次投射图10所示的图案，每个图案投射三遍。相应地，图像传感器1320跟随着投影装置1310的扫描投射，进行15次的像素列轮番曝光，每三次曝光用于合成一幅图像帧。在这五幅生成的图像帧中，可以仅针对其中的部分，例如其中的一幅图像，进行针对每次曝光的数据读取和图像合成。例如，在针对前4幅图案的12次投射中，图像传感器1320的读取单元在像素列每三次曝光后，读取一次图像帧，作为针对某一图案的图像帧。在针对第5幅图案的最后3次投射中，图像传感器1320的读取单元可以在像素列每次曝光后读取存储部件内的逐渐累积的曝光值(例如，亮度值)，并且使用获取的三组数据合成针对第5幅图案的亮度调整图像。上述图像可以用于修正最终得到的深度数据的亮度。
图14示出了根据本发明一个实施例的深度数据测量方法的示意性流程图。该方法可由采用了本发明的图像传感器的深度数据测量头和测量装置实施。
在步骤S1410，在预定时间段内，向拍摄区域扫描投射相同图案的结构光。在步骤S1420，使用图像传感器对所述拍摄区域进行成像以获得在所述结构光照射下的一幅图像帧，其中，所述图像传感器的像素单元在预定时间段的至少部分时间段内的曝光，所述存储部件在所述预定时间段内不被重置，以使得所述像素单元的存储部件累积在所述预定时间段内的曝光信号，并且针对所述预定时间段进行N次存储部件内曝光信号的读取，并从每个像素单元的N个读取的曝光信号中选择亮度值符合如上预定规则的一个或多个像素信号进行所述图像帧的合成。
预定时间段可以是一个图像帧周期，所述图像帧周期包括N个成像阶段，在预定时间段内，向拍摄区域投射相同图案的结构光包括：向拍摄区域扫描投射N次具有明暗间隔的线型光，每次扫描投射的线型光组成的条纹图案相同，并且使用图像传感器对所述拍摄区域进行成像以获得在所述结构光照射下的一幅图像帧包括：基于结构光条纹的扫描位置，同步开启所述图像传感器中与当前扫描位置相对应的条纹方向上的像素列或像素行进行曝光成像。
在一个实施例中，该方法还可以包括：在M个图像帧周期中依次投射不同图案的条纹编码结构光，每个图案投射N次；使用图像传感器获取各自针对一种图案的一组M个图像帧；以及使用所述一组M个图像帧于求取一次所述拍摄区域内被测对象的深度数据，其中，在至少一个图案的N次投射中，进行针对每个成像阶段的曝光信号读取并选择预定亮度取值范围内或最接近中间亮度值的信号用于修正计算得到的深度数据的显示亮度。
本发明的图像传感器通过曝光、读取和重置的配合，提供了一种能够复用曝光时间并多次提取曝光信息以更全面获取拍摄对象信息的方案。该图像传感器可以用于主动投射结构光的深度数据成像，尤其可以与扫描投射条纹光的深度成像方案结合，以提供与扫描线型光同步的列(或行)曝光，由此获得更为清晰准确的深度信息。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (19)

1.一种深度数据测量头，包括：
投影装置，用于向拍摄区域投射结构光；
图像传感器，用于对所述拍摄区域进行拍摄以获得在所述结构光照射下的图像帧，所述图像传感器包括：
像素阵列，所述像素阵列包括多个像素单元，并且每个像素单元包括感光部件和存储部件；
控制单元，用于控制像素单元的曝光；
读取单元，用于读取存储部件内的曝光信号；以及
重置单元，用于将所述存储部件内的信号进行重置，
其中，所述控制单元控制所述像素单元在预定时间段的至少部分时间段内的曝光，所述读取单元对存储部件在所述预定时间段内的累积的曝光信号进行N次读取，其中，N是大于等于2的整数，并且所述重置单元使得所述存储部件在所述预定时间段内不被重置，
其中，所述预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，所述投影装置在每个成像阶段向拍摄区域扫描投射一次图案相同的结构光，
向拍摄区域扫描投射N次具有明暗间隔的线型光，每次扫描投射的线型光组成的图案相同，并且基于结构光条纹的扫描位置，同步开启所述图像传感器中与当前扫描位置相对应的条纹方向上的像素列进行曝光成像，
其中，所述投影装置向拍摄区域扫描投射具有条纹编码的结构光，所述投影装置在M个图像帧周期内依次投射不同图案的条纹编码结构光，每个图案被投射N次，以使得所述图像传感器生成针对不同图案的一组M个图像帧，其中，所述一组M个图像帧被用于进行一次深度数据计算，其中，M是大于等于2的整数，
其中，所述投影装置向拍摄区域扫描投射具有条纹编码的结构光；
并且，所述测量头还包括：
同步装置，用于使得所述投影装置当前投射的条纹位置与所述图像传感器当前开启像素列的成像位置至少部分重叠，
所述投影装置包括：
发光装置，用于产生线型光，其中投射的所述条纹图案通过发光装置的开启和关断或是光强变化实现；以及
以预定频率往复振动的反射装置，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向。
2.如权利要求1所述的测量头，其中，
所述控制单元控制所述像素单元在每个成像阶段中的至少部分时间段内曝光，以使得所述存储部件累积在所述N个成像阶段中的曝光信号；
所述读取单元针对每个成像阶段进行一次所述存储部件内的曝光信号读取。
3.如权利要求2所述的测量头，其中，所述读取单元在每个成像阶段中读取所述存储部件内的信号所获取的N组像素阵列的曝光信号被用于合成一幅图像帧。
4.如权利要求3所述的测量头，其中，针对每个像素单元，从N个像素信号中选择亮度值符合预定规则的一个或多个像素信号用于所述图像帧的合成。
5.如权利要求4所述的测量头，其中，所述预定规则包括如下至少一项：
从N个像素信号中选择亮度值位于预定亮度取值范围内的像素信号；
从N个像素信号中选择亮度值最接近中间亮度值的像素信号；
从N个像素信号中选择亮度值最接近但未进入亮度饱和区的亮度信号。
6.如权利要求2所述的测量头，其中，所述控制单元控制所述像素阵列中的每个像素列在每个成像阶段中的固定时间段内开启曝光。
7.如权利要求6所述的测量头，其中，每个像素单元包括M个存储部件，每个存储部件都用于存储M个图像帧周期中的一个图像帧周期的曝光信号，其中，M是大于等于2的整数。
8.如权利要求6所述的测量头，其中，每个像素单元包括一个附加的环境光存储部件，并且，所述控制单元控制所述像素阵列中的每个像素列的环境光存储部件在N个成像阶段的至少两个成像阶段中的所述固定时间段之外的时间段内开启对曝光信号的累积存储。
9.如权利要求1所述的测量头，其中，所述控制单元和所述读取单元由固定的曝光读取执行模块实现。
10.如权利要求1所述的测量头，其中，基于测量装置的测量结果，进行所述像素列成像的同步开启。
11.如权利要求10所述的测量头，其中，所述反射装置包括如下之一：
机械转镜；以及
微镜器件。
12.如权利要求1所述的测量头，其中，所述图像传感器的每个像素单元包括M个存储部件，每个存储部件都用于存储M个图像帧周期中的一个图像帧周期的曝光信号，并且
所述测量头还包括数字运算模块，所述数字运算模块在生成所述一组M个图像帧之后，直接对每个像素单元中存储的M个曝光信号进行数字运算以进行像素匹配。
13.一种深度数据测量装置，包括：
如权利要求1-12中任一项所述的深度数据测量头，以及
与所述深度数据测量头相连接的处理器，用于根据所述图像传感器的对所述结构光成像得到的图像帧，确定所述拍摄区域中拍摄对象的深度数据。
14.如权利要求13所述的装置，其中，所述处理器获取所述读取单元N次读取的所述存储部件内的曝光信号来进行一幅图像帧的合成。
15.如权利要求13所述的装置，其中，针对每个像素单元，从N个像素信号中选择亮度值符合预定规则的一个或多个像素信号用于所述图像帧的合成。
16.如权利要求15所述的装置，其中，所述预定规则包括如下至少一项：
从N个像素信号中选择亮度值位于预定亮度取值范围内的像素信号；
从N个像素信号中选择亮度值最接近中间亮度值的像素信号；
从N个像素信号中选择亮度值最接近但尚未进入亮度饱和区的亮度信号。
17.如权利要求13所述的装置，其中，所述处理器使用所述一组M个图像帧进行一次深度数据计算，并且所述处理器控制所述图像传感器针对其中的至少一个图案的N次投射，进行针对每个成像阶段的曝光信号读取以及选择亮度值符合预定规则的像素信号用于修正计算得到的深度数据的显示亮度。
18.一种深度数据测量方法，包括：
在预定时间段内，向拍摄区域扫描投射相同图案的结构光；
使用图像传感器对所述拍摄区域进行成像以获得在所述结构光照射下的一幅图像帧，其中，
所述图像传感器的像素单元在预定时间段的至少部分时间段内的曝光，存储部件在所述预定时间段内不被重置，以使得所述像素单元的存储部件累积在所述预定时间段内的曝光信号，并且针对所述预定时间段进行N次存储部件内曝光信号的读取，并从每个像素单元的N个读取的曝光信号中选择亮度值符合预定规则的像素信号进行所述图像帧的合成，
其中，所述预定时间段是一个图像帧周期，所述图像帧周期包括N个成像阶段，
在预定时间段内，向拍摄区域投射相同图案的结构光包括：
向拍摄区域扫描投射N次具有明暗间隔的线型光，每次扫描投射的线型光组成的条纹图案相同，并且
使用图像传感器对所述拍摄区域进行成像以获得在所述结构光照射下的一幅图像帧包括：
基于结构光条纹的扫描位置，同步开启所述图像传感器中与当前扫描位置相对应的条纹方向上的像素列进行曝光成像，所述同步开启使得投影装置当前投射的条纹位置与所述图像传感器当前开启像素列的成像位置至少部分重叠，
其中，所述方法还包括：
在M个图像帧周期中依次投射不同图案的条纹编码结构光，每个图案投射N次；
使用图像传感器获取各自针对一种图案的一组M个图像帧；以及
使用所述一组M个图像帧于求取一次所述拍摄区域内被测对象的深度数据，其中，
在至少一个图案的N次投射中，进行针对每个成像阶段的曝光信号读取并选择亮度值符合预定规则的像素信号用于修正计算得到的深度数据的显示亮度，
其中，使用所述投影装置向拍摄区域扫描投射相同图案的结构光，并且所述投影装置包括：
发光装置，用于产生线型光，其中投射的所述条纹图案通过发光装置的开启和关断或是光强变化实现；以及
以预定频率往复振动的反射装置，用于以所述预定频率向所述拍摄区域扫描投射所述线型光，其中，所述线型光的长度方向是所述投射条纹的长度方向。
19.如权利要求18所述的方法，其中，所述预定规则包括如下至少一项：
从N个像素信号中选择亮度值位于预定亮度取值范围内的像素信号；
从N个像素信号中选择亮度值最接近中间亮度值的像素信号；
从N个像素信号中选择亮度值最接近但未进入亮度饱和区的亮度信号。
CN201910400277.6A 2019-03-15 2019-05-13 深度数据测量头、测量装置和方法 Active CN112019773B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910400277.6A CN112019773B (zh) 2019-05-13 2019-05-13 深度数据测量头、测量装置和方法
US17/437,512 US11885613B2 (en) 2019-03-15 2019-12-03 Depth data measuring head, measurement device and measuring method
JP2022502318A JP7224708B6 (ja) 2019-03-15 2019-12-03 深度データ測定ヘッド、測定装置及び測定方法
EP19919943.1A EP3943882A4 (en) 2019-03-15 2019-12-03 DEPTH DATA MEASURING HEAD, MEASURING DEVICE AND MEASURING METHOD
PCT/CN2019/122667 WO2020186825A1 (zh) 2019-03-15 2019-12-03 深度数据测量头、测量装置和测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910400277.6A CN112019773B (zh) 2019-05-13 2019-05-13 深度数据测量头、测量装置和方法

Publications (2)

Publication Number Publication Date
CN112019773A CN112019773A (zh) 2020-12-01
CN112019773B true CN112019773B (zh) 2023-06-16

Family

ID=73500312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910400277.6A Active CN112019773B (zh) 2019-03-15 2019-05-13 深度数据测量头、测量装置和方法

Country Status (1)

Country Link
CN (1) CN112019773B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860077B (zh) * 2021-02-26 2023-05-30 深圳市华星光电半导体显示技术有限公司 显示面板的信号读取方法和装置
CN116647769A (zh) * 2022-02-14 2023-08-25 上海虹感微电子科技有限公司 改进的cmos图像传感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1508514A (zh) * 2002-12-17 2004-06-30 财团法人工业技术研究院 物体表面三维形貌量测方法和系统
JP2017037055A (ja) * 2016-02-03 2017-02-16 レボックス株式会社 欠陥測定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566381C (zh) * 2006-01-23 2009-12-02 精工爱普生株式会社 摄像元件及其装置、摄像方法、摄像系统及图像处理装置
CN100539648C (zh) * 2006-05-11 2009-09-09 精工爱普生株式会社 摄像元件及摄像装置和方法
CN101455074A (zh) * 2006-05-24 2009-06-10 汤姆森特许公司 读出和复位图像传感器的像素的电路和方法
CN104115211B (zh) * 2012-02-14 2017-09-22 金泰克斯公司 高动态范围成像系统
CN102547159B (zh) * 2012-02-16 2014-01-22 中国科学院上海高等研究院 高动态范围图像传感器及其控制方法
CN102595059B (zh) * 2012-02-27 2013-05-22 天津大学 一种多次曝光方法
FR3010602B1 (fr) * 2013-09-10 2015-10-02 Commissariat Energie Atomique Dispositif et procede d'acquisition compressive d'images
JP6282303B2 (ja) * 2015-05-29 2018-02-21 キヤノン株式会社 撮像素子および撮像装置
CN205336464U (zh) * 2015-12-08 2016-06-22 上海图漾信息科技有限公司 深度数据检测系统
JP2017112457A (ja) * 2015-12-15 2017-06-22 オリンパス株式会社 撮像装置、撮像プログラム、撮像方法
CN205987149U (zh) * 2016-01-16 2017-02-22 上海图漾信息科技有限公司 深度数据监控装置
US9942492B2 (en) * 2016-06-16 2018-04-10 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
CN106534632B (zh) * 2016-11-03 2019-03-29 桂林电子科技大学 同步扫描成像系统
CN206321237U (zh) * 2016-12-24 2017-07-11 上海图漾信息科技有限公司 线形光测距装置
KR20180092738A (ko) * 2017-02-10 2018-08-20 한국전자통신연구원 디지털 마이크로 미러 소자를 이용한 거리 정보 획득 장치 및 방법
CN109491074A (zh) * 2017-09-11 2019-03-19 宏达国际电子股份有限公司 光学基站

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1508514A (zh) * 2002-12-17 2004-06-30 财团法人工业技术研究院 物体表面三维形貌量测方法和系统
JP2017037055A (ja) * 2016-02-03 2017-02-16 レボックス株式会社 欠陥測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于光纤激光的高精度三维视觉测量技术;洪梓铭;艾青松;陈昆;;红外与激光工程(第08期);全文 *

Also Published As

Publication number Publication date
CN112019773A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN107923737B (zh) 用于超像素调制和环境光抑制的方法和设备
KR102413660B1 (ko) 광 집적 동안에 발생하는 광 변조 변화를 위한 전자-롤링-셔터로 비행시간 삼차원 카메라로부터의 깊이 이미지의 수정
CN111829449B (zh) 深度数据测量头、测量装置和测量方法
US10091447B2 (en) Methods and apparatus for synchronizing readout of multiple image sensors
US8675119B2 (en) Adaptive imaging using digital light processing
US11885613B2 (en) Depth data measuring head, measurement device and measuring method
JP5858688B2 (ja) 距離画像生成装置
JP7244013B2 (ja) エピポーラ飛行時間撮像のための方法
EP1322108A1 (en) Image creating device and image creating method
CN111692987A (zh) 深度数据测量头、测量装置和测量方法
JP5914192B2 (ja) 撮像装置及びその制御方法
CN112019773B (zh) 深度数据测量头、测量装置和方法
EP3382421A1 (en) Methods and apparatus for superpixel modulation with ambient light suppression
CN115390087A (zh) 一种激光线扫描三维成像系统及方法
CN111854625B (zh) 深度数据测量头、测量装置和测量方法
JP2017138199A (ja) 画像処理装置、撮像装置、および画像処理方法
CN108616698B (zh) 成像装置
JP2021004781A (ja) 距離画像生成装置
JP4317300B2 (ja) レンジファインダ装置
CN112615979B (zh) 图像获取方法、图像获取装置、电子装置和存储介质
WO2023222139A1 (zh) 深度数据测量头、测量装置和测量方法
EP4328542A1 (en) Depth data measurement head, depth data computing device, and corresponding method
CN116405784B (zh) 一种线扫描相机多重曝光方法、装置及扫描设备
JP2018050147A (ja) 撮像装置、撮像方法およびプログラム
JP7187185B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant