CN217085782U - 一种结构光三维成像模块及深度相机 - Google Patents

Abstract

本实用新型提供了一种结构光三维成像模块及深度相机，深度相机包括结构光三维成像模块，结构光三维成像模块包括激光发射组件、间隔设置于激光发射组件的一侧的事件相机、以及信号连接于激光发射组件和事件相机的控制与处理器，激光发射组件的发射窗口和事件相机的接收窗口朝向同一侧；激光发射组件用于向目标物体投射至少两张时序编码结构光图案，时序编码结构光图案由多个发射单元中的部分投射形成，事件相机用于采集被目标物体反射的时序编码结构光图案，控制与处理器用于根据事件相机采集反射的时序编码结构光图案的像素点与预先存储的参考图像之间的偏移量分析得到目标物体的深度图像。本方案的成像模块三维成像效率高且功耗低，成本低。

Description

一种结构光三维成像模块及深度相机

技术领域

本实用新型属于三维重建技术领域，尤其涉及一种结构光三维成像模块及深度相机。

背景技术

传统的结构光按结构光的形态可以分为点结构光、线结构光和面结构光。经典的点结构光向物体表面投射单个光点，线结构光向物体表面投射单条线，然后从另外一个角度拍摄结构光信息，进而从图像中解析计算得到深度信息。点结构光和线结构光虽然效率低于面结构光，但由于具有优异的鲁棒性，因而在工业生产中应用非常普遍。

在相关技术中，点、线结构光模块中由于所使用的传统相机是固定帧率、全局曝光的，但实际上每次点和线结构光信息在传感器全局像素中所占的比例很小，大部分像素是无效的，而这些无效的像素仍然占用了带宽资源和处理器资源，因此导致这类结构光模块的成像效率低。

实用新型内容

本实用新型的技术目的在于提供一种结构光三维成像模块及深度相机，能够减小结构光匹配的计算量，提高成像效率，降低功耗，从而减小成本。

为解决上述技术问题，本实用新型是这样实现的，提供一种结构光三维成像模块，包括激光发射组件、间隔设置于所述激光发射组件的一侧的事件相机、以及信号连接于所述激光发射组件和所述事件相机的控制与处理器，所述激光发射组件具有多个发射单元，所述激光发射组件的发射窗口和所述事件相机的接收窗口朝向同一侧；

所述激光发射组件用于向目标物体投射至少两张时序编码结构光图案，所述时序编码结构光图案由所述多个发射单元中的部分投射形成，所述事件相机用于采集被所述目标物体反射的时序编码结构光图案，所述控制与处理器用于根据事件相机采集所述反射的时序编码结构光图案的像素点与预先存储的参考图像之间的偏移量分析得到所述目标物体的深度图像。

进一步地，所述激光发射组件包括沿投射方向依次排布的光源和整形元件，所述光源信号连接于所述控制与处理器，所述整形元件用于改变所述光源投射的激光的发散角。

进一步地，所述光源包括衬底，所述多个发射单元设置于所述衬底的一侧形成激光阵列。

进一步地，各所述发射单元独立控制；或者；

所述多个发射单元被分为至少两个激光子阵列，各所述激光子阵列分别单独控制，一所述激光子阵列对应形成一张所述时序编码结构光图案。

进一步地，所述激光发射组件还包括设置于所述光源的投射方向侧的斑点图案生成器，所述斑点图案生成器用于对所述光源投射的激光扩束。

进一步地，所述激光发射组件还包括设置于所述光源的光路方向上的光束扫描器，所述光束扫描器能够转动以改变所述光源发射的激光的光路方向。

进一步地，所述结构光三维成像模块还包括信号连接于所述控制与处理器的RGB相机，所述RGB相机设置于所述激光发射组件和所述事件相机的中心连线所在直线，所述RGB相机的接收窗口和所述事件相机的接收窗口朝向同一侧。

进一步地，所述时序编码结构光图案中相邻光斑边界之间的距离d满足关系：d≥D，其中，D表示在垂直于投射方向的平面上光斑边界的最大宽度。

进一步地，所述事件相机包括由多个像素组成的像素阵列；所述事件相机采集所述反射的时序编码结构光图案时仅所述多个像素中的一部分对应响应，响应的像素中相邻的像素间至少相隔一个像素宽度的距离。

进一步地，提供一种深度相机，包括如上任意一项所述的结构光三维成像模块。

本实用新型中结构光三维成像模块及深度相机与现有技术相比，有益效果在于：

本方案通过激光发射组件向目标物体投射至少两张时序编码结构光图案，而且一张时序编码结构光图案由多个发射单元中的部分投射形成，因此，结构光图案的光斑组成更加稀疏，经目标物体反射后的时序编码结构光图案由事件相机采集，之后通过控制与处理器仅根据事件相机采集反射的时序编码结构光图案时响应的像素点与预先存储的参考图像之间的偏移量分析得到目标物体的深度图像，从而完成三维建模，在这个过程中由于采用事件相机，响应速度更快，而且由于时序编码结构光图案的光斑更加稀疏，无需进行繁杂的匹配计算工作，能够减小结构光匹配的计算量，提高成像效率，并且降低功耗，减小成本。

附图说明

图1是本实用新型实施例中结构光三维成像模块的结构布局示意图；

图2是本实用新型实施例中结构光三维成像模块的激光发射组件的结构示意图；

图3是本实用新型实施例中投射图案的示意图；

图4是本实用新型实施例中另一种实施例的激光发射组件的结构示意图；

图5是本实用新型实施例中另一种实施例的激光发射组件的投射图案示意图；

图6a是本实用新型一种实施例的像素阵列示意图；

图6b是本实用新型另一种实施例的像素阵列示意图；

图7是本实用新型一实施例的结构光图案、参考图案和事件图像的示意图。

在附图中，各附图标记表示：101、结构光三维成像模块；102、控制与处理器；103、主板；104、激光发射组件；105、事件相机；106、接口；107、RGB相机；108、透光窗口；201、衬底；202、发射单元；203、整形元件；204、斑点图案生成器；2041、光栅；205、光束扫描器。

具体实施方式

下面详细描述本实用新型的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本实用新型的实施例，而不能理解为对本实用新型的限制。

在本实用新型实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实用新型实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本实用新型实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本实用新型实施例中的具体含义。

图1所示的是结构光三维成像模块101侧面布局示意图。结构光三维成像模块101包括激光发射组件104、间隔设置于激光发射组件104的一侧的事件相机105、以及信号连接于激光发射组件104和事件相机105的控制与处理器102，激光发射组件104具有多个发射单元202，激光发射组件104的发射窗口和事件相机105的接收窗口朝向同一侧；激光发射组件104用于向目标物体投射至少两张时序编码结构光图案，时序编码结构光图案由多个发射单元202中的部分投射形成，事件相机105用于采集被目标物体反射的时序编码结构光图案，控制与处理器102用于根据事件相机105采集反射的时序编码结构光图案的像素点与预先存储的参考图像之间的偏移量分析得到目标物体的深度图像。

本方案通过激光发射组件104向目标物体投射至少两张时序编码结构光图案，而且一张时序编码结构光图案由多个发射单元202中的部分投射形成，因此，结构光图案的光斑组成更加稀疏，经目标物体反射后的时序编码结构光图案由事件相机105采集，之后通过控制与处理器102仅根据事件相机105采集反射的时序编码结构光图案时响应的像素点与预先存储的参考图像之间的偏移量分析得到目标物体的深度图像，从而完成三维建模，在这个过程中由于采用事件相机105，响应速度更快，而且由于时序编码结构光图案的光斑更加稀疏，无需进行繁杂的匹配计算工作，能够减小结构光匹配的计算量，提高成像效率，并且降低功耗，减小成本。

结合图2，在一个实施例中，激光发射组件104包括沿投射方向依次排布的光源和整形元件203，光源信号连接于控制与处理器102，整形元件203用于改变光源投射的激光的发散角。优选的，光源包括衬底201，多个发射单元202设置于衬底201的一侧形成激光阵列，从而用于发射多个子光束。光源可以是阵列激光芯片，其种类可以是发光二极管(LED)、边发射激光(EEL)、垂直腔面激光(VCSEL)等；光源所发激光可以是可见光、不可见光，如红外、紫外等。为了使得激光发射组件104整体的体积较小，优选的方案选择垂直腔面激光发射器阵列(VCSEL阵列)作为光源，VCSEL阵列还具有光源发散角小等优点。另外，同一个衬底201上也可布置不同种类的VCSEL，比如VCSEL阵列的形状、大小、亮度均可以有差别。图2中为了方便示意，仅在一维上列出3个发射单元202，事实上VCSEL阵列可以是二维平面内排列的二维阵列光源。VCSEL阵列芯片可以是裸片，也可以是经过封装后的芯片，两者的区别在于，裸片拥有更小的体积和厚度，而封装芯片则具有更好的稳定性以及安装连接便捷性。

在一些实施例中，VCSEL阵列芯片整体大小仅在毫米量级，比如2mmX2mm大小，上面排列了几十个甚至上百个发射单元202，各个发射单元202之间的距离处于微米量级，比如30um。VCSEL阵列芯片的排列图案可以是规则的图案也可以是不规则的图案，即发射单元202可以规则排列，也可以不规则排列。

整形元件203主要用于对光源的光束进行汇聚。在一个实施例中，整形元件203采用透镜，整形元件203用于准直光源投射的激光。在采用VCSEL光源时，透镜将发散的VCSEL光束准直成平行光束，以确保发射出的斑点能量更加集中。除了用单个透镜之外，在一个实施例中也可以采用微透镜阵列(MLA)，微透镜阵列中每一个微透镜单元与每个发射单元202对应，也可以一个微透镜单元与多个发射单元202对应；在另一个实施例中也可以采用透镜组来实现光束汇聚，例如在投射方向上设置两个或三个光焦度不同的透镜，形成一个投射透镜系统。

进一步的，激光发射组件104还包括设置于光源的投射方向侧的斑点图案生成器204，斑点图案生成器204用于对光源投射的激光扩束。优选的，斑点图案生成器204设置于整形元件203的远离光源的一侧，斑点图案生成器204用于接收经过整形元件203后的光束并向外发射能形成斑点图案的光束，在一种实施例中，斑点图案生成器204是起到分束的作用的衍射光学元件(DOE)，比如当光源中发射单元202的数量为100时，即经由透镜传输到DOE上的光束为100，DOE可以将透镜光束以某一数量(比如200)的倍率进行扩束，最终向空间中发射20000个光束，理想情况下将会看到有20000个斑点(在一些情况下会有一些斑点重叠的情形，导致斑点数量减少)。除了DOE之外，也可以采用其他任何可以形成斑点的光学元件，比如MLA(微透镜阵列)、光栅2041或者多种光学元件组合。

在一个实施例中，各个发射单元202是可以独立控制工作的，透镜接收发射单元202发射的光束，将发散的光束准直成平行光束，斑点图案生成器204接收透镜光束并向外发射能形成斑点图案的光束。值得说明的是，斑点图案生成器204可以由多个相邻的光栅2041组成，单个或多个发射单元202发射的光束经过透镜准直后，斑点图案生成器204的其中一个光栅2041或多个光栅2041接收透镜光束后向外发射能形成斑点图案的光束。通过控制不同的发射单元202在不同时刻工作，光束经透镜准直后从相同或不同的光栅2041穿过从而可以形成斑点图案的光束，或者通过控制多个发射单元202同一时刻向不同的光栅2041发射经透镜准直后的光束以形成向外发射的斑点图案的光束，如图3所示，这样就不需要匹配计算即可知道每个像素对应参考图像的偏移量，以获取深度图像。

在一些实施例中，整形元件203和斑点图案生成器204可以制作为一体，以达到缩小体积的效果，其中斑点图案生成器204既可以在整形元件203的靠近光源侧也可以在整形元件203的远离光源侧。

对传统的结构光深度相机特别是基于斑点图案的结构光而言，三角法测量深度的关键步骤是要计算斑点图像与参考斑点图案之间的像素偏离值，这一计算的步骤由控制与处理器102(或专用处理芯片)来执行，计算的执行过程中最重要的一步是要根据匹配算法寻找斑点图像与参考斑点图像中相同的子区域，这里的子区域指的是图像中一个固定大小的像素区域，比如7x7、11x11像素。匹配算法要求斑点图像中沿基线方向上的各个子区域内图案不相同，即要求斑点图像具有高度的局部不相关性，并且匹配算法的计算量非常大。

为了满足局部不相关性这一要求，一般地，VCSEL阵列中发射单元202要求不规则排列，一种常用的方案是设计时在衬底201随机生成发射单元202的位置信息，这一方案的优点在于设计思路清晰，设计执行起来较为简单；缺点在于发射单元202排列的图案不可控性较强，要想生成一个比较好的不相关图案往往需要经过大量的实验和验证，另一方面在芯片制造过程中对每个发射单元202的定位精度难以把握，往往具有一些规则排列或者对称特性的VCSEL芯片在制作时精度、效率等方面会更好。

本实用新型采取的设计方案可以解决上述存在的缺点或问题。与普通结构光成像不同的是，假定当结构光图案为斑点组成的结构光图案时，普通结构光成像要求斑点数量越多越好，然后将拍摄的目标物体图像与参考图像匹配计算，获得视差之后得到目标物体的深度图像。而在本实用新型中，每个时刻发射的时序编码结构光图案的斑点越稀疏越好，这样就不需要复杂的匹配计算过程，由于事件相机105的帧率非常高、动态范围大、响应速度快，可以在相同时间段内获取比普通相机更多张图像，后续将图像融合可以获取和普通相机一样的完整图像，融合的计算量远远小于匹配的计算量，因此，本方案的光源的激光发射单元202阵列的设计无需像传统方式那样复杂，设计更加高效简单，设计成本更低。当然由于考虑激光发射组件104的功耗和后续融合的计算量，时序编码结构光图案中相邻光斑边界之间的距离d满足关系：d≥D，其中，D表示在垂直于投射方向的平面上光斑边界的最大宽度，这样可以使得相邻的光斑之间不重合，即相互独立，被事件相机105采集后对应相应的像素之间可以具有足够的距离，因此无需额外的匹配计算，更加高效。在一个实施例中，当结构光的光斑为圆形时，可以设置为相邻斑点的中心距离不小于一个斑点直径的2倍，即假设斑点半径为r，相邻斑点之间的距离为d，那么d不小于2r，当然相邻斑点之间的距离可以根据需求设置的更远，比如d＝4r等等，在此对其距离的设置不做限制。在一些实施例中，光斑的形状也可以是椭圆形、方形等等，只要保证时序编码结构光图案中相邻光斑边界之间的距离d满足关系：d≥D即可。

在一个实施例中，假设光源中的四个子光源A、B、C、D向目标物体各发出20个斑点光束，即每个子光源包括20个发射单元202，斑点光束经由透镜传输到DOE上以某一数量(比如200)的倍率进行扩束，最终在目标物体A区域、B区域、C区域、D区域分布有4000个斑点。若传统结构光在每个区域需要20000个斑点，那么每个子光源需要发射100个点(包括100个发射单元202)，然后根据匹配计算获取目标物体的深度图像。本实用新型的方案则可以发射4次斑点光束，将四次对应的深度图像进行融合即可得到目标物体完整的深度图像，由于本实用新型一次只发出20个斑点，对应区域为4000个斑点，其紧密程度远远小于20000个斑点，因此不需要进行匹配计算即可知道每个像素点的偏移量，从而获得目标物体的深度图像，且事件相机105的帧率远高于普通相机帧率的5倍，远能超过传统结构光的效率，因此通过本实用新型能够提高效率的同时减小计算量，并获得目标物体完整的深度图像。

为了方便时序编码结构光图案的变换和调整，在一些实施例中，各发射单元202可以配置为能够被独立控制，即每个发射单元202可以单独地实现发射光斑光束的动作，因此，一张时序编码结构光图案可以由光源中任意数量和位置的发射单元202发射形成，例如，当发射单元202以N*N的正方形阵列排布时，一个完整的结构光图案通过发射四张时序编码结构光图案时，第一张时序编码结构光图案可以由奇数行和奇数列的发射单元202发射形成，第二张时序编码结构光图案可以由偶数行和偶数列的发射单元202发射形成，第三张时序编码结构光图案可以由奇数行和偶数列的发射单元202发射形成，第四张时序编码结构光图案可以由偶数行和奇数列的发射单元202发射形成，四张时序编码结构光图案可以形成一个完整的结构光图案，并且，四张时序编码结构光图案利用了所有的发射单元202，而且由于每张时序编码结构光图案所利用的相邻发射单元202至少间隔了一个不激发的发射单元202，可以使得光斑更为稀疏，更有利于提高事件相机105的采集精度。应当理解，在一些实施例中，一个完整的结构光图案可以通过其它数量的时序编码结构光图案形成，例如两张、三张、五张、六张等等，并且，单张时序编码结构光图案具体由哪些位置的发射单元202形成可以根据实际情况适应性调整，在此不作限定。此外，需要说明的是，一个完整的结构光图案也可以不需要所有的发射单元202均参与，例如，以前述发射单元202以N*N的正方形阵列排布为例，可以设定为无论哪张时序编码结构光图案，最外圈的发射单元202均不参与，具体不参与的发射单元202的位置设定可以根据实际情况进行调整。

在一些实施例中，多个发射单元202可以被分为至少两个激光子阵列，各激光子阵列被配置为可被分别单独控制，即激光子阵列中的所有发射单元202可以同时被激发或者关闭，并且，一激光子阵列可以对应形成一张时序编码结构光图案。可以理解的是，多个激光子阵列在空间上可以被分开设置，比如第一激光子阵列、第二激光子阵列和第三激光子阵列相邻接，共同形成整体的一片；多个激光子阵列在空间上可以被交叉设置，比如，第一激光子阵列可以是奇数行的发射单元202，第二激光子阵列可以是偶数行的发射单元202；多个激光子阵列在空间上还可以复合设置，比如第一激光子阵列可以是奇数行的发射单元202，第二激光子阵列可以是偶数行的发射单元202，第三激光子阵列可以同时包含奇数行和偶数行的发射单元202。多个激光子阵列的排列方式可以根据需要进行合理的设置，激光子阵列之间的图案、数量、密度和排列方式可以相同或者不同。比如第一激光子阵列的排列密度高于第二激光子阵列的排列密度，第一激光子阵列的数量少于第二激光子阵列的数量，由于排列方式的不同会导致输出不同的结构光图案，也可以产生不同的时序编码结构光图案。

如图4所示，激光发射组件104还包括设置于光源的光路方向上的光束扫描器205，光束扫描器205能够转动以改变光源发射的激光的光路方向。光源发出光束，光束扫描器205接收该光束并通过单轴或多轴旋转以将光束发射到目标物体。在一个实施例中，光束扫描器205可以是液晶偏振光栅2041(Liquid Crystal Polarization Grating，LCPG)、微机电系统(Micro-Electro Mechanical System，MEMS)扫描器等。优选地，光束扫描器205采用MEMS扫描器，由于MEMS具有极高的扫描频率以及较小的体积，可以使得激光发射组件104具有较小的体积以及较高的性能。在一些实施例中，MEMS扫描器可以以1MHZ～20MHZ的频率进行扫描，因此可以提供足够的空间及时间分辨率。通过对光束扫描器205的配置，可以对光源发出的光束进行空间以及时间调制以产生多种图案光束射出，比如规则斑点图案、线光束图案、线串光束图案等。

如图5所示，光源发出第一光束601，假设光束扫描器205对第一光束601进行第一次偏转的角度为0°以形成第二光束602；随后光束扫描器205对第一光束601进行再次偏转，并且具有一定的偏转角度，形成又一个第二光束602。可以理解的是，所有第二光束602只存在位置变化，都是经过光束扫描器205偏转形成的第二光束602。由此经过多次偏转之后形成的多个第二光束602组成的投影图案相对于没有光束扫描器205时的第一光束601具有更大的视场，从而可以获得信噪比高且分辨率高的图像。在本实施例中，只需要保证第一光束601相邻斑点之间的距离如上述所叙述，在此不再展开叙述，而且本方案的VCSEL可以比上述方案的VCSEL数量少。

结构光三维成像模块101还可以包括信号连接于控制与处理器102的RGB相机107，RGB相机107设置于激光发射组件104和事件相机105的中心连线所在直线，RGB相机107的接收窗口和事件相机105的接收窗口朝向同一侧。在本实施例中，RGB相机107可以位于激光发射组件104和事件相机105的中间，一般的，结构光三维成像模块101可以包括主板103，主板103可以是包含电路的电路板，也可以是半导体基板，又或者可以是用于支撑及散热的支架等等，激光发射组件104、事件相机105和RGB相机107可以固定到主板103上，并且可以通过接口106和主板103相连，激光发射组件104、事件相机105和RGB相机107均分别对应一个透光窗口108，在一些实施例中，接口106可以采用FPC接口106，控制与处理器102可以集成到主板103上并通过主板103实现和激光发射组件104、事件相机105和RGB相机107的电连接。

事件相机105包括由多个像素组成的像素阵列；事件相机105采集反射的时序编码结构光图案时仅多个像素中的一部分对应响应，响应的像素中相邻的像素间至少相隔一个像素宽度的距离。像素阵列的大小代表着图像传感器的分辨率，比如480x640等，一般地，与图像传感器连接的还包括信号放大器、模数转换器等器件中的一种或多种组成的读出电路(图中未示出)。

控制与处理器102分别和激光发射组件104及事件相机105电连接，以控制激光发射组件104与事件相机105工作，比如提供激光发射组件104中光源发射激光时所需的发射指令以控制激光发射组件104发射对应的时序编码结构光图案等。控制与处理器102可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当三维成像系统被集成到诸如手机、电视、电脑等智能终端中时，智能终端的处理电路可以作为该控制与处理器102的至少一部分。

在一个实施例中，激光发射组件104被配置为向目标空间投射经编码的结构光图案，事件相机105的像素阵列被配置为采集经目标物体反射回的结构光图案如图6a所示，通过控制与处理器102的处理从而得到目标物体的深度图像。在一个实施例中，激光发射组件104在不同时刻被配置为向目标空间投射经编码的结构光图案，事件相机105的子像素阵列301、子像素阵列302、子像素阵列303、子像素阵列304各部分像素被配置为采集经目标物体反射回的结构光图案，比如每次子像素阵列里有2个像素响应或者更多，在此不限制，但是其响应的像素之间互不干扰，且存在一定距离，通过控制与处理器102的处理得到目标物体不同时刻对应的深度图像。值得说明的是，激光发射组件104可以经过多个时刻向目标空间投射经编码的结构光图案，事件相机105的像素阵列可以多个时刻后采集的结构光图案如图6a所示。

在一个实施例中，激光发射组件104被配置为向目标空间投射经编码的结构光图案，事件相机105的像素阵列30被配置为采集经目标物体反射回的结构光图案如图6b所示，通过控制与处理器102的处理从而得到目标物体的深度图像。在一个实施例中，激光发射组件104在不同时刻被配置为向目标空间投射经编码的结构光图案，事件相机105的子像素阵列301、子像素阵列302、子像素阵列303、子像素阵列304各部分像素被配置为采集经目标物体反射回的结构光图案，比如每次子像素阵列的第一列像素响应，或者第一列和第三列像素响应等等，在此不限制，但是其响应的像素之间互不干扰，且存在一定距离，相邻列数的距离d可以设置为不小于2r，通过控制与处理器102的处理得到目标物体不同时刻对应的深度图像。值得说明的是，激光发射组件104可以经过多个时刻向目标空间投射经编码的结构光图案，事件相机105的像素阵列可以多个时刻后采集的结构光图案如图6b所示。

可以理解的是，不管是如图6a还是如图6b所示，都只是示意图，只要是通过发射结构光图案，不需要通过匹配计算，都应属于本实用新型。

图6a和图6b是根据本实用新型的实施例的事件相机105中像素阵列30的像素响应示意图。像素阵列30分别由子像素阵列301、子像素阵列302、子像素阵列303、子像素阵列304组成。子像素阵列的数量并不限制于4个，也可以多个，根据需求划分，在每个图中圆圈表示该区域像素接收到了目标物体反射回的光信号，并不是用来表示像素的实际形状及大小，圆圈的数量仅以示意，并不代表是由这么多像素响应光信号，双线条方框代表的是衬底201的轮廓。为了便于对实用新型概念的阐述，在图中还增加了一些虚线来作为分隔或辅助线，这些虚线仅用于说明，并不一定真实存在于像素阵列30中。

下面以图7为例对如何获取目标物体的深度图像进行说明，投射至目标物体的结构光图案701，参考图像702，事件相机105接收经目标物体反射回的事件图像703，在这里，事件图像只表示这几个像素点的入射光发生了变化，产生了事件信号，获取这几个像素点的位置信息，并计算该像素点与参考图像对应像素点的位置偏移量，即可获得该次投影到目标物体区域的深度图像。当然，可以分多次进行投影，以获得多张深度图像，将这些深度图像进行融合可以获取完整的目标物体深度图像，每次投射的结构光图案也是可以设置的，在这里只是为了方便举例说明，在真实情况中，投射的结构光图案和密度可以根据需求设置。

在一个实施例中，预先存储的参考斑点图像是通过标定工艺采集的，即在预设的一个或者多个距离上放置平板，然后将结构光图案投射上去，事件相机105采集该结构光图案并存储在存储器(未图示)中，事件相机105可以知道每个像素响应的具体位置，根据该位置可以获得各个像素点偏移量，从而得到深度图像。

值得说明的是，激光子阵列发射的光束越分散(即，子像素阵列响应的像素越分散)计算精确度越高。事件相机105是根据像素接收到入射光强度的变化从而生成事件信号，事件相机105的帧率远高于普通相机的帧率，传统相机输出一张传统灰度图像的时间远远高于输出一张事件图像的时间，因此可以选择分时刻控制不同的子发射单元202发射斑点光束，事件相机105分别输出相应的事件图像。可以理解的是，每一次发射斑点光束的数量不做限制，可以一个或多个，优选的方案是，每次发射的斑点分散占据激光子阵列的50％区域，如此可以不需要通过匹配算法寻找斑点图像于参考斑点图像中相同的子区域，从而可以减小计算量、降低功耗。

可以理解的是，由于不需要通过匹配算法寻找斑点图像于参考斑点图像中相同的子区域，优选方案是发射规则排列的光束，规则的光束较好设置于排布，保证相邻之间的距离不会产生干扰，比如相邻像素之间不会同时产生响应，这样可以减小计算误差。

在本实用新型实施例中，激光发射组件104可以由多个不同的子阵列组合而成，这里所说的不同可以有多种方式，比如子阵列的整体形状、分布形状、大小或者光源分布、形状、数量、发光特性如波长等至少一个方面不同。这种方式下，可以通过对不同子阵列进行分组或整体控制来实现多种不同的应用情景。VCSEL阵列可以由一个或多个子阵列通过各种变换方式形成更多个子阵列，然后由这些子阵列共同构成VCSEL阵列，变换方式可以是平移、缩放、旋转、镜像等。

在一个实施例中，提供一种深度相机(未示出)，包括如上任意一种实施方式的结构光三维成像模块101。使得深度相机具有较高的成像效率，较低的功耗，并且能够减小成本。

以上所述仅为本实用新型的较佳实施例而已，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (10)

1.一种结构光三维成像模块，其特征在于，包括激光发射组件、间隔设置于所述激光发射组件的一侧的事件相机、以及信号连接于所述激光发射组件和所述事件相机的控制与处理器，所述激光发射组件具有多个发射单元，所述激光发射组件的发射窗口和所述事件相机的接收窗口朝向同一侧；

所述激光发射组件用于向目标物体投射至少两张时序编码结构光图案，所述时序编码结构光图案由所述多个发射单元中的部分投射形成，所述事件相机用于采集被所述目标物体反射的时序编码结构光图案，所述控制与处理器用于根据事件相机采集所述反射的时序编码结构光图案的像素点与预先存储的参考图像之间的偏移量分析得到所述目标物体的深度图像。

2.根据权利要求1所述的结构光三维成像模块，其特征在于，所述激光发射组件包括沿投射方向依次排布的光源和整形元件，所述光源信号连接于所述控制与处理器，所述整形元件用于改变所述光源投射的激光的发散角。

3.根据权利要求2所述的结构光三维成像模块，其特征在于，所述光源包括衬底，所述多个发射单元设置于所述衬底的一侧形成激光阵列。

4.根据权利要求3所述的结构光三维成像模块，其特征在于，各所述发射单元独立控制；或者；

所述多个发射单元被分为至少两个激光子阵列，各所述激光子阵列分别单独控制，一所述激光子阵列对应形成一张所述时序编码结构光图案。

5.根据权利要求2所述的结构光三维成像模块，其特征在于，所述激光发射组件还包括设置于所述光源的投射方向侧的斑点图案生成器，所述斑点图案生成器用于对所述光源投射的激光扩束。

6.根据权利要求2所述的结构光三维成像模块，其特征在于，所述激光发射组件还包括设置于所述光源的光路方向上的光束扫描器，所述光束扫描器能够转动以改变所述光源发射的激光的光路方向。

7.根据权利要求1所述的结构光三维成像模块，其特征在于，所述结构光三维成像模块还包括信号连接于所述控制与处理器的RGB相机，所述RGB相机设置于所述激光发射组件和所述事件相机的中心连线所在直线，所述RGB相机的接收窗口和所述事件相机的接收窗口朝向同一侧。

8.根据权利要求1-7中任一项所述的结构光三维成像模块，其特征在于，所述时序编码结构光图案中相邻光斑边界之间的距离d满足关系：d≥D，其中，D表示在垂直于投射方向的平面上光斑边界的最大宽度。

9.根据权利要求8所述的结构光三维成像模块，其特征在于，所述事件相机包括由多个像素组成的像素阵列；所述事件相机采集所述反射的时序编码结构光图案时仅所述多个像素中的一部分对应响应，响应的像素中相邻的像素间至少相隔一个像素宽度的距离。

10.一种深度相机，其特征在于，包括如权利要求1-9中任意一项所述的结构光三维成像模块。

Images