CN112615993A - 深度信息获取方法、双目摄像模组、存储介质及电子设备 - Google Patents

Abstract

本申请提出一种深度信息获取方法，应用于一双目摄像模组，所述双目摄像模组包括第一子摄像模组和第二子摄像模组，所述第一子摄像模组和第二子摄像模组中至少其中一者设有动态视觉传感器，所述方法基于动态视觉传感器直接读取双目摄像模组的捕捉到的目标物体的图像的像素点的坐标数据，并将坐标数据转换为向量数据，仅获取子摄像模组获取图像的向量的特征值不同的像素点的深度信息，以减小获取深度信息的运算量，提升运算速度和运算精度，本申请同时提供一种双目摄像模组、存储介质及电子设备。

Description

深度信息获取方法、双目摄像模组、存储介质及电子设备

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种深度信息获取方法、双目摄像模组、存储介质及电子设备。

背景技术

动态视觉传感器(Dynamic Vision Sensor，DVS)是一种新型的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器。与传统的CMOS或电荷耦合元件(Charge-coupled Device，CCD)传感器生成的图像不同，DVS图像可以根据场景光照变化强度大小而产生事件，在对象识别、场景三维建模、图像渲染、立体电视、辅助驾驶等应用中，双目DVS摄像模组的图像具有广泛的应用。

然而，在实现本申请过程中，发明人发现现有技术中至少存在如下问题：现有双目DVS摄像模组获取目标物体的图像的像素点的深度讯息较为复杂：首先进行光学标定、对位，然后将两个摄像头拍摄的图像进行融合，最终计算相对应的深度信息，对双目DVS摄像模组的组装精度、光学畸变、光学对位等需求较高，对处理器的计算能力要求较高，提升了硬件成本，且深度信息计算过程无法区分图像中有效区域和无效区域，导致无效计算过程较多，影响了图像处理速度。

发明内容

鉴于以上内容，有必要提出一种基于动态视觉传感器的双目摄像模组的深度信息获取方法、双目摄像模组、可读存储介质及电子设备，以解决上述问题。

本申请实施例提供一种深度信息获取方法，应用于一双目摄像模组，所述双目摄像模组包括第一子摄像模组和第二子摄像模组，所述第一子摄像模组和第二子摄像模组两者中至少其中一者设有动态视觉传感器，所述方法包括：

读取所述双目摄像模组所捕捉到的目标物体的图像的坐标数据，所述坐标数据包括由所述第一子摄像模组所捕捉到的目标物体的图像的像素点的坐标所形成的第一坐标集和由所述第二子摄像模组捕捉到目标物体的图像的像素点的坐标所形成的第二坐标集，其中所述第一坐标集与所述第二坐标集均包括多个像素点的坐标；

匹配所述第一坐标集及所述第二坐标集，建立所述第一坐标集中像素点的坐标与所述第二坐标集中像素点的坐标之间的像素点对应关系；

从第一坐标集中读取目标像素点坐标，依据所述像素点对应关系从所述第二坐标集中读取与所述目标像素点坐标相对应的对应像素点坐标；

将目标像素点坐标转换为目标像素点向量，将对应像素点坐标转换为对应像素点向量；

判断所述目标像素点向量的特征值与所述对应像素点向量的特征值是否相同；

若为否，则判定与所述目标像素点向量或所述对应像素点向量对应的像素点为有效像素点，并执行获取所述有效像素点的深度信息的运算。

如此，基于动态视觉传感器直接获取双目摄像模组的目标物体的图像的坐标数据，并基于第一像素向量和第二像素向量中对应像素点的特征值不同确定目标像素点，并计算目标像素点的深度信息，仅需计算有效像素点的深度信息即可获取目标物体的深度信息，以减小获取深度信息运算量，降低了处理器的计算能力要求，提升运算速度和运算精度，提升了图像处理速度。

在一些实施例中，所述执行获取所述有效像素点的深度信息的运算，具体包括：

依据所述目标像素点向量和所述对应像素点向量获取所述第一摄像模组和所述第二摄像模组的视差；

执行如下运算公式，以获取所述有效像素点的深度信息：

D＝(f*B)/d；

其中D为目标物体的有效像素点的深度信息，B为所述第一摄像模组和所述第二摄像模组之间的中心距，f为双目摄像模组的焦距，d为所述第一摄像模组和所述第二摄像模组的视差。

如此，通过所述第一摄像模组和所述第二摄像模组的视差获取像素点的深度信息，计算过程简单且计算精度较高。

在一些实施例中，所述判断所述目标像素点向量的特征值与所述对应像素点向量的特征值是否相同，具体包括：

判断所述目标像素点向量的模与所述对应像素点向量的模是否相同。

如此，通过判定像素点对应向量的模是否相同以判定该像素点为有效像素点。

在一些实施例中，所述判定与所述目标像素点向量特征值不相等的所述对应像素点向量对应的像素点为有效像素点，具体包括：

读取所述第一坐标集并基于所述第一坐标集生成第一矩阵；

读取所述第二坐标集并基于所述像素点对应关系及所述第二坐标集生成第二矩阵；

执行所述第一矩阵和所述第二矩阵的差运算并依据所述差值构建第三矩阵；

读取所述第三矩阵中不为零的元素；

依据所述第三矩阵中不为零的元素获取对应像素点的所对应的目标像素点坐标或对应像素点坐标为有效像素点。

如此，通过将向量转换为矩阵，以减少多个像素点的向量的特征值的比对次数，以提升多像素点的比对效率。

在一些实施例中，所述第一矩阵和所述第二矩阵均为m*n矩阵，其中，m为所述第一子摄像模组和所述第二子摄像模组所捕捉到的目标物体的图像的最大宽度像素值，n为所述第一子摄像模组和所述第二子摄像模组所捕捉到的目标物体的图像的最大长度像素值。

如此，本方法适用于多像素点的场景。

在一些实施例中，所述执行获取所述有效像素点的深度信息的运算之后，所述方法还包括：

获取所述双目摄像模组于第一时间所捕捉到的目标物体的图像的有效像素点的第一深度信息；

获取所述双目摄像模组于第二时间所捕捉到的目标物体的图像的有效像素点的第二深度信息，所述第一时间在所述第二时间之前；

依据所述第一时间、所述第二时间、所述第一深度信息及所述第二深度信息获取所述目标物体的运动状态。

在一些实施例中，依据所述第一子摄像模组所捕捉到的目标物体的图像、所述第二子摄像模组所捕捉到目标物体的图像及深度信息合成深度图像。

本申请实施例同时提供一种双目摄像模组，包括第一子摄像模组和第二子摄像模组，所述第一子摄像模组和第二子摄像模组中至少一个设有动态视觉传感器，所述双目摄像模组还包括处理器，所述处理器用于执行上述实施例所述的深度信息获取方法。

双目摄像模组基于动态视觉传感器直接获取双目摄像模组的目标物体的图像的坐标数据，并基于第一像素向量和第二像素向量中特征值不同确定目标像素点，并计算目标像素点的深度信息，仅需计算目标像素点的深度信息即可获取目标物体的深度信息，以减小获取深度信息运算量，降低了处理器的计算能力要求，提升运算速度和运算精度，提升了图像处理速度。

本申请实施例同时提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述实施例所述的深度信息获取方法的步骤。

本申请实施例同时提供的一种电子设备，包括上述实施例提供的双目摄像模组。

电子设备的双目摄像模组基于动态视觉传感器直接获取双目摄像模组的目标物体的图像的坐标数据，并基于第一像素向量和第二像素向量中特征值不同确定有效像素点，并获取有效像素点的深度信息，仅需计算有效像素点的深度信息即可获取目标物体的深度信息，以减小获取深度信息运算量，降低了处理器的计算能力要求，提升运算速度和运算精度，提升了图像处理速度。

附图说明

图1是本申请一实施例提供的一种深度信息获取方法的流程示意图。

图2是本申请一实施例提供的像素点的示意图。

图3是本申请一实施例提供的一种深度信息获取装置的结构示意图。

图4是本申请一实施例提供的双目摄像模组的结构示意图。

主要元件符号说明

目标物体 100

双目摄像模组 200

第一摄像模组 210

第二摄像模组 220

深度信息获取装置 400

接收模块 401

构建模块 402

判断模块 403

计算模块 404

预处理模块 405

匹配模块 406

处理器 610

存储器 620

计算机程序 630

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

本申请实施例提供的基于动态视觉传感器的双目摄像模组的深度信息获取方法可以应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等具有双目摄像模组的计算机装置上，本申请实施例对计算机装置的具体类型不作任何限制。

请参阅图1，图1示出了本申请实施例提供的深度信息获取方法的实现流程图，详述如下。

本实施例中，第一子摄像模组和第二子摄像模组均设有动态视觉传感器。如此，第一子摄像模组和第二子摄像模组可直接通过对应动态视觉传感器获取对应摄像模组捕捉的目标物体的对应像素点的坐标。

步骤S101：读取双目摄像模组所捕捉到的目标物体的图像的坐标数据。

其中坐标数据包括第一子摄像模组所捕捉到的目标物体的图像的像素点的坐标形成的第一坐标集和由所述第二子摄像模组所捕捉到的目标物体的图像的像素点形成的第二坐标集，其中其中所述第一坐标集与所述第二坐标集均包括目标物体的图像中的多个像素点的坐标。

具体地，可通过接收双目摄像模组输出的事件获取该事件产生像素点的横坐标和纵坐标，其中动态视觉传感器产生的事件通常用地址事件表示(AddressEventRepresentation，AER)进行表示，可基于地址事件表示直接获取该事件产生像素点的横坐标和纵坐标。

具体地，从双目摄像模组拍摄的图像上的物体到三维空间上的物体的映射过程实际上是坐标系的变换。图像上的某一点，经过物理关系的转换可以得到现实的物理坐标，然后将图像平面映射成相机坐标系的某一平面，得到该点在相机坐标系的坐标，最后通过相机坐标系与世界坐标系的旋转平移变换就可以确定该点的实际三维坐标了。

本实施例中，坐标可为像素坐标、图像坐标、相机坐标和世界坐标，坐标集中的坐标可为像素坐标，图像坐标、世界坐标或相机坐标，且可通过预设算法进行互换。

具体地，读取的坐标数据可以为某一个的坐标，也可以是整个坐标集。

读取单个坐标可以是第一摄像模组或第二摄像模组拍摄的图像中的单个像素点的坐标；

读取整个坐标集可以是第一摄像模组或第二摄像模组拍摄的图像中的多个像素点的坐标，例如对应图像的格式为30*30，坐标集可包括图像中所有像素点的坐标。

步骤S102：匹配所述第一坐标集及所述第二坐标集，建立所述第一坐标集中像素点的坐标与所述第二坐标集中像素点的坐标之间的像素点对应关系。

具体地，通过匹配算法使第一子摄像模组所捕捉到的目标物体的图像的像素点的坐标与第二子摄像模组所捕捉到的目标物体的图像的像素点的坐标相对应，以建立所述第一坐标集中像素点的坐标与所述第二坐标集中像素点的坐标之间的像素点对应关系，例如将第一子摄像模组和第二子摄像模组通过匹配算法将两张图像的坐标转换至同一坐标系中，以便于所述第一坐标集及所述第二坐标集之间的比较或运算。其中该匹配算法就是在两个摄像模组拍摄的两幅图象的匹配基元之间建立对应关系的过程，它是双目立体视觉系统的关键。匹配基元包括过零点(zero-crossings)，边界与线片段(edge and linefragments)，线性特征(linear features)，边缘轮廓(object boundaries)，兴趣算子抽取的特征点(如角点等)基元作为匹配算法处理的基本单位，是局部特征。实际上，任何计算机视觉系统中都包含一个作为其核心的匹配算法。双目立体视觉系统所摄取的两幅图象、地图与遥感或航测图象等，大多通过以下两种方式寻找对应关系：(1)灰度分布的相关性，(2)特征分布的相似性。因而就有两类匹配算法:(1)基于灰度的算法(intensity based)，(2)基于特征的算法(feature based)。本申请不限定获取对应关系的匹配算法。进一步地，基于灰度的匹配算法是指图象处理中所称的区域相关方法(area-correlation technique)。在一幅图象中以一点为中心选定一区域(窗口)，在另一幅图象中寻找与该区域相关系数最大的区域，把该找到的区域的中心认为是原来那个区域中心的对应点。在许多环境中，例如有线条轮廓特征可寻的人工环境(man-made structured world)，图象的特征是很有规律地分布的，反映了场景的核心，数量少，处理方便。基于特征的匹配算法特别适用于比较简单的环境如室内环境，具有速度快、精度高的特点，但对于自然环境，由于缺少显著的主导特征，该方法也遇到了很大困难。基于特征的双目立体视觉的对应算法，通过建立所选基元的对应关系，旨在获取一稀疏深度图，该类匹配算法都是建立在匹配基元之间的相似性度量基础上的。这种相似性度量被称为亲合性(affinity)，它是以匹配基元的各项参数信息为依据的局部特征相似程度的度量。这种度量方法与摄像机模型相结合，可以大大减小匹配时的搜索空间。

可以理解地，可以依据不同场景选择不同的匹配算法，例如，当匹配坐标为单个坐标或匹配的坐标数据为多个坐标时的匹配算法均可为半全局匹配算法，当然，本申请不限于此算法。

图2为本申请一实施例中第一摄像模组和第二摄像模组捕获的目标物体的像素点的对应关系，第一摄像模组和第二摄像模组共同拍摄目标物体的图像，由于位置角度原因，第一摄像模组和第二摄像模组拍摄的两个图像存在差异，通过建立预设坐标系建立两幅图像的像素点的对应关系。

步骤S103：从第一坐标集中读取目标像素点坐标，依据所述像素点对应关系从所述第二坐标集中读取与所述目标像素点坐标相对应的对应像素点坐标。

具体地，依据匹配算法获取双目摄像模组的两个摄像模组拍摄的两幅图像的对应关系，确定其中一幅图像中的目标点及目标点坐标，依据对应关系确定另一副图像中的对应点，并获取对应点的坐标。

步骤S104：将目标像素点坐标转换为目标像素点向量，将对应像素点坐标转换为对应像素点向量。

具体地，即将坐标转换有方向和大小的向量，其中目标像素点向量的起点可为第一摄像模组或第二摄像模组的中心点，终点可为第一摄像模组或第二摄像模组所拍摄的图像的对应像素点。

步骤S105：判断所述目标像素点向量的特征值与所述对应像素点向量的特征值是否相同。

在一实施例中，像素点的向量的特征值即为向量的模，步骤S105具体包括：

依据所述目标像素点向量与所述对应像素点向量获取所述目标像素点向量的模与对应像素点向量的模，也即所述目标像素点向量与所述对应像素点向量向量大小，通过比较目标像素点与对应像素点的向量大小是否相同，可以判定目标像素点与对应像素点的特征值是否相同，当然，可以理解地，特征值还可以为其他类型的值；

比较所述目标像素点向量的模与所述对应像素点向量的模是否相同。

例如，若目标像素点向量为平面向量且为(x，y)，则目标像素点向量的模为：

若所述目标像素点向量与所述对应像素点向量为相同，则判定该像素点对应的目标物体的图像的对应区域为无效区域，即虽然目标物体的该区域真实存在，由于目标物体的位移或亮度未发生相对变化，双模摄像模组无法感知目标物体的对应区域，因此将该区域定义为无效区域，例如双目摄像模组获取的目标物体的局部为静态的，摄像模组的动态视觉传感器无法捕捉该区域，则该目标物体的局部在图像中的区域为无效区域，无需计算对应区域的深度信息，以节省系统的运算资源，进而提升系统的整体运算能力，流程结束，该像素点不用计算深度信息。

若目标像素点向量与所述对应像素点向量的特征值为不相同，则执行步骤S106，则判定与所述目标像素点向量或所述对应像素点向量对应的像素点为有效像素点，并执行获取所述有效像素点的深度信息的运算。

若目标像素点向量与所述对应像素点向量的特征值相同，则该像素点在双目摄像模组拍摄过程未发生亮度或位移变化，双目摄像模组未感知到该像素点，则判定该像素点为无效像素点，则不用计算该像素点的深度信息。同理，若目标像素点向量与所述对应像素点向量的特征值不相同，则目标像素点为有效像素点。

在一实施例中，执行获取所述有效像素点的深度信息的运算，具体包括：

依据所述目标像素点坐标与所述对应像素点坐标获取所述第一摄像模组和所述第二摄像模组的视差；

执行如下运算公式，以获取所述有效像素点的深度信息：

D＝(f*B)/d；

其中D为目标物体的有效像素点的深度信息，B为所述第一摄像模组和所述第二摄像模组之间的中心距，f为双目摄像模组的焦距，d为所述第一摄像模组和所述第二摄像模组的视差。

其中，当三维空间与图像的对应关系确定后，通过立体匹配技术，就可以明确左右图像中的点的对应关系，从而得到视差，例如，可以使用半全局匹配算法，半全局匹配算法是一种常用的计算视差图的匹配算法，可以得到视差图，并且可分为匹配代价计算、代价聚合、视差计算，代价匹配是待匹配点与候选匹配点之间的相似度的衡量，在初始代价匹配中，其计算范围只限于局部窗口中，只考虑了局部的相关性，对噪声非常敏感。为了得到更优的匹配，必须进行代价聚合操作。在代价聚合中，半全局匹配算法采用了全局能量最优策略，在半全局匹配算法中，视差计算的操作较为简单，其采用赢家通吃的算法，即对每个像素来说，其代表的最优视差为最小代价聚合值。在此步骤中，对每个像素都进行了视差计算，因而可以得到以原图一样大小的视差图，代表了图像的匹配关系。

上述方法基于动态视觉传感器直接获取双目摄像模组捕捉的目标物体的图像目标像素点和对应像素点的坐标数据，并基于目标像素点向量和对应像素点向量的特征值不同确定有效像素点，仅需计算有效像素点的深度信息即可获取目标物体的深度信息，以减小获取深度信息运算量，提升运算速度和运算精度。

可以理解地，在其他实施例中，第一摄像模组设有一动态视觉传感器，第二摄像模组设有一个RGB视觉传感器，首先需建立第一摄像模组与第二摄像模组拍摄的图像的像素点的对应关系，例如，若第一摄像模组拍摄的图像的像素为640*480，第二摄像模组拍摄的图像的像素为1920*1440，则第二摄像模组中一个3*3像素点区域对应第一摄像模组中的一个像素点。可以理解地，建立第一摄像模组与第二摄像模组拍摄的图像的像素点的对应关系时，需将第二摄像模组。

进一步地，在一实施例中，双目摄像模组所捕捉的目标物体的图像包括多个像素点，例如，输出的图像尺寸为640*480的双目摄像模组，双目摄像模组输出图像的最大宽度像素值为640，双目摄像模组输出图像的最大长度像素值为480。

在本申请一实施例中，判定与所述目标像素点向量特征值不相等的或所述对应像素点向量对应的像素点为有效像素点具体包括：

读取所述第一坐标集并基于所述第一坐标集生成第一矩阵；

读取所述第二坐标集并基于所述像素点对应关系及所述第二坐标集生成第二矩阵；

执行所述第一矩阵和所述第二矩阵的差运算并依据所述差值构建第三矩阵；

读取所述第三矩阵中不为零的元素；

依据所述第三矩阵中不为零的元素获取对应像素点的目标像素点坐标或对应像素点坐标为有效像素点。

即通过第一矩阵和第二矩阵相减的差值，以获取第一矩阵和第二矩阵中不相同元素，基于该不相同的元素获取向量的特征值不同的像素点，以确定需要计算深度信息的有效像素点。如此，通过将向量转换为矩阵后，再进行比较，以简化多个像素点的向量的比较，提升比较速度，节省运算量。

在一实施例中，基于第一坐标集构建第一矩阵具体包括：

获取第一摄像模组和第二摄像模组输出的图片的尺寸；例如5*5，依据尺寸及第一坐标集获取图像对应像素点的坐标，将该像素点坐标转换为像素点向量，并获取像素点向量的模，依据所述尺寸构建矩阵，例如图像的尺寸为m*n，则矩阵为m行n列的矩阵，并将图像中像素点的向量的模作为矩阵对应位置的元素，以构建第一坐标集对应的第一矩阵。

举例而言，由于双目摄像模组输出的图像的尺寸为m*n，则基于第一摄像模组拍摄的图像的第一坐标集合和基于第二摄像模组拍摄的图像构建的第一矩阵和第二矩阵为m*n矩阵，矩阵中每个元素为对应像素点的向量的模，比较第一矩阵和第二矩阵中相同位置的元素的值，以实现多个像素点的向量的比较。

可以理解地，在另一实施例中，步骤S106之后，所述方法还包括：

获取所述双目摄像模组于第一时间所捕捉到的目标物体的图像的有效像素点的第一深度信息；

获取所述双目摄像模组于第二时间所捕捉到的目标物体的图像的有效像素点的第二深度信息，其中所述第一时间在所述第二时间之前；

依据所述第一时间、所述第二时间、所述第一深度信息及所述第二深度信息获取所述目标物体的运动状态。

如此，通过获取不同时间的目标物体的深度信息，以判定目标物体的运动状态。

在一实施例中，步骤S106之后还包括：

依据所述第一子摄像模组所捕捉到的目标物体的图像、所述第二子摄像模组所捕捉到目标物体的图像及深度信息合成深度图像。

其中，深度图像可为基于深度信息更新原始图像，以优化原始图像或者包含深度信息的普通图像。

可以理解地，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的路径规划方法，图3示出了本申请实施例提供的一种深度信息获取装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图3，该深度信息获取装置400包括：

接收模块401，用于读取所述双目摄像模组所捕捉到的目标物体的图像的坐标数据，所述坐标数据包括由所述第一子摄像模组所捕捉到的目标物体的图像的像素点的坐标所形成的第一坐标集和由所述第二子摄像模组所捕捉到目标物体的图像的像素点的坐标所形成的第二坐标集，其中所述第一坐标集与所述第二坐标集均包括多个像素点的坐标。

匹配模块406，用于匹配所述第一坐标集及所述第二坐标集，建立所述第一坐标集中像素点的坐标与所述第二坐标集中像素点的坐标之间的像素点对应关系，还用于从第一坐标集中读取目标像素点坐标，依据所述像素点对应关系从所述第二坐标集中读取与所述目标像素点坐标相对应的对应像素点坐标。

具体地，通过匹配算法使第一子摄像模组所捕捉到的目标物体的图像的像素点的坐标与第二子摄像模组所捕捉到的目标物体的图像的像素点的坐标相对应，例如将第一子摄像模组和第二子摄像模组通过匹配算法将两张图像的坐标转换至同一坐标系中，以便于所述第一坐标集及所述第二坐标集之间的比较或运算。

构建模块402，用于将目标像素点坐标转换为目标像素点向量，将对应像素点坐标转换为对应像素点向量。

判断模块403，判断所述目标像素点向量的特征值与所述对应像素点向量的特征值是否相同；若为否，则判定与所述目标像素点向量或所述对应像素点向量对应的像素点为有效像素点，由计算模块404执行获取所述有效像素点的深度信息的运算。

在一实施例中，若目标像素点向量的特征值与所述对应像素点向量的特征值不相同，计算模块404用于获取所述目标物体的有效像素点的深度信息。

进一步地，计算模块404获取深度信息具体包括：

依据所述目标像素点坐标与所述对应像素点坐标获取所述第一摄像模组和所述第二摄像模组的视差；

执行如下运算公式，以获取所述有效像素点的深度信息：

D＝(f*B)/d；

其中D为目标物体的有效像素点的深度信息，B为所述第一摄像模组和所述第二摄像模组之间的中心距，f为双目摄像模组的焦距，d为所述第一摄像模组和所述第二摄像模组的视差。

进一步地，所述目标物体包括多个像素点，判断模块403包括：

构建子模块，用于读取所述第一坐标集并基于所述第一坐标集生成第一矩阵，并读取所述第二坐标集并基于所述像素点对应关系及所述第二坐标集生成第二矩阵。

计算子模块，用于执行所述第一矩阵和所述第二矩阵的差运算并依据所述差值构建第三矩阵。

确定子模块，用于读取所述第三矩阵中不为零的元素。

判定子模块，用于依据所述第三矩阵中不为零的元素获取对应像素点的所对应的目标像素点坐标或对应像素点坐标为有效像素点。

进一步地，深度信息获取装置400包括：

预处理模块405，用于发送预处理指令，以优化所述双目摄像模组所捕捉到的目标物体的图像。例如对目标物体的图像进行极限校正。

进一步地，计算模块404还用于获取所述双目摄像模组于第一时间所捕捉到的目标物体的图像的有效像素点的第一深度信息；并获取所述双目摄像模组于第二时间所捕捉到的目标物体的图像的有效像素点的第二深度信息，其中所述第一时间在所述第二时间之前；计算模块404进一步地依据所述第一时间、所述第二时间、所述第一深度信息及所述第二深度信息获取所述目标物体的运动状态。

在一实施例中，构建模块402还用于依据所述第一子摄像模组所捕捉到的目标物体的图像、所述第二子摄像模组所捕捉到目标物体的图像及深度信息合成深度图像。

本申请的实施例同时提供的一种电子设备(图未示)，包括上述实施例提供的双目摄像模组200。

电子设备的双目摄像模组200基于动态视觉传感器直接获取目标物体的有效像素点的坐标，并基于像素点的坐标形成向量，通过利用像素点坐标获取特征值不同的像素点的深度信息，以减小获取深度信息运算量，降低了处理器的计算能力要求，提升运算速度和运算精度，提升了图像处理速度。

进一步地，电子设备可为智能手机、家具设备，例如扫地机器人等。

需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块的具体划分形式在此不作限定。各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4为本申请一实施例提供的计算机装置的结构示意图。如图4所示，该实施例的双目摄像模组200包括：至少一个处理器610(图4中仅示出一个)、存储器620以及存储在上述存储器620中并可在上述至少一个处理器610上运行的计算机程序630，上述处理器610执行上述计算机程序630时实现上述任意各个路径规划方法实施例中的步骤。

上述双目摄像模组200可以是服务器、手机、可穿戴设备、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该计算机装置可包括，但不仅限于，处理器610、存储器620。可以理解地，图4仅仅是双目摄像模组200的举例，并不构成对双目摄像模组200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。

所述处理器610可以是中央处理单元(Central Processing Unit，CPU)，该处理器610还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器620在一些实施例中可以是上述双目摄像模组200的内部存储单元，例如双目摄像模组200的硬盘或内存。上述存储器620在另一些实施例中也可以是上述双目摄像模组200的外部存储设备，例如上述双目摄像模组200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器620还可以既包括上述双目摄像模组200的内部存储单元也包括外部存储设备。上述存储器620用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器620还可以用于暂时地存储已经输出或者将要输出的数据。

另外，尽管未示出，上述双目摄像模组200还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。

以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种深度信息获取方法，其特征在于，应用于一双目摄像模组，所述双目摄像模组包括第一子摄像模组和第二子摄像模组，所述第一子摄像模组和第二子摄像模组两者中至少其中一者设有动态视觉传感器，所述方法包括：

读取所述双目摄像模组所捕捉到的目标物体的图像的坐标数据，所述坐标数据包括由所述第一子摄像模组所捕捉到的目标物体的图像的像素点的坐标所形成的第一坐标集和由所述第二子摄像模组所捕捉到目标物体的图像的像素点的坐标所形成的第二坐标集，其中所述第一坐标集与所述第二坐标集均包括多个像素点的坐标；

匹配所述第一坐标集及所述第二坐标集，建立所述第一坐标集中像素点的坐标与所述第二坐标集中像素点的坐标之间的像素点对应关系；

从第一坐标集中读取目标像素点坐标，依据所述像素点对应关系从所述第二坐标集中读取与所述目标像素点坐标相对应的对应像素点坐标；

将目标像素点坐标转换为目标像素点向量，将对应像素点坐标转换为对应像素点向量；

判断所述目标像素点向量的特征值与所述对应像素点向量的特征值是否相同；

若为否，则判定与所述目标像素点向量或所述对应像素点向量对应的像素点为有效像素点，并执行获取所述有效像素点的深度信息的运算。

2.如权利要求1所述的深度信息获取方法，其特征在于，所述执行获取所述有效像素点的深度信息的运算，具体包括：依据所述目标像素点坐标与所述对应像素点坐标获取所述第一摄像模组和所述第二摄像模组的视差；

执行如下运算公式，以获取所述有效像素点的深度信息：

D＝(f*B)/d；

其中D为目标物体的有效像素点的深度信息，B为所述第一摄像模组和所述第二摄像模组之间的中心距，f为双目摄像模组的焦距，d为所述第一摄像模组和所述第二摄像模组的视差。

3.如权利要求1所述的深度信息获取方法，其特征在于，所述判断所述目标像素点向量的特征值与所述对应像素点向量的特征值是否相同，具体包括：

判断所述目标像素点向量的模与所述对应像素点向量的模是否相同。

4.如权利要求1所述的深度信息获取方法，其特征在于，所述判定与所述目标像素点向量特征值不相等的所述对应像素点向量对应的像素点为有效像素点，具体包括：

读取所述第一坐标集并基于所述第一坐标集生成第一矩阵；

读取所述第二坐标集并基于所述像素点对应关系及所述第二坐标集生成第二矩阵；

执行所述第一矩阵和所述第二矩阵的差运算并依据所述差值构建第三矩阵；

读取所述第三矩阵中不为零的元素；

依据所述第三矩阵中不为零的元素获取对应像素点的所对应的目标像素点坐标或对应像素点坐标为有效像素点。

5.如权利要求4所述的深度信息获取方法，其特征在于，所述第一矩阵和所述第二矩阵均为m*n矩阵，其中，m为所述第一子摄像模组和所述第二子摄像模组所捕捉到的目标物体的图像的最大宽度像素值，n为所述第一子摄像模组和所述第二子摄像模组所捕捉到的目标物体的图像的最大长度像素值。

6.如权利要求1所述的深度信息获取方法，其特征在于，所述执行获取所述目标像素点的深度信息的运算之后，所述方法还包括：

获取所述双目摄像模组于第一时间所捕捉到的目标物体的图像的有效像素点的第一深度信息；

获取所述双目摄像模组于第二时间所捕捉到的目标物体的图像的有效像素点的第二深度信息，其中所述第一时间在所述第二时间之前；

依据所述第一时间、所述第二时间、所述第一深度信息及所述第二深度信息获取所述目标物体的运动状态。

7.如权利要求1所述的深度信息获取方法，其特征在于，所述方法还包括：

依据所述第一子摄像模组所捕捉到的目标物体的图像、所述第二子摄像模组所捕捉到目标物体的图像及深度信息合成深度图像。

8.一种双目摄像模组，包括第一子摄像模组和第二子摄像模组，所述第一子摄像模组和第二子摄像模组中至少一个设有动态视觉传感器，其特征在于，所述双目摄像模组还包括处理器，所述处理器用于执行如权利要求1-7中任意一项所述的深度信息获取方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现如权利要求1至7中任意一项所述的深度信息获取方法的步骤。

10.一种电子设备，其特征在于，包括如权利要求8所述的双目摄像模组。

Images