CN114494394A - 相位分段桶排序并行双目立体匹配方法、电子设备及介质 - Google Patents

Abstract

本发明的实施例提供一种相位分段桶排序并行双目立体匹配方法，该方法包括：针对同一物体，利用左侧相机获取左相位图，并利用右侧相机获取右相位图；对所述左相位图和所述右相位图进行双目极线矫正；获取所述右相位图的第一相位线，其中，所述右相位图的第一相位线由多个第一相位值组成；以及根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算。本发明的另一实施例还提供一种电子设备和一种计算机可读存储介质。

Description

相位分段桶排序并行双目立体匹配方法、电子设备及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种结构光相机双目立体匹配的方法，具体来说涉及一种相位分段桶排序并行双目立体匹配方法、电子设备及介质。

背景技术

基于结构光的双目立体匹配是重建计算流程中的关键步骤之一，直接影响到三维重建的速度与精度。相关技术中双目立体匹配的目的是对于左侧相机采集的左相位图中的任一点，找出该任一点在右侧相机的右相位图中的对应点的位置。对于已经标定的立体双目相机，一般通过极线矫正将左右相位图像行对齐，从而将对应点搜索维度从二维降到一维，然后在对应行搜索右相位图中的对应点的位置。

在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：对于左侧相机的左相位图中的一个点，需要对右侧相机的右相位图对应视差范围D区间的所有点进行匹配代价计算与处理。当图像高度为H，宽度为W，搜索视差范围为D时，需要计算匹配代价的次数为H×W×D，对于测量深度范围较大的双目结构光相机，尤其是高分辨率、长基线的高精度立体双目相机，视差范围D较大(例如，实践中对应最大测量深度范围的视差范围可能高达几百甚至上千像素)，从而导致计算速度及内存占用都较大。

发明内容

有鉴于此，本发明要解决的技术问题在于提供一种相位分段桶排序并行双目立体匹配方法、电子设备及介质，解决了相关技术中高精度双目结构光相机进行双目立体匹配时，计算量较大，内存占用较高的问题。

为了解决上述技术问题，本发明的具体实施方式提供一种相位分段桶排序并行双目立体匹配方法，包括：针对同一物体，利用左侧相机获取左相位图，并利用右侧相机获取右相位图；对所述左相位图和所述右相位图进行双目极线矫正；获取所述右相位图的第一相位线，其中，所述右相位图的第一相位线由多个第一相位值组成；以及根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算。

根据本发明的可选实施例，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算的步骤之前，相位分段桶排序并行双目立体匹配方法还包括：对所述右相位图的第一相位线进行均匀分段获得多个第一相位段；将所述第一相位段包含的第一相位值装入数据桶中；以及对每个数据桶内的第一相位值进行排序。

根据本发明的可选实施例，对所述右相位图的第一相位线进行分段获得多个第一相位段的步骤之前，相位分段桶排序并行双目立体匹配方法还包括：确定所述右相位图的第一相位线的最大值和最小值。

根据本发明的可选实施例，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算的步骤，包括：根据所述第一相位点的相位值确定该第一相位点所属的m个数据桶中的第n个数据桶，其中，n小于等于m；查找与所述第一相位点的相位值最接近的第一相位值，定义为第一右侧相位值；以及获取与所述第一右侧相位值对应的所述右相位图的第二相位点，其中，所述第二相位点为所述第一相位点在相同行对应视差范围的点。

根据本发明的可选实施例，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算的步骤，还包括：查找与所述第一相位点的相位值最接近的第一相位值，定义为第一右侧相位值的步骤之后，确定所述第一右侧相位值是否在预先设定范围内。

根据本发明的可选实施例，查找与所述第一相位点的相位值最接近的第一相位值的步骤，包括：从第一相位点所属的数据桶的起始第一相位值开始，查找到第一个大于等于所述第一相位点的相位值的第一相位值，标记为后第一相位值；确定所述后第一相位值之前的第一相位值，标记为前第一相位值；比较所述前第一相位值与所述第一相位点的相位值的第一绝对差值，并比较所述后第一相位值与所述第一相位点的相位值的第二绝对差值；以及根据所述第一绝对差值和所述第二绝对差值确定所述前第一相位值或者所述后第一相位值为所述第一右侧相位值。

根据本发明的可选实施例，针对同一物体，利用左侧相机获取左相位图，并利用右侧相机获取右相位图的步骤之前，相位分段桶排序并行双目立体匹配方法还包括：同步降低所述左相位图和所述右相位图的分辨率。

根据本发明的可选实施例，获取与所述第一右侧相位值对应的所述右相位图的第二相位点的步骤之后，相位分段桶排序并行双目立体匹配方法还包括：恢复所述左相位图和所述右相位图的分辨率；利用缩放系数及所述第二相位点得到恢复分辨率后的右相位图的坐标搜索区域；在所述坐标搜索区域限定的范围内查找与所述第一相位点的相位值最接近的第一相位值，作为新第一右侧相位值；以及获取与所述新第一右侧相位值对应的所述右相位图的第三相位点，其中，所述第三相位点为所述第一相位点在相同行对应视差范围的点。

本发明实施例的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，上述存储装置用于存储可执行指令，上述可执行指令在被上述处理器执行时，实现本发明实施例的方法。

本发明实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被处理器执行时用于实现本发明实施例的方法。

本发明的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现本发明实施例的方法。

根据本发明的实施例，针对高精度双目结构光相机，利用左右相机相位差值的绝对值进行匹配代价计算，可以至少部分地解决相关技术中高精度双目结构光相机进行双目立体匹配时，计算量较大，内存占用较高的问题，并因此可以实现提高双目结构光相机的双目立体匹配速度，并降低内存占用的技术效果。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。

附图说明

下面的所附附图是本发明的说明书的一部分，其绘示了本发明的示例实施例，所附附图与说明书的描述一起用来说明本发明的原理。

图1为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的系统架构。

图2为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第一流程示意图。

图3为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第二流程示意图。

图4为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第三流程示意图。

图5为本发明具体实施方式提供的根据左相位图中的第一相位点的相位值和右相位图的第一相位线进行匹配代价计算的第一流程示意图。

图6为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第四流程示意图。

图7为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第五流程示意图。

图8为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配的电子设备的框图。

附图标记说明：

100 系统架构 101 左侧相机

102 右侧相机 103 投影机

104 处理服务器

S201～S203 操作 S301～S303 操作

S401 操作 S2031～S2033 操作

S601 操作 S701～S703 操作

800 电子设备 801 处理器

802 ROM 803 RAM

804 总线 805 I/O接口

806 输入部分 807 输出部分

808 存储部分 809 通信部分

810 驱动器 811 可拆卸介质

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。

本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的系统架构。需要注意的是，图1所示仅为可以应用本发明实施例的系统架构的示例，以帮助本领域技术人员理解本发明的技术内容，但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括光栅图像G、左侧相机101、右侧相机102、投影机103和处理服务器104，左侧相机101、右侧相机102和投影机103通过有线或无线方式与处理服务器104连接。投影机103可以将光栅图像G投射在目标物体上，投影机103投射光栅图像G(即光栅条纹)的亮度、角度可以变化。投影机103投射光栅图像G的同时，左侧相机101和右侧相机102采集光栅图像G。左侧相机101和右侧相机102可以采集光栅图像G，左侧相机101采集多张光栅图像G，利用相移方法求解左侧相机101采集的多张光栅图像G的相位可以获得左相位图，右侧相机102采集多张光栅图像G，利用相移方法求解右侧相机102采集的多张光栅图像G的相位可以获得右相位图，左相位图和右相位图为相位图，左相位图和右相位图的相位值不一定等于某张光栅图像G的相位。处理服务器104可以根据左相位图获取左相位图的相位线(左相位图中相位值的连线称为左相位图的相位线，左相位图的相位线实际上并不存在，为了便于说明问题，假想的一条线)，并且可以根据右相位图获取右相位图的相位线(右相位图中相位值的连线称为右相位图的相位线，右相位图的相位线实际上并不存在，为了便于说明问题，假想的一条线)，并且能够根据左相位图中任意一点的相位值和右相位图的相位线进行匹配代价计算。

处理服务器104可以文件服务器、网络服务器、集成服务器、云服务器、服务器集群、嵌入式处理器，等。左侧相机101和右侧相机102的组合为已经标定的双目立体相机。本发明的可选实施例中，左侧相机101、右侧相机102和投影机103可以集成为一个设备。处理服务器104也可以嵌入到左侧相机101和/或右侧相机102中，本发明不以此为限。

需要说明的是，本发明实施例所提供的相位分段桶排序并行双目立体匹配方法一般可以由处理服务器104执行。

图2为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第一流程示意图。

本发明的可选实施例中，如图2所示，相位分段桶排序并行双目立体匹配方法可以包括以下操作S201～S203。

在操作S201，针对同一物体，利用左侧相机获取左相位图，并利用右侧相机获取右相位图。

本发明的可选实施例中，左侧相机和右侧相机可以为组成已经标定的立体双目相机。投影机可以在物体(目标物体)上主动投射明暗相间的多种多样的条纹(即光栅)，投射条纹的亮度、角度可以变化，左侧相机采集多张光栅图像，利用相移方法求解左侧相机采集的多张光栅图像的相位获得左相位图，右侧相机采集多张光栅图像，利用相移方法求解右侧相机采集的多张光栅图像的相位获得右相位图。

接下来，在操作S202，获取所述右相位图的第一相位线，其中，所述右相位图的第一相位线由多个第一相位值组成。

本发明的可选实施例中，光栅相位在时间轴上呈正弦或余弦分布，左相位图的相位线与右相位图的相位线的绝对值，与水平方向或竖直方向的像素坐标之间基本上呈线性关系。为了便于说明，多个相位值所在的直线称为相位线，即相位点的行或列，实际上相位线并不存在，引入相位线的概念主要为了便于理解。

然后，在操作S203，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算。

本发明的可选实施例中，左相位图中所有点的相位值均需要与右相位图的相位线进行匹配代价计算。本发明中行与列是相对概念，行与列可以相互替换。双目极线矫正后，每一行(列)的匹配是独立的，可以按行对左相位图中每个点在右相位图中对应行上查找最接近的匹配点，也可以按列对左相位图中每个点在右相位图中对应列上查找最接近的匹配点。本发明中左相位图与右相位图也是相对概念，也可以相互替换，例如，双目极线矫正后，每一行(列)的匹配是独立的，可以按行对右相位图中每个点在左相位图中对应行上查找最接近的匹配点，也可以按列对右相位图中每个点在左相位图中对应列上查找最接近的匹配点。

本发明的可选实施例中，对于左相位图的相位线上的任意一点，在右相位图的相位线上查找出与该任意一点对应的点，或者对于右相位图的相位线上的任意一点，在左相位图的相位线上查找出与该任意一点对应的点，即为匹配代价计算。如果对于左相位图的相位线上的任意一点，在右相位图的相位线上查找出与该任意一点对应的点，那么需要一个相位点一个相位点，逐行或逐列在右相位图中找出所有与左相位图相位点对应的相位点。如果对于右相位图的相位线上的任意一点，在左相位图的相位线上查找出与该任意一点对应的点，那么需要一个相位点一个相位点，逐行或逐列在左相位图中找出所有与右相位图相位点对应的相位点。根据左相位图上的相位点及右相位图上对应相位点的位置信息，可以计算出物体的深度信息。

本发明的可选实施例中，对于左侧相机或右侧相机来说，相位点的相位值与像素坐标之间呈线性关系。对于双目结构光相机来说，左相位图相位点的相位值与右相位图对应相位点的相位值大致相等。一般地，X轴方向为行方向，Y轴方向为列方向，具体是行方向，还是列方向，取决于双目相机的结构设计和投影条纹方向，本发明不作具体限定。因此，可以利用左侧相机和右侧相机的对应相位点相位差的绝对值进行匹配代价计算，可以至少部分地解决相关技术中高精度双目结构光相机进行双目立体匹配时，数据计算量较大，内存占用较高的问题，并可以提高双目结构光相机的双目立体匹配速度，并降低内存占用。

下面参考图3～图7，结合具体实施例对图2所示的方法做进一步说明。

图3为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第二流程示意图。

本发明的可选实施例中，如图3所示，操作S203根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算之前，相位分段桶排序并行双目立体匹配方法还可以包括以下操作S301～S303。

在操作S301，对所述右相位图的第一相位线进行均匀分段获得多个第一相位段。

本发明的可选实施例中，右相位图的第一相位线上具有多个第一相位值。例如，将多个第一相位值1，31，34，12，15，3，51，54，37，7，10，55，16，20，49，46，25，28，30，38，42，60按从小到大的顺序进行排序，连线排序后的第一相位值，形成右相位图的第一相位线。实际上，多个第一相位值一般为小数，为了便于说明，使用整数表示第一相位值。假如4个数据桶范围分别为1～15，16～30，31～45，46～60，第一相位段与数据桶的范围一一对应。将右相位图的第一相位线均匀分段，得到4个相位段，相位段与相位桶一一对应，第1个相位段包含的第一相位值为1、3、7、10、12、15，装入第1个数据桶中；第2个相位段包含的第一相位值为16、20、25、28、30，装入第2个数据桶中；第3个相位段包含的第一相位值为31、34、37、38、42，装入第3个数据桶中；第4个相位段包含的第一相位值为46，49、51、54、55、60，装入第4个数据桶中。在每个数据桶中对第一相位值进行排序。

接下来，在操作S302，将所述第一相位段包含的第一相位值装入数据桶中。

本发明的可选实施例中，可以将第一相位段包含的第一相位值依次或并行装入数据桶中，将第一相位段包含的第一相位值并行装入数据桶中，可以进一步提高相位匹配效率。例如，可以将上述4个相位段包含的第一相位值分别装入4个数据桶中，即将4个相位段包含的第一相位值分别装入4个数据桶中，第1个数据桶包含的第一相位值为1、3、7、10、12、15；第2个数据桶包含的第一相位值为16、20、25、28、30；第3个数据桶包含的第一相位值为31、34、37、38、42；第4个数据桶包含的第一相位值为46，49、51、54、55、60。

然后，在操作S303，对每个数据桶内的第一相位值进行排序。

本发明的可选实施例中，数据桶中的第一相位值的大小是无序的，可以对数据桶中的第一相位值进行排序。例如，排序前，第1个数据桶包含的第一相位值为3、1、10、7、12、15；第2个数据桶包含的第一相位值为30、16、20、28、25；第3个数据桶包含的第一相位值为31、38、37、42、34；第4个数据桶包含的第一相位值为51、49、54、55、46、60；排序后，第1个数据桶包含的第一相位值为1、3、7、10、12、15；第2个数据桶包含的第一相位值为16、20、25、28、30；第3个数据桶包含的第一相位值为31、34、37、38、42；第4个数据桶包含的第一相位值为46，49、51、54、55、60。

本发明的可选实施例中，将右相位图的第一相位线均匀分段，然后将第一相位段包含的第一相位值依次或并行装入多个数据桶中，在右相位图的第一相位线进行相位值查找时，查找范围可以限制在相应数据桶中，缩小查找范围，降低数据计算量，并因此降低内存占用。将第一相位段包含的第一相位值并行装入多个数据桶中，可以进一步提高相位匹配效率。

图4为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第三流程示意图。

本发明的可选实施例中，如图4所示，操作S301对所述右相位图的第一相位线进行均匀分段获得多个第一相位段的步骤之前，相位分段桶排序并行双目立体匹配方法还可以包括以下操作：

在操作S401：确定所述右相位图的第一相位线的最大值和最小值。

本发明的可选实施例中，操作S401可以包括：根据已知参数得到所述右相位图的第一相位线的最大值和最小值。

本发明的可选实施例中，第一相位线的最大值和最小值是一个设计参数，是在设计投影条纹的时候设计好的。确定右相位图的第一相位线的最大值和最小值后，可以沿行(或列)将右相位图的第一相位线均匀分成多个第一相位段，以便将第一相位段上的第一相位值装入对应的数据桶中。

图5为本发明具体实施方式提供的根据左相位图中的第一相位点的相位值和右相位图的第一相位线进行匹配代价计算的第一流程示意图。

本发明的可选实施例中，如图5所示，操作S203根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算，可以包括以下操作S2031～S2033：

在操作S2031：根据所述第一相位点的相位值确定该第一相位点所属的数据桶。

本发明的可选实施例中，根据数据桶的范围，将第一相位点的相位值映射到第n个数据桶。例如，假设第一相位点的相位值为23，4个数据桶范围分别为1～15，16～30，31～45，46～60，23属于第2个数据桶。假设第一相位点的相位值为45，4个数据桶范围分别为1～15，16～30，31～45，46～60，45属于第3个数据桶。

接下来，在操作S2032：查找与所述第一相位点的相位值最接近的第一相位值，定义为第一右侧相位值。

本发明的可选实施例中，假设4个数据桶范围分别为1～15，16～30，31～45，46～60，第1个数据桶包含的第一相位值为1、3、7、10、12、15；第2个数据桶包含的第一相位值为16、20、25、28、30；第3个数据桶包含的第一相位值为31、34、37、38、42；第4个数据桶包含的第一相位值为46，49、51、54、55、60。第一相位点的相位值为23，属于第2个数据桶，第2个数据桶的相位值范围为[16，30]，第一相位点的相位值23位于16和30之间，从第2个数据桶的起始值16开始查找，查找到第一个大于等于第一相位点的相位值的第一相位值25，25前面的第一相位值是20(25前面的第一相位值有时可能在第1个数据桶中)，从20和25中确定与第一相位点的相位值23最接近的第一相位值，例如，可以利用相位差绝对值进行匹配代价计算，20与23的相位差绝对值为3，25与23的相位差绝对值为2，3大于2，因此，与第一相位点的相位值23最接近的第一相位值是25；也可以利用相位差平方进行匹配代价计算，20与23的相位差平方为9，25与23的相位差平方为4，9大于4，因此，与第一相位点的相位值23最接近的第一相位值是25。

然后，在操作S2033：获取与所述第一右侧相位值对应的所述右相位图的第二相位点，其中，所述第二相位点为所述第一相位点在相同行(或列)对应视差范围的点。

本发明的可选实施例中，在右相位图中查找与第一相位值为25对应的第二相位点。或者在右相位图中查找与第一相位值为45对应的第二相位点。

本发明的可选实施例中，将均匀分段后第一相位段上的第一相位值装入数据桶中，在与第一相位点的相位值所属的数据桶中，向递增方向查找到第一个大于等于第一相位点的相位值的第一相位值，进而确定与第一相位点的相位值最接近的第一相位值，然后根据查找到的第一相位值在右相位图中查找第二相位点。可以大大降低查找第二相位点的搜索范围和搜索次数，降低内存占用。

本发明的可选实施例中，操作S203根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算，可以包括以下操作：

在操作S2032查找与所述第一相位点的相位值最接近的第一相位值，定义为第一右侧相位值之后，确定所述第一右侧相位值是否在预先设定范围内。

本发明的可选实施例中，如果第一右侧相位值不在预先设定范围内，可以舍弃查找到的第一右侧相位值，那标记未在右相位图中查找到与左相位图中的第一相位点相匹配的第二相位点。

本发明的可选实施例中，操作S2032查找与所述第一相位点的相位值最接近的第一相位值，可以包括以下操作：

从第一相位点所属的数据桶的起始第一相位值开始，查找第一个大于等于所述第一相位点的相位值的第一相位值，如果查找到第一个大于等于所述第一相位点的相位值的第一相位值，则标记为后第一相位值。

确定所述后第一相位值之前的第一相位值，标记为前第一相位值。

比较所述前第一相位值与所述第一相位点的相位值的第一绝对差值，以及所述后第一相位值与所述第一相位点的相位值的第二绝对差值。

根据所述第一绝对差值和所述第二绝对差值确定所述前第一相位值或者所述后第一相位值为所述第一右侧相位值。

本发明的可选实施例中，如果第一右侧相位值不在预先设定范围内，可以舍弃查找到的第一右侧相位值，那标记未在右相位图中查找到与左相位图中的第一相位点相匹配的第二相位点。

本发明的可选实施例中，假设4个数据桶范围分别为1～15，16～30，31～45，46～60，第1个数据桶包含的第一相位值为1、3、7、10、12、15；第2个数据桶包含的第一相位值为20、25、28、30；第3个数据桶包含的第一相位值为31、34、37、38、42；第4个数据桶包含的第一相位值为46，49、51、54、55、60。若第一相位点的相位值为17，属于第2个数据桶，第2个数据桶的起始第一相位值为20，从20开始，20大于等于17，则将20标记为后第一相位值，确定后第一相位值之前的第一相位值为15，标记15为前第一相位值；前第一相位值与第一相位点的相位值的第一绝对差值为2，后第一相位值与第一相位点的相位值的第二绝对差值为3，则与第一相位点的相位值17最接近的第一相位值为15。

本发明的可选实施例中，操作S2032查找与所述第一相位点的相位值最接近的第一相位值，可以包括以下操作：

从第一相位点所属的数据桶的起始第一相位值开始，查找第一个大于等于所述第一相位点的相位值的第一相位值，如果所属的数据桶的最终第一相位值依然小于第一相位点的相位值的第一相位值，则将最终第一相位值标记为前第一相位值。

确定所述前第一相位值之后的第一相位值，标记为后第一相位值。

比较所述前第一相位值与所述第一相位点的相位值的第一绝对差值，以及所述后第一相位值与所述第一相位点的相位值的第二绝对差值。

根据所述第一绝对差值和所述第二绝对差值确定所述前第一相位值或者所述后第一相位值为所述第一右侧相位值。

本发明的可选实施例中，假设4个数据桶范围分别为1～15，16～30，31～45，46～60，第1个数据桶包含的第一相位值为1、3、7、10、12、15；第2个数据桶包含的第一相位值为16、20、25、28、30；第3个数据桶包含的第一相位值为31、34、37、38、42；第4个数据桶包含的第一相位值为46，49、51、54、55、60。第一相位点的相位值为45，属于第3个数据桶，第3个数据桶的起始第一相位值为31，从31开始，查找到最终第一相位值42，42仍然小于45，即未在第3个数据桶中查找第一个大于等于第一相位点的相位值的第一相位值，则标记42为前第一相位值，前第一相位值之后的第一相位值为后第一相位值，46为后第一相位值；前第一相位值与第一相位点的相位值的第一绝对差值为3，后第一相位值与第一相位点的相位值的第二绝对差值为1，则与第一相位点的相位值45最接近的第一相位值为46。

图6为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第四流程示意图。

本发明的可选实施例中，如图6所示，操作S202获取所述右相位图的第一相位线之前，相位分段桶排序并行双目立体匹配方法还可以包括以下操作S601：

在操作S601：同步降低所述左相位图和所述右相位图的分辨率。

本发明的可选实施例中，先降采样粗匹配再升采样精匹配，通过降采样的方式降低代价空间的大小，进一步提高匹配速度，降低内存占用量。假如左相位图和右相位图的原始分辨率为1920×1080，例如可以将左相位图和右相位图的分辨率降低为384×216，获取分辨率降低后右相位图的第一相位线，并根据分辨率降低后左相位图中的第一相位点的相位值和分辨率降低后右相位图的第一相位线进行初始匹配代价计算。

图7为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配方法的第五流程示意图。

本发明的可选实施例中，如图7所示，操作S2033获取与所述第一右侧相位值对应的所述右相位图的第二相位点之后，相位分段桶排序并行双目立体匹配方法还可以包括以下操作S701～S703：

在操作S701：恢复所述左相位图和所述右相位图的分辨率。

本发明的可选实施例中，假如左相位图和右相位图的原始分辨率为1920×1080，将左相位图和右相位图的分辨率降低为384×216，获取与第一右侧相位值对应的所述右相位图的第二相位点后，恢复左相位图和右相位图的分辨率。

接下来，在操作S702：利用缩放系数及所述第二相位点得到恢复分辨率后的右相位图的坐标搜索区域。

本发明的可选实施例中，假设缩放系数为a，同步降低左相位图和右相位图的分辨率后进行匹配得到的视差图为D。恢复分辨率后，对于左相位图上一点(xl,y)，其对应降分辨率相位图坐标为(xl/a,y/a)，对应降分辨率相位图视差值为D(xl/a,y/a)，则视差初值为d＝a*D(xl/a,y/a)，视差初值对应的右相位图坐标为(xl–d,y)。假设精匹配搜索半径为r，则对应x轴搜索范围为[xl–d-r,xl–d+r]。在该搜索范围内查找相位最接近点，计算视差值作为最终匹配结果。

然后，在操作S703：在所述坐标搜索区域限定的范围内查找与所述第一相位点的相位值最接近的第一相位值，作为新第一右侧相位值。

其次，在操作S704：获取与所述新第一右侧相位值对应的所述右相位图的第三相位点，其中，所述第三相位点为所述第一相位点在相同行对应视差范围的点。

本发明的可选实施例中，先同步降低左相位图和右相位图的分辨率，进行初步匹配代价计算，再恢复左相位图和右相位图的分辨率，在坐标搜索区域限定的范围内查找与第一相位点的相位值最接近的第一相位值，进行精度匹配代价计算，从而在保证匹配代价计算精度的前提下，降低内存占用，提高匹配速度。

图8为本发明具体实施方式提供的一种相位分段桶排序并行双目立体匹配的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，根据本发明实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

本发明的可选实施例中，处理器801的数量可以为多个，多个所述处理器801并行处理相位分段桶排序并行双目立体匹配方法，所述处理器801可以为CPU、GPU(图形处理器)、FPGA(现场可编程门阵列)、DSP(数字信号处理器)、SoC(片上系统)中的至少一种。多个处理器801并行处理相位分段桶排序并行双目立体匹配方法，可以极大提升运算速度，进而提升匹配效率。

在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备800还可以包括输入/输出(I/O)接口805，输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本发明实施例的电子设备中限定的上述功能。根据本发明的实施例，上文描述的电子设备、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (11)

1.一种相位分段桶排序并行双目立体匹配方法，其特征在于，该方法包括：

针对同一物体，利用左侧相机获取左相位图，并利用右侧相机获取右相位图；

对所述左相位图和所述右相位图进行双目极线矫正；

获取所述右相位图的第一相位线，其中，所述右相位图的第一相位线由多个第一相位值组成；以及

根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算。

2.根据权利要求1所述的相位分段桶排序并行双目立体匹配方法，其特征在于，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算的步骤之前，该方法还包括：

对所述右相位图的第一相位线进行均匀分段获得多个第一相位段；

将所述第一相位段包含的第一相位值装入数据桶中；以及

对每个数据桶内的第一相位值进行排序。

3.根据权利要求2所述的相位分段桶排序并行双目立体匹配方法，其特征在于，对所述右相位图的第一相位线进行分段获得多个第一相位段的步骤之前，该方法还包括：

确定所述右相位图的第一相位线的最大值和最小值。

4.根据权利要求2或3任一所述的相位分段桶排序并行双目立体匹配方法，其特征在于，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算的步骤，包括：

根据所述第一相位点的相位值确定该第一相位点所属的数据桶；

查找与所述第一相位点的相位值最接近的第一相位值，定义为第一右侧相位值；以及

获取与所述第一右侧相位值对应的所述右相位图的第二相位点，其中，所述第二相位点为所述第一相位点在相同行对应视差范围的点。

5.根据权利要求4所述的相位分段桶排序并行双目立体匹配方法，其特征在于，根据所述左相位图中的第一相位点的相位值和所述右相位图的第一相位线进行匹配代价计算的步骤，还包括：查找与所述第一相位点的相位值最接近的第一相位值，定义为第一右侧相位值的步骤之后，

确定所述第一右侧相位值是否在预先设定范围内。

6.根据权利要求4所述的相位分段桶排序并行双目立体匹配方法，其特征在于，查找与所述第一相位点的相位值最接近的第一相位值的步骤，包括：

从第一相位点所属的数据桶的起始第一相位值开始，查找到第一个大于等于所述第一相位点的相位值的第一相位值，标记为后第一相位值；

确定所述后第一相位值之前的第一相位值，标记为前第一相位值；

比较所述前第一相位值与所述第一相位点的相位值的第一绝对差值，以及所述后第一相位值与所述第一相位点的相位值的第二绝对差值；以及

根据所述第一绝对差值和所述第二绝对差值确定所述前第一相位值或者所述后第一相位值为所述第一右侧相位值。

7.根据权利要求4所述的相位分段桶排序并行双目立体匹配方法，其特征在于，针对同一物体，利用左侧相机获取左相位图，并利用右侧相机获取右相位图的步骤之前，该方法还包括：

同步降低所述左相位图和所述右相位图的分辨率。

8.根据权利要求7所述的相位分段桶排序并行双目立体匹配方法，其特征在于，获取与所述第一右侧相位值对应的所述右相位图的第二相位点的步骤之后，该方法还包括：

恢复所述左相位图和所述右相位图的分辨率；

利用缩放系数及所述第二相位点得到恢复分辨率后的右相位图的坐标搜索区域；

在所述坐标搜索区域限定的范围内查找与所述第一相位点的相位值最接近的第一相位值，作为新第一右侧相位值；以及

获取与所述新第一右侧相位值对应的所述右相位图的第三相位点，其中，所述第三相位点为所述第一相位点在相同行对应视差范围的点。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1～8中任一项所述的方法。

10.根据权利要求9所述的电子设备，其特征在于，所述处理器的数量为多个，多个所述处理器并行处理相位分段桶排序并行双目立体匹配方法，所述处理器为CPU、GPU、FPGA中的至少一种。

11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时实现根据权利要求1～8中任一项所述的方法。

Images