CN103796004A - 一种主动结构光的双目深度感知方法 - Google Patents

Abstract

本发明提供了一种主动结构光的双目深度感知方法，采用编码图案投射器投射出编码图案，对投射空间或目标物体进行结构光编码(特征标定)，再利用同一基线上、左右对称地排列在投射器两侧的两个摄像头获取编码图案，通过预处理和投射阴影检测，按图像块进行两种模式的块匹配运动估计(双目块匹配和自匹配)，求出最优匹配块的偏移量，按深度计算公式求出深度值，并对投射阴影进行深度补偿，生成高分辨率、高精度的深度信息。本发明结合了双目立体测距和主动结构光编码的优点，可大幅提升深度测量的精度和空间分辨率，且易于硬件实现。

Description

一种主动结构光的双目深度感知方法

技术领域

本发明属于图像处理、人机交互和机器视觉技术领域，具体涉及一种主动结构光的双目深度感知方法。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。

深度感知技术和装置在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来全新的人机交互体验，在智能电视、智能手机、家电、平板PC等实现创新应用。

深度感知技术大致可分为被动式和主动式。传统的双目立体视觉测距一种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方法主要有结构光编码和ToF两种方法。其中基于结构光编码的主动视觉模式可以较为准确地获取图像深度信息，且不受环境光影响、立体匹配过程简单。如微软体感交互设备Kinect，2013年美国苹果公司新申请的发明专利“Depth Perception Device and System，深度感知设备与系统”，2014年美国英特尔公司发布的一款深度摄像装置，都是主动发射激光计算深度距离。当前微软、苹果、英特尔开发的深度感知装置都采用单一的摄像头接收模式，主要适用于消费类电子，在深度图分辨率、精度、适用范围等方面难以满足汽车辅助安全、工业、3D打印等领域的需求。其中，立体匹配计算过程深受光照、纹理、遮挡等因素的影响，存在较多误差、计算量大、实时生成深度图困难。

发明内容

鉴于此，本发明提供了一种主动结构光的双目深度感知方法，基于结构光编码的主动视觉模式，先采用编码图案投射器(激光散斑投射器或其它投影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，再利用与编码图案投射器在同一基线上、分别位于编码图案投射器两侧、且等距的两个摄像头获取所投射的编码图案，然后通过两种块匹配模式计算出运动向量，最后进行深度计算和深度补偿，生成高分辨率、高精度的图像深度信息(距离)。

根据本发明的一种主动结构光的双目深度感知方法，包括：

步骤1、采用结构光编码的主动视觉模式，利用编码图案投射器投射出编码图案，对投射空间进行结构光编码，即主动进行特征标定；

步骤2、双目摄像头采集、固化各自的参考编码图案R_l、R_r；

步骤3、双目摄像头各自采集含编码图案的输入图像I_l、I_r，并对输入图像I_l、I_r进行预处理；

步骤4、对预处理后的输入图像I_l、I_r分别进行目标物体投射阴影区域的检测，分别标记为A_l、A_r；

步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量，其中，利用输入图像I_l、I_r互相之间的双目块匹配计算，得到X轴方向偏移量Δx_l，r或Y轴方向偏移量Δy_l，r；利用输入图像I_l、I_r与其对应的参考编码图案R_l、R_r之间的块匹配计算，得到X轴方向偏移量Δx_l、Δx_r或Y轴方向偏移量Δy_l、Δy_r；

步骤6、进行深度计算，包括：

(6a)选择偏移量Δx_l，r或Δy_l，r，结合摄像头图像传感器焦距f、两个摄像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式计算得到投射图像块block_m×n中心点o的深度信息d_l，r；

(6b)选择偏移量Δx_l、Δx_r或Δy_l、Δy_r，结合参考编码图案的已知距离参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像I_l、I_r中对应同一位置的投射图像块block_m×n中心点o的深度信息d_l、d_r；

步骤7、进行深度补偿：利用深度信息d_l、d_r结合步骤4检测出来的投射阴影区域A_l、A_r对深度信息d_l，r进行补偿和修正，输出投射图像块block_m×n中心点o的最终深度值d_out；

步骤8、将投射图像块的中心点o移到同一行的下一个像素点，重复步骤5-7，计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上往下的计算顺序，逐点计算得到整幅图像深度信息。

本发明结合双目立体测距和主动结构光编码的优势，大幅提高了深度测距的精度和空间分辨率。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。

附图说明

图1是本发明实施例的主动结构光的双目深度感知方法流程图；

图2是本发明实施例的双目摄像头的结构示意图；

图3是本发明实施例的编码图像投射器和双目摄像头视场及投射阴影的示意图；

图4是本发明实施例的双目摄像头深度感知计算模块结构图；

图5是本发明实施例的输入图像块与搜寻最优匹配块的示意图；

图6是本发明实施例的双目块匹配深度计算示意图；

图7是本发明实施例的双目摄像头视场融合的示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步的详细说明。

总体而言，本发明实施例的主动结构光的双目深度感知方法，是基于结构光编码的主动视觉模式，采用编码图案投射器(激光散斑投射器或其它投影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，再利用与编码图案投射器在同一基线上、分别位于编码图案投射器两侧、且等距的两个摄像头获取所投射的编码图案，然后通过两种块匹配模式计算出运动向量，最后进行深度计算和深度补偿，生成高分辨率、高精度的图像深度信息(距离)。

图1示意性图示了本发明实施例的主动结构光的双目深度感知方法的整体流程。为了清楚说明，下文中将结合图2、图3、图4、图5、图6、图7来描述该方法。

步骤1：编码图案投射器进行空间编码。采用结构光编码的主动视觉模式，利用编码图案投射器(激光散斑投射器或投影装置)投射出编码图案，对投射空间或目标物体进行结构光编码，即主动进行特征标定。

所述的编码图案投射器可以是激光散斑投射器或其他投影装置。优选地，激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像，而投影装置则可以投射出可控的编码图案。编码图案投射器所投射出的图案一般是固定的，或采用一定的控制策略与摄像头接收图像的图像传感器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范围特征不重复或随机分布。投射器所投射的视场角FoV(包括水平、垂直视场角)一般大于接收摄像头的视场角FoV。

步骤2、双目摄像头采集、固化各自的参考编码图案R_l、R_r。

优选地，双目摄像头是两个性能指标相同(相同的光学透镜和图像传感器)、独立的两个摄像头，且左右对称、等距地排列在编码图案投射器的两侧，其光轴与编码图案投射器光轴平行、并处于同一基线上，接收其发出的一定波长范围的编码图案，如图2所示。摄像头图像传感器焦距为f，摄像头到编码图案投射器的基线距离为S，摄像头图像传感器点距参数为μ。

在实际应用中，可以根据不同的需求对两个相机的基线进行调整，也可采用两个不同焦距或型号的相机，以满足不同的功能。双目摄像头一般通过滤光片只接收一定波长范围的投射器发出的图像，最大程度地消除其它光源或光线的干扰，从而可清晰稳定地接收编码图案投射器所投射的图案。

在投入工作前，需先采集、固化双目摄像头各自的参考编码图案用于作为匹配比较的参考基准。所述的参考编码图案是将编码图案投射器投射出编码图案到与该投射器的光学中心轴(Z轴)垂直、且距离投射器为d的平面上(该平面可由投影布、平板等构成，用于呈现清晰稳定的图像，该平面可称之为参考基准平面)，由摄像头采集得到静态图像，并经图像预处理后存储固化在存储器中用于匹配基准和深度感知计算的标准图案。优选地，激光散斑投射器的参考编码图案是由多个散斑点组成、已知距离d的标准散斑图。参考编码图案的获取可以通过如上方式实现，这些方式仅用于说明上述实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取参考图案。

步骤3、双目摄像头各自采集含编码图案的输入图像I_l、I_r，并对输入图像I_l、I_r进行预处理。

双目摄像头接收的含有编码图案的输入图像，可以含有目标物体，其深度信息未知，但其在编码图案投射器照射和摄像头接收的有效距离范围内。

所述的图像预处理是对不同特性的输入图像进行自适应、一致性的处理，目的是通过输入图像的预处理，使图案更清晰、减少误匹配和噪声干扰，并有利于本发明内容的深度感知计算。优选地，预处理方法包括视频格式转换(例如Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强等，其中增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强方法。参考编码图案及双目摄像头实时采集的输入图像都经过相同的图像预处理模块。

步骤4、对预处理后的输入图像I_l、I_r分别进行目标物体投射阴影区域的检测，分别标记为A_l、A_r。

所述的投射阴影区域是由于编码图案投射器投射过程中由于目标物体的边缘遮挡，导致摄像头接收的图像在目标物体边缘处有阴影区域存在，即无编码图案存在的区域。如图3所示投射阴影示意图，左右摄像头接收输入图像过程中由于目标物体遮挡引起的投射阴影区域A_l、A_r。

优选地，投射阴影区域检测方法为：在一定大小的输入图像块内检测所包含的特征点个数，若检测出的特征点个数小于预定阈值，则认为该输入图像块区域为投射阴影区域。以激光散斑投射器为例，其投射出的编码图案为散斑点构成的散斑图像，可以在一定大小的输入图像块内检测散斑点的个数，如散斑点个数小于一定的阈值，则认为该输入图像块区域为投射阴影区域。本发明检测投射阴影区域的方法不限于检测激光散斑图像，也适用于检测其它编码图案的特征信息。一般地，不在编码图案投射器照射和摄像头接收的有效距离范围内的区域也按投射阴影区域处理。

步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量，其中，利用输入图像I_l、I_r互相之间的双目块匹配计算，得到X轴方向偏移量Δx_l，r或Y轴方向偏移量Δy_l，r；利用输入图像I_l、I_r与其对应的参考编码图案R_l、R_r之间的块匹配计算，得到X轴方向偏移量Δx_l、Δx_r或Y轴方向偏移量Δy_l、Δy_r。

双目摄像头采集输入图像序列后，送入图4所示的深度感知计算模块，经步骤3的预处理后，送入块匹配运动估计模块按两种模式的块匹配运动估计方法进行匹配计算。

一种模式是输入图像I_l、I_r互相之间的双目块匹配计算。具体为：

在输入图像I_l中提取一定大小的输入图像块B′block_m×n，中心点为o；在输入图像I_r中提取跟输入图像块中心点o点位置对应、一定范围大小的匹配搜索窗Match_M×N，大小为M×N，M、N都是整数，可以相等或不相等，一般M≥N、M＞m、N≥n；然后在匹配搜索窗Match_M×N中提取所有跟输入图像块一样大小的匹配块match_k，大小为m×n，匹配块中心点o_k，k是整数，表示匹配块个数。

接下来分别计算输入图像块B′block_m×n与k个匹配块match_k之间的相似度值match_value_k，该值作为图像块匹配的相似度测量指标。

最后，在所有相似度值match_value_k中求最小值，该值对应的匹配块match_k即为图像块B′block_m×n拟搜寻的最优匹配块B，该最小值对应的位置信息即为图像块block_m×n中心点o的偏移量(Δx_l，r，Δy_l，r)，即该输入图像块B′的运动向量。如图5所示，输入图像块为输入图像I_l中灰色表示区域，最优匹配块为输入图像I_r的匹配搜索窗中斜线表示区域，其中心点o_k与匹配搜索窗block_M×N中心点o(该中心点o与输入图像块中心点o位置对应)的最优偏移量为(Δx_l，r，Δy_l，r)，分别表示X、Y轴方向位移，偏移量值为匹配搜索窗中心点o坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)后取绝对值计算得到，用像素点个数表示。

另一种模式是输入图像I_l、I_r与其对应的参考编码图案R_l、R_r之间的块匹配计算。具体方法：如图5所示，输入图像I_l中提取输入图像块B′，在其参考编码图案R_l中搜寻与之最为匹配(即相似度最高)的图像块B；输入图像I_r中提取输入图像块B′，在其参考编码图案R_r中搜寻与之最为匹配(即相似度最高)的图像块B；两者搜索最优块匹配的方法同上一种模式的输入图像之间的双目块匹配运动估计方法，得到输入图像I_l的输入图像块与其最优匹配块的最优偏移量(Δx_l，Δy_l)和输入图像I_r的输入图像块与其最优匹配块的最优偏移量(Δx_r，Δy_r)。偏移量值为输入图像块对应的匹配搜索窗中心点o坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)计算得到，用像素点个数表示，正负值在空间上对应与参考图案平面的前后关系。

优选地，输入图像块大小的选取是根据水平或垂直方向一定范围内该图像块具有相对的唯一性，即该图像块特征与其它相同大小的图像块特征不同，能与其它相同大小的图像块区分开来。

优选地，本发明的相似度值计算方法采用输入图像块与匹配块对应像素之间求差绝对之和(SAD)的方法，但不限于这种方法。

步骤6、进行深度计算，包括：

(6a)选择偏移量Δx_l，r或Δy_l，y，结合摄像头图像传感器焦距f、两个摄像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式计算得到投射图像块block_m×n中心点o的深度信息d_l，r，如图6所示的双目摄像头深度计算示意图。

其中，若双目摄像头与编码图案投射器水平排列，则选偏移量Δx_l，r；若双目摄像头与编码图案投射器垂直排列，则选偏移量Δy_l，r。

在本实施例中，按以下深度计算公式计算d_l，r，以水平偏移量Δx_l，r作为输入参数为例：

$d_{l,r}=\frac{2\mathrm{fS}}{{\mathrm{\Δx}}_{l,r}\mathrm{\μ}}---\left(1\right)$

式中，水平偏移量Δx_l，r为输入图像I_l的输入图像块B′与其对应的输入图像I_r上的最优匹配块B在X方向的最优偏移量，即输入图像I_r的匹配搜索窗中心点x坐标值减去输入图像块B′在匹配搜索窗中搜寻到的最优匹配块B中心点x′坐标值，再取绝对值，用像素点个数表示。

(6b)选择偏移量Δx_l、Δx_r或Δy_l、Δy_r，结合参考编码图案的已知距离参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像I_l、I_r中对应同一位置的投射图像块block_m×n中心点o的深度信息d_l、d_r。

其中，若双目摄像头与编码图案投射器水平排列，则选偏移量Δx_l、Δx_r；若双目摄像头与编码图案投射器垂直排列，则选偏移量Δy_l、Δy_r。

在本实施例中，按以下深度计算公式计算d_l、d_r，以水平偏移量Δx_l、Δx_r作为输入参数为例：

$d_l=\frac{\mathrm{fSd}}{\mathrm{fS}+{\mathrm{\Δx}}_l\mathrm{\μd}},d_r=\frac{\mathrm{fsd}}{\mathrm{fS}+{\mathrm{\Δx}}_r\mathrm{\μd}}---\left(2\right)$

式中，Δx_l、Δx_r为分别为输入图像I_l、I_r的输入图像块与其对应最优匹配块在X方向的最优偏移量，用像素点个数表示。

步骤7、进行深度补偿：利用深度信息d_l、d_r结合步骤4检测出来的投射阴影区域A_l、A_r对深度信息d_l，r进行补偿，输出投射图像块block_m×n中心点o的最终深度值d_out。

结合图7所示的双目摄像头视场融合示意图，深度补偿的具体方法为：如投射图像块的中心点o落在左视图非交叉区域①，则选择d_l作为d_out输出；如投射图像块的中心点o落在右视图非交叉区域③，则选择d_r作为d_out输出；如投射图像块的中心点o落在左右视图的交叉区域②，对于非投射阴影区域，如|d_l-d_r|≤th₁，且

(表示深度值d_l和d_r相差不大、而深度值d_l，r与d_l、d_r的均值相差大，则认为d_l，r属于深度误差值，th₁和th₂表示阈值)，则选取d_l或d_r作为d_out输出，否则选d_l，r作为d_out输出；对于投射阴影A_l区域，选择d_r作为d_out输出；对于投射阴影A_r区域，则选择d_l作为d_out输出。

以上举例仅为一种具体深度补偿方法，但不限于这种方法。

步骤8、将投射图像块的中心点o移到同一行的下一个像素点，重复步骤5-7，可计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上往下的计算顺序，逐点计算得到整幅图像深度信息(距离)。同理也可以用于计算输入图像序列的深度信息。

作为示例，本发明双目摄像头采用两个性能指标相同(相同的光学透镜和图像传感器)、独立的两个摄像头，左右对称、等距地排列在编码图案投射器的两侧，其光轴与编码图案投射器光轴平行、并处于同一基线上，但也可以根据不同的需求对两个摄像头的基线进行调整，或采用两个不同焦距或型号的摄像头。

作为示例，本发明投射阴影区域检测方法不限于本发明举例采用的方法；本发明匹配块的搜索策略采用传统全搜索块匹配，但是也可以采用其他各种改进的搜索策略；相似度值计算方法采用差绝对值之和SAD的方法，但不限于这种方法；深度补偿方法也不限于本发明举例采用的方法；所有采用与本发明内容流程相似的方法都应包含在本发明的权利要求范围内。

本发明中，捕捉的输入图像包括所述物体移动过程中捕捉的一系列测试图像，并可根据所估计的位置跟踪目标区域内物体的运动。

上述中提到本发明同样可以现将两个摄像头的预处理后的图像进行拼接，再计算深度。但拼接过程会增加很多冗余匹配计算，虽然实施例中未详细介绍该方法，但未脱离本发明的精神和范围，应包含在上述的权利要求范围内。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的编码图案投射和图像传感器系统中。本发明不仅支持不同激光源产生的结构光模式，如红外、可见光、紫外线、不可见光等，也适用不同图案的投射方案，如圆点状、块状、十字状、条纹状等的图案。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (10)

1.一种主动结构光的双目深度感知方法，包括以下步骤：

步骤1、采用结构光编码的主动视觉模式，利用编码图案投射器投射出编码图案，对投射空间进行结构光编码，即主动进行特征标定；

步骤2、双目摄像头采集、固化各自的参考编码图案R_l、R_r；

步骤3、双目摄像头各自采集含编码图案的输入图像I_l、I_r，并对输入图像I_l、I_r进行预处理；

步骤4、对预处理后的输入图像I_l、I_r分别进行目标物体投射阴影区域的检测，分别标记为A_l、A_r；

步骤5、利用两种模式的块匹配运动估计分别生成偏移量，即运动向量，其中，利用输入图像I_l、I_r互相之间的双目块匹配计算，得到X轴方向偏移量Δx_l，r或Y轴方向偏移量Δy_l，r；利用输入图像I_l、I_r与其对应的参考编码图案R_l、R_r之间的块匹配计算，得到X轴方向偏移量Δx_l、Δx_r或Y轴方向偏移量Δy_l、Δy_r；

步骤6、进行深度计算，包括：

(6a)选择偏移量Δx_l，r或Δy_l，r，结合摄像头图像传感器焦距f、两个摄像头之间的基线距离2S和摄像头图像传感器点距参数μ，根据深度计算公式计算得到投射图像块block_m×n中心点o的深度信息d_l，r；

(6b)选择偏移量Δx_l、Δx_r或Δy_l、Δy_r，结合参考编码图案的已知距离参数d、摄像头图像传感器焦距f、摄像头到编码图案投射器的基线距离S和摄像头图像传感器点距参数μ，根据深度计算公式分别得到输入图像I_l、I_r中对应同一位置的投射图像块block_m×n中心点o的深度信息d_l、d_r；

步骤7、进行深度补偿：利用深度信息d_l、d_r结合步骤4检测出来的投射阴影区域A_l、A_r对深度信息d_l，r进行补偿，输出投射图像块block_m×n中心点o的最终深度值d_out；

步骤8、将投射图像块的中心点o移到同一行的下一个像素点，重复步骤5-7，计算得到下一个像素点对应的深度值，如此按逐行从左向右、从上往下的计算顺序，逐点计算得到整幅图像深度信息。

2.根据权利要求1所述的方法，步骤2中，所述双目摄像头为两个性能指标相同、独立的摄像头，左右对称、等距地排列在编码图案投射器的两侧，跟编码图案投射器处于同一基线上，接收其发出的一定波长范围的编码图案。

3.根据权利要求1所述的方法，步骤2中，所述的参考编码图案是将编码图案投射器投射出编码图案到与该投射器的光学中心轴(Z轴)垂直、且距离投射器为d的平面上，由摄像头采集得到静态图像，并经图像预处理后存储固化在存储器中用于匹配基准和深度感知计算的标准图案。

4.根据权利要求1所述的方法，步骤3中，预处理包括视频格式转换(例如Bayer、ITU601、ITU656视频解码或MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强。

5.根据权利要求1所述的方法，步骤4中，投射阴影区域检测具体为：在一定大小的输入图像块内检测所包含的特征点个数，若检测出的特征点个数小于预定阈值，则认为该输入图像块区域为投射阴影区域。

6.根据权利要求1所述的方法，步骤(6a)中，若双目摄像头与编码图案投射器水平排列，则选偏移量Δx_l，r；若双目摄像头与编码图案投射器垂直排列，则选偏移量Δy_l，r。

7.根据权利要求1所述的方法，步骤(6a)中，若选择Δx_l，r，则深度计算公式为：

$d_{l,r}=\frac{2\mathrm{fS}}{{\mathrm{\Δx}}_{l,r}\mathrm{\μ}}---\left(1\right)$

式中，水平偏移量Δx_l，r为输入图像I_l的输入图像块B′与其对应的输入图像I_r上的最优匹配块B在X方向的最优偏移量，即输入图像I_r的匹配搜索窗中心点x坐标值减去输入图像块B′在匹配搜索窗中搜寻到的最优匹配块B中心点x′坐标值，再取绝对值，用像素点个数表示。

8.根据权利要求1所述的方法，步骤(6b)中，若双目摄像头与编码图案投射器水平排列，则选偏移量Δx_l、Δx_r；若双目摄像头与编码图案投射器垂直排列，则选偏移量Δy_l、Δy_r。

9.根据权利要求1所述的方法，步骤(6b)中，若选择Δx_l、Δx_r，则深度计算公式为：

$d_l=\frac{\mathrm{fSd}}{\mathrm{fS}+{\mathrm{\Δx}}_l\mathrm{\μd}},d_r=\frac{\mathrm{fsd}}{\mathrm{fS}+{\mathrm{\Δx}}_r\mathrm{\μd}}---\left(2\right)$

式中，Δx_l、Δx_r分别为输入图像I_l、I_r的输入图像块与其对应最优匹配块在X方向的最优偏移量，用像素点个数表示。

10.根据权利要求1所述的方法，步骤(7)中，深度补偿具体为：

如投射图像块的中心点o落在左视图非交叉区域，则选择d_l作为d_out输出；

如投射图像块的中心点o落在右视图非交叉区域，则选择d_r作为d_out输出；

如投射图像块的中心点o落在左右视图的交叉区域，对于非投射阴影区域，如|d_l-d_r|≤th₁，且

则选取d_l或d_r作为d_out输出，否则选d_l，r作为d_out输出；对于投射阴影A_l区域，选择d_r作为d_out输出；对于投射阴影A_r区域，则选择d_l作为d_out输出。

Images