CN103839258A - 一种二值化激光散斑图像的深度感知方法 - Google Patents

Abstract

本发明公开了一种二值化激光散斑图像的深度感知方法：读入二值化的输入散斑图和参考散斑图(图形固定、距离已知)生成输入散斑窗、参考散斑窗，在输入散斑窗中提取一定大小的图像块在参考散斑窗的匹配搜索窗中搜寻匹配块，通过块异或的相似度值计算方法比较输出最小相似度值或通过块相与的方法比较输出最大相似度值，得到最优匹配块及最优偏移量，结合深度计算公式计算得到该图像块中心点的深度信息。本发明内容不仅易于硬件实现、大幅降低计算复杂度，而且可以快速准确生成高分辨率、高精度的深度图信息。

Description

一种二值化激光散斑图像的深度感知方法

技术领域

本发明属于图像处理、人机交互和机器视觉技术领域，具体涉及一种二值化激光散斑图像的深度感知方法。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。

在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来“科幻”般的操控方式和全新的人机交互体验，在智能电视、智能手机、家电、平板PC等领域实现创新应用。

基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度传感器芯片计算获得物体的深度信息。

发明内容

鉴于此，本发明的目的在于提供一种二值化激光散斑图像的深度感知方法，对输入激光散斑图(深度信息未知)与参考激光散斑图(作为匹配标准的散斑图，其散斑图形固定、深度距离信息已知)先进行图像预处理二值化(每个像素用0、1表示)，从二值化输入散斑图提取一定大小的图像块用于块匹配运动估计，以一定的搜索策略和相似度值测量指标寻找该图像块在以二值化参考散斑图中对应位置为中心的匹配搜索窗内寻找最优匹配块，获得该图像块与匹配块之间的偏移量，即为该图像块的运动向量，用X、Y轴方向的位移量(Δx，Δy)表示，起点为参考散斑窗中的对应输入散斑图像块的中心点，终点为参考散斑窗中的最优匹配块的中心点。X或Y轴方向偏移量结合参考激光散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像采集传感器焦距f和点距参数μ，可根据深度计算公式计算得到该图像块中心的深度信息d′。

根据本发明的一种二值化激光散斑图像的深度感知方法，包括以下步骤：

步骤1、生成输入散斑窗、参考散斑窗：从二值化输入散斑图和二值化参考散斑图中读入位置相同的多行散斑数据，形成N行大小的输入散斑窗、参考散斑窗；

步骤2、在输入散斑窗中提取一定大小的输入图像块block_m×n，大小为m×n，中心点为o；在参考散斑窗中提取跟输入图像块中心点o点位置对应、一定范围大小的匹配搜索窗Match_M×N，大小为M×N；在匹配搜索窗Match_M×N中提取所有跟输入图像块一样大小的匹配块match_k，大小为m×n，匹配块中心点o_k，其中k是整数，表示匹配块个数；

步骤3、计算输入图像块block_m×n与所有k个匹配块match_k之间的相似度值match_value_k，该值作为图像块匹配的相似度测量指标；

步骤4、对所有k个相似度值match_value_k进行位置标记，其中，位置信息指示匹配块match_k中心点o_k与匹配搜索窗中心点o之间的偏移量；

步骤5、在所有k个相似度值match_value_k中求最小或最大值，最小或最大值对应的匹配块即为该输入图像块的最优匹配块，最优匹配块对应的位置信息即该输入图像块的最优偏移量(Δx，Δy)，即该输入图像块的运动向量，其中最优偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)计算得到；

步骤6、利用X或Y方向的最优偏移量Δm(Δx或Δy)结合参考散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像传感器焦距f和图像传感器点距参数μ，根据深度计算公式计算得到输入散斑图像块block_m×n中心点o的深度信息d′。

本发明可快速准确地生成输入散斑图每个像素的运动向量，并根据深度计算公式获得该像素点的深度距离，易于硬件实现，大幅度降低了块匹配计算的复杂度、减少了硬件实现的资源开销，有助于实时生成高分辨率、高精度的图像深度图信息。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。

附图说明

图l是本发明实施例的整体流程框图；

图2是本发明实施例的二值化输入散斑或参考散斑示意图；

图3是本发明实施例的输入图像块与最优匹配块之间偏移量示意图；

图4是本发明实施例的图像块深度计算示意图。

具体实施方式

下面结合附图对本发明进行进一步的详细说明。

图1示意性图示了本发明实施例二值化激光散斑图像深度感知的整体流程图。为了清楚说明，下文中将结合图2、图3、图4来描述该方法。

参考散斑图是由激光投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光投射器的中心轴(Z轴)相垂直的、且已知垂直距离为d的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的散斑点图，该平面可称之为参考基准平面)上，经干涉形成非规则的激光散斑图形；后经图像传感器采集和图像自适应预处理二值化后，如图2所示的二值化散斑图，存储固化在存储器中用于深度感知计算的匹配基准图形。

图像自适应预处理二值化包括输入视频格式转换(如Bayer、ITU601、ITU656、MIPI接口格式转换)、色度空间转换(如RGB转YUV)、灰度图像自适应去噪和增强、灰度图像二值化(0、1表示，1对应散斑点)等。其目的是通过激光散斑图像的预处理，使散斑图形更清晰、减少噪声干扰，并有利于本发明内容的块匹配运动向量计算。

输入散斑图序列是激光投射器对目标物体所在空间投射与参考散斑相同的散斑图形进行编码后，由图像传感器采集输入获得，并经过了参考散斑图相同的图像自适应预处理二值化模块，得到如图2所示的二值化输入散斑图。

步骤1、生成输入散斑窗、参考散斑窗：从二值化输入散斑图和二值化参考散斑图中读入位置相同的多行散斑数据，形成N行大小的输入散斑窗、参考散斑窗。其中，每个像素点用0、1表示。

步骤2、在输入散斑窗中提取一定大小的输入图像块block_m×n，大小为m×n，中心点为o，其中块大小参数m、n是整数，m、n可以相等或不相等；在参考散斑窗中提取跟输入图像块中心点o点位置对应、一定范围大小的匹配搜索窗Match_M×N，大小为M×N，M、N都是整数，可以相等或不相等，一般M≥N、M>m、N≥n；在匹配搜索窗Match_M×N中提取所有跟输入图像块一样大小的匹配块match_k，大小为m×n，匹配块中心点o_k，k是整数，表示匹配块个数。

步骤3、计算输入图像块block_m×n。与所有k个匹配块match_k之间的相似度值match_value_k，该值作为图像块匹配的相似度测量指标。

在一个实施例中，相似度值计算方法可以采用输入图像块blocL_m×n。与匹配块match_k的对应像素之间进行“异或”计算，用来表示差异性大小，值越小差异性越小，采用异或结果作为相似度值，则后续需要在所有异或结果值求出最小值，用最小值对应的匹配块作为最相似(最匹配)的匹配块。在另一实施例中，相似度计算方法可以是图像块block_m×n与匹配块match_k之间对应像素进行“相与”计算，相似度值表示图像块block_m×n与匹配块match_k之间同为‘1’的个数，值越大越相似，采用块相与结果作为相似度值，则后续需要在所有值中求出最大值，该最大值对应的匹配块作为最相似(最匹配)的匹配块。

步骤4、对所有k个相似度值match_value_k进行位置标记，其中，位置信息指示匹配块match_k中心点o_k与匹配搜索窗中心点o之间的偏移量；

其中，位置标记例如采取[位置值，match_value_k值]的数据结构，位置值可采取一维或二维方式表示，其对应该匹配块match_k中心点o_k与匹配搜索窗block_M×N中心点o之间的位置距离关系，二维位置用偏移量(Δx，Δy)表示，其中Δx，Δy都为整数，其正负表示位于匹配搜索窗中心点的左右、上下关系。

步骤5、在所有k个相似度值match_value_k中求最小或最大值，最小或最大值对应的匹配块即为该输入图像块的最优匹配块，最优匹配块对应的位置信息即该输入图像块的运动向量。其中最优偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)计算得到。

其中，如采用异或方法则求最小值min{match_value_k}，采用相与方法则求最大值max{match_value_k}。求出相似度值的最小或最大值后，该值对应的匹配块match_k即为图像块block_m×n拟搜寻的最优匹配块，该最小或最大值绑定的位置信息即为图像块block_m×n中心点o的最优偏移量(Δx，Δy)，即该输入图像块block_m×n的运动向量，偏移量值为参考散斑窗中心点(x，y)坐标值分别按X、Y轴减去最优匹配块中心点(x′，y′)坐标值计算得到。

图3所示输入图像块为输入散斑图灰色表示区域，最优匹配块为参考散斑图的匹配搜索窗中斜线表示区域，其中心点o_k与匹配搜索窗block_M×N中心点o(该中心点o与输入图像块中心点o位置对应)的最优偏移量为(Δx，Δy)，分别表示X、Y方向位移，起正负，正负对应上下、左右坐标关系，在空间上则对应与参考散斑图平面的前后关系，如最优偏移量为正，表示比参考散斑图距离更近；最优偏移量为负，表示比参考散斑图距离更远；同时偏移量值越大表示该图像块中心点o与已知深度距离的参考散斑图平面之间的垂直距离越远，因参考散斑图平面相对激光投射装置的距离是固定的，偏移量越大该中心点o相对激光投射装置的距离则可能越近或越远。

步骤6、利用X或Y方向的最优偏移量Δm(Δx或Δy)结合参考散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像传感器焦距f和图像传感器点距参数μ，根据深度计算公式计算得到输入散斑图像块block_m×n中心点o的深度信息d′，如图4所示。

在本实施例中，根据以下深度计算公式计算d′：

$d\′=d-\frac{{\mathrm{\Δm\μd}}^2}{\mathrm{fS}+\mathrm{\Δm\μd}}=\frac{\mathrm{fSd}}{\mathrm{fS}+\mathrm{\Δm\μd}}$

其中最优偏移量Δm等于参考散斑窗中心点x坐标值-最优匹配块中心点x′坐标值，或参考散斑窗中心点y坐标值-最优匹配块中心点y′坐标值，有正负。如最优偏移量Δm为正，表示比参考散斑图距离更近；最优偏移量Δm为负，表示比参考散斑图距离更远。

进一步地，将输入散斑图像块中心点o移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。同理也可以用于计算输入图像序列的深度信息。由于按图像块进行深度计算，加上图像块较小，对处于图像边缘的像素点，其深度信息可忽略不计，不影响整幅图像的深度计算。

优选地，如果只关注图像块X方向的偏移量Δx，匹配搜索窗的选取可以重点扩展图像块的左右X方向，即M取较大值、N取较小值，这样可以减少匹配块数量，从而降低计算量和复杂度，提高运行速度。同理图像块的Y方向亦然。

作为示例，本发明匹配块的搜索策略采用传统全搜索块匹配，但是也可以采用其他各种改进的搜索策略和相似度测量指标，比如三步搜索法(TSS)等。本发明的相似度值计算方法采用异或或相与的方法，但不限于这两种方法。

本发明中搜索策略是逐个匹配块进行搜索，其偏移量(即运动向量)精度可达到像素级，通过对散斑图像素点进行插值计算，也可以达到子像素级。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的图案投射和图像传感器系统中，用于匹配的输入图像块并非限定为1个，可以是多个；同样，用于作为匹配标准的参考散斑图并非限定为1幅，可以是多幅参考散斑图。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (9)

1.一种二值化激光散斑图像的深度感知方法，包括以下步骤：

步骤1、生成输入散斑窗、参考散斑窗：从二值化输入散斑图和二值化参考散斑图中读入位置相同的多行散斑数据，形成N行大小的输入散斑窗、参考散斑窗；

步骤2、在输入散斑窗中提取一定大小的输入图像块block_m×n，大小为m×n，中心点为o；在参考散斑窗中提取跟输入图像块中心点o点位置对应、一定范围大小的匹配搜索窗Match_M×N，大小为M×N；在匹配搜索窗Match_M×N中提取所有跟输入图像块一样大小的匹配块match_k，大小为m×n，匹配块中心点o_k，其中k是整数，表示匹配块个数；

步骤3、计算输入图像块block_m×n与所有k个匹配块match_k之间的相似度值match_value_k，该值作为图像块匹配的相似度测量指标；

步骤4、对所有k个相似度值match_value_k进行位置标记，其中，位置信息指示匹配块match_k中心点o_k与匹配搜索窗中心点o之间的偏移量；

步骤5、在所有k个相似度值match_value_k中求最小或最大值，最小或最大值对应的匹配块即为该输入图像块的最优匹配块，最优匹配块对应的位置信息即该输入图像块的最优偏移量(Δx，Δy)，即该输入图像块的运动向量，其中最优偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(x′，y′)计算得到；

步骤6、利用X或Y方向的最优偏移量Δm(Δx或Δy)结合参考散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像传感器焦距f和图像传感器点距参数μ，根据深度计算公式计算得到输入散斑图像块block_m×n中心点o的深度信息d′。

2.根据权利要求1所述的方法，步骤3中，相似度值计算方法采用输入图像块block_m×n与匹配块match_k的对应像素之间进行“异或”计算。

3.根据权利要求1所述的方法，步骤3中，相似度计算方法采用输入图像块block_m×n与匹配块match_k之间对应像素进行“相与”计算。

4.根据权利要求1所述的方法，步骤4中，位置标记采取[位置值，match_value_k相似度值]的数据结构。

5.根据权利要求2所述的方法，步骤5中，求取所有相似度值match_value_k中的最小值。

6.根据权利要求3所述的方法，步骤5中，求取所有相似度值match_value_k中的最大值。

7.根据权利要求1所述的方法，步骤6中，优选的，根据以下深度计算公式计算d′：

$\frac{{\mathrm{\Δm\μd}}^2}{\mathrm{fS}+\mathrm{\Δm\μd}}\frac{\mathrm{fSd}}{\mathrm{fS}+\mathrm{\Δm\μd}}$

其中，最优偏移量Δm等于参考散斑窗中心点x坐标值-最优匹配块中心点x′坐标值，或参考散斑窗中心点y坐标值-最优匹配块中心点y′坐标值。

8.根据权利要求4所述的方法，其中，位置值采取一维或二维方式表示，其对应该匹配块match_k中心点o_k与匹配搜索窗block_M×N中心点o之间的位置距离关系，并且二维位置用偏移量(Δx，Δy)表示，其中Δx，Δy都为整数，其正负表示位于匹配搜索窗中心点的左右、上下关系。

9.根据权利要求1所述的方法，还包括：步骤7、将输入散斑图像块中心点o移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。

Images