CN103810708A - 一种激光散斑图像深度感知方法及装置 - Google Patents

Abstract

本发明公开了一种激光散斑图像深度感知方法，其中，经图像预处理后的输入散斑图和参考散斑图写入多条行存形成输入散斑窗、参考散斑窗，在输入散斑窗中提取中心点相同、窗口大小不同的图像块，对应参考散斑图中的匹配搜索窗，以全搜索策略和求最小SAD方法，搜寻各自的最佳匹配块，得到最佳偏移量，再通过与参考阈值比较，自适应选择某一图像块对应的最佳偏移量作为当前图像块中心点的最优偏移量，并通过深度计算公式计算得到其深度信息。本发明还公开了相应的深度感知装置。本发明通过多窗口自适应匹配，可降低大范围搜索匹配块的误匹配噪声，同时保持深度图的细节、提高X-Y方向识别小物体深度的能力，并使输出的深度图最优化。

Description

一种激光散斑图像深度感知方法及装置

技术领域

本发明属于图像处理、自然交互和集成电路技术领域，具体涉及一种激光散斑图像深度感知方法及装置。

背景技术

自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印等领域有着广泛的应用前景，已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC/平板电脑、智能家电等，为用户带来“科幻”般的操控方式和全新的人机交互体验。

基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知芯片计算获得物体的深度信息。该结构光模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式。

发明内容

鉴于此，本发明提供了一种激光散斑图像深度感知方法及装置，旨在通过多窗口自适应匹配，降低大范围搜索匹配块的误匹配噪声，同时保持深度图的细节、提高X-Y方向识别小物体深度的能力，并使输出的深度图最优化。

为实现以上发明目的，本发明采用以下技术方案：

一种激光散斑图像深度感知方法，包括以下步骤：

步骤1、将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；

步骤2、在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；

步骤3、采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间SAD(即图像块与匹配块对应像素之间差的绝对值之和)；

步骤4、并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，其中所述最佳偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块中心点(x¹，y¹)坐标值计算得到；

步骤5、根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；

步骤6、利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度信息；

步骤7、将输入散斑图像块中心点移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后再重复步骤1～6，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。

一种激光散斑图像深度感知装置，包括：

输入散斑窗和参考散斑窗生成子模块，用于将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；

输入图像块和匹配搜索窗提取子模块，用于在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；

求差绝对值之和SAD子模块，用于采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间的SAD(即图像块与匹配块对应像素之间差的绝对值之和)；

求最小SAD子模块，用于并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块的中心点(x¹，y¹)坐标值计算得到；

最优偏移量输出子模块，用于根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；

深度计算子模块，用于利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度，并且，

当前像素点的深度值计算完成后，将输入散斑图像块中心点移到同一行的下一个像素点上，利用输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块，计算得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，利用输入散斑窗和参考散斑窗生成子模块、输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。

采用本发明技术方案的有益效果将通过以下实施例的阐述而得到具体的体现。

附图说明

图1是本发明实施例的多窗口匹配深度感知结构框图；

图2是本发明实施例的整体流程框图；

图3是本发明实施例的输入散斑窗或参考散斑窗结构图；

图4是本发明实施例的输入图像块及参考散斑搜索窗示意图；

图5是本发明实施例的输入图像块与最优匹配块之间偏移量示意图；

图6是本发明实施例的图像块求取差绝对值之和SAD结构图；

图7是本发明实施例的列加法器结构图；

图8是本发明实施例的并行结构求最小SAD结构图；

图9是本发明实施例的选择输出最优偏移量示意图。

具体实施方式

下面结合附图对本发明进行进一步的详细说明。

图1是本发明实施例的激光散斑图像深度感知装置结构框图，该装置包括输入散斑窗和参考散斑窗生成子模块、输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块。

输入散斑窗由外部图像传感器采集获得的输入散斑图序列，经预处理后根据场同步和行同步信号逐行送入到N条行存组成；

参考散斑窗是由固化在内部或外部存储器中、深度距离信息已知、并经过与输入散斑窗数据相同预处理的参考散斑数据逐行读入到N条行存组成，其读入的行数据位置(第k～第k+N-1行，k为整数)与输入散斑窗中的行数据位置(第k～第k+N-1行，k为整数)相同；

输入图像块从输入散斑窗中提取，其大小可不同，但中心点相同，如图像块1

图像块2

等多个大小不同的输入图像块，m₁、m₂、n₁、n₂都是整数，一般m₁＞m₂，n₁＞n₂，而m₁与n₁可以相等或不相等，而m₂与n₂可以相等或不相等；

匹配搜索窗是以参考散斑窗中与输入图像块中心点位置相同的对应点为中心点、在其周围一定范围内提取的参考散斑块block_M×N，大小为M×N，M、N为整数，一般M＞m₁＞m₂，N＞＝n₁＞n₂；

求差绝对值之和SAD子模块是输入图像块与匹配搜索窗中与其同样大小的匹配块之间、对应像素进行相减再求绝对值、再把所有像素的绝对值进行相加得到，即

通过并行计算可同时得到该图像块与所有匹配块之间的SAD；

求最小SAD子模块是对由同一图像块匹配计算得到的所有SAD值中求取最小值，该最小值对应的匹配块即为该图像块的最佳匹配块，输出相对于匹配搜索窗block_M×N中心点的位置信息，由偏移量(Δx，Δy)表示，偏移量为参考散斑窗中心点坐标值减去最佳匹配块中心点坐标值计算得到，该偏移量即为当前点根据图像块计算得到的运动向量，偏移量越大表示该图像块中心点与已知深度距离的参考散斑图平面垂直距离越远，其正负表示与参考散斑图平面的前后关系；因参考散斑图平面相对激光投射装置的距离是固定的，偏移量越大该中心点相对激光投射装置的距离则可能越近或越远；

最优偏移量输出子模块是在由复数个图像块分别计算得到的复数个最佳偏移量中按一定的控制策略选取最优偏移量，根据最大图像块得到的最佳偏移量与参考阈值的比较，偏移量大于参考阈值，表示距离参考散斑图平面的垂直距离越大，则一般选择大图像块得到的偏移量，消除误匹配引起的噪声问题；偏移量小则选择较小图像块计算得到的偏移量，有利于提升深度图的细节、提高X-Y方向深度分辨率；该子模块可根据多个参考阈值自适应选择不同图像块计算得到的偏移量；

深度计算子模块是由最优偏移量输出子模块输出得到的最优偏移量结合参考散斑图的已知距离参数、投射器与图像接收传感器之间的基线距离，根据深度计算公式计算得到当前中心点的深度信息，并通过逐点、逐行计算后得到整幅输入散斑图对应的深度图。

该装置的基本功能在于：从外部图像传感器输入散斑图序列(深度信息未知)，经图像自适应预处理与固化在存储器中的参考散斑图(作为匹配基准的标准散斑图，其图案固定、深度距离信息已知)进行比较，根据行/场同步信号读入各自的N条行存中形成N行大小的输入散斑窗、参考散斑窗，在输入散斑窗中提取中心点相同、大小不同的图像块，各自对应参考散斑窗中、相同大小的匹配块进行块匹配运动估计，以一定的搜索策略和相似度测量指标寻找各自图像块在参考散斑图中对应位置为中心的搜索窗内寻找最佳匹配块，各自获得其图像块与匹配块之间的最佳偏移量，再按一定的控制策略选择其中某一图像块的最佳偏移量作为当前输入散斑图像块中心点的最优偏移量(用(Δx，Δy)表示X、Y轴方向偏移量)；并根据最优偏移量、参考散斑图的已知距离参数、投射器与图像接收传感器之间的基线距离，依据深度计算公式计算得到当前中心点的深度信息，并通过逐点、逐行计算后得到整幅输入散斑图对应的深度图信息。深度，即图像块中心点所在的、与散斑投射器中心轴Z轴垂直的平面到散斑投射器前端的垂直距离，一般用灰度值大小表示远近距离。该装置各个子模块的功能将在下文对方法流程的介绍中得到更加详细的说明。

图2示出了本发明实施例的激光散斑图像深度感知方法的整体流程。为了清楚说明，下文中将结合图3、图4、图5、图6、图7、图8来描述该方法。

参考散斑图是由激光投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光投射器的中心轴(Z轴)相垂直的、且已知垂直距离为d的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的散斑点图，该平面可称之为参考基准平面)上，经干涉形成非规则的激光散斑图形；后经图像传感器采集和图像自适应预处理后存储固化在存储器中用于深度感知计算的匹配基准图形。

图像自适应预处理包括Bayer视频格式转换(或ITU601、ITU656、MIPI接口格式转换)、色度空间转换、灰度图像自适应去噪和增强等。其目的是通过激光散斑图像的预处理，使散斑图形更清晰、减少噪声干扰，并有利于本发明内容的深度感知计算。

输入散斑图序列是激光投射器对目标物体所在空间投射与参考散斑相同的散斑图形进行编码后，由图像传感器按一定的行场同步信号和时钟信号采集获得，并经过了参考散斑图相同的图像自适应预处理模块。

步骤1、将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗。

其中，输入散斑图和参考散斑图根据相同的场同步、行同步信号同步读入各自的散斑数据，并各自逐行存入N条行存中，形成图3所示的行存结构，行数据逐行从上往下延时，从而形成N行大小的输入散斑窗、参考散斑窗；从输入散斑图、参考散斑图读入的行数据位置(比如第k～第k+N-1行，k为整数)两者要求一致，这样有利于两者的中心行(第(N-1)/2行)、中心点相对应。

步骤2、在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗。

其中，在输入散斑窗中提取中心点相同、大小不同的输入图像块，如图4所示的图像块1图像块2

等2个或2个以上大小不同的输入图像块，拟通过后续的块匹配计算在参考散斑窗找到各自的最佳匹配块，其中块大小参数m₁、m₂、n₁、n₂都是整数，一般m₁＞m₂，n₁＞n2，而m₁与n₁可以相等或不相等，而m₂与n₂可以相等或不相等。所有图像块是按各自相同的大小从左到右，从上到下逐点提取的。选取大小不同的图像块用于匹配计算的原因：大图像块有利于消除误匹配噪声的干扰，适合与参考散斑图垂直距离较远处的深度计算，但存在降低X-Y方向深度图分辨率、丢失深度细节的问题；小图像块受误匹配噪声干扰大，适合与参考散斑图垂直距离较近处的深度计算，且有利于保持深度细节、提升X-Y方向深度图分辨率，能够识别小物体。通过不同大小图像块寻找各自的匹配块输出偏移量用于深度计算、生成最优深度图，这也是本发明内容采取多窗口匹配方式的核心思想。

在参考散斑窗中与输入图像块中心点位置相同的对应点为中心点、在其周围一定范围内提取的参考散斑块block_M×N作为匹配搜索窗，大小为M×N，如图4所示的匹配搜索窗，其中M、N为搜索窗的尺寸大小、整数，可以相等或不相等，一般M＞m₁＞m₂，N＞＝n₁＞n₂。；图像块1

图像块2都在参考散斑块block_M×N中搜索与之大小相同的最佳匹配块。

步骤3、采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间的SAD(即图像块与匹配块对应像素之间差的绝对值之和)。

其中，图像块1与从匹配搜索窗block_M×N中提取出来的与之相同大小匹配块之间计算该匹配块的差绝对值之和SAD值，即图像块与匹配块对应像素进行相减、求其绝对值，再对m₁×n₁个绝对值进行相加得到SAD值，即

如图4所示，匹配块中心点在匹配搜索窗中从左到右、从上到下进行逐点遍历，采用并行SAD计算模块同时输出所有匹配块对应的SAD值。SAD值作为输入图像块搜寻最佳匹配块的相似度测量指标，值越小越相似。计算图像块2

与从匹配搜索窗block_M×N中提取出来的与之相同大小的匹配块之间的差绝对值之和SAD值，即图像块与匹配块对应像素进行相减、求其绝对值，再对m₂×n₂个绝对值进行相加得到SAD值，即

图像块2

对应的匹配块中心点在匹配搜索窗中也从左到右、从上到下进行逐点遍历，采用并行SAD计算模块同时输出所有匹配块对应的SAD值。图像块1、图像块2分别对其得到所有SAD值进行了位置标记，如采取[位置值，SAD值]数据结构，以便于识别该SAD值对应的匹配块中心点与匹配搜索窗block_M×N中心点之间相对位置。

图6为求取图像块与匹配块之间差绝对值之和SAD结构图，其中，对于m×n的输入图像块，从k＝1开始，计算该图像块与匹配块第k列对应像素的m个差绝对值，将该m个差绝对值同时送入第一列加法器中相加，得到第k列对应的差绝对值和，每得到一个差绝对值和，将其送入一个由多个延时单元串接的时延寄存器中，以流水线方式进行延时，直至第一列加法器得到第k＝n列对应的差绝对值和，再将全部n列对应的差绝对值和同时送入第二列加法器中相加，输出该输入图像块与匹配块之间的SAD值。为方便后续步骤的操作，还对该SAD值采用[位置值，SAD值]数据结构方式标记上该匹配块中心点相对匹配搜索窗block_M×N中心点之间的位置，位置值用(Δx，Δy)表示，正负表示位于匹配搜索窗中心点的左右、上下关系。图7为列加法器结构图，以同时输入15个数据为例，先两两相加得出第一时钟节拍的和，再对和与和进行第二个时钟节拍相加求和，经三个时钟节拍的延时即可输出15个数相加的结果。

步骤4、并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，两者之间偏移量(Δx，Δy)即该输入图像块的运动向量，偏移量值为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块的中心点(x¹，y¹)坐标值计算得到。

优选地，以并行计算求取2个不同大小输入图像块的最小SAD值为例。在求出图像块1

对应所有匹配块之间的SAD值后，按图8所示的并行结构求最小SAD值，以输入n个SAD值为例，先两两比较得出第一时钟节拍的最小值(注意是比较标记了位置信息的数据结构中SAD值部分，其位置信息保持不变)，再进行第二个时钟节拍的比较输出最小值，经多个时钟节拍的延时即可输出最小SAD值(该值对应的位置信息未发生变化)，该SAD值对应的匹配块即为图像块1拟搜寻的最佳匹配块，该SAD值绑定的位置信息即为两者之间偏移量(Δx₁，Δy₁)，即该输入图像块1的运动向量。如图5所示，输入图像块为输入散斑图灰色表示区域，最佳匹配块为参考散斑图的匹配搜索窗中斜线表示区域，其中心点与匹配搜索窗block_M×N中心点(该中心点与输入图像块中心点位置对应)的偏移量为(Δx，Δy)，分别表示X、Y方向位移，有正负，正负对应上下、左右坐标关系，在空间上则对应与参考散斑图平面的前后关系；同时偏移量值越大表示该图像块中心点与已知深度距离的参考散斑图平面之间的垂直距离越远，因参考散斑图平面相对激光投射装置的距离是固定的，偏移量越大该中心点相对激光投射装置的距离则可能越近或越远。同样，图像块2经类似的并行结构求出其对应的最小SAD值及相应的最佳偏移量(Δx₂，Δy₂)。步骤4计算图像块1和图像块2对应的最小SAD值在硬件上是并行进行。

步骤5、根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择出最优偏移量作为当前输入散斑图像块中心点的运动向量。

在由复数个输入图像块分别计算得到的复数个最佳偏移量中，如偏移量(Δx₁，Δy₁)、偏移量(Δx₂，Δy₂)，按一定的控制策略选取最优偏移量Δm。按多窗口匹配的思想，即大图像块搜寻匹配过程有利于消除误匹配噪声的干扰，适合与参考散斑图垂直距离较远处的深度计算，但存在降低X-Y方向深度图分辨率、丢失深度细节的问题；而小图像块受误匹配噪声干扰大，适合与参考散斑图垂直距离较近处的深度计算，且有利于保持深度细节、提升X-Y方向深度图分辨率，能够识别小物体。通过选择合适的图像块对应的最佳偏移量作为最优偏移量，可使深度图输出结果最优化。如以分两个不同大小图像块、选择输出X方向最优偏移量为例，如图9所示，参考散斑图的深度距离d已知，相对于参考散斑图，远距离偏移量为负、近距离偏移量为正，将大图像块1的水平最佳偏移量Δx₁同阈值Th1、Th2进行比较，按以下判定条件选择输出最优偏移量：

将最大图像块得到的最佳偏移量与参考阈值进行比较，如偏移量大于参考阈值，则表示距离参考散斑图平面的垂直距离越大，一般选择大图像块得到的偏移量，以消除误匹配引起的噪声问题；如偏移量小于参考阈值则选择较小图像块计算得到的偏移量，有利于提升深度图的细节、提高X-Y方向深度分辨率；该子模块可根据多个参考阈值自适应选择不同图像块计算得到的最佳偏移量作为最优偏移量。

步骤6、利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度信息。

将X或Y方向的最优偏移量Δm结合参考散斑图的已知距离参数d、图像传感器焦距f、激光投射器与接收图像传感器之间的基线距离S和图像传感器像素点点距参数μ，如图9所示，按以下深度计算公式可计算得到当前中心点的深度信息d¹：

$d^1=d-\frac{\mathrm{\Δm\μ}{d}^2}{\mathrm{fS}+\mathrm{\Δm\μd}}=\frac{\mathrm{fSd}}{\mathrm{fS}+\mathrm{\Δm\μd}}$

其中，最优偏移量Δm等于参考散斑窗中心点x坐标值·最优匹配块中心点x¹坐标值，或参考散斑窗中心点y坐标值·最优匹配块中心点y¹坐标值，有正负。如最优偏移量Δm为正，表示比参考散斑图距离更近；最优偏移量Δm为负，表示比参考散斑图距离更远。

步骤7、将输入散斑图像块中心点移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后再重复步骤1～6，读入以下一行为中心行、N行大小的输入散斑窗、参考散斑窗，计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。

优选地，如果只关注图像块X方向的偏移量Δx，匹配搜索窗的选取可以重点扩展图像块的左右X方向，这样可以减少匹配块数量，从而降低计算量和复杂度，提高运行速度。同理图像块的Y方向亦然。

作为示例，搜索策略和相似度测量指标采用传统全搜索块匹配和差绝对值之和(SAD)方法，但是也可以采用其他各种改进的搜索策略和相似度测量指标，比如三步搜索法(TSS)等。本发明中搜索策略是逐个匹配块进行搜索，精度可达到像素级，通过对散斑图像素点进行插值计算，也可以达到子像素级。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的图案投射和图像传感器系统中，用于匹配的输入图像块并非限定为2个，可以是1个或更多个。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (7)

1.一种激光散斑图像深度感知方法，包括以下步骤：

步骤1、将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；

步骤2、在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；

步骤3、采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间SAD(即图像块与匹配块对应像素之间差的绝对值之和)；

步骤4、并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，其中所述最佳偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块中心点(x¹，y¹)坐标值计算得到；

步骤5、根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；

步骤6、利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度信息；

步骤7、将输入散斑图像块中心点移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后再重复步骤1～6，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。

2.根据权利要求1所述的方法，步骤1中，输入散斑图和参考散斑图在读入前均经过图像自适应预处理，所述预处理包括Bayer视频格式转换或ITU601、ITU656、MIPI接口格式转换、色度空间转换、灰度图像自适应去噪和增强。

3.根据权利要求1所述的方法，步骤3中，计算每个输入图像块与匹配搜索窗中相同大小的匹配块之间的SAD包括：

对于m×n的输入图像块，从k＝1开始，计算该图像块与匹配块第k列对应像素的m个差绝对值，将该m个差绝对值同时送入第一列加法器中相加，得到第k列对应的差绝对值和，每得到一个差绝对值和，将其送入一个由多个延时单元串接的时延寄存器中，以流水线方式进行延时，直至第一列加法器得到第k＝n列对应的差绝对值和，再将全部n列对应的差绝对值和同时送入第二列加法器中相加，输出该输入图像块与匹配块之间的SAD值。

4.根据权利要求1所述的方法，步骤5中，在所述复数个输入图像块对应的最佳偏移量中，将最大图像块对应的最佳偏移量与参考阈值进行比较，若该偏移量大于参考阈值，则选择大图像块对应的最佳偏移量作为最优偏移量输出；若该偏移量小于参考阈值，则选择较小图像块计算得到的最佳偏移量作为最优偏移量输出。

5.根据权利要求4所述的方法，若所述复数个输入图像块的个数为2，即输入两个不同大小图像块，并且选择输出X方向的最优偏移量Δm，则将其中大图像块的水平最佳偏移量Δx₁与阈值Th1、Th2进行比较，按以下判定条件选择最优偏移量Δm：

6.根据权利要求1所述的方法，步骤6中，将X或Y方向的最优偏移量Δm结合参考散斑图的已知距离参数d、图像传感器焦距f、激光投射器与接收图像传感器之间的基线距离S和图像传感器像素点点距参数μ，按以下深度计算公式计算得到输入散斑图像块中心点的深度信息d¹：

$d^1=d-\frac{\mathrm{\Δm\μ}{d}^2}{\mathrm{fS}+\mathrm{\Δm\μd}}=\frac{\mathrm{fSd}}{\mathrm{fS}+\mathrm{\Δm\μd}}$

其中，最优偏移量Δm等于参考散斑窗中心点x坐标值-最优匹配块中心点x¹坐标值，或参考散斑窗中心点y坐标值-最优匹配块中心点y¹坐标值，有正负。

7.一种激光散斑图像深度感知装置，包括：

输入散斑窗和参考散斑窗生成子模块，用于将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；

输入图像块和匹配搜索窗提取子模块，用于在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；

求差绝对值之和SAD子模块，用于采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间的SAD(即图像块与匹配块对应像素之间差的绝对值之和)；

求最小SAD子模块，用于并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块的中心点(x¹，y¹)坐标值计算得到；

最优偏移量输出子模块，用于根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；

深度计算子模块，用于利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度，并且，

当前像素点的深度值计算完成后，将输入散斑图像块中心点移到同一行的下一个像素点上，利用输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块，计算得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，利用输入散斑窗和参考散斑窗生成子模块、输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。

Images