CN106323190A - 可定制深度测量范围的深度测量方法及深度图像的系统 - Google Patents

Abstract

本发明公开了一种可定制深度测量范围的深度测量方法及深度图像的系统，涉及立体图像处理技术领域，其中测量方法的定制步骤为：所述定制包括如下步骤：获取深度相机的深度范围测量区间；对所述测量区间进行定制，根据预设的应用场景在所述测量区间内划分相对应的定制测量范围，得到小于该测量区间的深度区间；根据该小于所述测量区间的深度区间，得到搜索范围小的像素区间。本发明通过定制测量范围，减小了匹配计算的计算量，提供了计算效率和采集帧数。

Description

可定制深度测量范围的深度测量方法及深度图像的系统

技术领域

本发明涉及立体图像处理技术领域，特别是涉及一种可定制深度测量范围的深度测量方法及深度图像的系统。

背景技术

基于结构光的深度相机是目前较为普遍的一种测量物体三维深度信息的设备。由于结构光深度相机有着较高的分辨率以及深度图片采集帧数，利用深度相机实现人机交互被认为是下一代人机交互技术。相对于普通彩色相机，深度相机获取的深度数据能精确地识别出姿势、动作从而实现与相应机器设备的交互。

深度相机的测量范围与投影图案以及计算算法等因素有关，随着测量深度的增大，测量的精度也随之下降。因此，当对深度变化范围较大的场景进行测量时，获取的深度图像效果并不理想。实际上，对于一些特定的应用，比如客厅体感娱乐、3D试衣等等，深度测量的范围一般都会限制在较小的范围内，此时深度相机并不需要对超过这些范围的场景或目标进行测量。而目前的深度相机以及相关技术所述的深度相机，当最大与最小测量范围确定后，无论当前应用要求的测量范围如何，都会对最大与最小测量范围对应的深度进行测量。无疑这种方法增加了深度处理芯片的计算量，得到的深度图像还需要进一步进行处理才能应用，从而进一步加大了图像处理的难度。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明目的在于提出一种可定制深度测量范围的深度测量方法及深度图像的系统，以解决上述现有技术存在的深度测量范围无法定制导致处理的计算量大、图像处理难度高的技术问题。

为此，本发明提出一种可定制深度测量范围的深度测量方法，基于深度相机的光学投影模块、图像采集模块和处理器进行处理，该处理包括光学投影、光学图像接收、参考图像获取、匹配计算和深度图像获取的步骤，所述匹配计算根据由定制的深度测量范围得到的像素区间作为匹配计算的搜索范围进行匹配，所述深度图像获取通过该像素区间获取像素偏离值进行深度图像获取，所述定制包括如下步骤：

获取深度相机的深度范围测量区间；

对所述测量区间进行定制，根据预设的应用场景在所述测量区间内划分相对应的定制测量范围，得到小于该测量区间的深度区间；

根据该小于所述测量区间的深度区间，得到搜索范围小的像素区间。

优选地，本发明的方法还可以具有如下步骤：

所述测量区间划分有一个或一个以上的定制测量范围，对应一个或一个以上的预设应用场景，所述一个以上的预设应用场景通过所述深度相机进行设置。

所述一个以上的预设应用场景的设置为人工选择设置。

包括通过所述深度相机的一个以上的硬件按钮进行实体按键式设置，所述一个以上的硬件按钮对应相应预设应用场景下的所述定制测量范围。

包括通过所述深度相机的一个以上的场景设置模块进行非实体按键式设置，所述一个以上的场景设置模块对应相应预设应用场景下的所述定制测量范围。

所述一个以上的预设应用场景的设置为自动选择设置，自动选择设置中，所述深度区间的获取包括如下步骤：所述深度相机采集当前应用场景的深度图像的深度信息；获取当前的所述深度信息的最大深度值和最小深度值作为定制测量范围，得到小于测量区间的深度区间。

当所述深度相机已设置在相应预设应用场景下时，还包括以下步骤：

所述深度相机采集当前应用场景的深度图像的深度信息；

将所采集的深度信息与所述深度相机当前的所述定制测量范围进行对比；

根据对比结果自动调整当前的所述定制测量范围的最大深度值和最小深度值，获得与当前应用场景相符合的所述定制测量范围。

另外，本发明还提供了一种获取深度图像的系统，基于上述所述的深度测量方法进行深度图像的获取，包括设于深度相机的光学投影模块、图像采集模块和处理器，所述光学投影模块用于向目标空间投射结构光图案；所述图像采集模块用于采集目标空间结构光图案对应的光学图像和参考图像；所述处理器根据由定制的深度测量范围得到的像素区间作为搜索范围对光学图像和参考图像进行匹配计算，根据匹配计算获得的像素偏离值得到目标的深度图像。

优选地，本发明的系统还可以具有如下技术特征：

所述深度相机还包括硬件按钮，用于通过实体形式选择预设应用场景并切换。

所述深度相机还包括场景设置模块，用于通过非实体形式选择预设应用场景并切换。

本发明与现有技术对比的有益效果包括：本发明针对深度范围测量区间已经确定的深度相机进行具体应用的深度测量范围的定制，进而转化成对应的匹配计算的搜索范围，从而提高匹配计算算法效率，相比于已有技术，由于定制的深度测量范围小于深度相机已经确定的测量范围，因而在进行匹配计算时搜索区域也相应变小，可以较大幅度提高匹配计算的计算速度，进而降低系统处理的计算量，通过这种深度测量范围的定制可以提高深度相机的采集帧数，从而提高用户体验效果。

优选方案中，由于采用人工选择设置定制测量范围，适用于需要人工进行设置的工作应用场景，因而能够满足人工设置的需求，人工选择设置的形式可以是实体按键式也可以是非实体按键式，实体按键式通过在深度相机上设置一个或多个硬件按钮，通过硬件按钮事先选定深度相机的应用场景，进而使得深度相机在该应用场景下对应的定制测量范围进行工作，操作简单方便，同时，采用非实体按键式是通过在深度相机内设场景设置模块，该场景设置模块可配合深度相机的交互软件或其他软件进行非实体按键式设置，这种方式对深度相机的实体结构改变较小，局限性小，应用广。

同时，本发明还可以根据不同的应用场景自动选择设置，通过采集当前应用场景的深度图像的深度信息；获取当前的所述深度信息的最大深度值和最小深度值作为定制测量范围，得到小于测量区间的深度区间，自动选择可以由深度相机自动定制，在特定的应用场景下相比于手动选择设置而言，系统在执行的过程中，无需事先选择好对应场景下的定制测量范围，系统根据实时的应用场景获取的深度图像的最大和最小的深度值实时计算出对应深度区间进行匹配计算，这样可将深度区间控制在最合理的范围，进而将计算量降低值最小，提高深度相机的采集帧数。

在人工选择设置的模式下，当所述深度相机已设置在相应预设应用场景下时，再执行定制测量范围的调整，这样可以使得一些必须事先人工进行设置的应用场景的定制测量范围调整地更加合理，进而进一步降低计算量。

附图说明

图1是本发明具体实施方式一的流程图；

图2是本发明具体实施方式一和二的系统工作示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图1-2，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

以下实施例所述方法和系统主要针对基于结构光技术的深度相机，目前基于结构光技术的深度相机一般包含光学投影模块2以及图像采集模块1，光学投影模块2用于向目标空间投射结构光图案，而图像采集模块1则用于采集带有结构光图案的光学图像，以下实施例中，结构光图案指散斑颗粒图案。获取深度信息的原理是将采集到的光学散斑图像与系统中存取的参考图像进行匹配计算获取像素偏离值，再通过三角测量原理利用像素偏离值与实际深度值的一一对应关系就可以获取目标空间的深度图像。这里的参考图像是通过采集距离深度相机已知深度值的平面上的光学散斑图像而获取的。

当深度相机的光学投影模块2以及图像采集模块1都确定后，该深度相机能测量的最大以及最小深度范围也就确定了，超过深度测量范围的目标的测量结果将会不准确。

光学散斑图案与参考图像的匹配计算速度决定了深度相机获取目标深度图像的采集频率，当匹配计算的搜索范围较大时，匹配算法将消耗更多的计算资源以及更多的时间，从而导致深度相机的采集频率变小，用户交互的体验较差。因而在深度相机的测量范围内，如果可以针对具体应用对应的深度区间，并仅对该深度区间进行测量则会提高深度相机的计算速度以及采集频率。

实施例一：

如图1-2所示，本实施例提供了一种可定制深度测量范围的深度测量方法，本实施例基于深度相机的光学投影模块2、图像采集模块1和处理器3进行处理，将采取以下的步骤S1-S3：

首先，步骤S1：获取深度相机的深度范围测量区间，在测量区间内选定应用场景对应的定制测量范围，得到小于该测量区间的深度区间；

比如某深度相机的测量范围为1～8m，一般而言低于1m，大于8m范围外的物体也可以进行测量，只不过测量的精度将会较差。而当前某个应用，比如客厅内进行的体感游戏，客厅的宽度为4m，因而对于该应用，深度相机仅需要测量1～4m范围的深度区间即可。

所述测量区间划分有一个或一个以上的定制测量范围，对应一个或一个以上的预设应用场景，所述一个以上的预设应用场景通过所述深度相机进行设置。

一般地，深度相机的深度范围测量区间固定之后，在对具体应用进行深度范围的定制时，可以通过多种方法，对于需要提前设置应用场景的情况下，可采用人工选择设置的形式。其中一种是在深度相机增加硬件按钮，提前设置好多种不同的测量范围，比如对于测量范围为1～8m的深度相机，可以增加多个按钮，分别对应当前的定制测量范围为1～4m，3～6m以及5～8m等等，采用硬件按钮的实体按键的形式，适用于需事先采用人工进行人工设置的场景，满足该场景的需求，可提前通过硬件按钮进行设置相应应用场景，简单方便。

同时，还可根据实际情况选择通过非实体按键式进行提前设置应用场景，另外一种可以通过场景设置模块和软件的进行定制，即在应用之前通过深度相机内部或者其他软件对测量范围进行设置，这种设置形式无需对深度相机的实体结构做出大的改变，通过软件进行提前设置，场景的局限性小，应用广。

对于可不提前设置应用场景的情况，可由深度相机进行智能自主定制，即当深度相机在某一应用场景中时，比如客厅，当深度相机所采集的深度图像中最大深度值小于测量范围时，即自动将测量范围定制为与当前场景相符合的测量范围。自动选择设置中，所述深度区间的获取包括如下步骤：所述深度相机采集当前应用场景的深度图像的深度信息；获取当前的所述深度信息的最大深度值和最小深度值作为定制测量范围，得到小于测量区间的深度区间。

对于需提前设置应用场景的情况，当所述深度相机已设置在相应预设应用场景下时，还包括以下步骤：

所述深度相机采集当前应用场景的深度图像的深度信息；

将所采集的深度信息与所述深度相机当前的所述定制测量范围进行对比；

根据对比结果自动调整当前的所述定制测量范围的最大深度值和最小深度值，获得与当前应用场景相符合的所述定制测量范围。

其次，步骤S2：根据深度区间计算出像素区间；

如前所述，基于结构光的深度相机是将采集到的光学散斑图像与系统中存取的参考图像进行匹配计算获取像素偏离值，再通过三角测量原理利用像素偏离值就可以获取目标空间的深度图像。其中关键步骤是利用匹配计算获取像素偏离值。匹配算法的原理是将当前需要计算的像素作为中心，选取以该像素为中心的子区(比如7x7或11x11像素的子区)，然后在参考图像中搜索相同大小的子区，当匹配系数达到阈值后就认为两个子区为相同子区，两个子区中心像素的偏离值即为匹配算法的输出结果。在进行搜索时，一般为了增加匹配速度，为对搜索范围进行限定。对于基于结构光的深度相机，像素的偏离一般仅沿与投影模块与图像采集模块1连线的方向，因而在搜索时将搜索范围限定在这一方向即可。

实际上，一旦当前应用的深度区间确定后，对于超出该深度区间的深度范围则可以不予考虑，在考虑搜索范围时则可以进行进一步的限定。具体地，由三角法原理，已知偏离值的情况下，深度值可以由公式计算出，其中B是图像采集模块1与光学投影模组之间的距离，Z₀为参考散斑图离图像采集模块1的深度值，f为图像采集模块1镜头的焦距，Δ为偏离值。相反地，当深度区间确定后，偏离值的范围即像素区间也就可以通过以下公式确定：

$Bf(\frac{1}{Z_0}-\frac{1}{Z_{min}})\≤\mathrm{\Δ}\≤Bf(\frac{1}{Z_0}-\frac{1}{Z_{max}})$

其中，深度区间为[Z_min,Z_max]。Z_min为最小深度值，Z_max为最大深度值，这里的深度区间范围小于该深度相机的测量范围。

最后，步骤S3：将像素区间作为匹配算法的搜索范围，计算像素偏离值，进一步获取深度图像。

将上一步中计算得到的像素区间作为当前深度相机匹配算法的搜索范围，并在该搜索范围内计算偏离值Δ，最后根据公式计算出深度值。

根据以上原理，在深度区间以外的物体，原则上该物体对应的像素子区在与参考图像进行匹配计算时，在由以上方法确定的搜索范围内将无法搜索到对应的子区，此时就认为该物体不在当前深度区间内，将其作为背景图像，该处的深度值可以直接赋值为0或者最大像素值(比如255)。

通过这种定制的测量范围后，由于匹配算法的搜索区域变小，因而能较大程度上提高匹配算法效率。

实施例二：

如图2所示，基于实施例一的方法，提出了一种获取深度图像的系统，包括设于深度相机的光学投影模块2、图像采集模块1和处理器3，所述光学投影模块2用于向目标空间投射结构光图案；所述图像采集模块1用于采集目标空间结构光图案对应的光学图像和参考图像；所述处理器3根据由定制的深度测量范围得到的像素区间作为搜索范围对光学图像和参考图像进行匹配计算，根据匹配计算获得的像素偏离值得到目标的深度图像。

基于人工选择设置的方法，可在所述深度相机设置硬件按钮，用于通过实体形式选择预设应用场景并切换。或者在所述深度相机设场景设置模块，用于通过非实体形式选择预设应用场景并切换。

本实施例所述的人数统计系统还包括有存储单元。存储单元可以用来存储处理器用于计算的数据，比如参考图像、定制的深度区间值或搜索范围等。在本实施例中，当定制测量范围通过人工设置或自动设置确认后，其对应的深度区间值将会被处理器保存到存储单元中，或者深度区间经处理器进一步计算得到搜索区间后被保存到存储单元中。在随后的深度图像获取中，处理器可以直接调用其中的深度区间或者搜索区间进行深度图像计算。

由深度区间通过以下公式可以得到搜索范围对应的像素区间：

$Bf(\frac{1}{Z_0}-\frac{1}{Z_{min}})\≤\mathrm{\Δ}\≤Bf(\frac{1}{Z_0}-\frac{1}{Z_{max}})$

B是图像采集模块1与光学投影模组之间的距离，Z₀为参考散斑图离图像采集模块1的深度值，f为图像采集模块1镜头的焦距，Δ为偏离值，深度区间为[Z_min,Z_max]。Z_min为最小深度值，Z_max为最大深度值。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (10)

1.一种可定制深度测量范围的深度测量方法，基于深度相机的光学投影模块、图像采集模块和处理器进行处理，该处理包括光学投影、光学图像接收、参考图像获取、匹配计算和深度图像获取的步骤，其特征在于：所述匹配计算根据由定制的深度测量范围得到的像素区间作为匹配计算的搜索范围进行匹配，所述深度图像获取通过该像素区间获取像素偏离值进行深度图像获取，所述定制包括如下步骤：

获取深度相机的深度范围测量区间；

对所述测量区间进行定制，根据预设的应用场景在所述测量区间内划分相对应的定制测量范围，得到小于该测量区间的深度区间；

根据该小于所述测量区间的深度区间，得到搜索范围小的像素区间。

2.如权利要求1所述的深度测量方法，其特征在于：所述测量区间划分有一个或一个以上的定制测量范围，对应一个或一个以上的预设应用场景，所述一个以上的预设应用场景通过所述深度相机进行设置。

3.如权利要求2所述的深度测量方法，其特征在于：所述一个以上的预设应用场景的设置为人工选择设置。

4.如权利要求3所述的深度测量方法，其特征在于：包括通过所述深度相机的一个以上的硬件按钮进行实体按键式设置，所述一个以上的硬件按钮对应相应预设应用场景下的所述定制测量范围。

5.如权利要求3所述的深度测量方法，其特征在于：包括通过所述深度相机的一个以上的场景设置模块进行非实体按键式设置，所述一个以上的场景设置模块对应相应预设应用场景下的所述定制测量范围。

6.如权利要求2所述的深度测量方法，其特征在于：所述一个以上的预设应用场景的设置为自动选择设置，自动选择设置中，所述深度区间的获取包括如下步骤：所述深度相机采集当前应用场景的深度图像的深度信息；获取当前的所述深度信息的最大深度值和最小深度值作为定制测量范围，得到小于测量区间的深度区间。

7.如权利要求3-5任一项所述的深度测量方法，其特征在于：当所述深度相机已设置在相应预设应用场景下时，还包括以下步骤：

所述深度相机采集当前应用场景的深度图像的深度信息；

将所采集的深度信息与所述深度相机当前的所述定制测量范围进行对比；

根据对比结果自动调整当前的所述定制测量范围的最大深度值和最小深度值，获得与当前应用场景相符合的所述定制测量范围。

8.一种获取深度图像的系统，其特征在于：基于上述权利要求1-7任一项所述的深度测量方法进行深度图像的获取，包括设于深度相机的光学投影模块、图像采集模块和处理器，所述光学投影模块用于向目标空间投射结构光图案；所述图像采集模块用于采集目标空间结构光图案对应的光学图像和参考图像；所述处理器根据由定制的深度测量范围得到的像素区间作为搜索范围对光学图像和参考图像进行匹配计算，根据匹配计算获得的像素偏离值得到目标的深度图像。

9.如权利要求8所述的获取深度图像的系统，其特征在于：所述深度相机还包括硬件按钮，用于通过实体形式选择预设应用场景并切换。

10.如权利要求8所述的获取深度图像的系统，其特征在于：所述深度相机还包括场景设置模块，用于通过非实体形式选择预设应用场景并切换。