CN115294187B - 深度相机的图像处理方法、电子设备及存储介质 - Google Patents

Abstract

本申请实施例涉及图像处理领域，公开了一种深度相机的图像处理方法、电子设备及存储介质。本申请中，深度相机的图像处理方法包括：根据深度相机的相机参数和真实人脸框的宽度范围，获取第一图像人脸框的第一像素宽度范围；确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定第二图像人脸框的第二像素宽度范围；根据第一像素宽度范围和第二像素宽度范围，确定至少一个像素宽度阈值；基于至少一个像素宽度阈值，以及待进行视差搜索的第三图像人脸框的像素宽度，确定是否对第三图像人脸框进行深度恢复，或者判断对所述第三图像人脸框已深度恢复的深度值是否有效。

Description

深度相机的图像处理方法、电子设备及存储介质

技术领域

本申请实施例涉及图像处理领域，特别涉及深度相机的图像处理方法、电子设备及存储介质。

背景技术

目前，机器视觉领域中最具活力的技术分支当属深度感知技术，而散斑结构光技术则是深度感知技术中的重要部分。散斑结构光技术作为最常见主动式立体视觉的技术，还分有单目结构光技术，主动式双目结构光系统等。单目结构光系统，是由散斑投射器、红外光学传感器及其它部件组成。该技术的工作原理是，通过投射器将事先调制好的伪随机图案投射至场景，经过光学传感器采集得到场景图，将采集得到的场景图与事先存储的一张或多张参考图匹配，再根据三角测量原理，进一步进行深度解算，得到场景的深度信息。

匹配是单目结构光深度恢复算法的重要一环，无论使用什么匹配方法，该步骤的关键前提是要能够在正确的范围内搜索。深度相机中单目结构光系统的散斑投射器和红外相机一般是横向结构，受极线约束，搜索时不需进行图像二维的全面搜索，只需对于极线方向的像素进行搜索；同时受工作距离的限制，采集得到的场景图和参考图视差也在一定范围内，即搜索范围仅限于视差范围内的极限。其中，采集场景图的过程中，散斑投射器投出的散斑图是由衍射光学元件(Diffractive Optical Elements，DOE) 复制中心级次的散斑得到的，每个次级的散斑图案与中心级次的图案基本一致（受镜头器件的影响有少许不同），如果视差范围大于散斑块的宽度，例如视差范围内包括两个甚至更多的散斑块，则搜索范围会跨两个甚至更多的散斑块，进而在匹配时或得到两个或多个近似的匹配代价值，算法无法明确哪个是正确的匹配点，极易出现匹配及深度恢复错误的情况。

发明内容

本申请实施方式的目的在于提供一种深度相机的图像处理方法，避免散斑块在视差范围内重复所导致的深度恢复错误。

为解决上述技术问题，本申请的实施方式提供了一种深度相机的图像处理方法，包括以下步骤：

根据深度相机的相机参数和真实人脸框的宽度范围，获取第一图像人脸框的第一像素宽度范围，第一图像人脸框为真实人脸框位于深度相机的最小工作距离处拍摄的图像人脸框；

确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定第二图像人脸框的第二像素宽度范围；散斑区域为散斑图中重复排布的散斑块单元；

根据第一像素宽度范围和第二像素宽度范围，确定至少一个像素宽度阈值；

基于至少一个像素宽度阈值，以及待进行视差搜索的第三图像人脸框的像素宽度，确定是否对第三图像人脸框进行深度恢复，或者判断对第三图像人脸框已深度恢复的深度值是否有效。

本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的深度相机的图像处理方法。

本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的深度相机的图像处理方法。

本申请所提供的技术方案，针对深度相机工作过程中由于拍摄距离过近影响到实际视差，使得单个散斑块无法覆盖实际视差值，进而导致匹配过程中的搜索范围（视差范围）内存在多个散斑块，无法确定实际需要获取的正确匹配点，最终影响深度相机匹配和深度恢复准确性的问题，对于深度相机中图像深度恢复及匹配之前的过程进行处理。通过判断待进行视差搜索的图像人脸框的像素宽度与本方案中确定的至少一个像素宽度阈值之间的大小关系，可以衡量真实人脸框与深度相机之间的距离值，从而确定是否需要对该图像人脸框进行深度恢复，或者判断该图像人脸框已深度恢复的深度值是否有效。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本申请一个实施方式所提供的深度相机的图像处理方法的流程图；

图2是根据本申请一个实施方式所提供的电子设备的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在设计单目结构光深度相机时需要考虑散斑块与视差范围的关系，散斑块的宽度在一些情况下并不能够完全覆盖视差范围，例如目标人脸与深度相机的距离过近，导致视差变大，存在视差值超过散斑块的宽度的可能性；并且虽然物体（目标人脸）的目标距离（目标人脸与深度相机之间的距离）已经不在深度相机的工作距离的范围内，由于如前所述的视差值超过散斑块宽度的情况下，视差范围跨两个甚至更多的散斑块搜索，那么在匹配时或得到多个近似的匹配代价值，因此即使不处于深度相机的工作范围，匹配仍可进行，但工作距离的范围之外得到的匹配点并不是正确的匹配点，即进一步进行匹配或深度恢复时会得到错误的深度值。

在进行同名点搜索过程中，出现跨散斑区域搜索的情形，主要的原因在于目标人脸距离深度相机过近，已经超出深度相机的工作距离。人脸距离相机越近，人脸在深度相机中的视场越大。因此本方案使用目标人脸在视场中的大小来规避人脸过近的情况。

深度相机的工作距离是产品设定的规格，若深度相机的工作距离为[Z₁，Z₂]，深度相机中红外相机的焦距为f，红外相机和散斑投射器之间的距离（深度相机的基线）为b，参考图距离Zr（一般Zr取，2Z₁Z₂∕(Z₁+Z₂)根据实际情况可稍作调整），视差搜索范围[-d_m，d_n]（满足

）。

散斑图案是使用DOE将中心级次图案多次复制得到的，因此图案是基本一致的，记两相邻散斑区域（散斑图中重复周期性排布的散斑块）间的同一相似点的横坐标之差是ds。假设近距离人脸上的一点坐标为（x，y）,它的实际距离为Z_f，其中Z_f＜Z₁,真实视差是d_f，即在参考图上的坐标为（x+d_f，y）。如果x+d_f＜x-d_m,那么该正确的同名点便不在视差搜索范围内，这时如果视差范围内没有其它同名点，那么算法便得不到视差值。这是正常的，因为该产品规格本来就规定了这个人脸过近不在工作范围内，所以理应搜不到同名点，这时深度值一般置为0。此时虽正确的同名点不在视差搜索范围内，但是若有不正确的同名点，或者说跨若干散斑区域，即坐标值在（x+d_f+k*d_s，y），（k>0），会有x-d_m＜x+d_f+k*d_s＜x+d_n，那么最终算法会搜索到该点，如果该点匹配度大于匹配阈值，那么算法会记此点的视差值为d_f+k*d_s，最终使用此视差值得到工作距离范围的深度值，但是该深度值本身却是错误的。

本申请的一个实施方式涉及一种深度相机的图像处理方法，所述深度相机可为单目结构光相机。具体流程如图1所示。

步骤101，根据深度相机的相机参数和真实人脸框的宽度范围，获取第一图像人脸框的第一像素宽度范围，第一图像人脸框为真实人脸框位于深度相机的最小工作距离处拍摄的图像人脸框；

步骤102，确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定第二图像人脸框的第二像素宽度范围；散斑区域为散斑图中重复排布的散斑块单元；

步骤103，根据第一像素宽度范围和第二像素宽度范围，确定至少一个像素宽度阈值；

步骤104，基于至少一个像素宽度阈值，以及待进行视差搜索的第三图像人脸框的像素宽度，确定是否对第三图像人脸框进行深度恢复，或者判断对第三图像人脸框已深度恢复的深度值是否有效。

本实施例中，通过人脸框的像素宽度判断人脸框与深度相机之间的距离值，并对于距离过近的图像信息进行筛除；具体地，获取深度相机的最小工作距离处的第一图像人脸框的第一像素宽度范围，以及参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度后对应视差范围的第二图像人脸框的第二像素宽度范围；若待进行视差搜索的第三图像人脸框的像素宽度超过第一像素宽度范围的最大值则认为该第三图像人脸框距离过近而存在视差搜索范围会跨两个甚至更多的散斑块的现象，若第三图像人脸框的像素宽度小于第一像素宽度范围的最大值，则结合第二像素宽度范围判断是否会产生视差搜索范围内散斑区域重复的现象；对于可能会出现散斑区域重复的现象的像素宽度区间均禁止进行深度恢复或判定其深度恢复的深度值无效，以保证深度相机工作的准确性。

下面对本实施方式的深度相机的图像处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

在步骤101中，根据深度相机的相机参数和真实人脸框的宽度范围，获取第一图像人脸框的第一像素宽度范围，第一图像人脸框为真实人脸框位于深度相机的最小工作距离处拍摄的图像人脸框；

在一个例子中，根据深度相机的相机参数和真实人脸框的宽度范围，获取第一图像人脸框的第一像素宽度范围，包括：根据相机参数中的最小工作距离、焦距和真实人脸框的宽度范围，通过以下公式获取第一像素宽度范围：W_p=(f*W_m)∕Z₁；其中，W_p为第一像素宽度范围；f为相机参数中的焦距；W_m为真实人脸框的宽度范围；Z₁为相机参数中的最小工作距离。具体地，真实人脸框位于深度相机的最小工作距离处时，深度相机成像得到的物体图中包括真实人脸框对应的第一图像人脸框，根据小孔成像原理，可通过真实人脸框的宽度范围与深度相机的相机参数（例如焦距、最小工作距离），参考前述公式计算得到第一图像人脸框的第一像素宽度范围。

其中，由于第一像素宽度范围为真实人脸框位于深度相机的最小工作距离处所获取的参数，参考前述计算像素宽度范围的小孔成像原理，若该真实人脸框与深度相机之间的距离小于最小工作距离（也就是距离过近时），即公式中分子不变分母变小，所得到的像素宽度范围变大。即，可通过所获取的第一像素宽度范围判断真实人脸框是否过近（小于最小工作距离），在真实人脸框与深度相机之间的距离小于最小工作距离时，易发生搜索视差范围内散斑区域重复的情况；因此，对于不小于第一像素宽度范围的像素宽度对应的图像人脸框，需要避免进行深度恢复或将已深度恢复的深度值判定为无效。此外，由于第一像素宽度范围的最大值是一个临界值，可根据需要设置第一像素宽度范围的最大值对应的图像人脸框是否需要避免进行深度恢复或将已深度恢复的深度值判定为无效。

在步骤102中，确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定第二图像人脸框的第二像素宽度范围；散斑区域为散斑图中重复排布的散斑块单元。具体地，为了进一步避免在深度相机的匹配过程中出现背景技术中所描述的匹配时得到多个近似的匹配代价值，无法明确匹配点的情况，本实施方式考虑了跨一个散斑区域时的视差范围，基于该视差范围确定待进行深度恢复的图像人脸框是否位于跨一个散斑区域（即已经出现散斑区域重复现象）的情况，并根据判断结果执行对应的处理方式。

在一个例子中，确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定真实人脸框在第二图像人脸框的第二像素宽度范围，包括：根据视差距离公式确定参考图视差；视差距离公式为：d=(f*b)∕Z_r，其中d为参考图视差，f为相机参数中的焦距，b为相机参数中的基线，Z_r为深度相机的参考图的距离，即参考面距离相机镜头光心的距离；根据散斑区域的宽度、视差搜索范围与参考图视差，获取视差范围；根据视差范围，通过以下公式获取第二图像人脸框的距离范围：Z=(f*b)∕d₂；其中，Z为第二图像人脸框的距离范围（本方案中涉及的图像人脸框的距离，均指该图像人脸框对应的真实人脸框距相机镜头光心的距离）；d₂为与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围；d₂=d+ds-D；其中，ds为散斑区域的宽度，D为视差搜索范围；根据第二图像人脸框的距离范围，通过以下公式获取第二像素宽度范围：W₂=(f*W_m)∕Z，其中，W₂为第二像素宽度范围，W_m为真实人脸框的宽度范围。具体地，第二图像人脸框为跨一个散斑区域（即会出现散斑区域重复现象）的情况下的图像人脸框，为了避免出现散斑区域重复后匹配点不清晰的情况，需要放弃对于第二图像人脸框进行深度恢复，或对于已经实现深度恢复的第二图像人脸框的深度信息判定为失效，以降低深度相机最终的深度恢复结果出错的概率，保证深度相机中深度恢复过程的效率。

其中，通过第二像素宽度范围确定待进行视差搜索的图像人脸框是否位于与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的范围内，即待进行视差搜索的图像人脸框是否会出现散斑区域重复的现象。也就是说，首先需要确定第二像素宽度范围。具体的，第二像素宽度范围通过小孔成像原理获取，可参考公式W₂=(f*W_m)∕Z进行计算，W₂为第二像素宽度范围，W_m为真实人脸框的宽度范围，Z为第二图像人脸框的距离范围，f为相机参数中的焦距。前述计算过程中除第二图像人脸框的距离范围Z之外均为已知参数，对于第二图像人脸框的距离范围Z，可以参考以下公式进行计算：Z=(f*b)∕d₂，d₂为与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，b为相机参数中的基线，对于该计算过程，d₂为未知参数，可通过d₂=d+d_s-D计算；其中，d_s为散斑区域的宽度，D视差搜索范围，d为参考图视差；对于其中的未知数d可根据视差距离公式进行计算，所述视差距离公式：d=(f*b)∕Z_r，Z_r为深度相机的参考图的距离，属于已知的相机参数，即该式中所有参数已知。由此，可分步计算得到在视差搜索范围内会出现散斑区域重复现象的第二图像人脸框所对应的第二像素宽度范围。

在步骤103中，根据第一像素宽度范围和第二像素宽度范围，确定至少一个像素宽度阈值。即，通过上述第一像素宽度范围和第二像素宽度范围，设置像素宽度阈值，该像素宽度阈值能够用于衡量待进行视差搜索的图像人脸框是否在视差搜索范围内会出现散斑区域重复现象，若根据像素宽度阈值判断该图像人脸框不会在视差搜索范围内会出现散斑区域重复现象，则正常进行视差搜索和深度恢复，若根据像素宽度阈值判断该图像人脸框会在视差搜索范围内会出现散斑区域重复现象，则予以其他处理方案，例如不进行深度恢复或对该图像人脸框已深度恢复的深度值判定为无效。

在一个例子中，根据第一像素宽度范围和第二像素宽度范围，确定至少一个像素宽度阈值，包括：在第一像素宽度范围的最大值不大于第二像素宽度范围的最小值的情况下，上述至少一个像素宽度阈值包括一个最大像素宽度阈值；在第一像素宽度范围的最大值大于第二像素宽度范围的最小值的情况下，上述至少一个像素宽度阈值包括：一个最大像素宽度阈值和一个极限像素宽度阈值；其中，最大像素宽度阈值为第一像素宽度范围的最大值，极限像素宽度阈值为第二像素宽度范围的最小值。具体地，对于第一像素宽度范围，如上所述，对于大于第一像素宽度范围的像素宽度对应的图像人脸框，该图像人脸框所对应的实际人脸框与深度相机之间的距离过近（小于最小工作距离），容易在视差搜索范围内出现散斑区域重复的现象，因此需要避免进行深度恢复或将已深度恢复的深度值判定为无效。对于位于第二像素宽度范围内的像素宽度对应的图像人脸框，由于该图像人脸框根据与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围所得到，即已经发生了散斑区域重复现象，因此需要避免进行深度恢复或将已深度恢复的深度值判定为无效。可以理解的是，在第一像素宽度范围的最大值不大于第二像素宽度范围的最小值的情况下，位于第二像素宽度范围内就大于第一像素宽度范围的最大值，因此，仅需要确定一个最大像素宽度阈值（第一像素宽度范围的最大值）。在第一像素宽度范围的最大值大于第二像素宽度范围的最小值的情况下，位于第二像素宽度范围内也可能小于第一像素宽度范围的最大值，对于第二像素宽度范围的最小值至第一像素宽度范围的最大值之间的区间，按照第一像素宽度范围的条件可进行深度恢复，不会在视差搜索范围内出现散斑区域重复现象。其中，第一像素宽度范围的条件为上述对于大于第一像素宽度范围的像素宽度对应的图像人脸框，需要避免进行深度恢复或将已深度恢复的深度值判定为无效。但按照第二像素宽度范围的条件则会出现散斑重复的现象，需要避免进行深度恢复或将已深度恢复的深度值判定为无效，即需要对大于第二像素宽度范围的最小值且不大于第一像素宽度范围的最大值这一区间进行进一步判定，其中，第二像素宽度范围的条件为上述对于位于第二像素宽度范围内的像素宽度对应的图像人脸框，需要避免进行深度恢复或将已深度恢复的深度值判定为无效。因此需要设置两个像素宽度阈值，包括最大像素宽度阈值（第一像素宽度范围的最大值）和极限像素宽度阈值（第二像素宽度范围的最小值），最大像素宽度阈值和极限像素宽度阈值能够确定该需要进行进一步判定的区间。

在步骤104中，基于至少一个像素宽度阈值，以及待进行视差搜索的第三图像人脸框的像素宽度，确定是否对第三图像人脸框进行深度恢复，或者判断对第三图像人脸框已深度恢复的深度值是否有效。即，通过上述确定的像素宽度阈值，判断所述待进行视差搜索的第三人脸框的像素宽度位于所述像素宽度阈值的具体区间，以此判断是否需要避免进行深度恢复或将已深度恢复的深度值判定为无效。

在一个例子中，基于至少一个像素宽度阈值，以及待进行视差搜索的第三图像人脸框的像素宽度，确定是否对第三图像人脸框进行深度恢复，或者判断对第三图像人脸框已深度恢复的深度值是否有效，包括：在第三图像人脸框的像素宽度大于最大像素宽度阈值的情况下，放弃对第三图像的人脸框进行深度恢复；在第三图像人脸框的像素宽度不大于极限像素宽度阈值的情况下，对第三图像的人脸框进行深度恢复；在第三图像人脸框的像素宽度大于极限像素宽度阈值，且不大于最大像素宽度阈值的情况下，根据第三图像人脸框中的图像深度值的平均值判断对第三图像人脸框已深度恢复的深度值是否有效；其中，在图像深度值的平均值大于深度阈值的情况下，第三图像人脸框已深度恢复的深度值无效；在图像深度值的平均值不大于深度阈值的情况下，第三图像人脸框已深度恢复的深度值有效。

具体地，像素深度阈值包括：最大像素宽度阈值（第一像素宽度范围的最大值）和极限像素宽度阈值（第二像素宽度范围的最小值）。其中，对于第一像素宽度范围，如上所述，第一像素宽度范围为真实人脸框位于深度相机的最小工作距离处所得到的第一像素宽度范围，若真实人脸框在该深度相机中成像得到的物体图中的图像人脸框的像素宽度大于所述第一像素宽度范围的最大值（最大像素宽度阈值），则表明该情况下的真实人脸框距离深度相机过近，容易在视差搜索范围内出现散斑重复现象，需要避免对于该情况下获取的图像人脸框进行深度恢复，或判定已恢复的深度值无效；对于第二像素宽度范围，如上所述，若真实人脸框在该深度相机中成像得到的物体图中的图像人脸框的像素宽度位于第二像素宽度范围内，则在视差搜索范围内会出现散斑重复现象，需要避免对于该情况下获取的图像人脸框进行深度恢复，或判定已恢复的深度值无效。

可以理解的是，在第一像素宽度范围的最大值不大于第二像素宽度范围的最小值的情况下，位于第二像素宽度范围内则也满足大于第一像素宽度范围的最大值，小于第一像素宽度范围的最大值也一定不位于第二像素宽度范围内，因此仅需要避免对于大于第一像素宽度范围的最大值的像素宽度的图像人脸框进行深度恢复，或判定已恢复的深度值无效。在第一像素宽度范围的最大值大于第二像素宽度范围的最小值的情况下，第三图像人脸框的像素宽度位于第二像素宽度范围内可能小于第一像素宽度范围的最大值，因此存在多种情况：当第三图像人脸框的像素宽度大于最大像素宽度阈值（第一像素宽度范围的最大值）时，由于此时第三图像人脸框所对应的真实人脸框距离深度相机过近，超过最小工作距离，所以需要避免对于该情况下获取的图像人脸框进行深度恢复，或判定已恢复的深度值无效；当第三图像人脸框的像素宽度不大于极限像素宽度阈值（第二像素宽度范围的最小值）时，同时满足基于第一像素宽度范围和基于第二像素宽度范围均在视差搜索范围内不发生散斑区域重复现象的区间，可进行深度恢复；当第三图像人脸框的像素宽度大于极限像素宽度阈值（第二像素宽度范围的最小值），且不大于最大像素宽度阈值（第一像素宽度范围的最大值）时，基于第一像素宽度范围的条件，在视差搜索范围内不会发生散斑区域重复现象，可进行匹配和深度恢复；基于第二像素宽度范围的条件，在视差搜索范围内会发生散斑区域重复现象，需要避免对于该情况下获取的图像人脸框进行深度恢复，或判定已恢复的深度值无效，也就是说分别在这两种条件（基于第一像素宽度范围的条件和基于第二像素宽度范围的条件）下所得到的结论存在冲突，因此需要进行进一步判定。

可选的，通过第三图像人脸框中的图像深度值的平均值判断对第三图像人脸框已深度恢复的深度值是否有效，其中，在图像深度值的平均值大于深度阈值的情况下，第三图像人脸框已深度恢复的深度值无效；在图像深度值的平均值不大于深度阈值的情况下，第三图像人脸框已深度恢复的深度值有效。

在一个例子中，图像深度值的平均值，包括：位于深度相机的工作距离内的图像深度值的平均值。由于深度相机工作范围内所获取的深度值更加精确，则据此得到的图像深度值的平均值更加精确，利于进行进一步判定。

在一个例子中，深度阈值满足以下条件：深度阈值不小于最小工作距离，且不大于深度相机的参考图的距离；且深度阈值所对应的图像人脸框视差在跨一个散斑区域的宽度后的视差所对应的图像人脸框的像素宽度范围的最小值，大于第一像素宽度范围的最大值。

具体地，在最小工作距离与参考图距离之间，选择任一距离a，a∈[Z₁，Z_r]；根据视差距离公式计算所述距离a得到的视差d_a：d_a=(f*b)∕a；进一步得到d_a在跨一个散斑区域的宽度后的视差d`<sub>a</sub>=d<sub>a</sub>+d<sub>s</sub>，其中d<sub>s</sub>为一个散斑区域的宽度，根据距离视差原理得到d`_a对应的距离a`：a`=(f*b)∕d`<sub>a</sub>；根据距离a`和真实人脸框的宽度范围W_m，通过小孔成像原理获取a`对应的图像人脸框的像素宽度范围W<sub>a</sub>：W<sub>a</sub>=(f*W<sub>m</sub>)∕a`，若W_a的最小值大于第一像素宽度范围的最大值，则取深度阈值为距离a。

在一个例子中，在不存在满足条件的深度阈值的情况下，调整视差搜索范围和\或参考图的距离，再次进入执行确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定第二图像人脸框的第二像素宽度范围的步骤，以获取到满足条件的深度阈值。即，若在最小工作距离与参考图的距离之间的任一距离a计算得到的W_a的最小值均不大于第一像素宽度范围的最大值，也就是不存在满足上述条件的距离（深度值），因此调整视差搜索范围和\或所述参考图的距离，重新执行步骤102及后续步骤，直至获取满足上述条件的深度阈值。

为便于理解，以下以一实际执行过程对于本实施方式进行举例说明，可以理解的是其仅为便于理解，并不对上述技术方案存在任何限定；

为了在工作距离范围内正常深度恢复，在工作范围外不会出现跨散斑区域的情况或者直接返回人脸过近的错误。下述以一深度相机的执行过程为例进行说明。深度相机的焦距f为842，基线b为40mm，参考图的距离Z_r为450mm，视差搜索范围D为[-48,64]，工作距离为300~1200mm。

S1：根据相机参数和真实人脸框的宽度范围确定第一像素宽度范围；真实人脸框的宽度范围Wm为100mm~200mm，根据小孔成像原理，通过W_p=(f*W_m)∕Z₁计算,其中f为焦距，Z₁为最小工作距离300mm，计算得到第一图像人脸框的第一像素宽度范围W_p在281~561之间。

S2：参考图视差通过距离视差公式d=(f*b)∕Z_r计算，为74.84。

S3：若散斑区域宽d_s=160，那么若跨一个散斑区域，则与参考图视差d在视差搜索范围D内匹配的且跨越一个散斑区域的宽度ds的视差范围d₂为74.84+160+48~74.84+160-64，即282.84~170.84内算法亦可匹配，通过Z=(f*b)∕d₂得到该区间的对应的第二图像人脸框的距离范围Z为119.1~197.1mm。根据小孔成像原理通过W₂=(f*W_m)∕Z得到197.1mm对应第二图像人脸框的像素宽度范围为427.2~854.4，119.1mm对应第二图像人脸框的像素宽度范围为707~1414，W₂为第二像素宽度范围。

其中427.2＜561，注意到，如果只选择561（或大于561的像素宽度值例如570）作为图像人脸框的像素宽度阈值，大于该像素宽度阈值则返回人脸过近错误，那么对于小于197.1mm距离的427.2~561的人脸框并不会报错，但该区间会出现跨散斑的现象，即会存在识别到散斑重复从而无法确定准确匹配点的情况，因此需要额外的策略用以规避该情况。

S5，在300mm~450mm之间取距离a为450mm，该距离对应深度相机的参考图，由于参考图存在特殊的已知参数，即参考图视差在S2中已进行计算是74.84，或者根据d_a=(f*b)∕a重新计算，得到的也为74.84，进一步得到作为d_a的参考图视差在跨一个散斑区域的宽度后的视差d`<sub>a</sub>=d<sub>a</sub>+d<sub>s</sub>=74.84+160=234.84，根据距离视差原理，通过a`=(f*b)∕d`<sub>a</sub>得到d`_a对应的距离a`为143.4mm，根据小孔成像原理，通过W<sub>a</sub>=(f*W<sub>m</sub>)∕a`得到a`对应的图像人脸框的像素宽度范围W_a为587.2~1174.3，此时570<587.2，符合深度阈值条件，因此跨散斑情况得到的深度值会大于参考图距离450mm。

即，对于所获取的待进行视差搜索的第三图像人脸框的处理过程可为：

（1）若待进行视差搜索的第三图像人脸框的像素宽度大于561（或570），则返回人脸过近错误；

（2）若待进行视差搜索的第三图像人脸框的像素宽度在427~561（或570）之间，统计第三图像人脸框区域内深度值的平均值。若平均值大于450mm，则认为人脸过近而导致视差搜索范围跨了至少一个散斑区域，得到的深度值是错误的。其中深度值的平均值可取有效深度值的平均值，有效深度值为位于所述深度相机工作距离的范围内的深度值，由于位于工作区域范围内，所以能够保证深度值的准确性。

（3）若待进行视差搜索的第三图像人脸框的像素宽度小于427，则正常进行深度恢复。

整个方案在深度恢复算法中极其容易实现，几乎不会增加算法耗时。

本申请所提供的技术方案，针对深度相机工作过程中由于拍摄距离过近影响到实际视差，使得单个散斑块无法覆盖实际视差值，进而导致匹配过程中的搜索范围（视差范围）内存在多个散斑块，无法确定实际需要获取的正确匹配点，最终影响深度相机匹配和深度恢复准确性的问题，对于深度相机中图像深度恢复及匹配之前的过程进行处理。通过判断待进行视差搜索物体图中人脸框的像素宽度与本方案中确定的至少一个像素宽度阈值之间的大小关系，可以衡量真实人脸框与深度相机之间的距离值，从而确定是否需要对该图像人脸框进行深度恢复，或者判断该图像人脸框已深度恢复的深度值是否有效，以保证深度相机工作的准确性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的一个实施方式涉及一种电子设备，如图2所示，包括至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够执行上述的深度相机的图像处理方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请的一个实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (8)

1.一种深度相机的图像处理方法，其特征在于，包括：

根据深度相机的相机参数和真实人脸框的宽度范围，获取第一图像人脸框的第一像素宽度范围，所述第一图像人脸框为所述真实人脸框位于所述深度相机的最小工作距离处拍摄的图像人脸框；

确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定所述第二图像人脸框的第二像素宽度范围；所述散斑区域为散斑图中重复排布的散斑块单元；

在所述第一像素宽度范围的最大值不大于所述第二像素宽度范围的最小值的情况下，确定像素宽度阈值包括一个最大像素宽度阈值；所述最大像素宽度阈值为所述第一像素宽度范围的最大值；

在所述第一像素宽度范围的最大值大于所述第二像素宽度范围的最小值的情况下，确定像素宽度阈值包括：一个最大像素宽度阈值和一个极限像素宽度阈值；所述极限像素宽度阈值为所述第二像素宽度范围的最小值；

在待进行视差搜索的第三图像人脸框的像素宽度大于所述最大像素宽度阈值的情况下，放弃对所述第三图像的人脸框进行深度恢复；

在所述第三图像人脸框的像素宽度不大于所述极限像素宽度阈值的情况下，对所述第三图像的人脸框进行深度恢复；

在所述第三图像人脸框的像素宽度大于所述极限像素宽度阈值，且不大于所述最大像素宽度阈值的情况下，判断对所述第三图像人脸框已深度恢复的深度值是否有效。

2.根据权利要求1所述的深度相机的图像处理方法，其特征在于，在所述第三图像人脸框的像素宽度大于所述极限像素宽度阈值，且不大于所述最大像素宽度阈值的情况下，判断对所述第三图像人脸框已深度恢复的深度值是否有效，包括：

在所述第三图像人脸框的像素宽度大于所述极限像素宽度阈值，且不大于所述最大像素宽度阈值的情况下，根据所述第三图像人脸框中的图像深度值的平均值判断对所述第三图像人脸框已深度恢复的深度值是否有效；

其中，在所述图像深度值的平均值大于深度阈值的情况下，所述第三图像人脸框已深度恢复的深度值无效；在所述图像深度值的平均值不大于所述深度阈值的情况下，所述第三图像人脸框已深度恢复的深度值有效；所述深度阈值满足以下条件：所述深度阈值不小于所述最小工作距离，且不大于所述深度相机的参考图的距离；且所述深度阈值所对应的图像人脸框视差在跨一个散斑区域的宽度后的视差所对应的图像人脸框的像素宽度范围的最小值，大于所述第一像素宽度范围的最大值。

3.根据权利要求1所述的深度相机的图像处理方法，其特征在于，所述根据深度相机的相机参数和真实人脸框的宽度范围获取第一图像人脸框的第一像素宽度范围，包括：

根据所述相机参数中的最小工作距离、焦距和真实人脸框的宽度范围，通过以下公式获取所述第一像素宽度范围：

W_p=(f*W_m)∕Z₁；

其中，W_p为所述第一像素宽度范围；f为所述相机参数中的焦距；W_m为所述真实人脸框的宽度范围；Z₁为所述相机参数中的最小工作距离。

4.根据权利要求1所述的深度相机的图像处理方法，其特征在于，所述确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定所述第二图像人脸框的第二像素宽度范围，包括：

根据视差距离公式确定所述参考图视差；所述视差距离公式为：d=(f*b)∕Z_r，其中d为所述参考图视差，f为所述相机参数中的焦距，b为所述相机参数中的基线，Z_r为所述深度相机的参考图的距离；

根据所述散斑区域的宽度、视差搜索范围与所述参考图视差，获取所述视差范围；

根据所述视差范围，通过以下公式获取所述第二图像人脸框的距离范围：

Z=(f*b)∕d₂；

其中，Z为所述第二图像人脸框的距离范围；d₂为与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围；d₂=d+d_s-D；其中，d_s为所述散斑区域的宽度，D为所述视差搜索范围；

根据所述第二图像人脸框的距离范围，通过以下公式获取所述第二像素宽度范围：

W₂=(f*W_m)∕Z，其中，W₂为所述第二像素宽度范围，W_m为所述真实人脸框的宽度范围。

5.根据权利要求2所述的深度相机的图像处理方法，其特征在于，所述方法还包括：

在不存在满足所述条件的深度阈值的情况下，调整所述视差搜索范围和\或所述参考图的距离，再次进入执行所述确定与参考图视差在视差搜索范围内匹配的且跨越一个散斑区域的宽度的视差范围，并基于该视差范围对应的第二图像人脸框的距离范围，确定所述真实人脸框在所述第二图像人脸框的第二像素宽度范围的步骤，以获取到满足所述条件的深度阈值。

6.根据权利要求2所述的深度相机的图像处理方法，其特征在于，所述图像深度值的平均值，包括：位于所述深度相机的工作距离内的图像深度值的平均值。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的深度相机的图像处理方法。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的深度相机的图像处理方法。

Images