CN105205786A - 一种图像深度恢复方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像深度恢复的方法及电子设备，该图像深度恢复的方法应用于一电子设备，该电子设备包含一红外图像采集单元，该方法包括：当在第一区域中有一操作体进行第一操作时，通过所述红外图像采集单元采集获得包含所述第一区域的红外图像；对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。通过上述技术方案，处理获得用户感兴趣的第二区域，对第二区域进行深度恢复，解决了现有技术中图像深度恢复存在的恢复速率较慢的技术问题，提高了深度恢复的速率。

Description

一种图像深度恢复方法及电子设备

技术领域

本发明涉及电子技术领域，特别涉及一种图像深度恢复方法及电子设备。

背景技术

随着科学技术的不断发展，用于表示各个像素点与摄像头距离的深度图像(DepthMap)的应用越来越广泛，例如：利用深度图像进行手势识别、利用深度图像来判断图中景象的距离等。

因而，现有技术中获取场景深度图像技术可分为被动测距传感和主动深度传感两大类。被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息。主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量。主动测距传感系统也称为测距成像系统(Rangefinder)雷达测距系统和三角测距系统是两种最常用的两种主动测距传感系统。

然而，申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

无论是采用何种深度图像获取方法，获取深度信息进行深度恢复都十分复杂、运算量及其大，对图像深度恢复的应用造成了限制，特别是在动态场景中的深度恢复恢复速率大大受限。可见，现有技术中图像深度恢复存在恢复速率较慢的技术问题。

发明内容

本发明实施例提供一种图像深度恢复的方法及电子设备，用于解决现有技术中图像深度恢复存在的恢复速率较慢的技术问题，提高深度恢复的速率。

本申请实施例提供一种图像深度恢复的方法，应用于一电子设备，所述电子设备包含一红外图像采集单元，所述方法包括：

当在第一区域中有一操作体进行第一操作时，通过所述红外图像采集单元采集获得包含所述第一区域的红外图像；

对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

可选的，当所述操作体为用户手指时，所述对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，具体包括：

对所述红外图像进行指尖识别，获得用户手部的手指尖在所述红外图像中的位置坐标；

基于所述位置坐标，从所述第一区域中确定出所述第二区域。

可选的，当所述位置坐标的数量为1时，所述基于所述位置坐标，从所述第一区域中确定出所述第二区域，具体为：

从所述第一区域中确定出与所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

可选的，当所述位置坐标的数量大于等于2时，所述获得所述第一区域中与所述位置坐标的距离小于设定阈值的所述第二区域，具体包括：

获得相邻两个所述位置坐标之间的最大距离值，确定出大于最大距离阈值的预定阈值距离；

从所述第一区域中确定出与各个所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

可选的，所述对所述红外图像进行指尖识别，获得所述用户手部的手指尖在所述红外图像中的位置坐标，具体包括：

对所述红外图像进行前后景分割获得前景分割图像；

从所述前景分割图像提取所述用户手部的手部边缘特征，在所述手部边缘特征中进行手指尖边缘特征匹配，以获得所述手指尖在所述红外图像中的位置坐标。

本申请实施例还提供一种电子设备，包括：

红外图像采集单元，用于在第一区域中有一操作体进行第一操作时，采集获得包含所述第一区域的红外图像；

图像处理单元，用于对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

深度恢复单元，用于对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

可选的，所述图像处理单元，具体用于：对所述红外图像进行指尖识别，获得用户手部的手指尖在所述红外图像中的位置坐标；基于所述位置坐标，从所述第一区域中确定出所述第二区域。

可选的，当所述位置坐标的数量为1时，所述图像处理单元具体用于：从所述第一区域中确定出与所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

可选的，当所述位置坐标的数量大于等于2时，所述图像处理单元具体用于：获得相邻两个所述位置坐标之间的最大距离值，确定出大于最大距离阈值的预定阈值距离；从所述第一区域中确定出与各个所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

可选的，所述图像处理单元具体用于：对所述红外图像进行前后景分割获得前景分割图像；从所述前景分割图像提取所述用户手部的手部边缘特征，在所述手部边缘特征中进行手指尖边缘特征匹配，以获得所述手指尖在所述红外图像中的位置坐标。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

1、电子设备通过红外图像采集单元采集获得包含操作体所在第一区域的红外图像，并处理获得该红外图像中操作体所对应的第二区域，即第一区域中包含操作体的局部图像对应的区域，然后对该第二区域进行深度恢复获得第二区域深度图像，从而避免了对整个红外图像进行深度恢复，减少了深度恢复的复杂度和计算量，进而解决了有技术中图像深度恢复存在的恢复速率较慢的技术问题，提高了深度恢复的速率。

2、由于电子设备对红外图像进行指尖识别，获得用户之间在红外图像中的位置坐标，根据该位置坐标获得第二区域即用户感兴趣的区域，对用户感兴趣的区域图像进行深度恢复，保证了深度恢复得到的深度图像是对用户有用的图像，提高了深度图像的利用率。

附图说明

图1为本申请实施例一提供的一种图像深度恢复的方法的流程示意图；

图2为本申请实施例一提供的指尖识别的示意图；

图3为本申请实施例二提供的一种电子设备的结构方框图。

具体实施方式

在本申请实施例提供的技术方案中，电子设备通过红外图像采集单元采集获得包含操作体所在第一区域的红外图像，并处理获得该红外图像中操作体所对应的第二区域，即第一区域中包含操作体的局部图像对应的区域，然后对该第二区域进行深度恢复获得第二区域深度图像，从而避免了对整个红外图像进行深度恢复，减少了深度恢复的复杂度和计算量，进而解决了有技术中图像深度恢复存在的恢复速率较慢的技术问题，提高了深度恢复的速率。

下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

实施例一

请参考图1，本申请实施例提供一种图像深度恢复的方法，应用于一电子设备，所述电子设备包含一红外图像采集单元，所述方法包括：

S101：当在第一区域中有一操作体进行第一操作时，通过所述红外图像采集单元采集获得包含所述第一区域的红外图像；

S102：对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

S103：对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

在具体实施过程中，电子设备在进行手势识别、三维图像恢复等需要对图像进行深度恢复的场景中，执行S101当第一区域中有一操作体进行第一操作时，通过红外图像采集单元采集获得包含第一区域的红外图像。例如：用户手指在触控显示单元上进行触控操作时，电子设备通过红外图像采集单元采集获得包含第一区域即触控显示单元及触控显示单元上的手指的红外图像，接下来，继续执行S102。

电子设备在执行S102对红外图像进行处理时，具体可以对红外图像进行图像识别处理，从红外图像对应的第一区域中确定出与操作体对应的面积小于第一区域面积的第二区域。其中，第二区域具体可以为从图像中选择的一个图像区域，这个区域是用户或电子设备进行图像分析所关注的重点，即感兴趣区域(regionofinterest，ROI)。本申请实施例中，电子设备获得该感兴趣区域以便进行进一步深度恢复处理，可以有效的减少深度恢复的处理计算量，提高深度恢复的恢复速率。

由于操作体可以是用户的手指，也可以是特定的设备如触控笔，电子设备在进行深度恢复时，用户或电子设备真正感兴趣的深度数据往往集中在操作体所对应的ROI区域。为此，电子设备可以通过对红外图像进行触控笔模型匹配，若模型匹配成功，确定操作体为触控笔，确定出触控笔在的红外图像中对应的第二区域即ROI区域；同时，电子设备也可以通过对红外图像进行手指模型匹配，若手指模型匹配成功，确定操作体为手部，确定出手部的指尖在红外图像中对应的ROI区域。电子设备在获得红外图像中的ROI区域后，进一步执行S103。

在S103中，电子设备对第二区域进行深度回复处理，具体可以利用结构光进行深度恢复，获得第二区域的第二区域深度图像。需要说明的是，本申请实施例并不限定利用条状结构光进行深度恢复的具体方法，可以任意使用单线结构光法、多线结构光法、多条纹结构光法等方法进行深度恢复获得深度图像。

在具体实施过程中，当操作体为用户手指时，电子设备对红外图像进行处理时，由于深度图像中有用的数据集中在用户指尖周边区域，所以电子设备具体可以对红外图像进行指尖识别，获得用户手部的指尖在红外图像中的位置坐标，随后基于该位置坐标，从第一区域中确定出第二区域。

电子设备对红外图像进行指尖识别时，可以先对红外图像进行前后景分割获得前景分割图像，例如：根据红外图像中手部区域与背景中其他景物的热度不同，将热度接近手指的图像分割出来，使得指尖识别只在前景分割图像(感兴趣的区域)运行，从而进一步减少计算量和提高检测的准确度。为此，从获得的前景分割图像中提取用户手部的手部边缘特征，在提取到的手部边缘特征中进行手指尖边缘特征匹配，以获得手指尖在红外图像中的位置坐标。

电子设备进行指尖识别获得的位置坐标可能为1个，也可能大于等于2。在指尖的位置坐标的数量为1时，电子设备从第一区域中确定出第二区域时，具体可以从第一区域中确定出与该位置坐标间的距离小于预定阈值距离的至少一个点，由该至少一个点构成第二区域，其中预定阈值距离可以由技术人员根据不同的场景进行设定，如预定阈值距离可以设置为128个像素点，第二区域可以确定为以指尖位置坐标为中心、一个128*128像素点窗口。

在指尖位置坐标的数量大于等于2时，电子设备根据该至少两个位置坐标，从第一区域中确定出第二区域时，可以先获得相邻两个位置坐标之间的最大距离值，并确定出大于最大距离阈值的预定阈值距离；然后，从第一区域中确定出与各个位置坐标间的距离小于预定阈值距离的至少一个点，由该至少一个点构成第二区域，使得确定出的第二区域为包含所有的位置坐标的连通区域。例如：获得的位置坐标数量为2，两个位置坐标之间间隔80个像素点，那么电子设备则需要确定出大于80个像素点距离的预定阈值距离如100个像素点，那么电子设备确定出包含该两个位置坐标的100*280个像素点的窗口为第二区域。

请参考图2，下面通过一个具体实例，对本申请实施例提供的图像深度恢复方法进行举例说明：

首先，假设用户手部在电子设备的触控显示单元上进行一触控操作，电子设备通过红外图像采集单元采集获得用户手部在触控显示单元上触控操作的一红外图像，如图2中的(a)所示。接着，电子设备对获得的红外图像进行前后景分割获得前景分割图像，并在前景分割图像中提取手部边缘特征，如图2中的(b)所示。然后，进一步在手部边缘特征中进行手指尖边缘特征匹配，以获得手指尖在所述红外图像中的位置坐标如(80,100)。紧接着，指尖位置坐标(80,100)为中心，获得与(80,100)之间距离小于预定阈值距离128个像素点的至少一个点，由该至少一个点确定出第二区域，如以(80,100)为中心128*128个像素点构成的一个窗口区域确定为第二区域，如图2中的(c)所示。最后，电子设备对确定出的第二区域进行深度恢复处理获得第二区域的第二区域深度图像。为此，电子设备只需要针对第二区域即ROI进行深度恢复，ROI对整幅图像来说是占据比较小的比例，所以相对恢复整幅图像的深度，只对ROI的深度恢复将会明显的降低深度算法的复杂度和运算量，特别是针对运动场景ROI深度恢复能够明显加快电子设备进行深度恢复时的恢复速率，并且不会影响深度恢复精度。

在上述实施例中，电子设备通过红外图像采集单元采集获得包含操作体所在第一区域的红外图像，并处理获得该红外图像中操作体所对应的第二区域，即第一区域中包含操作体的局部图像对应的区域，然后对该第二区域进行深度恢复获得第二区域深度图像，从而避免了对整个红外图像进行深度恢复，减少了深度恢复的复杂度和计算量，进而解决了有技术中图像深度恢复存在的恢复速率较慢的技术问题，提高了深度恢复的速率。

进一步的，电子设备还对红外图像进行指尖识别，获得用户之间在红外图像中的位置坐标，根据该位置坐标获得第二区域即用户感兴趣的区域，对用户感兴趣的区域图像进行深度恢复，保证了深度恢复得到的深度图像是对用户有用的图像，提高了深度图像的利用率。

实施例2

请参考图3，本申请实施例提供一种电子设备，该电子设备包括：

红外图像采集单元301，用于在第一区域中有一操作体进行第一操作时，采集获得包含所述第一区域的红外图像；

图像处理单元302，用于对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

深度恢复单元303，用于对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

在具体实施过程中，所述图像处理单元302，具体用于：对所述红外图像进行指尖识别，获得用户手部的手指尖在所述红外图像中的位置坐标；基于所述位置坐标，从所述第一区域中确定出所述第二区域。

在具体实施过程中，当所述位置坐标的数量为1时，所述图像处理单元302具体用于：从所述第一区域中确定出与所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

在具体实施过程中，当所述位置坐标的数量大于等于2时，所述图像处理单元302具体用于：获得相邻两个所述位置坐标之间的最大距离值，确定出大于最大距离阈值的预定阈值距离；从所述第一区域中确定出与各个所述位置坐标间的小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

在具体实施过程中，所述图像处理单元302具体用于：对所述红外图像进行前后景分割获得前景分割图像；从所述前景分割图像提取所述用户手部的手部边缘特征，在所述手部边缘特征中进行手指尖边缘特征匹配，以获得所述手指尖在所述红外图像中的位置坐标。

本实施例中提供的电子设备与实施例一中提供的图像深度恢复的方法，是基于同一发明构思下的两个方面，在前面已经对方法的实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚的了解本实施例中的电子设备的结构及实施过程，为了说明书的简洁，在此就不再赘述了。

通过本申请实施例中的一个或多个技术方案，可以实现如下一个或多个技术效果：

1、电子设备通过红外图像采集单元采集获得包含操作体所在第一区域的红外图像，并处理获得该红外图像中操作体所对应的第二区域，即第一区域中包含操作体的局部图像对应的区域，然后对该第二区域进行深度恢复获得第二区域深度图像，从而避免了对整个红外图像进行深度恢复，减少了深度恢复的复杂度和计算量，进而解决了有技术中图像深度恢复存在的恢复速率较慢的技术问题，提高了深度恢复的速率。

2、由于电子设备对红外图像进行指尖识别，获得用户之间在红外图像中的位置坐标，根据该位置坐标获得第二区域即用户感兴趣的区域，对用户感兴趣的区域图像进行深度恢复，保证了深度恢复得到的深度图像是对用户有用的图像，提高了深度图像的利用率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

具体来讲，本申请实施例中的图像深度恢复的方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与图像深度恢复的方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

当在第一区域中有一操作体进行第一操作时，通过所述红外图像采集单元采集获得包含所述第一区域的红外图像；

对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

可选的，当所述操作体为用户手指时，所述对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，具体包括：对所述红外图像进行指尖识别，获得用户手部的手指尖在所述红外图像中的位置坐标；基于所述位置坐标，从所述第一区域中确定出所述第二区域。

可选的，当所述位置坐标的数量为1时，所述基于所述位置坐标，从所述第一区域中确定出所述第二区域，具体为：从所述第一区域中确定出与所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

可选的，当所述位置坐标的数量大于等于2时，所述获得所述第一区域中与所述位置坐标的距离小于设定阈值的所述第二区域，具体包括：获得相邻两个所述位置坐标之间的最大距离值，确定出大于最大距离阈值的预定阈值距离；从所述第一区域中确定出与各个所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

可选的，所述对所述红外图像进行指尖识别，获得所述用户手部的手指尖在所述红外图像中的位置坐标，具体包括：对所述红外图像进行前后景分割获得前景分割图像；从所述前景分割图像提取所述用户手部的手部边缘特征，在所述手部边缘特征中进行手指尖边缘特征匹配，以获得所述手指尖在所述红外图像中的位置坐标。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像深度恢复的方法，应用于一电子设备，所述电子设备包含一红外图像采集单元，所述方法包括：

当在第一区域中有一操作体进行第一操作时，通过所述红外图像采集单元采集获得包含所述第一区域的红外图像；

对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

2.如权利要求1所述的方法，其特征在于，当所述操作体为用户手指时，所述对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，具体包括：

对所述红外图像进行指尖识别，获得用户手部的手指尖在所述红外图像中的位置坐标；

基于所述位置坐标，从所述第一区域中确定出所述第二区域。

3.如权利要求2所述的方法，其特征在于，当所述位置坐标的数量为1时，所述基于所述位置坐标，从所述第一区域中确定出所述第二区域，具体为：

从所述第一区域中确定出与所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

4.如权利要求2所述的方法，其特征在于，当所述位置坐标的数量大于等于2时，所述获得所述第一区域中与所述位置坐标的距离小于设定阈值的所述第二区域，具体包括：

获得相邻两个所述位置坐标之间的最大距离值，确定出大于所述最大距离阈值的预定阈值距离；

从所述第一区域中确定出与各个所述位置坐标间的距离大于小于所述预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

5.如权利要求2所述的方法，其特征在于，所述对所述红外图像进行指尖识别，获得所述用户手部的手指尖在所述红外图像中的位置坐标，具体包括：

对所述红外图像进行前后景分割获得前景分割图像；

从所述前景分割图像提取所述用户手部的手部边缘特征，在所述手部边缘特征中进行手指尖边缘特征匹配，以获得所述手指尖在所述红外图像中的位置坐标。

6.一种电子设备，包括：

红外图像采集单元，用于在第一区域中有一操作体进行第一操作时，采集获得包含所述第一区域的红外图像；

图像处理单元，用于对所述红外图像进行处理，从所述第一区域中确定出与所述操作体对应的第二区域，所述第二区域的面积小于所述第一区域的面积；

深度恢复单元，用于对所述第二区域进行深度恢复处理，获得所述第二区域的第二区域深度图像。

7.如权利要求6所述的电子设备，其特征在于，所述图像处理单元，具体用于：

对所述红外图像进行指尖识别，获得用户手部的手指尖在所述红外图像中的位置坐标；

基于所述位置坐标，从所述第一区域中确定出所述第二区域。

8.如权利要求7所述的电子设备，其特征在于，当所述位置坐标的数量为1时，所述图像处理单元具体用于：

从所述第一区域中确定出与所述位置坐标间的距离小于预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

9.如权利要求7所述的电子设备，其特征在于，当所述位置坐标的数量大于等于2时，所述图像处理单元具体用于：

获得相邻两个所述位置坐标之间的最大距离值，确定出大于所述最大距离阈值的预定阈值距离；

从所述第一区域中确定出与各个所述位置坐标间的距离大于小于所述预定阈值距离的至少一个点，由所述至少一个点构成所述第二区域。

10.如权利要求7所述的电子设备，其特征在于，所述图像处理单元具体用于：

对所述红外图像进行前后景分割获得前景分割图像；

从所述前景分割图像提取所述用户手部的手部边缘特征，在所述手部边缘特征中进行手指尖边缘特征匹配，以获得所述手指尖在所述红外图像中的位置坐标。