CN110278356A - 智能相机设备和信息处理方法、信息处理设备及介质 - Google Patents

Abstract

本发明公开了智能相机设备和信息处理方法、信息处理设备及介质。该智能相机设备包括：各自被配置用于拍摄对象的红外影像帧的两个红外传感器；被配置用于为所述两个红外传感器增强红外光线并且为拍摄对象投射具有预设图案的红外光线的投射器；被配置用于基于所述两个红外传感器获得的红外影像帧，计算对象的深度信息的深度计算模块。通过使用投射器来增强红外光线，能够获取高精度的深度信息。

Description

智能相机设备和信息处理方法、信息处理设备及介质

技术领域

本发明涉及人工智能领域，尤其涉及智能相机设备和信息处理方法、信息处理设备及介质。

背景技术

随着人工智能AI技术的兴起，结合AI的智能方法和硬件设备成为可能，如其中集成了可用于人脸识别、人脸解锁、人脸支付等等方面的活体检测功能、可用于虚拟现实、医疗影像、视频监控等等方面的三维重建功能的各种设备以及相应的方法。其中，影响这种设备和方法的性能的一个重要的因素是可用于活体检测与三维重建的深度图的精度。

在现有技术中，一般通过RGB传感器与红外(IR)传感器的设备组合来获取深度图，但是这种方案的缺陷在于：在正常的光线条件下，如果帧间移动变化小，由于深度图计算算法的限制，导致深度信息的精度不足，例如当人物静止在传感器设备前时，所获得的深度信息的误差较大。

因此，亟需一种能够提高可用于活体检测和三维重建的深度信息的精度的技术方案。

发明内容

为了解决以上问题之一，本发明提供了一种智能相机设备和信息处理方法、信息处理设备及介质，以能够提高可用于活体检测和三维重建的深度信息的精度。

根据本发明的一个实施例，提供一种一种智能相机设备，该设备包括：各自被配置用于拍摄对象的红外影像帧的两个红外传感器；被配置用于为所述两个红外传感器增强红外光线并且为所述对象投射具有预设图案的红外光线的投射器；被配置用于基于所述两个红外传感器获得的红外影像帧，计算对象的深度信息的深度计算模块。

根据本发明的一个实施例，提供一种信息处理方法，该方法包括：通过在红外光线增强条件下，通过拍摄获得对象的两路红外影像帧，其中，增强的红外光线带有预设图案并投射到所述对象上；基于获得的所述两路红外影像帧，计算对象的深度信息。

根据本发明的再一个实施例，提供一种信息处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。

根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。

本发明中，除了使用IR传感器，还添加了用于补充红外光线并且为拍摄的红外影像帧投射预设图案以增加红外影像帧上的特征点的投射器 (projector)，由此使得能够获取高精度的深度信息。

而且，在本发明中，通过使用区域检测算法来检测出感兴趣区域(ROI)，基于感兴趣区域，通过使用深度图计算算法来计算深度信息，减少了深度图计算算法的计算量，从而提高了深度信息的帧率。

在本发明中，实现了将高精度的深度计算、活体检测、三维重建等功能集成在智能相机设备内部，由此为相机设备提供了精度更高的影像处理功能，以及提供更高精度的活体检测和三维重建功能，从而，使得相机设备的功能更丰富和完善。可直接从相机设备输出高精度结果，而且可提高整个过程的安全性。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1示出了根据本发明的一个示例性实施例的系统框架图。

图2示出了根据本发明的一个示例性实施例的智能相机设备的示意性框图。

图3示出了根据本发明的信息处理方法中的一个例示性的深度信息获取方法的示意性流程图。

图4示出了根据本发明的信息处理方法中的一个例示性的活体检测方法的示意性流程图。

图5示出了根据本发明的信息处理方法中的一个例示性的三维重建方法的示意性流程图。

图6给出了根据本发明的一个示例性实施例的信息处理设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

如上所述，由于现有技术中一般通过RGB传感器与红外(IR)传感器的设备组合来获取深度图，但是这种方案在正常的光线条件下，容易导致深度信息的精度不足。因此，本发明提出了能够提高深度信息的精度的技术方案。

在本发明中，除了使用用于拍摄红外影像帧的IR传感器，还使用了投射器(projector)，用于增强红外光线，由此解决现有技术由于光线不足导致的深度信息的精度不够的问题，从而能够获取高精度的深度信息。

而且，投射器还可以带有预设图案，例如点状(散斑)或者条状图案等等，以便为拍摄的红外影像帧增加特征点，从而提高获取的深度信息的精度。

这里，投射器将预设的特定图案(无论散斑图案还是带状图案等等) 投射到被拍摄对象上之后，得到的每个红外影像帧上面都有很多预设图案，例如如果投射的是散斑图案，则在得到的每个红外影像帧上面都有很多散斑图案，每一个红外影像帧上面的这些散斑图案之间可能都有细微的差异，这些细微的差别能够被深度计算算法捕捉到，由此可以给得到的每一个红外影像帧上增加特征点。尤其对于得到的某些过于平淡的红外影像帧(比如上面的色彩或纹理等信息不够丰富的红外影像帧)，本身由于信息不够丰富，导致特征点不够多，那么通过投射器投射在对象上的预设图案反映在得到的每一个红外影像帧上的每一个图案之间的细微差别，能够给红外影像帧增加足够的特征点，从而能够为深度计算算法提供充分的计算数据支持。

另外，相比较而言，散斑图案对于深度计算算法的支持效果较好，不过散斑图案的投射器较为昂贵，而条状图案较便宜，对于深度计算算法的支持效果不如散斑图案。但是，请注意，投射散斑图案和条状图案都能够提升深度计算算法的精度。

另外，在现有技术中，由于深度图计算算法的复杂度高，导致计算速度慢，从而使得帧率(以帧为单位的位图图像连续出现在显示器上的频率或速率)下降。在本发明中，通过使用区域检测算法来检测出感兴趣区域 (ROI)，基于感兴趣区域，使用深度图计算算法来计算深度信息，由于深度图计算算法是仅针对感兴趣区域而不是像现有技术那样针对整个拍摄图像进行计算的，因此缩小了计算的范围，减少了深度图计算算法的计算量，从而提高了深度信息的帧率。

下面，将参照附图，对本发明的具体实施方式进行详细的说明。

图1示出了根据本发明的一个示例性实施例的系统框架图。

在图1所示的系统框架图中，底层包括：两个红外传感器101和102，用于拍摄得到对象的红外影像帧；一个RGB传感器103，用于读取或者探测对象的颜色信息；以及一个投射器104，用于发射带有图案(pattern) 的红外光，发射的红外光提供给红外传感器，增强环境光线，以弥补光线不足的问题。通过上述的红外传感器和投射器，能够提供带有图案的红外影像帧。

这里，上述的红外传感器和RGB传感器都可以使用常规可用的那些。

关于投射器，如上所述，其用于发射带有图案的红外光提供给红外传感器，其图案例如可以是点状、条状等。请注意，其它的能够发射带有图案的红外光的投射器也是可以的。

另外，为了更方便地拍摄对象和补光，可以优选地在两个红外传感器 101、102之间设置投射器104，RGB传感器103的位置可以没有特别的要求，只要能探测到对象的颜色信息即可。因此，图1示出的四个硬件设备的位置只是示例性的，本发明的保护范围不应被局限于此。

再优选地，可以使红外传感器101、102与投射器104、以及RGB传感器103都统一水平放置。

在底层硬件设备之上的中间层，用于提供区域检测算法(例如haar cascade之类的区域检测算法)和深度图计算算法(例如双目视觉算法之类的深度图计算算法)。

在中间层之上的应用层，可以利用在中间层所产生的深度图以及传感器的红外影像帧来实现各种应用，如基于深度图的活体检测和三维重建、以及人脸识别、人脸解锁、人脸支付、虚拟现实、医疗影像、视频监控等等。

在介绍了本发明的系统框架图之后，将具体介绍本发明的三维重建和活体检测方法。

图2示出了根据本发明的一个示例性实施例的智能相机设备的示意性框图。

如图2所示，智能相机设备100可以包括用于拍摄对象的红外影像帧的两个红外传感器101和102、用于为两个红外传感器增强红外光线并且为被拍摄对象投射预设图案以便为拍摄到的红外影像帧增加特征点的投射器104、用于基于两个红外传感器获得的红外影像帧来计算对象的深度信息的深度计算模块106。

这里，深度计算模块106可以基于两个红外传感器101和102所获得的红外影像帧，使用例如双目视觉算法之类的深度图计算算法，来计算对象的深度信息。

在本发明的实施例中，除了使用两个IR传感器，还使用了投射器 (projector)，用于增强红外光线，由此解决了现有技术由于光线不足导致的深度信息的精度不够的问题，从而能够获取高精度的深度信息。

另外，可选地，上述的智能相机设备100还可以包括用于基于两个红外传感器之一获得的对象的红外影像帧来检测该红外影像帧中的感兴趣区域的区域检测模块105。

在这种情况下，深度计算模块106可以针对区域检测模块105检测出的感兴趣区域，基于两个红外传感器获得的红外影像帧来计算感兴趣区域相关的深度信息。

其中，区域检测模块105可以基于例如haar cascade之类的区域检测算法来基于两个红外传感器101和102之中第一个所获得的对象的红外影像帧来检测所拍摄的红外影像帧中的感兴趣区域。

这里，感兴趣区域可以指关注的区域，比如对于拍摄的人的图像而言，可能感兴趣区域是人脸区域。再例如，对于商品而言，可能感兴趣区域是价格标签所在的区域。

另外，针对区域检测模块105检测出的感兴趣区域，深度计算模块106 基于两个红外传感器101和102所获得的红外影像帧，使用例如双目视觉算法之类的深度图计算算法，来计算感兴趣区域相关的深度信息。

这里，将举例说明如何进行深度计算。

例如，对于检测出的一个感兴趣区域，可基于一个红外传感器得到的红外影像帧中的该感兴趣区域上的每个点(例如可以是特征点)与另一个红外传感器得到的红外影像帧中的该感兴趣区域上的与该点对应的点(可称为“对应点”或者“匹配点”)之间的位置差，计算这个点的深度信息。由此得到该感兴趣上的例如所有特征点的深度信息。

由此，在本发明的实施例中，通过区域检测模块105检测出感兴趣区域，并且通过深度计算模块106基于感兴趣区域来计算出深度信息，由于本发明中是仅针对感兴趣区域而不是像现有技术那样针对整个拍摄图像进行计算的，因此缩小了计算的范围，减少了深度图计算算法的计算量，从而提高了深度信息的帧率。

而且，感兴趣区域中也有投射器投射的光线图案形成的特征点，由此也提高了深度信息的精度。

另外，如图2所示，智能相机设备100还可以包括活体检测模块107。

其中，活体检测模块107基于深度信息获取模块106获取的对象的深度信息，进行活体检测。

这里，由于使用了通过深度信息获取模块获取的高精度的深度信息，因此，能够得到更准确的活体检测结果。

另外，如图2所示，智能相机设备100还可以包括RGB传感器103、三维重建模块108。

其中，如上所述，RGB传感器103用于获取对象的颜色信息(例如 RGB图)。

并且，三维重建模块108基于深度信息获取装置106获取的对象的深度信息，以及RGB传感器103获取的对象的颜色信息，进行三维重建。

这里，三维重建模块108基于上述获得的深度信息和RGB图，利用三维重建算法(例如泊松重建算法等)来进行对象的三维重建。

这里，由于使用了通过深度信息获取装置106获取的高精度的深度信息，因此，能够得到更准确的三维重建结果。

图3示出了根据本发明的信息处理方法中的一个例示性的深度信息获取方法的示意性流程图。

如图3所示，在步骤S110，在红外光线增强条件下，拍摄获得对象的两路红外影像帧，其中，增强的红外光线带有预设图案。

在步骤S130，基于获得的两路红外影像帧，计算对象的深度信息。

如前所述，在本发明的实施例中，可以通过红外光线增强并且使得增强的红外光线带有预设图案(利用通过使用上述的投射器104)，能够提高深度信息的精度。

另外，可选地，如图3所示，该信息处理方法还可以包括步骤S120，

该步骤在红外影像获得步骤S110之后并且在深度信息计算步骤S130 之前，用于基于获得的两路红外影像帧中的一路红外影像帧，检测感兴趣区域。

然后，在步骤S130计算深度信息时，针对检测出的感兴趣区域，基于获得的上述两路红外影像帧，计算感兴趣区域相关的深度信息。

其中，可以基于例如haar cascade之类的区域检测算法来基于从对象探测所获得的其中一路红外影像帧来检测所拍摄的红外影像帧中的感兴趣区域。

其中，检测感兴趣区域的方法为判断感兴趣区域是否有效。

更具体地，在步骤S120，可以针对检测出的感兴趣区域，使用例如双目视觉算法之类的深度图计算算法，基于获得的红外影像帧来计算感兴趣区域相关的深度信息。

由此，在本发明的实施例中，可以通过先检测出感兴趣区域，并且基于感兴趣区域来计算出深度信息，由于本发明中是仅针对感兴趣区域而不是像现有技术那样针对整个拍摄图像进行计算的，因此缩小了计算的范围，减少了深度图计算算法的计算量，从而提高了深度信息的帧率。

图4示出了根据本发明的信息处理方法中的一个例示性的活体检测方法的示意性流程图。

如图4所述，在步骤S210，基于上述的深度获取方法获得的深度信息，进行活体检测。

这里，由于使用了通过上述的深度获取方法获得的高精度的深度信息，所以能够提高活体检测的准确度。

图5示出了根据本发明的信息处理方法中的一个例示性的三维重建方法的示意性流程图。

如图5所述，在步骤S310，基于上述的深度获取方法获得的深度信息以及通过对象探测获得的颜色信息，进行对象的三维重建。

这里，由于使用了通过上述的深度获取方法获得的高精度的深度信息，所以能够提高三维重建的准确度。

请注意，本发明的实施例可以实现为集成了可用于人脸识别、人脸解锁、人脸支付等等方面的活体检测功能，可用于虚拟现实、医疗影像、视频监控等等方面的三维重建功能的各种设备以及相应的方法。

在本发明中，实现了将高精度的深度计算、活体检测、三维重建等功能集成在智能相机设备内部，由此为相机设备提供了精度更高的影像处理功能，以及提供更高精度的活体检测和三维重建功能，从而，使得相机设备的功能更丰富和完善。而现有技术中，相机设备仅用于采集影像，而深度计算、活体检测、三维重建等功能均需要在上位机或者服务器上才能实现。由此可见，本发明的整个处理和执行过程均独立于上位机，可直接从相机设备输出高精度结果，而且可提高整个过程的安全性。

图6给出了根据本发明的一个示例性实施例的信息处理设备的示意性框图。

参见图6，该信息处理设备1包括存储器10和处理器20。

处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器10上存储有可执行代码，当所述可执行代码被所述处理器20 执行时，使所述处理器20执行上面描述的方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/ 或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘 (例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种智能相机设备，其特征在于，该设备包括：

各自被配置用于拍摄对象的红外影像帧的两个红外传感器；

被配置用于为所述两个红外传感器增强红外光线并且为所述对象投射具有预设图案的红外光线的投射器；

被配置用于基于所述两个红外传感器获得的红外影像帧，计算对象的深度信息的深度计算模块。

2.如权利要求1所述的智能相机设备，其特征在于，该设备还包括：

被配置用于检测所述两个红外传感器之一获得的对象的红外影像帧中的感兴趣区域的区域检测模块；

其中，所述深度计算模块针对所述区域检测模块检测出的感兴趣区域，基于所述两个红外传感器获得的红外影像帧中的、位于所述感兴趣区域上的对应点之间的位置差，计算感兴趣区域相关的深度信息。

3.如权利要求1所述的智能相机设备，其特征在于，该设备还包括：

活体检测模块，被配置用于基于所述智能相机设备所获取的对象的深度信息，进行活体检测。

4.如权利要求1所述的智能相机设备，其特征在于，该设备还包括：

RGB传感器，被配置用于获取对象的颜色信息；

三维重建模块，被配置用于基于所述智能相机设备所获取的对象的深度信息以及所述RGB传感器所获取的对象的颜色信息，进行对象的三维重建。

5.如权利要求1～4中的任意一项所述的智能相机设备，其特征在于，所述预设图案包括：条纹或者散斑，

其中，通过投射器投射在所述对象上的预设图案反映在得到的每一个红外影像帧上的多个图案之间的差异，增加拍摄的红外图像帧上的特征点。

6.一种信息处理方法，其特征在于，该方法包括：

在红外光线增强条件下，通过拍摄获得对象的两路红外影像帧，其中，增强的红外光线带有预设图案并投射到所述对象上；

基于获得的所述两路红外影像帧，计算对象的深度信息。

7.如权利要求6所述的信息处理方法，其特征在于，该方法包括：

在获得两路红外影像帧之后并且在深度信息计算之前，基于获得的所述两路红外影像帧中的一路红外影像帧，检测感兴趣区域，

其中，在计算深度信息时，针对检测出的所述感兴趣区域，基于获得的所述两路红外影像帧中的、位于所述感兴趣区域上的对应点之间的位置差，计算感兴趣区域相关的深度信息。

8.如权利要求6～7中的任意一项所述的信息处理方法，其特征在于，该方法还包括：

使用对象的所述深度信息，进行活体检测。

9.如权利要求6～7中的任意一项所述的信息处理方法，其特征在于，该方法还包括：

使用对象的所述深度信息、以及通过颜色探测所获取的对象的颜色信息，进行对象的三维重建。

10.一种信息处理设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求6～9中任何一项所述的方法。

11.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求6～9中任何一项所述的方法。