CN111757086A

CN111757086A - 有源双目相机、rgb-d图像确定方法及装置

Info

Publication number: CN111757086A
Application number: CN201910245160.5A
Authority: CN
Inventors: 覃骋
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2020-10-09

Abstract

本申请公开了一种有源双目相机、RGB‑D图像确定方法及装置，属于立体视觉领域。所述有源双目相机包括：第一成像系统、第二成像系统和红外散斑器。第一成像系统包括第一透光镜、分光元器件、第一红外光传感器和可见光传感器，第一成像系统用于获取第一红外光图像和可见光图像。第二成像系统包括第二透光镜和第二红外光传感器，第二成像系统用于获取第二红外光图像。红外散斑器的投射范围至少覆盖第一成像系统的拍摄范围和第二成像系统的拍摄范围。由于第一红外光图像与可见光图像均由第一成像系统获取，所以第一红外光图像的视点与可见光图像的视点相同，从而使得确定出的RGB‑D图像中的像素点的深度信息更加完整，准确性更高。

Description

有源双目相机、RGB-D图像确定方法及装置

技术领域

本申请涉及立体视觉领域，特别涉及一种有源双目相机、RGB-D(Red Green Blue-Depth，红绿蓝-深度)图像确定方法及装置。

背景技术

RGB色彩模式通过对红、绿、蓝三种颜色的变化，以及这三种颜色之间的相互叠加可以得到人眼所能感知的几乎所有颜色。RGB图像即是可以包括人眼能够感知的几乎所有颜色的图像，也可以称作是包含可见光信息的可见光图像。RGB-D图像是包含可见光信息和深度信息的图像。其中，深度信息可以表示实物点与成像平面之间的距离。

相关技术中提供了一种基于有源三目相机确定RGB-D图像的方法，该有源三目相机包括两个红外光成像系统、一个可见光成像系统和一个红外散斑器。当确定RGB-D图像时，可以通过红外散斑器向拍摄场景中投射红外散斑，然后通过两个红外光成像系统和可见光成像系统在同一时刻获取拍摄场景的两张红外光图像和一张可见光图像。根据这两张红外光图像可以确定出视差图像，然后根据该视差图像，再确定出可见光图像中的像素点的深度信息。由于可见光图像包含像素点的可见光信息，因此在确定可见光图像中的像素点的深度信息之后，也即可以确定出包含可见光信息和深度信息的RGB-D图像。

然而，由于上述有源三目相机中的两个红外光成像系统与可见光成像系统的视点不相同，因此可能存在可见光成像系统的部分拍摄范围与两个红外光成像系统的拍摄范围都不存在交叠。这种情况下，在同一时刻获取的可见光图像中的部分像素点无法根据视差图像确定出深度信息，从而导致确定出来的RGB-D图像中的部分像素点的深度信息缺失，使得RGB-D图像的准确性较低。

发明内容

本申请实施例提供了一种有源双目相机、RGB-D图像确定方法及装置，可以解决相关技术中因可见光成像系统的部分拍摄范围与两个红外光成像系统的拍摄范围都不存在交叠，从而导致确定出来的RGB-D图像中的部分像素点的深度信息缺失，使得RGB-D图像的准确性较低的问题。所述技术方案如下：

第一方面，提供了一种有源双目相机，所述有源双目相机包括：第一成像系统、第二成像系统和红外散斑器；

所述第一成像系统包括第一透光镜、分光元器件、第一红外光传感器和可见光传感器，所述分光元器件位于所述第一透光镜的出光侧，所述第一红外光传感器位于所述分光元器件的红外光出光侧，所述可见光传感器位于所述分光元器件的可见光出光侧，所述第一成像系统用于获取第一红外光图像和可见光图像；

所述第二成像系统包括第二透光镜和第二红外光传感器，所述第二红外光传感器位于所述第二透光镜的出光侧，所述第一成像系统的拍摄范围和所述第二成像系统的拍摄范围存在交叠部分，所述第二成像系统用于获取第二红外光图像；

所述红外散斑器的投射范围至少覆盖所述第一成像系统的拍摄范围和所述第二成像系统的拍摄范围。

可选地，所述可见光传感器与所述分光元器件的分光平面之间的夹角为参考角度，所述参考角度位于30～60度的范围内。

第二方面，提供了一种基于上述第一方面提供的有源双目相机的确定红绿蓝深度RGB-D图像的方法，所述方法包括：

通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像；

根据所述第一红外光图像和所述第二红外光图像确定所述第一红外光图像对应的深度图像；

根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像；

将所述第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。

可选地，所述根据根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像，包括：

根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵；

根据所述变换矩阵和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像。

可选地，所述根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵，包括：

确定至少三个特征点对，每个特征点对中包括所述第一红外光图像和所述可见光图像中相匹配的两个特征点；

根据所述至少三个特征点对，确定参考变换矩阵；

根据所述参考变换矩阵、每个特征点对包括的所述第一红外光图像的特征点的像素坐标和所述可见光图像的特征点的像素坐标，构建至少三个重投影误差函数；

最小化所述至少三个重投影误差函数之和，以得到所述可见光图像投影到所述第一红外光图像上的变换矩阵。

可选地，所述通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像之后，所述方法还包括：

根据所述第一成像系统的畸变参数，对所述第一红外光图像进行校正；

根据所述第二成像系统的畸变参数，对所述第二红外光图像进行校正。

第三方面，提供了一种RGB-D图像确定装置，所述装置包括：

获取模块，用于通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像；

确定模块，用于根据所述第一红外光图像和所述第二红外光图像确定所述第一红外光图像对应的深度图像；

第一校正模块，用于根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像；

对准模块，用于将所述第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。

可选地，所述第一校正模块包括：

第一确定子模块，用于根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵；

第一校正子模块，用于根据所述变换矩阵和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像。

可选地，所述第一确定子模块包括：

第一确定单元，用于确定至少三个特征点对，每个特征点对中包括所述第一红外光图像和所述可见光图像中相匹配的两个特征点；

第二确定单元，用于根据所述至少三个特征点对，确定参考变换矩阵；

构建单元，用于根据所述参考变换矩阵、每个特征点对包括的所述第一红外光图像的特征点的像素坐标和所述可见光图像的特征点的像素坐标，构建至少三个重投影误差函数；

最小化运算单元，用于最小化所述至少三个重投影误差函数之和，以得到所述可见光图像投影到所述第一红外光图像上的变换矩阵。

可选地，所述装置还包括：

第二校正模块，用于根据所述第一成像系统的畸变参数，对所述第一红外光图像进行校正；

第三校正模块，用于根据所述第二成像系统的畸变参数，对所述第二红外光图像进行校正。

第四方面，提供了一种RGB-D图像确定装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述第二方面所述的任一项方法的步骤。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第二方面所述的任一项方法的步骤。

第六方面，提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面任一项所述方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

在本申请实施例中，可以先通过第一成像系统获取第一红外光图像和可见光图像，通过第二成像系统获取第二红外光图像。然后根据第一红外光图像和第二红外光图像确定第一红外光图像对应的深度图像。之后根据第一红外光图像和第一成像系统的畸变参数，对可见光图像进行校正，以得到校正后的可见光图像，即与第一红外光图像像素对齐的可见光图像。由于第一红外光图像与可见光图像均由第一成像系统获取，所以第一红外光图像的视点与可见光图像的视点相同，也即是第一红外光图像对应的深度图像的视点与可见光图像的视点相同。从而在对可见光图像进行校正后，将校正后的可见光图像中的像素点与第一红外光图像对应的深度图像中的像素点进行对准时可以实现一一对准。不会存在因第一红外光图像的视点与可见光图像的视点不同，而出现拍摄场景中的部分实物点在可见光图像的视点中能够成像到可见光图像中，却在第一红外光图像的视点中被其他物体遮挡而无法成像到第一红外光图像中，从而导致可见光图像中的部分像素点无法在第一红外光图像对应的深度图像中找到对应的像素点，进而导致最终得到的RGB-D图像中部分像素点的深度信息缺失。也即是，通过本申请实施例提供的RGB-D图像确定方法确定出的RGB-D图像中的像素点的深度信息更加完整，准确性更高。并且该RGB-D图像确定方法只需使用第一成像系统的畸变参数，使得确定RGB-D图像的过程更加简洁高效。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种有源双目相机的结构示意图。

图2是本申请实施例提供的一种实施环境的示意图。

图3是本申请实施例提供的一种RGB-D图像确定方法的流程图。

图4是本申请实施例提供的一种确定实物点的视差的示意图。

图5是本申请实施例提供的一种RGB-D图像确定装置框图。

图6是本申请实施例提供的一种RGB-D图像确定装置的结构示意图。

附图标记：

01：第一成像系统，02：第二成像系统，03：红外散斑器；

011：第一透光镜，012：分光元器件，013：第一红外光传感器，014：可见光传感器，021：第二透光镜，022：第二红外光传感器。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与本申请的一些方面相一致的装置和方法的例子。

图1是本申请实施例提供的一种有源双目相机的结构示意图，参见图1，该有源双目相机包括：第一成像系统01、第二成像系统02和红外散斑器03。第一成像系统01包括第一透光镜011、分光元器件012、第一红外光传感器013和可见光传感器014，分光元器件012位于第一透光镜011的出光侧，第一红外光传感器013位于分光元器件012的红外光出光侧，可见光传感器014位于分光元器件012的可见光出光侧，第一成像系统01用于获取第一红外光图像和可见光图像。第二成像系统02包括第二透光镜021和第二红外光传感器022，第二红外光传感器022位于第二透光镜021的出光侧，第一成像系统01的拍摄范围和第二成像系统02的拍摄范围存在交叠部分，第二成像系统02用于获取第二红外光图像。红外散斑器03的投射范围至少覆盖第一成像系统01的拍摄范围和第二成像系统02的拍摄范围。

需要说明的是，第一透光镜011是采用透明物质制成的表面为球面的光学元件，第一透光镜011可以透过全部波长范围内的光线，并聚焦到分光元器件上。第二透光镜021与第一透光镜011结构类似，此处不再赘述。第一透光镜011和第二透光镜021的材质和种类等均可以根据使用需求预先进行设置，本申请实施例对此不做具体限定。另外，由光学原理可知，光线可以根据波长的不同分为可见光、红外光和紫外光，分光元器件012可以从入射到分光元器件的分光平面上的光线中分离出可见光和红外光，且分离出的可见光和红外光通过不同的路径来传播。具体地，分光元器件012的分光平面可以透过入射光线中的红外光，并且可以反射入射光线中的可见光。分光元器件012可以为光学器件，例如分光元器件012可以为红外滤光器等；分光元器件012也可以为机械器件，例如分光元器件012可以为DLP(Digital Light Processing，数字光处理)等。实际应用中可以根据使用需求对分光元器件012进行设置，本申请实施例对此不做具体限定。

第一红外光传感器013可以位于分光元器件012的红外光出光侧的成像平面上，第一红外光传感器013可以将入射到其感光面上的红外光信号转换为与红外光信号成相应比例关系的电信号，该电信号经过转换可以得到第一红外光图像。可见光传感器014可以位于分光元器件012的可见光出光侧的成像平面上，可见光传感器014可以将入射到其感光面上的可见光信号转换为与可见光信号成相应比例关系的电信号，该电信号经过转换可以得到可见光图像。第二红外光传感器022可以将入射到其感光面上的红外光信号转换为与红外光信号成相应比例关系的电信号，该电信号经过转换可以得到第二红外光图像。综上，也即是，第一成像系统01可以获取第一红外光图像和可见光图像，第二成像系统02可以获取第二红外光图像。

红外散斑器03是用于向拍摄场景中投射红外散斑的器件，其中红外散斑可以增强拍摄场景的纹理丰富程度。由于红外散斑器03的投射范围至少覆盖第一成像系统01的拍摄范围和第二成像系统02的拍摄范围，因此红外散斑器03投射到拍摄场景中的红外散斑不仅可以通过第一透光镜011和分光元器件012入射到第一红外光传感器013上，以通过第一红外光传感器得到第一红外光图像，还可以通过第二透光镜021入射到第二红外光传感器022上，以通过第二红外光传感器得到第二红外光图像。

其中，为了可以使可见光传感器014获取可见光信号的效率更高，可见光传感器014与分光元器件012的分光平面之间的夹角为参考角度，参考角度可以预先进行设置，例如，参考角度可以位于30～60度的范围内。当然，参考角度也可以位于其他角度范围内，本申请实施例对此不做具体限定。

该有源双目相机确定RGB-D图像时，可以先通过第一成像系统01获取第一红外光图像和可见光图像，通过第二成像系统02获取第二红外光图像。然后根据获取的第一红外光图像和第二红外光图像确定第一红外光图像对应的深度图像。并根据第一红外光图像和第一成像系统01的畸变参数，对可见光图像进行校正，以得到校正后的可见光图像，也即是与第一红外光图像像素对齐的可见光图像。最后再将第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，即可得到RGB-D图像。

在本申请实施例中，有源双目相机包括第一成像系统01、第二成像系统02和红外散斑器03，结构组成较为简单。其中，第一成像系统01用于获取第一红外光图像和可见光图像，第二成像系统02用于获取第二红外光图像。该有源双目相机确定RGB-D图像时，先根据第一成像系统01获取的第一红外光图像和第二成像系统02获取的第二红外光图像，确定第一红外光图像对应的深度图像。由于第一红外光图像与可见光图像均由第一成像系统01获取，所以第一红外光图像的视点与可见光图像的视点相同，也即是第一红外光图像对应的深度图像的视点与可见光图像的视点相同。从而在对可见光图像进行校正后，将校正后的可见光图像中的像素点与第一红外光图像对应的深度图像中的像素点进行对准时可以实现一一对准。不会存在因第一红外光图像的视点与可见光图像的视点不同，而出现拍摄场景中的部分实物点在可见光图像的视点中能够成像到可见光图像中，却在第一红外光图像的视点中被其他物体遮挡而无法成像到第一红外光图像中，从而导致可见光图像中的部分像素点无法在第一红外光图像对应的深度图像中找到对应的像素点，进而导致最终得到的RGB-D图像中部分像素点的深度信息缺失。也即是本申请实施例提供的有源双目相机确定的RGB-D图像中的像素点的深度信息更加完整，准确性更高。并且该有源双目相机确定RGB-D图像的过程中只需使用第一成像系统的畸变参数，使得确定RGB-D图像的过程更加简洁高效。

基于上述对有源双目相机的描述，该有源双目相机可以先确定出第一红外光图像、可见光图像和第二红外光图像，然后再根据这三张图像确定出RGB-D图像。在一种可能的实现方式中，该有源双目相机在确定出第一红外光图像、可见光图像和第二红外光图像之后，还可以通过其他电子设备来确定RGB-D图像。其他电子设备可以为服务器等。接下来，以服务器为例，对基于如图2所示的实施环境进行说明。参见图2，该实施环境包括有源双目相机201和服务器202。有源双目相机201和服务器202之间通过网络连接。有源双目相机201与上述图1所示的实施例提供的有源双目相机结构类似，均包括第一成像系统、第二成像系统和红外散斑器(图中未示出)。第一成像系统、第二成像系统和红外散斑器可以参考上述图1所示的实施例中的相关描述，此处不再赘述。其中，服务器202是为有源双目相机201提供后台服务的服务器，可以为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务器中心，本申请实施例对此不做限定。本申请实施例中以一台服务器202举例说明。

第一成像系统和第二成像系统均可以拍摄图像或视频。当第一成像系统和

第二成像系统均可以拍摄图像时，第一成像系统可以获取第一红外光图像和可见光图像，第二成像系统可以获取第二红外光图像。有源双目相机201可以将第一红外光图像、可见光图像和第二红外光图像发送给服务器202。服务器202在接收到有源双目相机201发送的这三张图像之后，可以根据这三张图像确定RGB-D图像。当第一成像系统和第二成像系统均可以拍摄视频时，第一成像系统可以获取第一红外光视频和可见光视频，第二成像系统可以获取第二红外光视频。其中，第一红外光视频是由多帧第一红外光图像组成的视频，可见光视频是由多帧可见光图像组成的视频，第二红外光视频是由多帧第二红外光图像组成的视频。有源双目相机201可以根据第一红外光视频、可见光视频和第二红外光视频，确定同一时刻的第一红外光图像、可见光图像和第二红外光图像，并将这三张图像发送给服务器202。服务器202在接收到有源双目相机201发送的这三张图像之后，可以根据这三张图像确定RGB-D图像。

基于上述描述，确定RGB-D图像的执行主体可以是图1所示的实施例提供的有源双目相机，也可以是图2所示的实施环境中的服务器202。但是对于这两种执行主体中的任一执行主体，其确定RGB-D图像的方法都是相同的。接下来以基于上述图1所示的实施例提供的有源双目相机来对RGB-D图像确定方法进行说明。图3为本申请实施例提供的一种基于上述图1所示的实施例提供的有源双目相机确定RGB-D图像的方法的流程图。参见图3，该方法包括：

步骤301：通过第一成像系统获取第一红外光图像和可见光图像，通过第二成像系统获取第二红外光图像。

需要说明的是，由于第一红外光图像和可见光图像均由第一成像系统获取，所以第一红外光图像的视点与可见光图像的视点相同。第二红外光图像是由第二成像系统获取，由于第二成像系统与第一成像系统的空间位置不同，所以第二红外光图像的视点与第一红外光图像的视点不相同。因此，第二红外光图像与第一红外光图像之间存在视差。其中，视差是指从有一定距离的两个视点上观察同一实物点所产生的方向差异，也可以理解为，同一实物点在第一红外光图像上的位置与在第二红外光图像上的位置不相同。

可选地，在步骤301之后还可以根据第一成像系统的畸变参数，对第一红外光图像进行校正；根据第二成像系统的畸变参数，对第二红外光图像进行校正。

需要说明的是，由于第一成像系统包括的第一透光镜存在固有的镜头畸变，所以第一成像系统获取的第一红外光图像可能出现边缘区域失真。为了还原第一红外光图像的真实度，可以通过第一成像系统的畸变参数对第一红外光图像进行校正，得到校正后的第一红外光图像。其中，第一成像系统的畸变参数是通过对第一成像系统进行标定获得的用于表示第一透光镜的镜头畸变的参数。类似地，根据第二成像系统的畸变参数对第二红外光图像进行校正，可以得到校正后的第二红外光图像。

步骤302：根据第一红外光图像和第二红外光图像确定第一红外光图像对应的深度图像。

需要说明的是，步骤302中的第一红外光图像可以是上述根据第一成像系统的畸变参数进行校正得到的校正后的第一红外光图像，第二红外光图像可以是上述根据第二成像系统的畸变参数进行校正得到的校正后的第二红外光图像。当然，步骤302中的第一红外光图像也可以是没有根据第一成像系统的畸变参数进行校正得到的校正后的第一红外光图像，第二红外光图像也可以是没有根据第二成像系统的畸变参数进行校正得到的校正后的第二红外光图像。本申请实施例对此不做具体限定。

第一红外光图像对应的深度图像是包括第一红外光图像中的像素点的深度信息的图像。其中，像素点的深度信息可以是像素点的深度值，像素点的深度值可以理解为实物点沿投影方向上相对于像素点所在成像平面的距离。

根据上述步骤301可知，第一红外光图像和第二红外光图像之间存在视差，也即是同一实物点在第一红外光图像上的位置与在第二红外光图像上的位置不相同。根据视差可以确定出该实物点在第一红外光图像上的深度信息。具体地，以图4所示的场景为例进行说明，图4中的A表示第一红外光图像，B表示第二红外光图像，第一红外光图像与第二红光图像满足极线约束的条件。其中，极线约束条件可以是指对于同一实物点，该实物点在第一红外光图像中对应的像素点与在第二红外光图像中对应的像素点位于同一直线上，且该直线与第一红外光图像的像素坐标中的v轴以及与第二红外光图像的像素坐标中的v轴平行。实物点P在第一红外光图像中对应的像素点为P_l，P_l的坐标为(u_l，v)，实物点P在第二红外光图像中对应的像素点为P_r，P_r的坐标为(u_r，v)，那么实物点P在第一红外光图像中的深度值可以通过如下公式一来确定。

公式一：

其中，d为实物点P在第一红外光图像中的深度值，f为第一成像系统的焦距，b为第一成像系统与第二成像系统之间的基线距离，u_l为P_l在第一红外光图像中的u轴上的坐标，u_r为P_r在第二红外光图像中的u轴上的坐标，其中，f和b可以通过对第一成像系统和第二成像系统进行标定获得。

根据上述方法确定出第一红外光图像和第二红外光图像共同的实物点在第一红外光图像中的深度值之后，即可以确定出第一红外光图像对应的深度图像。

步骤303：根据第一红外光图像和第一成像系统的畸变参数，对可见光图像进行校正，以得到与第一红外光图像像素对齐的可见光图像。

其中，步骤303可以通过如下步骤(1)-步骤(2)来实现。

(1)：根据第一红外光图像和可见光图像，确定可见光图像投影到第一红外光图像上的变换矩阵。

需要说明的是，第一红外光传感器可以位于分光元器件的红外出光侧的成像平面上，第一红外光图像即是位于该成像平面上的图像。可见光传感器可以位于分光元器件的可见光出光侧的成像平面上，可见光图像即是位于该成像平面上的图像。由于第一红外光传感器与可见光传感器的空间位置不同，所以第一红外光图像的成像平面与可见光图像的成像平面的空间位置不同。可见光图像可以通过旋转、平移和缩放投影到第一红外光图像上，具体地，可见光图像可以通过旋转、平移和缩放投影到第一红外光图像所在的成像平面上，且与第一红外光图像在该成像平面上的空间位置相同，以使可见光图像与第一红外光图像对齐。换言之，该过程即是将可见光图像的像素坐标系通过旋转、平移和缩放变换为与第一红外光图像的像素坐标系空间位置相同的像素坐标系。这样的条件下，可见光图像中的像素点的像素坐标与第一红外光图像中的像素点的像素坐标可以由同一像素坐标系来确定，以此实现了可见光图像与第一红外光图像的对齐。变换矩阵即是可以将可见光图像投影到第一红外光图像上的矩阵。在一种可能的实现方式中，可见光图像中的像素点的像素坐标可以组成矩阵，将该矩阵与变换矩阵相乘，即可实现将可见光图像中的像素点转换到第一红外光图像的像素坐标系中，也即实现了将可见光图像投影到第一红外光图像上。

其中，步骤(1)可以通过如下步骤A-步骤D来实现。

步骤A：确定至少三个特征点对，每个特征点对中包括第一红外光图像和可见光图像中相匹配的两个特征点。

需要说明的是，特征点是指图像上的图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。第一红外光图像中的特征点和可见光图像中的特征点均可以通过ORB(Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法)、DAISY(一种特征点提取算法)和SIFT(Scale-invariant feature transform，尺度不变特征变换)等算法来确定。并且，在确定出第一红外光图像中的特征点和可见光图像中的特征点之后，还可以通过上述方法确定出第一红外光图像中的特征点和可见光图像中的特征点分别对应的描述子，其中，描述子用于描述特征点的属性，每个特征点对应唯一一个描述子。这样的条件下，可以将第一红外光图像中的特征点对应的描述子与可见光图像中的特征点对应的描述子进行对比，选择描述子相同或者相差在参考阈值范围内的两个特征点作为一个特征点对。参考阈值范围可以根据使用需求预先进行设置，本申请实施例对此不做具体限定。

步骤B：根据至少三个特征点对，确定参考变换矩阵。

需要说明的是，参考变换矩阵是可见光图像投影到第一红外光图像上的近似变换矩阵，参考变换矩阵可以通过RANSAC(Random Sample Consensus，随机抽样一致)算法等来确定。根据三个点可以确定一个平面的原理，根据至少三个特征点对，可以确定可见光图像投影到第一红外光图像上的参考变换矩阵。

步骤C：根据参考变换矩阵、每个特征点对包括的第一红外光图像的特征点的像素坐标和可见光图像的特征点的像素坐标，构建至少三个重投影误差函数。

在确定出参考变换矩阵之后，可以将任一特征点对包括的可见光图像中的特征点的像素坐标乘以参考变换矩阵，得到该特征点在第一红外光图像上对应的投影点。由于通常情况下，第一红外光传感器和可见光传感器会因为不可避免的光学误差，而使得任一特征点对包括的可见光图像的特征点投影到第一红外光图像上得到的投影点的像素坐标，与该特征点对包括的第一红外光图像的特征点的像素坐标不相同。也即，任一特征点对包括的可见光图像的特征点与该特征点对包括的第一红外光图像的特征点之间存在重投影误差。该重投影误差可以根据参考变换矩阵、每个特征点对包括的第一红外光图像的特征点的像素坐标和可见光图像的特征点的像素坐标所构建的重投影误差函数来表示。其中，不可避免的光学误差可以是第一红外光传感器的分辨率和可见光传感器的分辨率之间的差异、第一红外光传感器和可见光传感器在安装时存在光心偏移，或者第一红外光传感器的感光面和可见光传感器的感光面在安装时出现旋转等。下面通过举例的方式对重投影误差进行说明。

例如，可见光图像上的特征点有A1、A2和A3等，第一红外光图像上的特征点有B1、B2和B3等，且A1和B1是一个特征点对，A2和B2是一个特征点对，A3和B3是一个特征点对。根据参考变换矩阵可以将A1投影到第一红外光图像上，得到B1’这个投影点。由于第一红外光传感器和可见光传感器的不可避免的光学误差，使得B1’与B1不重叠，即B1’与B1之间存在一定的距离。也即是，A1与B1之间存在重投影误差，根据参考变换矩阵、B1的像素坐标和A1的像素坐标可以确定出一个重投影误差函数。类似地，对于A2和B2特征点对，A3和B3特征点对等其他特征点对，可以确定出其他特征点对所对应的重投影误差函数。

步骤D：最小化至少三个重投影误差函数之和，以得到可见光图像投影到第一红外光图像上的变换矩阵。

在一种可能的实现方式中，最小化至少三个重投影误差函数可以通过高斯-牛顿迭代算法来实现，本申请实施例对高斯-牛顿迭代算法不做详细阐述。

(2)：根据变换矩阵和第一成像系统的畸变参数，对可见光图像进行校正，以得到与第一红外光图像像素对齐的可见光图像。

根据变换矩阵可以将可见光图像投影到第一红外光图像上，实现可见光图像与第一红外光图像的对齐，即可见光图像中的像素点的像素坐标与第一红外光图像中的像素点的像素坐标由同一像素坐标系确定。但是由于第一成像系统包括的第一透光镜存在固有的镜头畸变，所以第一成像系统获取的可见光图像可能出现边缘区域失真。为了还原可见光图像的真实度，可以通过第一成像系统的畸变参数对可见光图像进行校正。具体地，可以将可见光图像中的像素点的像素坐标组成矩阵，然后将该矩阵与第一成像系统的畸变参数相乘，即可将可见光图像中的像素点的像素坐标进行校正，以此来实现对可见光图像的校正，得到校正后的可见光图像，即与第一红外光图像像素对齐的可见光图像。也即是，对于同一实物点在校正后的可见光图像中对应的像素点的像素坐标与在第一红外光图像中对应的像素点的像素坐标是相同的。

步骤304：将第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。

由于可见光图像是包含可见光信息的图像，并且校正后的可见光图像是与第一红外光图像像素对齐的可见光图像，因此将第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，可以确定出校正后的可见光图像中的像素点的深度信息。具体地，可以将第一红外光图像对应的深度图像和校正后的可见光图像中，所有具有相同像素坐标的像素点对进行对准，其中，任一像素点对包括第一红外光图像和可见光图像中的两个像素点。这样的条件下，任一像素点对包括的第一红外光图像中的像素点的深度信息，即是该像素点对包括的可见光图像中的像素点的深度信息。将所有具有相同像素坐标的像素点对进行对准后，也即确定出了校正后的可见光图像中的像素点的深度信息，从而可以得到包含可见光信息和深度信息的RGB-D图像。其中，RGB-D图像可以通过由代表红色的矩阵方程、代表绿色的矩阵方程、代表蓝色的矩阵方程和代表深度的矩阵方程来表示，当然也可以通过其他方式表示，本申请实施例对此不做具体限定。

图5是本申请实施例提供的一种RGB-D图像确定装置框图。参见图5，该装置包括：获取模块501、确定模块502、第一校正模块503和对准模块504。

获取模块501，用于通过第一成像系统获取第一红外光图像和可见光图像，通过第二成像系统获取第二红外光图像；

确定模块502，用于根据第一红外光图像和第二红外光图像确定第一红外光图像对应的深度图像；

第一校正模块503，用于根据第一红外光图像和第一成像系统的畸变参数，对该可见光图像进行校正，以得到与第一红外光图像像素对齐的可见光图像；

对准模块504，用于将第一红外光图像对应的深度图像中的像素点和校正后的可见光图像中的像素点进行一一对准，以得到RGB-D图像。

可选地，第一校正模块503包括：

第一确定子模块，用于根据第一红外光图像和该可见光图像，确定该可见光图像投影到第一红外光图像上的变换矩阵；

第一校正子模块，用于根据该变换矩阵和第一成像系统的畸变参数，对该可见光图像进行校正，以得到与第一红外光图像像素对齐的可见光图像。

可选地，第一确定子模块包括：

第一确定单元，用于确定至少三个特征点对，每个特征点对中包括第一红外光图像和该可见光图像中相匹配的两个特征点；

第二确定单元，用于根据该至少三个特征点对，确定参考变换矩阵；

构建单元，用于根据该参考变换矩阵、每个特征点对包括的第一红外光图像的特征点的像素坐标和该可见光图像的特征点的像素坐标，构建至少三个重投影误差函数；

最小化运算单元，用于最小化该至少三个重投影误差函数之和，以得到该可见光图像投影到第一红外光图像上的变换矩阵。

可选地，该装置还包括：

第二校正模块，用于根据第一成像系统的畸变参数，对第一红外光图像进行校正；

第三校正模块，用于根据第二成像系统的畸变参数，对第二红外光图像进行校正。

需要说明的是：上述实施例提供的RGB-D图像确定装置在确定RGB-D图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的RGB-D图像确定装置与RGB-D图像确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本发明实施例提供的一种RGB-D图像确定装置的结构示意图，该RGB-D图像确定装置600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由该处理器601加载并执行。当然，该RGB-D图像确定装置600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该RGB-D图像确定装置600还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由RGB-D图像确定装置中的处理器执行以完成上述实施例中RGB-D图像确定方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种有源双目相机，其特征在于，所述有源双目相机包括：第一成像系统(01)、第二成像系统(02)和红外散斑器(03)；

所述第一成像系统(01)包括第一透光镜(011)、分光元器件(012)、第一红外光传感器(013)和可见光传感器(014)，所述分光元器件(012)位于所述第一透光镜(011)的出光侧，所述第一红外光传感器(013)位于所述分光元器件(012)的红外光出光侧，所述可见光传感器(014)位于所述分光元器件(012)的可见光出光侧，所述第一成像系统(01)用于获取第一红外光图像和可见光图像；

所述第二成像系统(02)包括第二透光镜(021)和第二红外光传感器(022)，所述第二红外光传感器(022)位于所述第二透光镜(021)的出光侧，所述第一成像系统(01)的拍摄范围和所述第二成像系统(02)的拍摄范围存在交叠部分，所述第二成像系统(02)用于获取第二红外光图像；

所述红外散斑器(03)的投射范围至少覆盖所述第一成像系统(01)的拍摄范围和所述第二成像系统(02)的拍摄范围。

2.如权利要求1所述的有源双目相机，其特征在于，所述可见光传感器(014)与所述分光元器件(012)的分光平面之间的夹角为参考角度，所述参考角度位于30～60度的范围内。

3.一种基于权利要求1或2所述的有源双目相机确定红绿蓝深度RGB-D图像的方法，其特征在于，所述方法包括：

4.如权利要求3所述的方法，其特征在于，所述根据根据所述第一红外光图像和所述第一成像系统的畸变参数，对所述可见光图像进行校正，以得到与所述第一红外光图像像素对齐的可见光图像，包括：

5.如权利要求4所述的方法，其特征在于，所述根据所述第一红外光图像和所述可见光图像，确定所述可见光图像投影到所述第一红外光图像上的变换矩阵，包括：

根据所述至少三个特征点对，确定参考变换矩阵；

6.如权利要求3所述的方法，其特征在于，所述通过所述第一成像系统获取第一红外光图像和可见光图像，通过所述第二成像系统获取第二红外光图像之后，所述方法还包括：

7.一种RGB-D图像确定装置，其特征在于，所述装置包括：

8.如权利要求7所述的装置，其特征在于，所述第一校正模块包括：

9.如权利要求8所述的装置，其特征在于，所述第一确定子模块包括：

10.如权利要求7所述的装置，其特征在于，所述装置还包括：