CN118196206A - 一种主动双目相机 - Google Patents

Abstract

一种主动双目相机，包括：投射器，用于发射红外光；第一接收器，用于接收所述红外光的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；第二接收器，用于接收所述红外光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图；处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。本发明只需要一次从原始图像到输出图像的映射就可以同时完成去畸变和图像对齐操作，大大降低了计算量，减少了计算过程，耗时大大减少。

Description

一种主动双目相机

技术领域

本发明涉及双目相机技术领域，具体地，涉及一种主动双目相机。

背景技术

双目图像在机器视觉领域有着广泛的应用，对于三维重建、测距、识别和跟踪、图像增强等方面都有重要的意义。

双目图像对齐和去畸变是立体视觉和图像处理中非常重要的步骤。以下是双目图像对齐和去畸变的基本步骤：

双目图像对齐：

特征匹配：使用特征检测和描述子(如SIFT，SURF，ORB等)对双目图像进行特征点检测和描述。然后，通过匹配算法(如RANSAC，LMedS等)找到对应的特征点匹配。

立体校正：通过特征点匹配的结果，使用三角化等算法计算出视差图。然后，根据视差图进行立体校正，使得第一图像和第二图像中的相应点在同一个水平线上。

去畸变：

内参矩阵获取：通过摄像头标定获取到相机的内部参数矩阵(包括焦距、主点和畸变系数等)。

畸变矫正：根据获取到的内部参数矩阵，将图像中每个像素点的坐标进行畸变矫正。具体做法是将像素点坐标从图像坐标系转换到相机坐标系，然后通过相机坐标系中的畸变模型进行矫正。

而在一些应用中，为了让目标出现在第一图像和第二图像中相同位置，需要对图像中目标进行对齐。这个对齐在已知深度的情况下，对图像进行平移；同时，如果相机镜头存在比较大的镜头畸变，还需要对图像进行去畸变操作。在现有技术中，一般分两步进行操作：首先，对图像进行去畸变；其次，对图像进行平移；最后，再根据需求对图像进行裁剪或是缩放等。现有技术对于双目图像的处理存在着计算量大、过程复杂、耗时较长的问题。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为此，本发明通过一次操作实现图像FOV的调整、去畸变以及图像对齐操作，通过在标定时把FOV调整、去畸变以及对齐等信息整合到输出图像与输入图像之间的映射矩阵中，实现只需要一次从原始图像到输出图像的映射就可以同时完成去畸变和图像对齐操作，大大降低了计算量，减少了计算过程，耗时大大减少。

第一方面，本发明提供一种主动双目相机，其特征在于，包括：

投射器，用于发射红外光；

第一接收器，用于接收所述红外光的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；

第二接收器，用于接收所述红外光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图；

处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。

第二方面，本发明提供一种主动双目相机，其特征在于，包括：

第一投射器，用于发射结构光光斑；

第一接收器，用于接收所述结构光光斑的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；

第二投射器，用于发射红外泛光；

第二接收器，用于接收所述红外泛光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图；其中，所述第一投射器与所述第二投射器同时投射；所述第一接收器与所述第二接收器同时曝光；

处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。

可选地，所述的一种主动双目相机，其特征在于，所述处理器包括：

参数模块，用于根据相机内参以及有效FOV，确定图像的输出分辨率；

矩阵模块，用于根据所述输出分辨率、第一图像和第二图像对齐的深度范围，确定映射矩阵，以使第一图像和第二图像黑边最小；

区域模块，用于根据目标对象的深度信息，计算第一图像和第二图像之间的平移信息，进而确定映射矩阵区域；

输出模块，用于对输出图像进行映射计算，获得目标图像。

可选地，所述的一种主动双目相机，其特征在于，所述参数模块在处理时包括：

步骤S11：确定相机的有效FOV；

步骤S12：确定所述相机的内参；

步骤S13：根据所述相机的所述内参和所述有效FOV，计算出图像的最大分辨率；

步骤S14：根据所述最大分辨率，确定输出分辨率。

可选地，所述的一种主动双目相机，其特征在于，所述矩阵模块在处理时包括：

步骤S21：计算所述输出分辨率与传感器尺寸的比值，得出每个像素对应的物理尺寸；

步骤S22：根据第一图像和第二图像对齐的深度范围，计算出第一图像和第二图像中每个像素点在物理尺度上的位置；

步骤S23：根据第一图像和第二图像中每个像素点在物理尺度上的所述位置和所述输出分辨率、所述比值，计算出每个像素点在映射矩阵中的坐标；

步骤S24：将所述坐标代入相应的映射矩阵元素中，根据第一图像和第二图像黑边最小原则，得到映射矩阵。

可选地，所述的一种主动双目相机，其特征在于，所述区域模块在处理时包括：

步骤S31：根据第一图像和第二图像的深度值进行匹配，得到它们的对应点坐标；

步骤S32：计算第一图像和第二图像之间的平移向量；

步骤S33：根据所述平移向量确定映射矩阵区域。

可选地，所述的一种主动双目相机，其特征在于，所述区域模块在处理时还包括：

步骤S34：根据像素点的深度值是否在预设范围内，对映射矩阵区域进行调整，得到最终的映射矩阵区域。

可选地，所述的一种主动双目相机，其特征在于，所述区域模块在处理时包括：

A.计算目标对象在深度空间中的偏移量；

B.计算平移向量，以便将所述目标对象对齐到输出图像的中心；

C.将所述平移向量，添加到映射矩阵中，以确定映射矩阵区域。

可选地，所述的一种主动双目相机，其特征在于，所述输出模块在处理时包括：

步骤S41：在所述映射矩阵区域内确定第一图像和第二图像上的像素级对应关系；

步骤S42：依次对所述映射矩阵区域内的像素进行映射计算，得到第一像素值与第二像素值；

步骤S43：对所述第一像素值与所述第二像素值进行插值计算，得到目标图像。

可选地，所述的一种主动双目相机，其特征在于，所述输出模块在处理时包括：

A1:找到输出图像中的四个相邻像素的位置；

A2:根据所述四个相邻像素的值以及它们与目标图像中对应像素的距离，使用双线性插值公式计算出目标图像中该像素的值；

A3:得到目标图像。

与现有技术相比，本发明具有如下的有益效果：

本发明可以通过一次操作实现图像FOV的调整、去畸变以及图像对齐操作，通过在标定时把FOV调整、去畸变以及对齐等信息整合到输出图像与输入图像之间的映射矩阵中，实现只需要一次从原始图像到输出图像的映射就可以同时完成去畸变和图像对齐操作，去畸变效果最好，并可以消除基线的影响，大大降低了计算量，减少了计算过程，计算速度快，耗时大大减少。

本发明可以通过CPU或其他计算资源快速实现，对算力要求低，可以在低本成的硬件上实现，具有非常好商业前景。

本发明可以使得左右两个图像的重合区域最大，保证目标对象更好地被识别，尤其对于大FOV的相机而言，可以获得更大范围内的目标对象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种主动双目相机的结构示意图；

图2为本发明实施例中另一种主动双目相机的结构示意图；

图3为本发明实施例中一种处理器的结构示意图；

图4为本发明实施例中一种参数模块处理的步骤流程图；

图5为本发明实施例中一种矩阵模块处理的步骤流程图；

图6为本发明实施例中一种区域模块处理的步骤流程图；

图7为本发明实施例中另一种区域模块处理的步骤流程图；

图8为本发明实施例中再一种区域模块处理的步骤流程图；

图9为本发明实施例中一种输出模块处理的步骤流程图；以及

图10为本发明实施例中另一种输出模块处理的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种双目图像同时去畸变及对齐的方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

通过一次操作实现图像FOV的调整、去畸变以及图像对齐操作，通过在标定时把FOV调整、去畸变以及对齐等信息整合到输出图像与输入图像之间的映射矩阵中，实现只需要一次从原始图像到输出图像的映射就可以同时完成去畸变和图像对齐操作，大大降低了计算量，减少了计算过程，耗时大大减少。

图1为本发明实施例中一种主动双目相机的结构示意图。如图1所示，本发明实施例中一种主动双目相机包括：

投射器，用于发射红外光。

具体地说，投射器既可以投射光斑，也可以投射泛光，还可以在投射光斑与泛光之间切换。

第一接收器，用于接收所述红外光的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；

第二接收器，用于接收所述红外光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图。

具体地说，第一接收器与第二接收器的类型相同，并且同时曝光，从而使得第一图像和第二图像可以构成双目图像。第一接收器与第二接收器朝向相同。第一接收器与第二接收器的类型与投射器相匹配，并分别位于投射器的两侧。

处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。

具体地说，第一图像和第二图像是原始图像，存在畸变等问题，并且对于双目图像而言，需要对齐操作。但现有技术中的步骤复杂，计算量大，耗时较长。本实施例把FOV调整、去畸变以及对齐等信息整合到输出图像与输入图像之间的映射矩阵中，使得在操作中，只需要一次从原始图像到输出图像的映射就可以同时完成去畸变和图像对齐操作，大大降低了计算量。

图2为本发明实施例中另一种主动双目相机的结构示意图。如图2所示，本发明实施例中另一种主动双目相机包括：

第一投射器，用于发射结构光光斑；

第一接收器，用于接收所述结构光光斑的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；

第二投射器，用于发射红外泛光；

第二接收器，用于接收所述红外泛光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图；其中，所述第一投射器与所述第二投射器同时投射；所述第一接收器与所述第二接收器同时曝光；

处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。

具体地说，第一投射器与第一接收器构成结构光系统。第二投射器与第二接收器构成泛光系统。第一接收器与第二接收器构成双目系统。第一接收器与第二接收器均为TOF传感器。第一接收器与第二接收器朝向相同。当第一投射器与第二投射器同时投射时，第一接收器和第二接收器同时接收到泛光信号与光斑信号，因此在第一图像和第二图像上，有光斑的区域具有更强的亮度，通过亮度可以很容易地识别出光斑。处理器的处理参见前述实施例。

图3为本发明实施例中一种处理器的结构示意图。如图3所示，本发明实施例中一种处理器包括：

参数模块，用于根据相机内参以及有效FOV，确定图像的输出分辨率。

具体地说，参数模块可以在标定时中获得输出分辨率。相机的内部参数矩阵，包括相机的焦距(f)、主点(h)、畸变系数(k)等。相机的有效视场角(FOV)，即相机能够捕捉到的视野范围。FOV通常由水平和垂直两个角度组成，单位为度数。

在一些实施例中，本步骤包括：

a.根据相机内参中的焦距和图像宽度，计算出水平方向上的像素数。

b.根据相机内参中的主点坐标和图像高度，计算出垂直方向上的像素数。

c.根据有效视场角和图像宽度，计算出水平方向上每个像素对应的实际距离。

d.根据有效视场角和图像高度，计算出垂直方向上每个像素对应的实际距离。

e.将水平方向上的实际距离除以水平方向上的像素数，得到每行像素的实际长度。

f.将垂直方向上的实际距离除以垂直方向上的像素数，得到每列像素的实际长度。

在部分实施例中，第一图像和第二图像为不同的图像类型。比如，第一图像为RGB图像，第二图像为红外图。RGB摄像头与红外摄像头朝向同一方向，从而可以获得同一目标对象的RGB图像和红外图。

矩阵模块，用于根据所述输出分辨率、第一图像和第二图像对齐的深度范围，确定映射矩阵，以使第一图像和第二图像黑边最小。

具体地说，已知第一图像和第二图像每个像素点的深度值，即第一图像和第二图像均有对应的深度图。利用深度值确定映射关系，并根据输出分辨率确定映射矩阵。在确定映射关系时，遵循第一图像和第二图像黑边最小化的原则，可以使得第一图像和第二图像对齐后的重合区域最大。

区域模块，用于根据目标对象的深度信息，计算第一图像和第二图像之间的平移信息，进而确定映射矩阵区域。

具体地说，不同于现有技术利用特征点匹配的方案，本步骤利用深度信息进行计算，从而得到平移信息。根据平移信息，可以确定第一图像和第二图像的重合区域，进而确定映射矩阵区域。

输出模块，用于对输出图像进行映射计算，获得目标图像。

具体地说，双目图像的映射计算需要使用到视差(disparity)。视差是指第一图像和第二图像中同一物体在像素级别上的深度差异，也就是第一图像中物体的像素在第二图像中对应的像素位置。

图4为本发明实施例中一种参数模块处理的步骤流程图。如图4所示，本发明实施例中一种参数模块处理的步骤包括：

步骤S11：确定相机的有效FOV。

在本步骤中，根据实际应用场景，确定相机可以捕捉到的最大范围。这个范围通常由相机的传感器大小和镜头调整能力决定。

步骤S12：确定所述相机的内参。

在本步骤中，相机内参包括焦距、光心、主点等一系列参数，这些参数可以影响图像的畸变和视角。在相机校准过程中，可以获得这些参数。

步骤S13：根据所述相机的所述内参和所述有效FOV，计算出图像的最大分辨率。

在本步骤中，相机的分辨率是由其传感器大小决定的，而传感器大小又与相机的总像素数量相关。因此，可以根据相机传感器的大小，以及镜头调整后的有效FOV，计算出图像的最大分辨率。

步骤S14：根据所述最大分辨率，确定输出分辨率。

在本步骤中，在以上计算得到的最大分辨率基础上，根据实际应用需求，选择合适的输出分辨率。例如，如果要在计算机屏幕上显示图像，并且希望图像能够占据屏幕的1/4区域，那么可以根据屏幕分辨率和图像比例，计算出需要的图像分辨率。

本实施例根据相机的参数计算最大分辨率，并确定输出分辨率，可以适应不同的摄像头类型，具有更好的兼容性。

图5为本发明实施例中一种矩阵模块处理的步骤流程图。如图5所示，本发明实施例中一种矩阵模块处理的步骤包括：

步骤S21：计算所述输出分辨率与传感器尺寸的比值，得出每个像素对应的物理尺寸。

在本步骤中，如果输出分辨率为1920x1080，传感器尺寸为4:3，则每个像素对应的物理尺寸为576x432。

步骤S22：根据第一图像和第二图像对齐的深度范围，计算出第一图像和第二图像中每个像素点在物理尺度上的位置。

在本步骤中，如果第一图像的深度范围为[0,10]，第二图像的深度范围为[0,20]，则可以将它们归一化到[0,1]范围内，即第一图像的范围为[0,0.5]，第二图像的范围为[0,1]。以第一图像和第二图像中的最大深度值为1，进行归一化，可以更好对第一图像和第二图像进行对比。

步骤S23：根据第一图像和第二图像中每个像素点在物理尺度上的所述位置和所述输出分辨率、所述比值，计算出每个像素点在映射矩阵中的坐标。

在本步骤中，第一图像和第二图像合称第一图像和第二图像。假设第一图像和第二图像中每个像素点在物理尺度上的位置为(x_i,y_i)，输出分辨率为(H/W,W/H)，其中,H和W分别是图像的高度和宽度。则每个像素点在映射矩阵中的坐标可以通过以下公式计算：

(u_i,v_i)＝(x_i×W/H,y_i×H/W)

其中，u_i和v_i分别表示像素点在映射矩阵中的行号和列号。

步骤S24：将所述坐标代入相应的映射矩阵元素中，根据第一图像和第二图像黑边最小原则，得到映射矩阵。

在本步骤中，由于接收器为圆形，所以第一图像和第二图像通常也为圆形，并且在圆周存在黑边。映射矩阵的计算可以采用多种方法，比如双线性插值(bilinearinterpolation)。这种方法可以生成一个足够大的映射矩阵，使得任何一对相邻的像素点都可以正确地映射到对应的位置。映射矩阵可以使尽可能多的像素进行映射，从而使得第一图像和第二图像黑边最小。

本实施例根据每个像素对应的物理尺寸、位置、比值计算出每个像素点在矩阵中的坐标，再根据第一图像和第二图像黑边最小原则计算得到映射矩阵，可以根据相机的硬件参数获得最佳的图像，并使得第一图像和第二图像黑边最小，保证映射的最大化。

图6为本发明实施例中一种区域模块处理的步骤流程图。如图6所示，本发明实施例中一种区域模块处理的步骤包括：

步骤S31：根据第一图像和第二图像的深度值进行匹配，得到它们的对应点坐标。

在本步骤中，读取第一图像和第二图像，并利用深度值进行匹配，得到对应点的坐标。比如使用matchTemplate()函数计算第一图像和第二图像中深度值的匹配程度。接下来，设置一个阈值，根据匹配程度找到最佳匹配位置。

步骤S32：计算第一图像和第二图像之间的平移向量。

在本步骤中，使用第一阈值对深度值进行筛选，得到在第一阈值范围内的第一区域和第二区域。第一区域是第一图像上深度值在第一阈值范围内的区域。第二区域是第二图像上深度值在第一阈值范围内的区域。求取第一区域内第一中心和第二区域的第二中心，得到第一中心到第二中心的向量，即为平移向量。在求取第一中心和第二中心时，可以采用多种方法，如形态法、质心法等。

步骤S33：根据所述平移向量确定映射矩阵区域。

在本步骤中，得到平移向量后，可以确定映射矩阵区域，以使得最多的像素点进行映射。

本实施例通过深度值对图像进行匹配、平移向量计算，从而确定映射矩阵区域，无需对图像进行更多处理，可较小的计算量实现对映射矩阵区域的确定，大大提高了效率。

图7为本发明实施例中另一种区域模块处理的步骤流程图。如图7所示，相比于前述实施例，本发明实施例中另一种区域模块处理的步骤还包括：

步骤S34：根据像素点的深度值是否在预设范围内，对映射矩阵区域进行调整，得到最终的映射矩阵区域。

在本步骤中，利用深度值对映射区域进行调整，使得最终输出的图像的深度值在预设范围内，从而可以过滤掉无关的场景，大大减少后续处理流程的数据处理量。比如在刷脸支付或人脸识别门禁中，仅有深度值在预设范围内的数据具有比对意义，则将深度值在50cm以内的像素点进行保留，而将其他像素点从映射矩阵中去除，可以大大减少后续计算量，并且能够提高后续处理的准确度。

图8为本发明实施例中再一种区域模块处理的步骤流程图。如图8所示，本发明实施例中再一种区域模块处理的步骤包括：

A.计算目标对象在深度空间中的偏移量。

这可以通过将目标对象的深度值减去其深度范围的平均值来实现：

offset_x＝target_depth-{(target_depth_range_left+target_depth_range_right)/2}

offset_y＝target_depth-{(target_depth_range_left+target_depth_range_right)/2}

B.计算平移向量，以便将目标对象对齐到输出图像的中心。

这可以通过将偏移量除以输出分辨率的一半来实现：

translation_x＝{offset_x}/{m_horizontal/2}

translation_y＝{offset_y}/{m_vertical/2}

C.将平移向量，添加到映射矩阵中，以确定映射矩阵区域。

在本步骤中，将平移向量添加到映射矩阵的左上角，并在右下角设置为零：

图9为本发明实施例中一种输出模块处理的步骤流程图。如图9所示，本发明实施例中一种输出模块处理的步骤包括：

步骤S41：在所述映射矩阵区域内确定第一图像和第二图像上的像素级对应关系。

在本步骤中，确定像素级对应关系，为后续的计算提供对应的计算关系。

步骤S42：依次对所述映射矩阵区域内的像素进行映射计算，得到第一像素值与第二像素值。

在本步骤中，对第一图像上的像素点进行映射计算，得到第一像素值，对第二图像上的像素点进行映射计算，得到第二像素值。由于第一图像与第二图像的对应关系，第一像素值与第二像素值也具有一一对应关系。

步骤S43：对所述第一像素值与所述第二像素值进行插值计算，得到目标图像。

在本步骤中，将一一对应的第一像素值和第二像素值进行插值计算，最终得到所有像素点的插值，构成目标图像。在进行插值计算时，可以采用求取平均值，也可以根据像素点的深度值进行自适应插值。如果根据像素点的深度值进行自适应插值，则需要计算当前像素点的平均深度与周围相邻像素点的深度值，并根据当前像素点与周期相邻像素点的深度值的关系进行不同权重的计算，求取最终的像素值。比如当前像素点的深度值与相邻像素点的深度值的差值小于第二阈值，则求取当前像素点对应的第一像素点与第二像素点的平均值为最终像素值；如果当前像素点的深度值与相邻像素点的深度值的差值大于第二阈值，则根据差值与深度值的比值赋予相应的权重，并计算得到最终像素值。

本实施例通过映射计算得到第一像素值与第二像素值，再根据第一图像和第二图像上的像素级对应关系，对第一像素值和第二像素值进行插值计算，得到目标图像，可以得到更加精确的目标图像。

图10为本发明实施例中另一种输出模块处理的步骤流程图。如图10所示，本发明实施例中另一种输出模块处理的步骤包括：

A1:找到输出图像中的四个相邻像素的位置。这四个相邻像素应该是水平方向上或垂直方向上的相邻像素，且它们在输出图像中的距离应该小于等于一个插值因子dd。

A2:根据四个相邻像素的值以及它们与目标图像中对应像素的距离，使用双线性插值公式计算出目标图像中该像素的值。

具体来说，对于输出图像中的一个像素p_{i,j}和它在输出图像中的位置(x_i,y_j),我们需要找到它周围的四个像素p_{i-1,j},p_{i+1,j},p_{i,j-1},p_{i,j+1},并计算出它们在目标图像中对应的像素位置(x_i-1,y_j)，(x_i+1,y_j)，(x_i,y_j-1)，(x_i,y_j+1)。然后，我们可以使用双线性插值公式来计算目标图像中该像素的值。

A3:得到目标图像。需要注意的是，由于双线性插值是一种二次插值方法，因此在计算过程中可能会产生一些误差。为了减小误差的影响，可以使用一些优化算法来提高计算效率和精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种主动双目相机，其特征在于，包括：

投射器，用于发射红外光；

第一接收器，用于接收所述红外光的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；

第二接收器，用于接收所述红外光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图；

处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。

2.一种主动双目相机，其特征在于，包括：

第一投射器，用于发射结构光光斑；

第一接收器，用于接收所述结构光光斑的第一反射信号，生成第一图像，并根据时间飞行法生成第一深度图；

第二投射器，用于发射红外泛光；

第二接收器，用于接收所述红外泛光的第二反射信号，生成第二图像，并根据时间飞行法生成第二深度图；其中，所述第一投射器与所述第二投射器同时投射；所述第一接收器与所述第二接收器同时曝光；

处理器，用于以所述第一深度图和所述第二深度图为引导，根据相机的内参及外参、输出分辨率计算最小映射矩阵，输出对齐且无畸变的目标图像。

3.根据权利要求1或2所述的一种主动双目相机，其特征在于，所述处理器包括：

参数模块，用于根据相机内参以及有效FOV，确定图像的输出分辨率；

矩阵模块，用于根据所述输出分辨率、第一图像和第二图像对齐的深度范围，确定映射矩阵，以使第一图像和第二图像黑边最小；

区域模块，用于根据目标对象的深度信息，计算第一图像和第二图像之间的平移信息，进而确定映射矩阵区域；

输出模块，用于对输出图像进行映射计算，获得目标图像。

4.根据权利要求3所述的一种主动双目相机，其特征在于，所述参数模块在处理时包括：

步骤S11：确定相机的有效FOV；

步骤S12：确定所述相机的内参；

步骤S13：根据所述相机的所述内参和所述有效FOV，计算出图像的最大分辨率；

步骤S14：根据所述最大分辨率，确定输出分辨率。

5.根据权利要求3所述的一种主动双目相机，其特征在于，所述矩阵模块在处理时包括：

步骤S21：计算所述输出分辨率与传感器尺寸的比值，得出每个像素对应的物理尺寸；

步骤S22：根据第一图像和第二图像对齐的深度范围，计算出第一图像和第二图像中每个像素点在物理尺度上的位置；

步骤S23：根据第一图像和第二图像中每个像素点在物理尺度上的所述位置和所述输出分辨率、所述比值，计算出每个像素点在映射矩阵中的坐标；

步骤S24：将所述坐标代入相应的映射矩阵元素中，根据第一图像和第二图像黑边最小原则，得到映射矩阵。

6.根据权利要求3所述的一种主动双目相机，其特征在于，所述区域模块在处理时包括：

步骤S31：根据第一图像和第二图像的深度值进行匹配，得到它们的对应点坐标；

步骤S32：计算第一图像和第二图像之间的平移向量；

步骤S33：根据所述平移向量确定映射矩阵区域。

7.根据权利要求6所述的一种主动双目相机，其特征在于，所述区域模块在处理时还包括：

步骤S34：根据像素点的深度值是否在预设范围内，对映射矩阵区域进行调整，得到最终的映射矩阵区域。

8.根据权利要求3所述的一种主动双目相机，其特征在于，所述区域模块在处理时包括：

A.计算目标对象在深度空间中的偏移量；

B.计算平移向量，以便将所述目标对象对齐到输出图像的中心；

C.将所述平移向量，添加到映射矩阵中，以确定映射矩阵区域。

9.根据权利要求3所述的一种主动双目相机，其特征在于，所述输出模块在处理时包括：

步骤S41：在所述映射矩阵区域内确定第一图像和第二图像上的像素级对应关系；

步骤S42：依次对所述映射矩阵区域内的像素进行映射计算，得到第一像素值与第二像素值；

步骤S43：对所述第一像素值与所述第二像素值进行插值计算，得到目标图像。

10.根据权利要求3所述的一种主动双目相机，其特征在于，所述输出模块在处理时包括：

A1:找到输出图像中的四个相邻像素的位置；

A2:根据所述四个相邻像素的值以及它们与目标图像中对应像素的距离，使用双线性插值公式计算出目标图像中该像素的值；

A3:得到目标图像。