CN113298098A - 基础矩阵估计方法及相关产品 - Google Patents

Abstract

本申请实施例提供一种基础矩阵估计方法及相关产品，该基础矩阵估计方法包括：终端设备获取用于图像匹配的第一图像和第二图像，对第一图像和第二图像进行多通道融合，得到多通道数据；第一图像标注有M个第一关键点的坐标；将多通道数据输入偏移量预测网络，得到与M个第一关键点对应的M个偏移量，根据M个偏移量计算第二图像中与M个第一关键点匹配的M个第二关键点的坐标；根据M个第一关键点的坐标和M个第二关键点的坐标计算基础矩阵。本申请实施例可以提高基础矩阵估计的准确度。

Description

基础矩阵估计方法及相关产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种基础矩阵估计方法及相关产品。

背景技术

在图像处理领域中，基础矩阵是描述一幅图中的点与另一幅图之间的投影关系的矩阵。传统的基础矩阵的估计算法包括如下步骤：采用特征检测算法对两幅图像分别进行特征点检测与描述；根据计算出的特征点及其描述子，采用暴力匹配、最近邻匹配等特征匹配算法对两幅图像中的特征点进行匹配；根据匹配的多组特征点求解基础矩阵。

由于特征点检测算法的特征子是在特征点邻域上计算得到的，计算误差较大，导致后续基础矩阵估计的准确度较低。

发明内容

本申请实施例提供一种基础矩阵估计方法及相关产品，可以提高基础矩阵估计的准确度。

本申请实施例的第一方面提供了一种基础矩阵估计方法，包括：

获取用于图像匹配的第一图像和第二图像，对所述第一图像和所述第二图像进行多通道融合，得到多通道数据；所述第一图像标注有M个第一关键点的坐标；

将所述多通道数据输入偏移量预测网络，得到与所述M个第一关键点对应的M个偏移量，根据所述M个偏移量计算所述第二图像中与所述M个第一关键点匹配的M个第二关键点的坐标；

根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵。

本申请实施例的第二方面提供了一种基础矩阵估计装置，包括：

获取单元，用于获取用于图像匹配的第一图像和第二图像；

融合单元，用于对所述第一图像和所述第二图像进行多通道融合，得到多通道数据；所述第一图像标注有M个第一关键点的坐标；

预测单元，用于将所述多通道数据输入偏移量预测网络，得到与所述M个第一关键点对应的M个偏移量，根据所述M个偏移量计算所述第二图像中与所述M个第一关键点匹配的M个第二关键点的坐标；

计算单元，用于根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵。

本申请实施例的第三方面提供了一种终端设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。

本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

本申请实施例中，获取用于图像匹配的第一图像和第二图像，对所述第一图像和所述第二图像进行多通道融合，得到多通道数据；所述第一图像标注有M个第一关键点的坐标；将所述多通道数据输入偏移量预测网络，得到与所述M个第一关键点对应的M个偏移量，根据所述M个偏移量计算所述第二图像中与所述M个第一关键点匹配的M个第二关键点的坐标；根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵。本申请实施例的基础矩阵估计方法，通过偏移量预测网络预测M个第一关键点对应的M个偏移量，由于M个第一关键点分布在第一图像中，使得偏移量预测网络具备提取图像全局特征的能力，与传统特征子的采用邻域性算法的局限性相比，偏移量预测网络能够较好的学习到图像每个区域的特征，从而提高基础矩阵估计的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基础矩阵估计方法的流程示意图；

图2是本申请实施例提供的一种M个第一关键点的位置示意图；

图3是本申请实施例提供的一种偏移量预测网络的结构示意图；

图4是本申请实施例提供的另一种基础矩阵估计方法的流程示意图；

图5是本申请实施例提供的一种偏移量预测网络的训练方法的流程示意图；

图6是本申请实施例提供的一种4组对应点的对应关系图；

图7是本申请实施例提供的一种8组对应点的对应关系图；

图8为本申请实施例提供的一种基础矩阵估计装置的结构示意图；

图9是本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的终端设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为终端设备。

请参阅图1，图1是本申请实施例提供的一种基础矩阵估计方法的流程示意图。如图1所示，该基础矩阵估计方法可以包括如下步骤。

101，终端设备获取用于图像匹配的第一图像和第二图像，对第一图像和第二图像进行多通道融合，得到多通道数据；第一图像标注有M个第一关键点的坐标。

本申请实施例中，第一图像和第二图像可以用作图像匹配(比如，图像配准)、在线标定算法，实时计算双目相机的外参。

在线标定：由于相机与惯性测量单元(Inertial Measurement Unit，IMU)之间的外参是未知的，这就需要对相机与IMU之间的外参进行标定。对于相机与IMU之间的时间差，由于每次运行时间差都不相同，所以只能依靠在线标定的方法。所谓在线标定方法，指的是在系统运行之初或者系统运行过程中完成标定，这种方法解放了双手，也能够保证足够的精度。IMU是测量物体三轴姿态角(或角速率)以及加速度的装置，可以包括三轴加速度传感器、三轴角速度传感器等。

其中，在计算双目相机的外参时，第一图像和第二图像可以是双目相机的两个相机分别拍摄的两张图像。相机外参可以分为旋转矩阵和平移矩阵，旋转矩阵用于描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移矩阵用于描述在摄像机坐标系下，空间原点的位置。

双目相机，也可以称为双目摄像头。具体的，可以是手机的前置双摄像头或者后置双摄像头。

本申请实施例计算的基础矩阵可以用于在线标定以及计算双目相机的外参。

在机器视觉领域，常常要将一个多通道图像分离成几个单通道图像或者将几个单通道图像合成一个多通道图像，以方便图像处理。多通道融合，也可以称为多通道聚合。RGB色彩模式下，图像通道是指那单独的红色R、绿色G、蓝色B部分。也就是说，一幅完整的图像，是由红色绿色蓝色三个通道组成的，他们共同作用产生了完整的图像。例如，第一图像和第二图像，均可以分为R、G、B三个通道的数据，然后将第一图像的R、G、B三个通道的数据与第二图像的R、G、B三个通道的数据融合，即可得到多通道数据。

第一图像上标注的M个第一关键点可以是机器标注，也可以是人为标注。M个第一关键点可以随机分布在第一图像中，也可以按照一定的分布要求在第一图像中。比如，分布要求为均匀分布时，可以将第一图像均匀分为M个大小相同的区域，M个第一关键点分布位于M个区域。又比如，可以限制M个第一关键点中任意两个第一关键点之间的距离，以及限制M个第一关键点中每个关键点到第一图像的边界的距离。M个第一关键点均匀分布在第一图像，可以避免对第一图像的整体特征提取利用得不充分，可以利于偏移量预测网络学习到图像每个区域的特征，提升基础矩阵预测的准确度。

可选的，所述M个第一关键点中任意两个第一关键点之间的直线距离大于或等于第一阈值，所述第一关键点距离所述第一图像的边界的直线距离大于或等于所述第一阈值；所述第一阈值大于或等于A/M，A为所述第一图像的长度或宽度。

本申请实施例中，M可以是大于或等于8的整数。关于预设8个点的位置选取，假设图像长为W，宽为H，8个点的坐标请参阅图2，图2是本申请实施例提供的一种M个第一关键点的位置示意图。图2以M＝8为例，如图2所示，8个第一关键的坐标依次为P₁(0.25×W，0.25×H)，P₂(0.5×W，0.25×H)，P₃(0.25×W，0.75×H)，P₄(0.33×W，0.5×H)，P₅(0.66×W，0.5×H)，P₆(0.75×W，0.25×H)，P₇(0.5×W，0.75×H)，P₈(0.75×W，0.75×H)。此设置，是考虑到第一关键点的坐标不宜太靠近边缘，以防止在第二图像中对应的8个第二关键点超出第二图像的边界；同时第一关键点也不能分布太密集，以避免对图像整体特征提取利用得不充分。点的均匀分布会利于偏移量预测网络学习到图像每个区域的特征，提升基础矩阵预测的精度。

102，终端设备将多通道数据输入偏移量预测网络，得到与M个第一关键点对应的M个偏移量，根据M个偏移量计算第二图像中与M个第一关键点匹配的M个第二关键点的坐标。

本申请实施例中，偏移量预测网络是训练好的神经网络模型。神经网络模型可以是卷积神经网络模型。偏移量预测网络可以称为偏移量预测模型，也可以称为偏移量预测网络模型。

可选的，所述偏移量预测网络包括L个卷积模块和至少一个全连接层，所述L个卷积模块之间通过残差网络连接。其中，L为大于等于2的整数。

可选的，所述卷积模块包括卷积层、归一化层和激活函数层。

请参阅图3，图3是本申请实施例提供的一种偏移量预测网络的结构示意图。图3以L等于8为例，全连接层的数量以2为例。如图3所示，偏移量预测网络由多个卷积模块(如图3所示的卷积模块1、卷积模块2、卷积模块3、卷积模块4、卷积模块5、卷积模块6、卷积模块7、卷积模块8)组合而成，如图3中卷积模块所示，卷积模块的构成依次为：卷积层、批归一化层、relu激活函数层。卷积模块之间有池化层以加深卷积层的通道数。在卷积模块之间有残差网络结构，如图中卷积模块2上方的箭头所示，残差网络可以使偏移量预测网络具备更好的特征提取能力。偏移量预测网络的最后是两层全连接层，此处全连接层的作用是提取整幅图像的卷积特征，使偏移量预测网络具备全局特征提取的能力。

图3的偏移量预测网络仅是一种可能的示例，偏移量预测网络的网络结构并不是固定的，针对多类场景可以设计更为复杂的网络，也可以对网路结构进行优化、精简等操作，以保证训练好的偏移量预测网络具备实时运行的能力。

针对基础矩阵估计中传统特征子是邻域性算法这一局限性，本申请实施例设计了图3所示的偏移量预测网络的结构，使之具备提取图像全局特征的能力，能够较好地预测雪地、天空等少纹理场景，使得基础矩阵估计算法具备更强的问题场景处理能力，弥补传统特征的不足。

其中，M可以是大于或等于8的整数。

终端设备根据M个偏移量计算第二图像中与M个第一关键点匹配的M个第二关键点的坐标，具体为：将M个第一关键点的坐标与对应的M个偏移量相加，即可得到M个第二关键点的坐标。

M个偏移量中，每个偏移量均可以包括横坐标偏移量和纵坐标偏移量。M个偏移量可以包括M个横坐标偏移量和M个纵坐标偏移量。举例来说，若M个第一关键点包括P₁、P₂、…P_M，其中，M个第一关键点的坐标分别为：P₁(x₁，y₁)、P₂(x₂，y₂)、…P_m(x_m，y_m)、M个第一关键点对应的M个偏移量分别为D1(△x₁，△y₁)、D2(△x₂，△y₂)、…D_m(△x_m，△y_m)，则M个第二关键点的坐标分别为：P’₁(x₁’，y₁’)、P’₂(x₂’，y₂’)、…P’_m(x_m’，y_m’)，其中，x₁’＝x₁+△x₁，x₂’＝x₂+△x₂，…，x_m’＝x_m+△x_m。

关键点的坐标可以图像的左下角的点作为原点(0，0)，以图像的左下角到左上角的方向作为y轴的正方向，以图像的左下角到右下角的方向作为x轴的正方向，则图像中所有的点的横坐标和纵坐标的值均为大于或等于0的值。上述M个偏移量中，△x₁、△y₁、△x₂、△y₂、…△x_m、△y_m既可以为正值，也可以为负值。

103，终端设备根据M个第一关键点的坐标和M个第二关键点的坐标计算基础矩阵。

本申请实施例中，基础矩阵是描述一幅图中的点与另一幅图之间的投影关系的矩阵，可用于在线标定算法，实时计算双目相机的外参，基础矩阵可以表达立体像对的像点之间的对应关系。基础矩阵是一个3×3的矩阵，基础矩阵中有9个元素，由于尺度是任意的，所以只需要8个方程。因为算法中需要8个对应点来算基础矩阵F，所以该算法叫做八点法(8点法)。本申请实施例可以采用八点法估计基础矩阵，八点法是通过对应点来计算基础矩阵的算法。M可以是大于或等于8的整数。基础矩阵本质上是一个变换矩阵，可以由两幅图像中8组匹配点的坐标计算得到，本申请实施例可以先在第一图像上预先设定8个第一关键点，其坐标已知，利用偏移量预测网络计算出这8个第一关键点在第二图像上的偏移量，即可得到第二图像中与8个第一关键点匹配的8个第二关键点的坐标，进而通过八点法即可计算基础矩阵。

本申请实施例计算基础矩阵的方式简单，端到端即可实现，输入两幅图像通过偏移量预测网络计算即可得到两幅图像的基础矩阵，效率较高。

本申请实施例的基础矩阵估计方法，通过偏移量预测网络预测M个第一关键点对应的M个偏移量，由于M个第一关键点分布在第一图像中，使得偏移量预测网络具备提取图像全局特征的能力，与传统特征子的采用邻域性算法的局限性相比，偏移量预测网络能够较好的学习到图像每个区域的特征，从而提高基础矩阵估计的准确度。

请参阅图4，图4是本申请实施例提供的另一种基础矩阵估计方法的流程示意图。图4是在图1的基础上进一步优化得到的，如图4所示，该基础矩阵估计方法可以包括如下步骤。

401，终端设备获取用于图像匹配的第一图像和第二图像，对第一图像和第二图像进行多通道融合，得到多通道数据；第一图像标注有M个第一关键点的坐标。

402，终端设备将多通道数据输入偏移量预测网络，得到与M个第一关键点对应的M个偏移量，根据M个偏移量计算第二图像中与M个第一关键点匹配的M个第二关键点的坐标。

其中，步骤401和步骤402的具体实施可以参见图1所示的步骤101至步骤102，此处不再赘述。

403，终端设备从所述M个第一关键点中选取N个第一关键点，从所述M个第二关键点中选取与所述N个第一关键点对应的N个第二关键点，根据所述N个第一关键点的坐标和所述N个第二关键点的坐标计算基础矩阵。

其中，M为大于或等于N的整数。若采用八点法计算基础矩阵，则N可以等于8。

根据排列组合，步骤403可以得到

种基础矩阵的结果。若M大于N，举例来说，如果M＝9，N＝8，从9个点里面选取8个点计算基础矩阵，会得到9个基础矩阵的结果。

可选的，在步骤403的终端设备根据所述N个第一关键点的坐标和所述N个第二关键点的坐标计算基础矩阵之后，还可以执行如下步骤：

终端设备从计算的至少两个基础矩阵中选择误差最小的基础矩阵作为预测的基础矩阵。

本申请实施例中，可以根据计算的至少两个基础矩阵分别计算每个基础矩阵的误差，比如，若得到了9个基础矩阵的结果，可以分别计算根据9个基础矩阵找到的两幅图像的匹配点之间的误差，确定9个基础矩阵中误差最小的基础矩阵作为预测的基础矩阵，可以进一步提高预测的基础矩阵的准确度。

此外，还可以将误差最小的基础矩阵对应的8个点的坐标作为步骤401中的M个第一关键点的坐标，优化后续的其他图像对之间的基础矩阵的计算。

本申请实施例的基础矩阵估计方法，通过偏移量预测网络预测M个第一关键点对应的M个偏移量，由于M个第一关键点分布在第一图像中，使得偏移量预测网络具备提取图像全局特征的能力，与传统特征子的采用邻域性算法的局限性相比，偏移量预测网络能够较好的学习到图像每个区域的特征，从而提高基础矩阵估计的准确度。当选取的第一关键点的数量M大于N时，可以得到多个基础矩阵，可以从计算的多个基础矩阵中误差最小的基础矩阵作为预测的基础矩阵，可以进一步提高预测的基础矩阵的准确度。

请参阅图5，图5是本申请实施例提供的一种偏移量预测网络的训练方法的流程示意图。如图5所示，该偏移量预测网络的训练方法可以包括如下步骤。

501，终端设备获取训练样本图像，在训练样本图像中选取X个关键点，确定X个关键点的坐标，X大于或等于M。

本申请实施例中，训练样本图像可以随机选取。X个关键点可以预先设定。由于一个关键点的坐标可以包括横坐标和纵坐标，X个关键点的坐标可以包括2X个坐标值。X大于或等于8。

可选的，步骤501中，终端设备获取训练样本图像，可以包括如下步骤：

终端设备获取训练样本原始图像，对所述训练样本原始图像进行加噪声处理，得到所述训练样本图像。

本申请实施例中，由于训练数据中含有噪声，使得训练的偏移量预测网络具有一定的抗噪能力。

可选的，步骤501中，终端设备获取训练样本图像，可以包括如下步骤：

终端设备获取训练样本原始图像，对所述训练样本原始图像进行加噪声处理，得到训练样本加噪图像；

终端设备对所述训练样本加噪图像进行数据增强处理，得到至少一张训练样本增强图像；

终端设备将所述训练样本加噪图像和所述至少一张训练样本增强图像作为所述训练样本图像。

本申请实施例中，数据增强处理可以包括添加强光、增大或减小对比度、亮度调节等。在进行训练样本数据生成时，可以进一步做数据增强，比如对数据自行添加强光、增大或减小对比度、亮度调节等，以使训练的偏移量预测网络具备更好地泛化性，能够处理更多的复杂场景。

本申请实施例可以自行生成庞大的训练数据，这使得具备各类复杂场景的计算能力，泛化性能较强。

502，终端设备从X个关键点中选取Y个关键点，随机生成2Y个坐标偏移量。

本申请实施例中，终端设备从X个关键点中随机选取Y个关键点。Y大于或等于4。需要至少4对点才能计算单应矩阵。

Y个关键点中，每个关键点都可以对应一个横坐标偏移量和一个纵坐标偏移量，通过随机生成的方式，可以随机生成2Y个坐标偏移量。

503，终端设备根据Y个关键点的坐标和2Y个坐标偏移量确定Y个新关键点的坐标。

本申请实施例中，终端设备可以将Y个关键点的坐标于对应的2Y个坐标偏移量相加，即可得到Y个新关键点的坐标。

其中，步骤503的具体实施，可以参见步骤102的具体实施，此处不再赘述。

504，终端设备根据Y个关键点的坐标和Y个新关键点的坐标计算单应矩阵，根据单应矩阵对训练样本图像进行变换，得到训练样本变换图像。

其中，单应性(Homography)变换，可以简单的理解为它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。对应的变换矩阵称为单应性矩阵，也可以称为单应矩阵。单应矩阵同时包含了相机内参和外参。

本申请实施例的训练样本变换图像无需从训练样本图像中获取，可以根据已有的训练样本图像生成训练样本变换图像。无需通过双目摄像头同时拍摄两张图像作为训练的样本图像，对样本图像的要求大大降低。

505，终端设备利用单应矩阵计算Z个关键点在训练样本变换图像对应的Z个新关键点的坐标，根据Z个新关键点的坐标和Z个关键点的坐标确定2Z个坐标偏移量。其中，X＝Y+Z。

在计算得到单应矩阵后，可以利用单应矩阵计算X个关键点中除Y个关键之外的Z个关键点在训练样本变换图像对应的Z个新关键点的坐标。

506，终端设备以2Y个坐标偏移量和2Z个坐标偏移量作为训练标签，将训练样本图像和训练样本变换图像融合成多通道训练数据，将多通道训练数据输入偏移量预测网络进行训练。

2Y个坐标偏移量和2Z个坐标偏移量，即X个关键点的2X坐标偏移量。

其中，在训练过程中，可以根据偏移量预测网络的预测结果与训练标签的误差计算每次训练后的损失函数，直到损失函数收敛到预设区间，则认为完成训练。

举例来说，基于匹配点位置预测的基础矩阵估计算法训练流程可以参见如下步骤。

(1)随机选取图像A，进行添加噪声等预处理，使偏移量预测网络具备抗噪能力。

(2)在图A中预先设定8个点的坐标，共16个坐标值。

(3)任选其中4组点，随机生成8个坐标偏移量，添加到图B对应4个点的坐标上，作为图B中4个新的点的坐标。

(4)利用4组对应点计算单应矩阵，然后对图A进行变换，得到图B。如图6所示，根据点的关系得到变换后的图B。

(5)如图7所示，利用求得的单应矩阵计算图A剩余4个点(白色点)在图B的坐标，连同之前4个点(黑色)的8个偏移量，作为训练标签。

(6)将图A和图B融合成多通道数据作为输入，利用训练标签训练偏移量预测网络，直到损失函数收敛到允许值，完成训练。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图8，图8为本申请实施例提供的一种基础矩阵估计装置的结构示意图，该基础矩阵估计装置800应用于终端设备，该基础矩阵估计装置800可以包括获取单元801、融合单元802、预测单元803和计算单元804，其中：

获取单元801，用于获取用于图像匹配的第一图像和第二图像；

融合单元802，用于对所述第一图像和所述第二图像进行多通道融合，得到多通道数据；所述第一图像标注有M个第一关键点的坐标；

预测单元803，用于将所述多通道数据输入偏移量预测网络，得到与所述M个第一关键点对应的M个偏移量，根据所述M个偏移量计算所述第二图像中与所述M个第一关键点匹配的M个第二关键点的坐标；

计算单元804，用于根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵。

可选的，所述M个第一关键点中任意两个第一关键点之间的直线距离大于或等于第一阈值，所述第一关键点距离所述第一图像的边界的直线距离大于或等于所述第一阈值；所述第一阈值大于或等于A/M，A为所述第一图像的长度或宽度。

可选的，所述偏移量预测网络包括L个卷积模块和至少一个全连接层，所述L个卷积模块之间通过残差网络连接。其中，L为大于等于2的整数。

可选的，所述卷积模块包括卷积层、归一化层和激活函数层。

可选的，M为大于或等于N的整数；所述计算单元804根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵，包括：从所述M个第一关键点中选取N个第一关键点，从所述M个第二关键点中选取与所述N个第一关键点对应的N个第二关键点，根据所述N个第一关键点的坐标和所述N个第二关键点的坐标计算基础矩阵。

可选的，该基础矩阵估计装置800可以包括确定单元805，所述确定单元805，用于在所述计算单元804根据所述N个第一关键点的坐标和所述N个第二关键点的坐标计算基础矩阵之后，从计算的至少两个基础矩阵中选择误差最小的基础矩阵作为预测的基础矩阵。

可选的，该基础矩阵估计装置800可以包括训练单元806，所述训练单元806，用于所述预测单元803将所述多通道聚合数据输入偏移量预测网络之前，获取训练样本图像，在所述训练样本图像中选取X个关键点，确定所述X个关键点的坐标，X大于或等于M；从所述X个关键点中选取Y个关键点，随机生成2Y个坐标偏移量；根据所述Y个关键点的坐标和所述2Y个坐标偏移量确定Y个新关键点的坐标；根据所述Y个关键点的坐标和所述Y个新关键点的坐标计算单应矩阵，根据所述单应矩阵对所述训练样本图像进行变换，得到训练样本变换图像；利用所述单应矩阵计算Z个关键点在所述训练样本变换图像对应的Z个新关键点的坐标，根据所述Z个新关键点的坐标和所述Z个关键点的坐标确定2Z个坐标偏移量；X＝Y+Z；以所述2Y个坐标偏移量和所述2Z个坐标偏移量作为训练标签，将所述训练样本图像和所述训练样本变换图像融合成多通道训练数据，将所述多通道训练数据输入偏移量预测网络进行训练。

可选的，所述训练单元806获取训练样本图像，包括：获取训练样本原始图像，对所述训练样本原始图像进行加噪声处理，得到所述训练样本图像。

可选的，所述训练单元806获取训练样本图像，包括：获取训练样本原始图像，对所述训练样本原始图像进行加噪声处理，得到训练样本加噪图像；对所述训练样本加噪图像进行数据增强处理，得到至少一张训练样本增强图像；将所述训练样本加噪图像和所述至少一张训练样本增强图像作为所述训练样本图像。

其中，本申请实施例中的获取单元801、融合单元802、预测单元803、计算单元804、确定单元805和训练单元806可以是终端设备中的处理器。

本申请实施例中，通过偏移量预测网络预测M个第一关键点对应的M个偏移量，由于M个第一关键点分布在第一图像中，使得偏移量预测网络具备提取图像全局特征的能力，与传统特征子的采用邻域性算法的局限性相比，偏移量预测网络能够较好的学习到图像每个区域的特征，从而提高基础矩阵估计的准确度。

请参阅图9，图9是本申请实施例提供的一种终端设备的结构示意图，如图9所示，该终端设备900包括处理器901和存储器902，处理器901、存储器902可以通过通信总线903相互连接。通信总线903可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线903可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器902用于存储计算机程序，计算机程序包括程序指令，处理器901被配置用于调用程序指令，上述程序包括用于执行图1～5所示的方法中的部分或全部步骤。

处理器901可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。

存储器902可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

此外，该终端设备900还可以包括通信接口、天线等通用部件，在此不再详述。

本申请实施例中，通过偏移量预测网络预测M个第一关键点对应的M个偏移量，由于M个第一关键点分布在第一图像中，使得偏移量预测网络具备提取图像全局特征的能力，与传统特征子的采用邻域性算法的局限性相比，偏移量预测网络能够较好的学习到图像每个区域的特征，从而提高基础矩阵估计的准确度。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基础矩阵估计方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基础矩阵估计方法，其特征在于，包括：

获取用于图像匹配的第一图像和第二图像，对所述第一图像和所述第二图像进行多通道融合，得到多通道数据；所述第一图像标注有M个第一关键点的坐标；

将所述多通道数据输入偏移量预测网络，得到与所述M个第一关键点对应的M个偏移量，根据所述M个偏移量计算所述第二图像中与所述M个第一关键点匹配的M个第二关键点的坐标；

根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵。

2.根据权利要求1所述的方法，其特征在于，所述M个第一关键点中任意两个第一关键点之间的直线距离大于或等于第一阈值，所述第一关键点距离所述第一图像的边界的直线距离大于或等于所述第一阈值；所述第一阈值大于或等于A/M，A为所述第一图像的长度或宽度。

3.根据权利要求1所述的方法，其特征在于，M为大于或等于N的整数；所述根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵，包括：

从所述M个第一关键点中选取N个第一关键点，从所述M个第二关键点中选取与所述N个第一关键点对应的N个第二关键点，根据所述N个第一关键点的坐标和所述N个第二关键点的坐标计算基础矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据所述N个第一关键点的坐标和所述N个第二关键点的坐标计算基础矩阵之后，所述方法还包括：

从计算的至少两个基础矩阵中选择误差最小的基础矩阵作为预测的基础矩阵。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述将所述多通道聚合数据输入偏移量预测网络之前，所述方法还包括：

获取训练样本图像，在所述训练样本图像中选取X个关键点，确定所述X个关键点的坐标，X大于或等于M；

从所述X个关键点中选取Y个关键点，随机生成2Y个坐标偏移量；

根据所述Y个关键点的坐标和所述2Y个坐标偏移量确定Y个新关键点的坐标；

根据所述Y个关键点的坐标和所述Y个新关键点的坐标计算单应矩阵，根据所述单应矩阵对所述训练样本图像进行变换，得到训练样本变换图像；

利用所述单应矩阵计算Z个关键点在所述训练样本变换图像对应的Z个新关键点的坐标，根据所述Z个新关键点的坐标和所述Z个关键点的坐标确定2Z个坐标偏移量；X＝Y+Z；

以所述2Y个坐标偏移量和所述2Z个坐标偏移量作为训练标签，将所述训练样本图像和所述训练样本变换图像融合成多通道训练数据，将所述多通道训练数据输入偏移量预测网络进行训练。

6.根据权利要求5所述的方法，其特征在于，所述获取训练样本图像，包括：

获取训练样本原始图像，对所述训练样本原始图像进行加噪声处理，得到所述训练样本图像。

7.根据权利要求5所述的方法，其特征在于，所述获取训练样本图像，包括：

获取训练样本原始图像，对所述训练样本原始图像进行加噪声处理，得到训练样本加噪图像；

对所述训练样本加噪图像进行数据增强处理，得到至少一张训练样本增强图像；

将所述训练样本加噪图像和所述至少一张训练样本增强图像作为所述训练样本图像。

8.一种基础矩阵估计装置，其特征在于，包括：

获取单元，用于获取用于图像匹配的第一图像和第二图像；

融合单元，用于对所述第一图像和所述第二图像进行多通道融合，得到多通道数据；所述第一图像标注有M个第一关键点的坐标；

预测单元，用于将所述多通道数据输入偏移量预测网络，得到与所述M个第一关键点对应的M个偏移量，根据所述M个偏移量计算所述第二图像中与所述M个第一关键点匹配的M个第二关键点的坐标；

计算单元，用于根据所述M个第一关键点的坐标和所述M个第二关键点的坐标计算基础矩阵。

9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。

Images