CN110868541A - 视场融合方法及装置、存储介质、终端 - Google Patents

Abstract

一种视场融合方法及装置、存储介质、终端，所述方法包括：确定广角图像以及长焦图像；以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；确定所述有特征点分布区域的多个第一映射矩阵，并得到第一重采样图像；确定所述无特征点分布区域的每个像素的映射矩阵，并得到第二重采样图像；对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像；采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。本发明方案可以提高映射矩阵的精确性。

Description

视场融合方法及装置、存储介质、终端

技术领域

本发明涉及计算机技术领域，尤其涉及一种视场融合方法及装置、存储介质、终端。

背景技术

摄像技术在智能手机中的地位日趋重要，摄像头体型小、变焦范围大是当前手机摄像的两大重要功能。利用光学镜头实现光学变焦，虽然能获得高质量的变焦图像，但不可避免的会增加摄像头的体型，且成本大大增加；而普通的单摄数码变焦，虽然能保证摄像头体型、控制较低成本，却在变焦后的图像质量上无法令人满意。于是，利用不同焦距的多摄像头模拟实现光学变焦的技术应运而生，目前较常见的组合有：

a组合：一颗广角摄像头和一颗长焦摄像头组合的双焦段变焦；

在a组合的基础上增加一颗焦距更短的超广角摄像头，实现三焦段变焦；

在a组合的基础上增加一颗焦距更长的摄像头(从体型上考虑，可做成折叠式)，实现三焦段变焦；

其他更多不同焦距的多摄像头组合；

以a组合为例，由于不同摄像头本身硬件参数不同(如光学中心、焦距、FOV、畸变等内参数)，且在模组的安装排布不同(如排布的基线、相对角度、位置等)，使得同一模组上的广角和长焦摄像头在拍摄同一物体时，必然得到不同FOV、不同相对位置、不同遮挡的图像。

在一种现有技术中，直接切换摄像头，实现广角和长焦图像的视场融合，然而容易在两颗摄像头的变焦切换点产生视觉上的跳变，给用户不自然的体验。

在另一种现有技术中，采用图像处理技术，采全局性的单映性矩阵进行映射，以实现广角和长焦图像的视场融合，然而容易在广角图像以及长焦图像融合边缘的较强纹理处，出现明显错位，降低用户体验。

亟需一种视场融合方法，避免视觉上的跳变，并且有效解决匹配误差问题，提高用户体验。

发明内容

本发明解决的技术问题是提供一种视场融合方法及装置、存储介质、终端，可以提高映射矩阵的精确性，以及避免出现明显错位以及视觉上的跳变。为解决上述技术问题，本发明实施例提供一种视场融合方法，包括以下步骤：确定广角图像以及长焦图像；以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像；采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。

可选的，根据所述特征点对确定待融合图像包括：根据所述特征点对，确定包围所有特征点对的外接图形；以所述外接图形作为所述待融合图像的有特征点分布区域。

可选的，所述外接图形包括外接凸包；确定所述有特征点分布区域的多个第一映射矩阵包括：根据所述外接凸包的顶点坐标计算所述外接凸包的重心坐标；确定距离所述外接凸包的重心坐标最近的特征点对，连接此特征点对和各个凸包顶点，得到n个不重叠的三角形，其中，n为正整数，n≥2；根据所述n个三角形，在长焦图像和广角图像上，得到n对一一匹配的映射三角形对，根据每对映射三角形对的顶点特征点对，计算长焦图像到广角图像的仿射变换，以得到与所述n对映射三角形对一一对应的n个仿射变换矩阵，作为所述第一映射矩阵。

可选的，确定所述无特征点分布区域的每个像素的映射矩阵包括：确定每对映射三角形对的重心位置；对于所述无特征点分布区域的每个像素，计算与每对映射三角形对的重心位置之间的重心距离；根据所述重心距离确定每对映射三角形对的权重值，其中，每个仿射变换矩阵的权重值与对应的每对映射三角形对的重心距离呈反比；采用所述权重值，对所述n个仿射变换矩阵加权求和，计算所述像素的映射矩阵。

可选的，所述外接图形包括外接凸包以及外接矩形；确定所述有特征点分布区域的多个第一映射矩阵包括：在所述外接图形中，确定m个不重叠的多边形，其中，所述多边形的边数为D，D为正整数，D≥4，m为正整数，m≥2；根据所述m个多边形，在长焦图像和广角图像上，得到m对一一匹配的映射多边形对，根据每对映射多边形对的顶点特征点对，计算长焦图像到广角图像的投影变换，以得到与所述m对映射多边形对一一对应的m个单映性矩阵，作为所述第一映射矩阵。

可选的，确定所述无特征点分布区域的每个像素的映射矩阵包括：确定每对映射多边形对的重心位置；对于所述无特征点分布区域的每个像素，计算与每对映射多边形对的重心位置之间的重心距离；根据所述重心距离确定每对映射多边形对的权重值，其中，每个单映性矩阵的权重值与对应的每对映射三角形对的重心距离呈反比；采用所述权重值，对所述m个单映性矩阵加权求和，计算所述像素的映射矩阵。

可选的，根据所述特征点对确定待融合图像之前，所述的视场融合方法还包括：将所述特征点对的坐标归一到变焦点尺度；其中，所述变焦点尺度为1至X之间的预设数值，X为所述长焦图像的变焦倍数。

可选的，确定广角图像以及长焦图像包括：获取原始广角图像以及原始长焦图像；对所述原始广角图像以及原始长焦图像进行预处理，以得到广角图像以及长焦图像；其中，所述预处理选自以下一项或多项：图像畸变校准、3A补偿、长焦图像降采样。

为解决上述技术问题，本发明实施例提供一种视场融合装置，包括：图像确定模块，适于确定广角图像以及长焦图像；匹配模块，适于以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；待融合图像确定模块，适于根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；第一融合模块，适于确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；第二融合模块，适于确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；长焦图像总体重采样图像确定模块，适于对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像；融合图像确定模块，适于采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。

为解决上述技术问题，本发明实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述视场融合方法的步骤。

为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述视场融合方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例中，通过将待融合图像分为有特征点分布区域和无特征点分布区域两部分，进而分别确定映射矩阵并分别得到融合图像，然后对所述第一重采样图像和第二重采样图像进行叠加处理，采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理。采用上述方案，对所述有特征点分布区域以及无特征点分布区域，分别采用不同的映射矩阵，相比于现有技术中，采用一个映射矩阵对全局进行映射，可以有效地提高映射矩阵的精确性，还可以在广角图像以及长焦图像的融合边缘的较强纹理处，通过叠加处理，避免出现明显错位以及视觉上的跳变，从而有效解决匹配误差问题，提高用户体验。

进一步，根据所述特征点对，确定包围所有特征点对的外接图形，可以在有特征点分布区域中，尽可能减少没有特征点的区域，从而使得对有特征点分布区域和无特征点分布区域的分别处理更具有效果。

进一步，所述外接图形包括外接凸包，根据外接凸包，在长焦图像和广角图像上，得到n对一一匹配的映射三角形对，进而确定n个仿射变换矩阵，作为所述第一映射矩阵。在本发明实施例中，所述第一映射矩阵根据映射三角形对形成，也即根据三个特征点即可确定一个仿射变换矩阵，可以有效提高映射矩阵的准确性。

进一步，采用权重值，对所述n个仿射变换矩阵加权求和，计算无特征点分布区域的每个像素的映射矩阵，进而确定所述第二重采样图像。在本发明实施例中，根据三个特征点即可确定一个仿射变换矩阵，进而根据仿射变换矩阵确定第二重采样图像，可以有效提高映射矩阵的准确性。

进一步，所述外接图形包括外接凸包以及外接矩形，在长焦图像和广角图像上，得到m对一一匹配的映射多边形对，进而确定m个单映性矩阵，作为所述第一映射矩阵。在本发明实施例中，所述第一映射矩阵根据映射多角形对以及单映性矩阵形成，由于单映性矩阵已经较为成熟，可以有效提高映射矩阵的适应性，降低研发成本和复杂度。

进一步，采用权重值，对所述m个单映性矩阵加权求和，计算无特征点分布区域的每个像素的映射矩阵，进而确定所述第二重采样图像。在本发明实施例中，由于单映性矩阵已经较为成熟，可以有效提高映射矩阵的适应性，提高确定第二重采样图像的准确性。

附图说明

图1是现有技术中一种视场融合方法的工作场景示意图；

图2是本发明实施例中一种视场融合方法的流程图；

图3是本发明实施例中一种外接凸包的示意图；

图4是图2中步骤S24的一种具体实施方式的流程图；

图5是图2中步骤S24的另一种具体实施方式的流程图；

图6是本发明实施例中一种视场融合装置的结构示意图。

具体实施方式

随着智能手机的发展，手机摄像在用户手机中的功能越来越重要，由单摄逐渐发展成双摄、三摄乃至更多摄像头，达到媲美单反的效果。早期单摄手机若想实现变焦功能，只能通过数码变焦，数码变焦在放大到一定倍数时图像会变的非常模糊，影像质量无法令人满意；若采用多倍光学镜头实现光学变焦，除成本大大增加之外，必然会导致手机厚度的增加。

为避免镜头对空间的过多利用，当前主流手机通常采用广角镜头和长焦镜头(或增加更小焦距的超广角镜头，为了方便阐述本发明，以下只考虑广角和长焦镜头)实现多焦段的光学变焦功能。将焦段划分为广角和长焦两段，通过切换，扩大变焦范围，当焦段位于广角段时主要采用广角镜头采集的图像，当焦段位于长焦段时主要采用长焦镜头采集的图像。由于广角和长焦镜头3A同步，视场角以及分辨率上的差异，这种直接的切换会来带镜头跳变的不良体验。尤其是在广角段直接数码变焦带来图像质量的损失，使跳变的影响更加明显。

在现有的视场融合方法中，如果直接切换摄像头，则容易给用户不自然的体验；如果采用全局性的单映性矩阵进行映射，则容易在广角图像以及长焦图像融合边缘的较强纹理处，出现明显错位。

参照图1，图1是现有技术中一种视场融合方法的工作场景示意图。

如图1所示，广角摄像头和长焦摄像头安装至同一电子装置上，并拍摄同一场景的物体，分别得到广角图像11的视场图和长焦图像12，其中，长焦图像12为变焦倍数为X的长焦图像的视场图，虚线框示出的是摄影区域13，区域12中包含有特征点。

在第一种视场融合方法中，在不同变焦范围内，仅靠简单的直接切换摄像头，如在广角焦段，采用广角摄像头拍摄的图像进行数码变焦，而在长焦焦段，采用长焦摄像头拍摄的图像进行数码变焦。

本发明的发明人经过研究发现，在广角到长焦的过渡段采用数码变焦，而非连续的光学变焦，必然在两颗摄像头的变焦切换点产生视觉上的跳变，尤其在广角图像11的摄影区域13与长焦图像12(也即待融合区域)的接触区域，容易带的给用户不自然的体验。其中，所述广角图像11的尺度为所述广角图像11的大小。

在第二种视场融合方法中，采用图像处理技术，实现广角和长焦图像的视场融合，在广角焦段，实现广角和长焦的图像融合，提高变焦时的图像质量，使其在切换到长焦时，达到连续光学变焦的效果，这种处理方法兼顾了广角的大视场和长焦的高细节分辨能力，充分利用了硬件上的长处，尤其在高端机上长焦镜头有比较大的变焦倍数时对图像质量的提升十分明显。在现有的一种摄像头中，采用超广角，广角，长焦接力式三段变焦，长焦镜头采用潜望式设计，变焦能力高达5倍。在1到3倍变焦段，采用主摄像头进行数码变焦，同时采用了超分辨率技术提高变焦图像质量；而在使用3到5倍之间的变焦拍摄时，则通过合并主摄像头和远摄像头的图像数据产生融合图像，画面中心的最佳细节图像数据来自5倍远摄镜头，而其边缘“丢失”的图像区域则由主摄像头的图像数据来填补；在5倍变焦及以上时，则使用远摄像头。

本发明的发明人经过研究发现，通过图像融合方法，虽然充分利用了双摄像头的信息，能够达到连续变焦的目的，但是，容易在广角图像以及长焦图像融合边缘的较强纹理处，出现明显错位，尤其在广角图像11的摄影区域13与长焦图像12(也即待融合区域)的接触区域，容易带的给用户不自然的体验。

具体而言，在长焦图像和广角图像融合中，图像配准是最关键的一步，即一般以广角图像为基准，长焦图像经过特定的几何变换得到跟位置和广角图像对齐的新的图像。常见的图像几何变换包括平移变换，刚体变换，相似变换，仿射变换，和投影变换等。其中投影变换为3X3的矩阵，又称单映性矩阵，用来描述一个平面到另外一个平面的映射关系，具有更多的自由度。在实际的应用中，长焦图像到广角图像的几何映射可以采用一个单映性矩阵来描述的。但是由于两摄像头由于位置不同，存在视差，拍摄的景物由于距离(景深)不同而视场大小存在差异，以及两个镜头存在不同程度的畸变等原因，用一个全局的单映性矩阵做映射在融合过程中存在难以避免的配准误差导致边缘错位问题。尤其是图像中的景物分布在一个较大的景深范围内，这种差异会变得比较明显，而此时用一个全局性的单映性矩阵来做映射会带来融合边缘的较强纹理出现较明显错位的风险，而这种错位很难通过其他的手段来处理。理论上此单映性矩阵只要四个特征点对即可求得，但是实践中我们往往更够找到几十甚至更多的匹配正确的特征点对，算法根据所有匹配正确的特征点对求得全局最优的单映性矩阵。

在本发明实施例中，确定广角图像以及长焦图像；以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；采用预设权重，对所述第一重采样图像和第二重采样图像进行叠加处理，以得到视场融合图像。采用上述方案，通过将待融合图像分为有特征点分布区域和无特征点分布区域两部分，进而分别确定映射矩阵并分别得到融合图像，然后对所述第一重采样图像和第二重采样图像进行叠加处理，采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理。采用上述方案，对所述有特征点分布区域以及无特征点分布区域，分别采用不同的映射矩阵，相比于现有技术中，采用一个映射矩阵对全局进行映射，可以有效地提高映射矩阵的精确性，还可以在广角图像以及长焦图像的融合边缘的较强纹理处，通过叠加处理，避免出现明显错位以及视觉上的跳变，从而有效解决匹配误差问题，提高用户体验。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图2，图2是本发明实施例中一种视场融合方法的流程图。所述视场融合方法包括步骤S21至步骤S27：

步骤S21：确定广角图像以及长焦图像；

步骤S22：以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；

步骤S23：根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；

步骤S24：确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；

步骤S25：确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；

步骤S26：对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像；

步骤S27：采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。

在步骤S21的具体实施中，确定广角图像以及长焦图像。

具体地，广角镜头为视野较大，焦距较小的镜头，通常能拍摄视野较广的场景；长焦镜头为视野较小，焦距较大的镜头，通常能拍摄视野较小但细节较丰富的场景。

进一步地，确定广角图像以及长焦图像的步骤可以包括：获取原始广角图像以及原始长焦图像；对所述原始广角图像以及原始长焦图像进行预处理，以得到广角图像以及长焦图像；其中，所述预处理选自以下一项或多项：图像畸变校准、3A补偿、长焦图像降采样。

在本发明实施例中，通过预处理，可以得到同一尺度下的待匹配图像，提高视场融合的精确性。

在步骤S22的具体实施中，以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对。

其中，特征点是具有相同或者相似的局部特征，即都是作为两条边缘相交处的角点或者灰度值明显高于或者低于周围像素的斑点，可由成熟的算法如Harris，FAST,SIFT,SURF,ORB求得。

需要指出的是，考虑到在具体实施中，视场融合图像中的长焦图像的尺寸往往小于广角图像，以所述广角图像的尺度为基准生成特征点对，有助于保留广角图像中的图像信息。其中，所述广角图像的尺度为所述广角图像的大小(Size)。

在步骤S23的具体实施中，根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域。

进一步地，根据所述特征点对确定待融合图像的步骤可以包括：根据所述特征点对，确定包围所有特征点对的外接图形；以所述外接图形作为所述待融合图像的有特征点分布区域。

根据所述特征点对，确定包围所有特征点对的外接图形，可以在有特征点分布区域中，尽可能减少没有特征点的区域，从而使得对有特征点分布区域和无特征点分布区域的分别处理更具有效果。

进一步地，所述外接图形可以选自：外接凸包、外接矩形、外接圆等。

在本发明实施例的一种具体实施方式中，所述外接图形可以为外接凸包。其中，所述外接凸包为除所述外接矩形以及所述外接圆以外的外接图形，例如为外接多边形。

参照图3，图3是本发明实施例中一种外接凸包的示意图。

图3示出了广角图像31、长焦图像32，有多个特征点对，确定包围所有特征点对331的外接凸包33。可以确定距离所述外接凸包33的重心坐标最近的特征点对331，连接此特征点对331和各个凸包顶点，得到5个不重叠的三角形332。

继续参照图2，在步骤S24的具体实施中，可以在确定所述有特征点分布区域的多个第一映射矩阵。

具体地，可以在有特征点分布的外接凸包33内进行分解三角区域求解不同的映射矩阵，以降低出现明显的匹配误差的可能性。

参照图4，图4是图2中步骤S24的一种具体实施方式的流程图。所述确定所述有特征点分布区域的多个第一映射矩阵的步骤可以包括步骤S41至步骤S43，以下对各个步骤进行说明。

在步骤S41中，根据所述外接凸包的顶点坐标计算所述外接凸包的重心坐标。

在步骤S42中，确定距离所述外接凸包的重心坐标最近的特征点对，连接此特征点对和各个凸包顶点，得到n个不重叠的三角形，其中，n为正整数，n≥2。

如图3中示出的，可以确定距离所述外接凸包33的重心坐标最近的特征点对331，连接此特征点对331和各个凸包顶点，得到5个不重叠的三角形332。

在步骤S43中，根据所述n个三角形，在长焦图像和广角图像上，得到n对一一匹配的映射三角形对，根据每对映射三角形对的顶点特征点对，计算长焦图像到广角图像的仿射变换，以得到与所述n对映射三角形对一一对应的n个仿射变换矩阵，作为所述第一映射矩阵。

在具体实施中，因为每个三角形的三个顶点为匹配的二维的特征点，可以求得有六个未知量的仿射变换矩阵，从而在外接凸包区域内更加细致、精确地确定映射区域。

优选地，所述有六个未知量的仿射变换矩阵可以为2x3的仿射变换矩阵，可以在每个三角区域求得。

以图3为例，在确定所述有特征点分布区域的5个仿射变换矩阵，作为所述第一映射矩阵之后，可以对所述5个仿射变换矩阵进行第一重采样以得到5个子图像，然后对5个子图像拼接，以得到第一重采样图像。

在本发明实施例中，所述外接图形包括外接凸包，根据外接凸包，在长焦图像和广角图像上，得到n对一一匹配的映射三角形对，进而确定n个仿射变换矩阵，作为所述第一映射矩阵。采用本发明实施例的方案，所述第一映射矩阵根据映射三角形对形成，也即根据三个特征点即可确定一个仿射变换矩阵，可以有效提高映射矩阵的准确性。

继续参照图2，在步骤S25的具体实施中，确定所述无特征点分布区域的每个像素的映射矩阵。

需要指出的是，在外接凸包以外没有特征点分布，需要采用不同于步骤S24中描述的方法求得映射矩阵。

具体而言，确定所述无特征点分布区域的每个像素的映射矩阵的步骤可以包括：确定每对映射三角形对的重心位置；对于所述无特征点分布区域的每个像素，计算与每对映射三角形对的重心位置之间的重心距离；根据所述重心距离确定每对映射三角形对的权重值，其中，每个仿射变换矩阵的权重值与对应的每对映射三角形对的重心距离呈反比；采用所述权重值，对所述n个仿射变换矩阵加权求和，计算所述像素的映射矩阵。

如图3示出的外接凸包33中，可以分别确定所述5对映射三角形对的5个仿射变换矩阵以及5个重心位置；从而确定所述无特征点分布区域的每个像素与该5个重心位置之间具有的5个重心距离。由于距离所述映射三角形对越远，对像素的作用越小，因此可以设置每个仿射变换矩阵的权重值与对应的每对映射三角形对的重心距离呈反比。在一个具体应用中，可以以所述像素到各个映射三角形的重心距离的倒数为权重。

然后，采用所述权重值，对所述n个仿射变换矩阵加权求和，计算所述像素的映射矩阵。在本发明实施例中，对所述有特征点分布区域以及无特征点分布区域，分别采用不同的映射矩阵，相比于现有技术中，采用一个映射矩阵对全局进行映射，可以有效地提高映射矩阵的精确性。

最后，采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像。

在本发明实施例中，采用仿射变换矩阵的方式实现映射，由于根据三个特征点即可确定一个仿射变换矩阵，相比于采用其他需要更多特征点的映射矩阵，采用仿射变换矩阵可以有效提高映射矩阵的准确性。

需要指出的是，在本发明实施例的另一种具体实施方式中，对于图2示出的步骤S24和步骤S25，还可以采用其他矩阵(例如单映性矩阵)实现映射。

参照图5，图5是图2中步骤S24的另一种具体实施方式的流程图。所述确定所述有特征点分布区域的多个第一映射矩阵的步骤可以包括步骤S51至步骤S52，以下对各个步骤进行说明。

在步骤S51中，在所述外接图形中，确定m个不重叠的多边形，其中，所述多边形的边数为D，D为正整数，D≥4，m为正整数，m≥2。

在步骤S52中，根据所述m个多边形，在长焦图像和广角图像上，得到m对一一匹配的映射多边形对，根据每对映射多边形对的顶点特征点对，计算长焦图像到广角图像的投影变换，以得到与所述m对映射多边形对一一对应的m个单映性矩阵，作为所述第一映射矩阵。

其中，所述外接图形可以包括外接凸包以及外接矩形。

具体地，所述单映性矩阵可以为投影变换为3X3的矩阵，用于描述长焦图像到广角图像的映射关系，具有更多的自由度。其中，单映性矩阵需要四个或四个以上特征点对求得，还可以采用几十甚至更多的匹配正确的特征点对，采用现有的适当算法根据所有匹配正确的特征点对求得全局最优的单映性矩阵。

以外接矩形，并且确定4个不重叠的四边形为例，可以确定为4个矩形，也即m＝4，D＝4。进而可以根据所述4个多边形，在长焦图像和广角图像上，得到4对一一匹配的映射多边形对，根据每对映射多边形对的顶点特征点对，计算长焦图像到广角图像的投影变换，以得到与所述4对映射多边形对一一对应的4个单映性矩阵，作为所述第一映射矩阵。

在本发明实施例中，所述第一映射矩阵根据映射多角形对以及单映性矩阵形成，由于单映性矩阵已经较为成熟，可以有效提高映射矩阵的适应性，降低研发成本和复杂度。

进一步地，可以采用步骤S25，根据所述4对映射多边形和4个单映性矩阵，确定所述无特征点分布区域的每个像素的映射矩阵。

具体地，确定所述无特征点分布区域的每个像素的映射矩阵的步骤可以包括：确定每对映射多边形对的重心位置；对于所述无特征点分布区域的每个像素，计算与每对映射多边形对的重心位置之间的重心距离；根据所述重心距离确定每对映射多边形对的权重值，其中，每个单映性矩阵的权重值与对应的每对映射三角形对的重心距离呈反比；采用所述权重值，对所述m个单映性矩阵加权求和，计算所述像素的映射矩阵。

仍然以外接矩形，并且确定4个不重叠的四边形为例，可以分别确定所述4对映射矩形对的4个单映性矩阵以及4个重心位置；从而确定所述无特征点分布区域的每个像素与该4个重心位置之间具有的4个重心距离。由于距离所述映射矩形对越远，对像素的作用越小，因此可以设置每个单映性矩阵的权重值与对应的每对映射矩形对的重心距离呈反比。在一个具体应用中，可以以所述像素到各个映射矩形的重心距离的倒数为权重。

然后，采用所述权重值，对所述4个单映性矩阵加权求和，计算所述像素的映射矩阵。在本发明实施例中，对所述有特征点分布区域以及无特征点分布区域，分别采用不同的映射矩阵，相比于现有技术中，采用一个映射矩阵对全局进行映射，可以有效地提高映射矩阵的精确性。最后，采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像。

在本发明实施例中，采用权重值，对所述m个单映性矩阵加权求和，计算无特征点分布区域的每个像素的映射矩阵，进而确定所述第二重采样图像。在本发明实施例中，由于单映性矩阵已经较为成熟，可以有效提高映射矩阵的适应性，提高确定第二重采样图像的准确性。

有关确定所述有特征点分布区域的多个第一映射矩阵以及确定所述无特征点分布区域的每个像素的映射矩阵的更多内容，请参照前文以及图2至图4示出的步骤进行操作，此处不再赘述。

继续参照图2，在步骤S26的具体实施中，对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像。

在步骤S27的具体实施中，采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。

在具体实施中，可以根据具体需求，利用广角镜头具有的视野较大，焦距较小的特点，以及长焦镜头视野较小，焦距较大，拍摄细节较丰富的特点，设置适当的权重，以使得叠加处理以及融合处理后的视场融合图像更加满足用户需求。

在本发明实施例中，通过将待融合图像分为有特征点分布区域和无特征点分布区域两部分，进而分别确定映射矩阵并分别得到融合图像，然后对所述第一重采样图像和第二重采样图像进行叠加处理，采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理。采用上述方案，对所述有特征点分布区域以及无特征点分布区域，分别采用不同的映射矩阵，相比于现有技术中，采用一个映射矩阵对全局进行映射，可以有效地提高映射矩阵的精确性，还可以在广角图像以及长焦图像的融合边缘的较强纹理处，通过叠加处理，避免出现明显错位以及视觉上的跳变，从而有效解决匹配误差问题，提高用户体验。

进一步地，在根据所述特征点对确定待融合图像之前，所述的视场融合方法还可以包括：将所述特征点对的坐标归一到变焦点尺度；其中，所述变焦点尺度为1至X之间的预设数值，X为所述长焦图像的变焦倍数。

具体地，在确定广角图像和长焦图像之后，长焦图像具有变焦倍数X，光束对齐后，当变焦倍数为1到X之前的某一数值时(如(1+X)/2)，视场融合后的图像边缘部分由广角图像贡献，而视场融合后的图像的中心部分由长焦图像和广角图像融合得到。视场融合后的图像的边缘由广角图像对应的原始广角图像经过裁剪和插值得到(数码变焦)，而视场融合后的图像的中心部分经过长焦图像对应的原始长焦图像经过降采样得到。

在本发明实施例中，通过将所述特征点对的坐标归一到变焦点尺度，可以降低匹配误差，提高视场融合的准确性。

参照图6，图6是本发明实施例中一种视场融合装置的结构示意图。所述视场融合装置可以包括：

图像确定模块61，适于确定广角图像以及长焦图像；

匹配模块62，适于以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；

待融合图像确定模块63，适于根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；

第一融合模块64，适于确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；

第二融合模块65，适于确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；

长焦图像总体重采样图像确定模块66，适于对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像；

融合图像确定模块67，适于采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。

关于该视场融合装置的原理、具体实现和有益效果请参照前文及图1至图5示出的关于视场融合方法的相关描述，此处不再赘述。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述视场融合方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述视场融合方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种视场融合方法，其特征在于，包括以下步骤：

确定广角图像以及长焦图像；

以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；

根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；

确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；

确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；

对所述第一重采样图像和第二重采样图像进行叠加处理，以得到长焦图像总体重采样图像；

采用预设权重，对所述长焦图像总体重采样图像和广角图像进行融合处理，以得到视场融合图像。

2.根据权利要求1所述的视场融合方法，其特征在于，根据所述特征点对确定待融合图像包括：

根据所述特征点对，确定包围所有特征点对的外接图形；

以所述外接图形作为所述待融合图像的有特征点分布区域。

3.根据权利要求2所述的视场融合方法，其特征在于，所述外接图形包括外接凸包；

确定所述有特征点分布区域的多个第一映射矩阵包括：

根据所述外接凸包的顶点坐标计算所述外接凸包的重心坐标；

确定距离所述外接凸包的重心坐标最近的特征点对，连接此特征点对和各个凸包顶点，得到n个不重叠的三角形，其中，n为正整数，n≥2；

根据所述n个三角形，在长焦图像和广角图像上，得到n对一一匹配的映射三角形对，根据每对映射三角形对的顶点特征点对，计算长焦图像到广角图像的仿射变换，以得到与所述n对映射三角形对一一对应的n个仿射变换矩阵，作为所述第一映射矩阵。

4.根据权利要求3所述的视场融合方法，其特征在于，确定所述无特征点分布区域的每个像素的映射矩阵包括：

确定每对映射三角形对的重心位置；

对于所述无特征点分布区域的每个像素，计算与每对映射三角形对的重心位置之间的重心距离；

根据所述重心距离确定每对映射三角形对的权重值，其中，每个仿射变换矩阵的权重值与对应的每对映射三角形对的重心距离呈反比；

采用所述权重值，对所述n个仿射变换矩阵加权求和，计算所述像素的映射矩阵。

5.根据权利要求2所述的视场融合方法，其特征在于，所述外接图形包括外接凸包以及外接矩形；

确定所述有特征点分布区域的多个第一映射矩阵包括：

在所述外接图形中，确定m个不重叠的多边形，其中，所述多边形的边数为D，D为正整数，D≥4，m为正整数，m≥2；

根据所述m个多边形，在长焦图像和广角图像上，得到m对一一匹配的映射多边形对，根据每对映射多边形对的顶点特征点对，计算长焦图像到广角图像的投影变换，以得到与所述m对映射多边形对一一对应的m个单映性矩阵，作为所述第一映射矩阵。

6.根据权利要求5所述的视场融合方法，其特征在于，确定所述无特征点分布区域的每个像素的映射矩阵包括：

确定每对映射多边形对的重心位置；

对于所述无特征点分布区域的每个像素，计算与每对映射多边形对的重心位置之间的重心距离；

根据所述重心距离确定每对映射多边形对的权重值，其中，每个单映性矩阵的权重值与对应的每对映射三角形对的重心距离呈反比；

采用所述权重值，对所述m个单映性矩阵加权求和，计算所述像素的映射矩阵。

7.根据权利要求2所述的视场融合方法，其特征在于，根据所述特征点对确定待融合图像之前，还包括：

将所述特征点对的坐标归一到变焦点尺度；

其中，所述变焦点尺度为1至X之间的预设数值，X为所述长焦图像的变焦倍数。

8.根据权利要求1所述的视场融合方法，其特征在于，确定广角图像以及长焦图像包括：

获取原始广角图像以及原始长焦图像；

对所述原始广角图像以及原始长焦图像进行预处理，以得到广角图像以及长焦图像；

其中，所述预处理选自以下一项或多项：图像畸变校准、3A补偿、长焦图像降采样。

9.一种视场融合装置，其特征在于，包括：

图像确定模块，适于确定广角图像以及长焦图像；

匹配模块，适于以所述广角图像的尺度为基准，对所述广角图像以及长焦图像进行特征点匹配，并生成特征点对；

待融合图像确定模块，适于根据所述特征点对确定待融合图像，所述待融合图像包含有特征点分布区域和无特征点分布区域；

第一融合模块，适于确定所述有特征点分布区域的多个第一映射矩阵，并对每个第一映射矩阵进行第一重采样以得到子图像，对每个第一映射矩阵的子图像拼接，以得到第一重采样图像；

第二融合模块，适于确定所述无特征点分布区域的每个像素的映射矩阵，并采用所述每个像素的映射矩阵对每个像素进行映射，以得到第二重采样图像；

融合图像确定模块，适于采用预设权重，对所述第一重采样图像和第二重采样图像进行叠加处理，以得到视场融合图像。

10.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至8任一项所述视场融合方法的步骤。

11.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至8任一项所述视场融合方法的步骤。

Images