CN110796690B - 图像匹配方法和图像匹配装置 - Google Patents

Abstract

公开了图像匹配方法和图像匹配装置。所示图像匹配方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，所述方法包括：由所述全景相机拍摄全景图像；将所述全景图像变换为透视图；确定全景相机与非全景相机间的相对角度，并查找与之对应的单应矩阵；通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域，来实现所述非全景图像与所述透视图之间的图像匹配；将投影后的非全景图像与所述透视图叠加；以及将叠加后的图像反变换回全景图像。

Description

图像匹配方法和图像匹配装置

技术领域

本发明涉及图像处理领域，更具体地说，涉及应用于多重成像设备的图像匹配方法和图像匹配装置。

背景技术

自古以来，人们就渴望着能够得到周围世界的图像。从手工描绘，到胶片相机，再到数码相机和各种专用相机，成像技术经历着漫长而越来越高速的演进。

近年来，随着电子科技的发展，使用单一相机来进行拍摄已经不再能满足人们的需求。例如，一种可能的多重成像设备包括全景相机和非全景相机。其中，通过全景相机来拍摄广角图像，比如360度范围的图像，同时利用非全景相机拍摄某个感兴趣区域的细节。

然而，传统的多重成像设备并未涉及全景图像和非全景图像的实时匹配以及叠加与融合。所公开的匹配方法通常是基于特征检测的方法，如SIFT(Scale InvariantFeature Transformation),SURF(speeded up robust features)或ORB(Oriented FASTand Rotated BRIEF)等。但是，在基于特征检测的方法中，由于需要针对每一帧图像进行特征点的检测与匹配，因此通过这种方法执行的匹配比较耗时。

发明内容

鉴于以上情形，期望提供能够提高匹配速度的全景图像与非全景图像之间的图像匹配方法和图像匹配装置。

根据本发明的一个方面，提供了一种图像匹配方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，所述方法包括：由所述全景相机拍摄全景图像，并且由所述非全景相机拍摄非全景图像；将所述全景图像变换为透视图；确定全景相机与非全景相机间的相对角度，并查找与之对应的单应矩阵；通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域，来实现所述非全景图像与所述透视图之间的图像匹配；将投影后的非全景图像与所述透视图叠加；以及将叠加后的图像反变换回全景图像。

优选地，在根据本发明实施例的方法中，在由所述全景相机拍摄全景图像之前，所述方法进一步包括：将所述全景相机和所述非全景相机设置到特定相对角度；由所述全景相机拍摄测试全景图像，并且由所述非全景相机拍摄测试非全景图像；将所述测试全景图像变换为测试透视图；标注所述测试透视图与所述测试非全景图像中的对应特征点；基于所述对应特征点确定单应矩阵，其中通过所述单应矩阵能够将所述测试非全景图像投影到所述测试透视图的对应区域以实现所述测试非全景图像与所述测试透视图之间的图像匹配；以及将所确定的单应矩阵与所述特定相对角度相关联地存储。

优选地，在根据本发明实施例的方法中，由所述全景相机拍摄测试全景图像的步骤进一步包括由所述全景相机拍摄关于一校正板的图像，并且由所述非全景相机拍摄测试非全景图像的步骤进一步包括由所述非全景相机拍摄关于同一校正板的图像。

优选地，在根据本发明实施例的方法中，所述非全景相机为能够变焦的相机，且所述方法进一步包括：保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述非全景相机拍摄多个变焦图像；通过利用所述单应矩阵将所述多个变焦图像投影到所述透视图的对应区域，来实现所述多个变焦图像与所述透视图之间的图像匹配；以及将在该相对角度处拍摄的多个图像相关联，并基于投影后的多个变焦图像，响应于用户的输入而呈现放大和/或缩小效果。

优选地，在根据本发明实施例的方法中，所述非全景相机为光场相机，且所述方法进一步包括：保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述光场相机拍摄多深度和/或多视角图像；通过利用所述单应矩阵将所述多深度和/或多视角图像投影到所述透视图的对应区域，来实现所述多深度和/或多视角图像与所述透视图之间的图像匹配；以及将在该相对角度处拍摄的多个图像相关联，并基于投影后的多深度和/或多视角图像，响应于用户的输入而呈现多深度和/或多视角效果。

根据本发明的另一方面，提供了一种图像匹配装置，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述全景相机用于拍摄全景图像，而所述非全景相机用于拍摄非全景图像，所述装置包括：存储单元，用于相关联地存储所述全景相机与所述非全景相机的相对角度和对应的单应矩阵；第一变换单元，用于将由所述全景相机拍摄的所述全景图像变换为透视图；角度确定单元，用于确定全景相机与非全景相机间的相对角度；查找单元，用于基于所述相对角度，查找与之对应的单应矩阵；匹配单元，用于通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域，来实现所述非全景图像与所述透视图之间的图像匹配；叠加单元，用于将投影后的非全景图像与所述透视图叠加；以及第二变换单元，用于将叠加后的图像反变换回全景图像。

优选地，在根据本发明实施例的装置中，所述图像匹配装置进一步包括测试模式，并且，在所述测试模式下，所述全景相机和所述非全景相机设置到特定相对角度，所述全景相机拍摄测试全景图像，所述非全景相机拍摄测试非全景图像；所述第一变换单元被配置为将所述测试全景图像变换为测试透视图；所述装置进一步包括：标注单元，用于标注所述测试透视图与所述测试非全景图像中的对应特征点；单应矩阵确定单元，用于基于所述对应特征点确定单应矩阵，其中通过所述单应矩阵能够将所述测试非全景图像投影到所述测试透视图的对应区域以实现所述测试非全景图像与所述测试透视图之间的图像匹配。

优选地，在根据本发明实施例的装置中，所述测试全景图像为关于一校正板的图像，并且所述测试非全景图像为关于同一校正板的图像。

优选地，在根据本发明实施例的装置中，所述非全景相机为能够变焦的相机，且保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述非全景相机拍摄多个变焦图像；其中所述匹配单元进一步被配置为通过利用所述单应矩阵将所述多个变焦图像投影到所述透视图的对应区域，来实现所述多个变焦图像与所述透视图之间的图像匹配；并且其中所述装置进一步包括：效果呈现单元，用于将在该相对角度处拍摄的多个图像相关联，并基于投影后的多个变焦图像，响应于用户的输入而呈现放大和/或缩小效果。

优选地，在根据本发明实施例的装置中，所述非全景相机为光场相机，且保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述光场相机拍摄多深度和/或多视角图像；其中所述匹配单元进一步被配置为通过利用所述单应矩阵将所述多深度和/或多视角图像投影到所述透视图的对应区域，来实现所述多深度和/或多视角图像与所述透视图之间的图像匹配；并且其中所述装置进一步包括：效果呈现单元，用于将在该相对角度处拍摄的多个图像相关联，并基于投影后的多深度和/或多视角图像，响应于用户的输入而呈现多深度和/或多视角效果。

在根据本发明实施例的图像匹配方法和图像匹配装置中，由于只需要调用预先计算好的单应矩阵进行匹配，因此与基于特征检测的校正相比，匹配速度更快，也许可以达到实时匹配。也就是说，通过引入预校正方法，可以实时或接近实时地生成多重成像效果，这将极大提高用户体验。此外，在根据本发明实施例的图像匹配方法和图像匹配装置中，在将鱼眼图转换为透视图后，才通过应用单应矩阵把非全景图像投影到全景图像上。此时利用单应矩阵进行的投影变换是线性变换。反之，如果不进行由鱼眼图到透视图的这一步转换，投影变换将需要高次运算。很显然，与线性变换相比，高次运算必然更加耗时。

附图说明

图1是图示根据本发明实施例的图像匹配方法和装置所应用到的多重成像设备的配置的功能性框图；

图2是图示多重成像设备的外观的第一示例；

图3是图示多重成像设备的外观的第二示例；

图4是图示根据本发明实施例的图像匹配方法的过程的流程图；

图5是图示根据本发明实施例的图像匹配方法中的预校正过程的流程图；

图6示出了校正板的第一示例；

图7示出了校正板的第二示例；

图8示出了三个不同的全景透视图感兴趣区域和对应的非全景图像以及它们之间的三个单应矩阵；

图9示出了利用一个全景相机和一个热成像相机的实时匹配的示例；

图10示出了一个多深度、多视角图片渲染在观测球上的示例；以及

图11是图示根据本发明实施例的图像匹配装置的配置的功能性框图。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

首先，将参照图1描述根据本发明实施例的图像匹配方法和图像匹配装置所应用到的多重成像设备。如图1所示，多重成像设备100包括：非全景相机101、第一机械机构102、全景相机103和第二机械机构104。

非全景相机101用于拍摄其视野范围内的图像。

第一机械机构102用于支撑所述非全景相机101，并且使得所述非全景相机101能够分别绕两个不同的轴转动。例如，通过第一机械机构102，非全景相机101能够分别绕水平轴和垂直轴转动。

全景相机103用于拍摄包含整个观测球的全景图像。例如，全景相机103可以通过使用两个鱼眼相机来实现。其中，每个鱼眼相机能够覆盖180度的视角。或者，全景相机103也可以使用两个折反射相机来实现。其中，每个折反射相机由普通相机和一个反射镜组成，能够覆盖180度的视角。

第二机械机构104用于支撑所述全景相机。

其中，经由所述第一机械机构102的转动，所述非全景相机101能够拍摄所述观测球上的每一个位置处的图像，而不仅仅是某个感兴趣区域的图像。

全景相机能够拍摄周围世界的广角图像，如360度范围的图像。也就是说，全景相机能够覆盖很大的区域。但是，全景相机难于拍摄细节。因此，在本发明中，在全景相机的基础上，增加能够借助于机械机构绕两轴转动的非全景相机，从而可以在整个观测球上的每一个位置处实现多重成像所能达到的效果，极大地提高用户体验。

例如，非全景相机101可以是手机摄像头、变焦数码单反相机等。在这种实施方式下，多重成像设备不仅可以拍摄全景图像，而且可以拍摄某个目标的细节。

或者，非全景相机101也可以是红外相机。在这种实施方式下，多重成像设备不仅可以拍摄全景图像，而且在低光照、某些室外场景以及天气状况恶劣等不利拍摄条件下，也可以拍摄到清晰的某个目标的细节。

或者，非全景相机101也可以是光场相机。在这种实施方式下，多重成像设备不仅可以拍摄全景图像，而且还可以实现多视角、多深度以及三维结构的观察。

以上列举了全景相机可以分别与数码相机、红外相机和光场相机的组合使用。当然，本发明并不仅限于此。任何其他功能的非全景相机也可以类似地与全景相机组合以增强全景相机的可视能力。并且，全景相机也不限于仅与一种非全景相机组合使用。例如，全景相机可以与搭载了红外相机的手机摄像头组合使用。

图2和图3分别示出了多重成像设备的两种可能的具体形态。图2是示出了多重成像设备的外观视图的第一示例。从图2中可以看出，非全景相机101和全景相机103不需要物理连接在一起，而是分别通过第一机械机构102和第二机械机构104固定在三脚架的不同位置。也就是说，非全景相机101和全景相机103是相对独立的。图3是示出了多重成像设备的外观视图的第二示例。从图3中可以看出，与第一示例不同，非全景相机101和全景相机103固定在三脚架的相同位置。当然，以上两种示例并非穷举，包括全景相机和非全景相机的多重成像设备的其他可能的形态也应该包括本发明的范围中。

另外，在图2和图3中，定义了xyz(Roll，Pitch和Yaw)坐标系。如图2和图3中所示，非全景相机能够分别绕围绕两个轴：即Yaw(z轴)和Pitch(y轴)旋转。沿z和y轴旋转的角度分别由θ和

决定。例如，可以将初始位置定义为θ＝0和

具体来说，在图2的示例中，初始状态为全景相机和非全景相机在垂直方向上共面的状态。在图3的示例中，初始状态为全景和非全景相机连成一条直线的状态。

通过如上所述的多重成像设备，可以获得覆盖360度范围的全景图像以及多个非全景图像。由于非全景相机所旋转到的位置是任意的，因此并不知晓所拍摄的非全景图像对应于全景图像中哪个区域。如果不能够在全景图像与非全景图像之间进行关联，即：本说明书中所谓的“匹配”，那么这样的非全景图像无用的。因此，在如上所述的多重成像设备中，全景图像与非全景图像之间的匹配是非常重要和必要的。

接下来，将参照图4描述根据本发明的图像匹配方法。所述图像匹配方法应用于上文中所述的多重成像设备。如上所述，多重成像设备包括全景相机和非全景相机。如图4所示，所述方法包括以下步骤。

首先，在步骤S401，由所述全景相机拍摄全景图像，并且由所述非全景相机拍摄非全景图像。

然后，处理进行到步骤S402。在步骤S402，将所述全景图像例如通过畸变校正而变换为透视图。

接下来，在步骤S403，确定全景相机与非全景相机间的相对角度

并查找与之对应的单应矩阵。所述相对角度表明了全景相机和非全景相机之间的相对位置关系。这里需要说明的是，相对角度与单应矩阵是以一对一关系相关联地存储的，而且与每一个相对角度对应的单应矩阵都是预先获得的。

这里，需要特别指出的是，步骤S402与步骤S403可以按照如上所述的时间顺序执行。但是，本发明并不仅限于此。步骤S402与步骤S403的执行顺序也可以颠倒，即先执行步骤S403，再执行步骤S402。或者，这两个步骤也可以同时并行执行。

然后，在步骤S404，通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域(在下文中，也称为感兴趣区域)，来实现所述非全景图像与所述透视图之间的图像匹配。

接下来，在步骤S405，将投影后的非全景图像与所述透视图叠加。

最后，在步骤S406，将叠加后的图像反变换回全景图像。

在根据本发明实施例的图像匹配方法中，由于只需要调用预先计算好的单应矩阵进行匹配，因此与基于特征检测的校正相比，匹配速度更快，也许可以达到实时匹配。也就是说，通过引入预校正方法，可以实时或接近实时地生成多重成像效果，这将极大提高用户体验。

此外，这里需要指出的是，在根据本发明实施例的图像匹配方法中，在将鱼眼图转换为透视图后，才通过应用单应矩阵把非全景图像投影到全景图像上。此时利用单应矩阵进行的投影变换是线性变换。反之，如果不进行由鱼眼图到透视图的这一步转换，投影变换将需要高次运算。很显然，与线性变换相比，高次运算必然更加耗时。

接下来，将参照图5描述如何获得与每一个相对角度对应的单应矩阵的具体过程。该过程也可称为预校正过程，其在实际的全景图像与非全景图像的匹配处理之前预先完成。

如图5所示，所述预校正过程具体包括以下步骤。

首先，在步骤S501，将所述全景相机和所述非全景相机设置到特定相对角度。例如，可以从

的初始相对角度开始。一旦设置好当前需要测试的相对角度，即保持该相对角度不变，直至得到与该相对角度对应的单应矩阵位置且开始计算下一个相对角度的单应矩阵为止。

接下来，在步骤S502，由所述全景相机拍摄测试全景图像，并且由所述非全景相机拍摄测试非全景图像。具体来说，由所述全景相机拍摄测试全景图像的步骤进一步包括由所述全景相机拍摄关于一校正板的图像。由所述非全景相机拍摄测试非全景图像进一步包括由所述非全景相机拍摄关于同一校正板的图像。例如，所述校正板可以是一棋盘格(如图6所示)或一点阵光源(如图7所示)。当在两张RGB图片之间作匹配时，优选地使用棋盘格的校正板。而当在一张RGB图片和一张热成像图片作匹配时，优选地使用光源的校正板，这是因为光源上的热点可以被热成像相机检测到。

在预校正阶段，全景相机透视图的感兴趣区域是由校正板(棋盘格或者光源)上的可检测点决定的。图8展示了3对不同的感兴趣区域，以及对应的单应矩阵。拍摄的鱼眼图通过畸变校正变为透视图。在透视图中感兴趣区域是由虚线标记的。这3对感兴趣区域是在预校正阶段由棋盘格的角点决定的。这3个不同位置

的非全景图片对应于3个全景透视图的感兴趣区域。并且，作为示例，图8还展示了3个对应于3对感兴趣区域的单应矩阵H1、H2、H3。此外，从另一角度而言，全景相机透视图的感兴趣区域还是当用户把非全景相机指向任意一个位置时自动确定的。

然后，在步骤S503，将所述测试全景图像变换为测试透视图。该步骤S503的变换方式与上文中所述的步骤S402的变换方式类似。例如通过畸变校正来将测试全景图变换为测试透视图。如上所述，通过这样的变换来确保下文中所述的确定单应矩阵的处理仅涉及单次运算。

然后，在步骤S504，标注所述测试透视图与所述测试非全景图像中的对应特征点。在预校正过程中，该标注通常由用户进行手动标注。

接下来，在步骤S505，基于所述对应特征点确定单应矩阵。具体来说，通过手动提取透视图感兴趣区域和非全景图片对应的角点，可以获得这些对应点的坐标，用它们来求得单应矩阵。其中通过所述单应矩阵能够将所述测试非全景图像投影到所述测试透视图的对应区域以实现所述测试非全景图像与所述测试透视图之间的图像匹配。

然后，在步骤S506，将所确定的单应矩阵与所述特定相对角度相关联地存储。至此，关于一个特定的相对角度的单应矩阵确定过程结束，并且处理进行到步骤S507。在步骤S507，确定是否已经针对所有可能的相对角度完成了单应矩阵的计算。如果在步骤S507判断为是，则处理结束。另一方面，如果在步骤S507判断为否，即尚未完成针对所有可能的相对角度的单应矩阵的计算，则处理返回到步骤S501，将非全景相机调整到下一个需要计算的相对角度，并重复之后的处理。

根据本发明的第一实施例，所述非全景相机为热成像相机。通过根据第一实施例的多重成像设备，可以实现在低光照、某些室外场景以及天气状况恶劣等不利拍摄条件下，也可以拍摄到清晰的某个目标的细节的热红外图叠加效果。图9展示了利用一个全景相机和一个热成像相机的实时匹配的例子，如图4中的步骤S401至S406所描述的那样。首先，用户将相机系统朝向一个感兴趣区域。这时自动获得一个旋转角(即，相对角度)。第二，从系统存储单元里找到对应当前位置的单应矩阵。第三，对全景图(鱼眼图)进行畸变校正，生成一张透视图。第四，用热成像相机拍摄一张热红外图。第五，利用找到的单应矩阵把热红外图投影到透视图。热红外图会与透视图的感兴趣区域匹配并与其叠加在一起。为展示两者匹配，叠加在一起的效果，可以把热红外图变为半透明。第六，将匹配，叠加后的透视图投影到鱼眼图。如果全景相机是双鱼眼相机(拍摄360度视场角)，匹配和叠加的鱼眼图可以和另一半鱼眼图并列在一起生成双鱼眼图，然后渲染在观测球上，如图9所示。

根据本发明的第二实施例，所述非全景相机为能够变焦的相机。通过根据第二实施例的多重成像设备，可以生成放大缩小效果。在特定相对角度处实现放大缩小效果的处理包括如下步骤：首先，保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述非全景相机拍摄多个变焦图像(通过数字或光学变焦或者超分辨率技术)。第二，通过利用所述单应矩阵将所述多个变焦图像投影到所述透视图的对应区域，来实现所述多个变焦图像与所述透视图之间的图像匹配。第三，将在该相对角度处拍摄的多个图像相关联，并基于投影后的多个变焦图像，响应于用户的输入而呈现放大和/或缩小效果。例如，可以基于多个投影后的变焦图像来渲染放大缩小效果到观测球上，从而当用户例如滚动鼠标的滚轴时，能够流畅地在观测球上向用户展示放大缩小效果。

根据本发明的第三实施例，所述非全景相机为光场相机。通过根据第三实施例的多重成像设备，能够生成多深度、多视角效果。在特定相对角度处实现多深度多视角效果的处理包括如下步骤：首先，保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述光场相机拍摄多深度和/或多视角图像。第二，通过利用所述单应矩阵将所述多深度和/或多视角图像投影到所述透视图的对应区域，来实现所述多深度和/或多视角图像与所述透视图之间的图像匹配。第三，将在该相对角度处拍摄的多个图像相关联，并基于投影后的多深度和/或多视角图像，响应于用户的输入而呈现多深度和/或多视角效果。例如，可以基于多个投影后的多深度和/或多视角图像来渲染多深度、多视角效果到观测球上，从而当用户例如通过鼠标在叠加的全景图像上点击和拖拽时，能够流畅地在观测球上向用户展示多深度、多视角效果。

图10展示了一个多深度、多视角图片渲染在观测球上的例子。如图10虚线所示，多深度是指聚焦在离相机不同距离的物体上。多视角是指拍摄的场景可以从不同角度看，其中视差是由深度决定的：离相机越近的物体人们感觉到的视差越大。多视角，多深度图像是由透视图和任意一张参考光场图片之间求得的单应矩阵投影到透视图感兴趣区域(全景图中虚线部分)实现匹配，并叠加和融合到上面的。通过鼠标在叠加上的全景图片上进行拖拽，人们可以从不同视角观察感兴趣区域。通过点击感兴趣区域中的不同点，人们可以看在这些点附近的聚焦图像，即多深度图像。

在图10中，

用于表示非全景图像到全景图像的转换，其中H为目前的相对角度对应的单应矩阵，x、y表示非全景图像中的坐标点，x’、y’表示全景图像中的对应坐标点，并且s’表示一固定常数。

在上文中，已经参照图1至图10详细描述了根据本发明实施例的、应用于多重成像设备的图像匹配方法的具体过程。在下文中，将参照图11描述根据本发明实施例的、应用于多重成像设备的图像匹配装置的具体配置。

如图11所示，图像匹配装置1100包括：存储单元1101、第一变换单元1102、角度确定单元1103、查找单元1104、匹配单元1105、叠加单元1106和第二变换单元1107。

存储单元1101用于相关联地存储所述全景相机与所述非全景相机的相对角度和对应的单应矩阵。

第一变换单元1102用于将由所述全景相机拍摄的所述全景图像变换为透视图。

角度确定单元1103用于确定全景相机与非全景相机间的相对角度。

查找单元1104用于基于所述相对角度，在存储单元1101中查找与之对应的单应矩阵。

匹配单元1105用于通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域，来实现所述非全景图像与所述透视图之间的图像匹配。

叠加单元1106用于将投影后的非全景图像与所述透视图叠加。

第二变换单元1107，用于将叠加后的图像反变换回全景图像。

在根据本发明实施例的图像匹配装置中，由于只需要调用预先计算好的单应矩阵进行匹配，因此与基于特征检测的校正相比，匹配速度更快，也许可以达到实时匹配。也就是说，通过引入预校正处理，可以实时或接近实时地生成多重成像效果，这将极大提高用户体验。

此外，这里需要指出的是，在根据本发明实施例的图像匹配装置中，在将鱼眼图转换为透视图后，才通过应用单应矩阵把非全景图像投影到全景图像上。此时利用单应矩阵进行的投影变换是线性变换。反之，如果不进行由鱼眼图到透视图的这一步转换，投影变换将需要高次运算。很显然，与线性变换相比，高次运算必然更加耗时。

其中，所述图像匹配装置1100进一步包括测试模式。在所述测试模式下，所述全景相机和所述非全景相机设置到特定相对角度，所述全景相机拍摄测试全景图像，所述非全景相机拍摄测试非全景图像。所述第一变换单元1102被配置为将所述测试全景图像变换为测试透视图。

所述图像匹配装置1100进一步包括：标注单元1108和单应矩阵确定单元1109。

标注单元1108用于标注所述测试透视图与所述测试非全景图像中的对应特征点。

单应矩阵确定单元1109用于基于所述对应特征点确定单应矩阵，其中通过所述单应矩阵能够将所述测试非全景图像投影到所述测试透视图的对应区域以实现所述测试非全景图像与所述测试透视图之间的图像匹配。

其中所述测试全景图像为关于一校正板的图像，并且所述测试非全景图像为关于同一校正板的图像。

根据本发明的第一实施例，所述非全景相机为热成像相机。通过根据第一实施例的多重成像设备，可以实现在低光照、某些室外场景以及天气状况恶劣等不利拍摄条件下，也可以拍摄到清晰的某个目标的细节的热红外图叠加效果。

根据本发明的第二实施例，所示非全景相机为能够变焦的相机。并且，保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述非全景相机拍摄多个变焦图像。

其中所述匹配单元1105进一步被配置为通过利用所述单应矩阵将所述多个变焦图像投影到所述透视图的对应区域，来实现所述多个变焦图像与所述透视图之间的图像匹配。

其中所述图像匹配装置进一步包括：效果呈现单元(图中未示出)，用于将在该相对角度处拍摄的多个图像相关联，并基于投影后的多个变焦图像，响应于用户的输入而呈现放大和/或缩小效果。

根据本发明的第三实施例，所述非全景相机为光场相机。通过根据第三实施例的多重成像设备，可以生成多视角、多深度效果。保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述光场相机拍摄多深度和/或多视角图像。

其中所述匹配单元1105进一步被配置为通过利用所述单应矩阵将所述多深度和/或多视角图像投影到所述透视图的对应区域，来实现所述多深度和/或多视角图像与所述透视图之间的图像匹配。

其中所述图像匹配装置进一步包括：效果呈现单元(图中未示出)，用于将在该相对角度处拍摄的多个图像相关联，并基于投影后的多深度和/或多视角图像，响应于用户的输入而呈现多深度和/或多视角效果。

由于根据本发明的图像匹配装置完全对应于上文中描述的图像匹配方法，因此为了简明起见，这里不再对其细节展开描述。

迄今为止，已经参照图1到图11详细描述了根据本发明实施例的图像匹配方法和图像匹配装置。在根据本发明实施例的图像匹配方法和图像匹配装置中，由于只需要调用预先计算好的单应矩阵进行匹配，因此与基于特征检测的校正相比，匹配速度更快，也许可以达到实时匹配。也就是说，通过引入预校正方法，可以实时或接近实时地生成多重成像效果，这将极大提高用户体验。此外，在根据本发明实施例的图像匹配方法和图像匹配装置中，在将鱼眼图转换为透视图后，才通过应用单应矩阵把非全景图像投影到全景图像上。此时利用单应矩阵进行的投影变换是线性变换。反之，如果不进行由鱼眼图到透视图的这一步转换，投影变换将需要高次运算。很显然，与线性变换相比，高次运算必然更加耗时。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像匹配方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，所述方法包括：

由所述全景相机拍摄全景图像，并且由所述非全景相机拍摄非全景图像；

将所述全景图像变换为透视图；

确定全景相机与非全景相机间的相对角度，并查找与之对应的单应矩阵；

通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域，来实现所述非全景图像与所述透视图之间的图像匹配；

将投影后的非全景图像与所述透视图叠加；以及

将叠加后的图像反变换回全景图像。

2.根据权利要求1所述的方法，其中在由所述全景相机拍摄全景图像之前，所述方法进一步包括：

将所述全景相机和所述非全景相机设置到特定相对角度；

由所述全景相机拍摄测试全景图像，并且由所述非全景相机拍摄测试非全景图像；

将所述测试全景图像变换为测试透视图；

标注所述测试透视图与所述测试非全景图像中的对应特征点；

基于所述对应特征点确定单应矩阵，其中通过所述单应矩阵能够将所述测试非全景图像投影到所述测试透视图的对应区域以实现所述测试非全景图像与所述测试透视图之间的图像匹配；以及

将所确定的单应矩阵与所述特定相对角度相关联地存储。

3.根据权利要求2所述的方法，其中由所述全景相机拍摄测试全景图像的步骤进一步包括由所述全景相机拍摄关于一校正板的图像，并且由所述非全景相机拍摄测试非全景图像的步骤进一步包括由所述非全景相机拍摄关于同一校正板的图像。

4.根据权利要求1所述的方法，其中所述非全景相机为能够变焦的相机，且所述方法进一步包括：

保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述非全景相机拍摄多个变焦图像；

通过利用所述单应矩阵将所述多个变焦图像投影到所述透视图的对应区域，来实现所述多个变焦图像与所述透视图之间的图像匹配；以及

将在该相对角度处拍摄的多个图像相关联，并基于投影后的多个变焦图像，响应于用户的输入而呈现放大和/或缩小效果。

5.根据权利要求1所述的方法，其中所述非全景相机为光场相机，且所述方法进一步包括：

保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述光场相机拍摄多深度和/或多视角图像；

通过利用所述单应矩阵将所述多深度和/或多视角图像投影到所述透视图的对应区域，来实现所述多深度和/或多视角图像与所述透视图之间的图像匹配；以及

将在该相对角度处拍摄的多个图像相关联，并基于投影后的多深度和/或多视角图像，响应于用户的输入而呈现多深度和/或多视角效果。

6.一种图像匹配装置，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述全景相机用于拍摄全景图像，而所述非全景相机用于拍摄非全景图像，所述装置包括：

存储单元，用于相关联地存储所述全景相机与所述非全景相机的相对角度和对应的单应矩阵；

第一变换单元，用于将由所述全景相机拍摄的所述全景图像变换为透视图；

角度确定单元，用于确定全景相机与非全景相机间的相对角度；

查找单元，用于基于所述相对角度，查找与之对应的单应矩阵；

匹配单元，用于通过利用所述单应矩阵将所述非全景图像投影到所述透视图的对应区域，来实现所述非全景图像与所述透视图之间的图像匹配；

叠加单元，用于将投影后的非全景图像与所述透视图叠加；以及

第二变换单元，用于将叠加后的图像反变换回全景图像。

7.根据权利要求6所述的装置，其中所述图像匹配装置进一步包括测试模式，并且，

在所述测试模式下，

所述全景相机和所述非全景相机设置到特定相对角度，所述全景相机拍摄测试全景图像，所述非全景相机拍摄测试非全景图像；

所述第一变换单元被配置为将所述测试全景图像变换为测试透视图；

所述装置进一步包括：

标注单元，用于标注所述测试透视图与所述测试非全景图像中的对应特征点；

单应矩阵确定单元，用于基于所述对应特征点确定单应矩阵，其中通过所述单应矩阵能够将所述测试非全景图像投影到所述测试透视图的对应区域以实现所述测试非全景图像与所述测试透视图之间的图像匹配。

8.根据权利要求7所述的装置，其中所述测试全景图像为关于一校正板的图像，并且所述测试非全景图像为关于同一校正板的图像。

9.根据权利要求6所述的装置，其中所述非全景相机为能够变焦的相机，且保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述非全景相机拍摄多个变焦图像；

其中所述匹配单元进一步被配置为通过利用所述单应矩阵将所述多个变焦图像投影到所述透视图的对应区域，来实现所述多个变焦图像与所述透视图之间的图像匹配；并且

其中所述装置进一步包括：

效果呈现单元，用于将在该相对角度处拍摄的多个图像相关联，并基于投影后的多个变焦图像，响应于用户的输入而呈现放大和/或缩小效果。

10.根据权利要求6所述的装置，其中所述非全景相机为光场相机，且保持所述全景相机与所述非全景相机间的所述相对角度不变，由所述光场相机拍摄多深度和/或多视角图像；

其中所述匹配单元进一步被配置为通过利用所述单应矩阵将所述多深度和/或多视角图像投影到所述透视图的对应区域，来实现所述多深度和/或多视角图像与所述透视图之间的图像匹配；并且

其中所述装置进一步包括：

效果呈现单元，用于将在该相对角度处拍摄的多个图像相关联，并基于投影后的多深度和/或多视角图像，响应于用户的输入而呈现多深度和/或多视角效果。

Images