CN106530214A - 图像拼接系统和图像拼接方法 - Google Patents

Abstract

本发明实施例公开了一种图像拼接方法和一种图像拼接系统。所述方法包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；分别提取每个参考图像与待拼接图像之间的多个候选特征点对；从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对；利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

Description

图像拼接系统和图像拼接方法

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种图像拼接系统和一种图像拼接方法。

背景技术

全景图像具有越来越广泛的应用场景。传统地，需要将多个图像采集设备所采集的多个图像进行拼接来形成全景图像。通常的拼接方法都包括从集中采集的图像中选择特定场景点，针对与该场景点对应的多个图像提取图像特征，并利用提取的图像特征进行图像配准、图像融合等步骤，最终得到全景图像。这种基于图像特征提取的全景图像拼接方法存在特征点分布不均匀的问题，导致在待拼接图像与参考图像的特征点对多的区域拼接效果较好，而特征点少的区域拼接效果较差，继而导致拼接的结果图像倾斜。

针对这种由于特征点对数量不均衡造成拼接质量不佳的问题，传统办法在于通过后期手动添加蒙版、图像最优拼缝寻找等来补偿整体拼接效果，并没有对特征点本身优化处理。手动添加蒙版的方法需要人工干预，不具有通用性。此外，图像最优拼缝寻找是从算法上优化融合时选择的接缝位置，并没有从源头上考虑特征点的均衡问题。

因此，需要提供一种图像拼接系统和图像拼接方法来克服或缓解上述技术问题。

发明内容

根据本发明实施例的一个方面，提供了一种图像拼接方法，可以包括：一种图像拼接方法，包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；分别提取每个参考图像与待拼接图像之间的多个候选特征点对；从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对；利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

优选地，所述估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵包括：使用预定方法估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及通过使估计的旋转矩阵的y轴垂直向上来调整每个图像采集设备的旋转矩阵信息。

优选地，所述从提取的候选特征点对中去除冗余的特征点对包括：根据重叠区域的大小和候选特征点对的分布将重叠区域分区为多个区块；以及针对每个区块去除被认为是冗余的特征点对。

优选地，针对每个区块去除被认为是冗余的特征点对包括：针对区块内的特征点对的数量大于第一数值的每个区块，去除所述区块中的特征点对，使得剩余特征点对的数量与第一数值的比值不超过第一阈值。

优选地，针对区块内的特征点对的数量大于第二阈值的区块进行去除冗余特征点对的步骤。

优选地，所述第一数值基于区块中特征点对的分布。

优选地，随机去除冗余的特征点对。

根据本发明实施例的另一方面，提供了一种图像拼接系统，可以包括：多个图像采集设备，所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；控制器，配置为分别提取每个参考图像与待拼接图像之间的多个候选特征点对；从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对；利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

根据本发明的另一方面，还提供了一种图像拼接系统，包括：底座；被设置在底座上的多个图像采集设备，其中所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器，接收来自多个图像采集设备的多个图像，分别提取每个参考图像与待拼接图像之间的多个候选特征点对，从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对，利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵，并且根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

根据本发明实施例，将待拼接图像和参考图像之间的重叠区域划分为多个区块，根据每个区块中特征点对的分布去掉冗余的特征点对来控制每个区块中特征点对的数量，保留了预定数量的特征点对。此外，对估计的图像采集设备的旋转矩阵信息进行调整，使用调整后的旋转信息来进行图像拼接，从而改进了拼接结果图像的精确性和平衡性。

附图说明

通过参考附图更加清楚地理解本发明实施例的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了一种传统全景图像拼接的结果图像示意图；

图2示出了根据本发明实施例的图像拼接方法的流程图；

图3示出了根据本发明实施例的冗余特征点对去除的示意图；

图4示出了根据本发明实施例的冗余特征点对去除的流程图；

图5A和5B分别示出了根据本发明实施例的旋转矩阵调整前后的效果比较示意图；

图6示出了根据本发明实施例的图像拼接系统的示意方框图；以及

图7示出了根据本发明另一实施例的图像拼接系统的示意方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

传统基于图像特征提取的全景图像拼接方法存在特征分布不均匀的问题，导致在特征点较多的区域拼接效果较好，而特征点少的区域较差，继而导致拼接结果倾斜。图1示出了一种利用传统技术得到的全景图像拼接的结果图像示意图。这主要是由于利用与场景点对应的匹配特征点估计不同图像采集设备之间的旋转矩阵和偏移矩阵。由于参考图像和待拼接图像中的特征分布不均匀的，特征点较多的位置会在估计旋转矩阵时产生较大权重的影响，使得拼接倚重于这个区域，而特征点较少的区域则相反，因而造成估计的旋转矩阵向特征点较多的区域倾斜。

为此，本申请提出了一种图像拼接方法和图像拼接系统，可以用于电子全景地图、虚拟旅游等领域，当然，本申请的应用并不局限于此。

图2示出了根据本发明实施例的图像拼接方法的流程图。如图2所示，根据本发明实施例的图像拼接方法20可以包括以下步骤。

在步骤S21，由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域。

多个图像采集设备可以固定在一个底座上，因此图像采集设备之间的相对位置是固定的。同时，在进行图像采集时，每个图像采集设备的取景方向也是固定的。参考图像与待拼接图像由取景方向不同的图像采集设备所采集，同一场景点对应的图像可以是取景方向不同的图像采集设备(可以包括相机、图像传感器等)在同一拍摄点对同一场景的所采集的图像。图像采集设备例如可以为多个相机，将该多个相机的镜头朝向不同方向即可实现不同取景方向的图像采集。由取景方向不同的图像采集设备所获取的多幅图像之间具有一个共同的特点，就是取景方向相邻的图像采集设备(相邻的相机)所采集的两幅图像(以下简称相邻图像)之间至少有一部分是重叠的，也就是具有重叠区域。优选的，相邻图像之间重叠比例可以在30％-50％之间。以将每两幅相邻图像中的一幅图像为参考图像，而另一幅图像为待拼接图像，也可以根据不同的拼接策略进行定义，例如可以定义一幅参考图像，多幅待拼接图像等，本发明实施例并不局限于此。

在步骤S23，分别提取每个参考图像与待拼接图像之间的多个候选特征点对。

特征点可以是一幅图像中灰度在水平和垂直方向都有显著变化的特殊点，例如角点，也可以是图像中具有复杂纹理特征的特殊点。特征点的提取可以采用基于灰度图像的特征点检测法、基于二值图像的特征点检测法、或基于模板和基于模板梯度组合等方法。例如可以采用suSAN角点检测算法、Morave角点检测算法、和Harris角点检测等算法对参考图像与待拼接图像分别进行特征点提取的处理。当然，本领域的技术人员也可以采用其他的特征点提取方法，本发明实施例并不局限于此。提取出每个场景点对应的参考图像以及待拼接图像之间的匹配特征点，也就是建立参考图像与带拼接图像中特征点的相互关联，从而得到候选特征点对，即由于参考图像和待拼接图像中的关联特征点构成的特征点对。

可选地，在提取特征点对之前，还可以对每个场景点对应的参考图像以及待拼接图像进行预处理。图像的预处理可以包括但不限于数字图像处理的基本操作(如直方图处理、或平滑滤波等)或对图像进行某种变换(如傅里叶变化、Gabor变换、或小波变换)等。本领域技术人员也可以使用其他方法来进行图像预处理，本发明实施例并不局限于此。

在步骤S25，从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对。

具体地，如图4所示，步骤S25可以包括以下步骤。

在步骤S251，根据重叠区域的大小和候选特征点对的分布将重叠区域分区为多个区块。

针对一个场景点，存在多组参考图像和待拼接图像，每组之间提取的特征点对的数量不相同。优选地，可以根据参考图像和待拼接图像之间的重叠区域大小和特征点对来确定区块大小。例如，如果参考图像与待拼接图像的重叠区域大小为1200像素*6000像素且特征点对的分布符合例如泊松分布的均匀分布，可以设定将重叠区域均匀划分为例如50*50个区块，如果特征点对的分布符合例如正态分布的非均匀分布，则可以将重叠区域均匀划分为区块尺寸更小的60*60个区块。

在步骤S253，判断每个区块内的特征点对的数量是否大于第一数值n。如果该区块内的特征点对的数量大于第一数值n，则执行步骤S255。如果该区块内的特征点对的数量不大于第一数值n，则返回步骤S253，继续处理下一区块。

在步骤S255，判断该区块内特征点对的数量与第一数值n的比值是否大于第一阈值。如果该区块内的特征点对的数量与第一数值n的比值大于第一阈值，则执行步骤S257。如果该比值不大于第一阈值，则返回步骤S253，继续处理下一区块。

在步骤S257，去除该区块中的特征点对，使得剩余特征点对的数量与第一数值的比值不超过第一阈值。

例如，假定第一数值n＝500，如果区块中特征点对的数量小于500，则不对该区块进行处理。设定第一阈值p等于1.25，针对包括n₀＝1000个特征点对的区块，n₀与n的比值为1000/500＝2，大于1.25，因此确定去除该区块内的x个点，使得在上述示例中，x＝375。因此，需要去除375个特征点对，其中，n、n₀和x均为自然数。如果通过计算得到的x不是整数，则可以对结果向上取整来得到x。

例如，可以以随机方式去除区块内的特征点对。

关于第一数值n，第一数值可以基于区块中特征点对的分布，例如，可以是特征点对数量的统计值。例如，n可以是所有区块中特征点对的数量的均值、均方根值等等。为了更加精确地设定n，可以在计算特征点对的数量的均值或均方根值时，不对针对区块内的特征点对的数量小于第二阈值的区块计算统计值。例如，某些区块可能仅包括一到两个特征点对甚至不包括特征点对，在计算均值或均方根值时会引入较大的误差。因此可以剔除这类区块以提高准确度。

接下来，在步骤S27，利用在步骤S25得到的拼接特征点对来估计多个图像采集设备之间的旋转矩阵和偏移矩阵。

在图像采集过程中，图像的状态由图像采集设备的姿态所决定，一般来说，图像采集设备的姿态可以包括：平移、俯仰、滚转、偏航。每个图像采集设备在三维空间中都有六个自由度，这六个自由度中包括可实现平移的X、Y、Z三个自由度。图像采集设备在三维空间中还可以进行三个角度的旋转，偏航是指图像采集设备围绕Y轴进行的旋转，俯仰是指图像采集设备围绕X轴进行的旋转，滚转是指图像采集设备围绕Z轴进行的旋转。图像采集设备的姿态不同，导致各自所采集的图像之间存在空间上的很大差异，尤其是相互之间有重叠部分的两幅图像。利用所述多个场景点对应的图像的特征点对可以估计出在不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵以及平移矩阵，也就是对图像采集设备的外参进行估计。具体的估计方法例如可以采用Levenberg-Marquardt算法，基于多个场景点对应的图像的特征点对来得到不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵，以及平移矩阵。

优选地，根据本发明实施例的图像拼接方法，当使用例如Levenberg-Marquardt算法的预定方法估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵之后，还通过使估计的旋转矩阵的y轴垂直向上来调整每个图像采集设备的旋转矩阵信息，并使用调整后的旋转矩阵信息来实现全景图像的拼接。图5A和5B分别示出了根据本发明实施例的旋转矩阵调整前后的效果比较示意图。

具体地，根据本发明实施例，多个图像采集设备之间相对位置和取景方向是固定的。当移动或旋转任意一个图像采集设备时，都可以通过相应移动或旋转其他图像采集设备来保持这种相对位置关系，即调整每个图像采集设备的旋转矩阵信息。可以设想多个图像采集设备是固定在单个例如圆形底座上的多个相机，如果这个底座是倾斜的，则拼接得到全景图像也会一定程度的倾斜，如图5A所示。可以根据拼接特征点对估计多个图像采集设备之间的整体旋转矩阵，通过使整体旋转矩阵的y轴垂直向上可以分别调整每个图像采集设备的旋转矩阵信息，即将圆盘的旋转矩阵的y轴设置为垂直向上，也就是，将原始多个相机的平均y轴调整到垂直向上的角度，并相应调整所有相机的旋转矩阵，得到调整后的旋转矩阵信息。使用调整后的旋转矩阵信息拼接得到的全景图像如图5B所示。

接下来，在步骤S29，根据在步骤S27得到的旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

具体地，步骤S29可以包括：根据所述旋转矩阵和偏移矩阵将每个场景点对应的参考图像和待拼接图像进行重映射；以及将与每个场景点对应的经过重映射的待拼接图像与参考图像进行融合，得到拼接图像。

所谓重映射是指根据所述旋转矩阵以及偏移矩阵将待拼接图像转换到参考图像的坐标系，完成统一坐标变换。进一步的，还可以在将每个场景点对应的参考图像以及待拼接图像进行重映射前，对取景方向不同的图像采集设备的内参进行标定，利用图像采集设备的内参对参考图像以及待拼接图像进行校正，然后再将校正过的参考图像以及待拼接图像根据取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵(即，图像采集设备的外参)进行重映射，这样可以消除由图像采集设备的内参所造成的误差，进一步提高图像拼接的质量。图像采集设备的内参可以包括图像采集设备中的镜头的光学畸变以及镜头的焦距。图像融合就是将经过重映射后的参考图像与待拼接图像根据对应关系合并为一幅图像。可以采用例如Szeliski加权平均法等算法对图像进行融合。当然，本领域的技术人员也可以采用其他的算法(例如不同频率的融合等)对图像进行融合，本发明实施例并不局限于此。可以理解，在进行图像融合之前还可以包括曝光调整、图像最优拼缝寻找等步骤，本发明实施例并不局限于此。

图6示出了根据本发明实施例的图像拼接系统的示意方框图。如图6所示，根据本发明实施例的一种图像拼接系统60可以包括：多个图像采集设备601-1至601-N，所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器603，配置为分别提取每个参考图像与待拼接图像之间的多个候选特征点对，从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对，利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵，并且根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

图7示出了根据本发明另一实施例的图像拼接系统的示意方框图。如图7所示，根据本发明实施例的一种图像拼接系统70可以包括：底座705；被设置在底座705上的多个图像采集设备701-1至701-N，其中所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器703，接收来自多个图像采集设备的多个图像，分别提取每个参考图像与待拼接图像之间的多个候选特征点对，从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对，利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵，并且根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

以上按照控制器、图像采集设备等为分立元件的形式对图像拼接系统进行了描述。本领域技术人员可以理解，本发明实施例并不局限于此。当然可以将控制器集成到图像采集设备中。

本发明实施例通过在图像拼接过程中控制特征点对的数量，将待拼接图像和参考图像之间的重叠区域划分为多个区块，根据每个区块中特征点对的分布去掉冗余的特征点对来控制每个区块中特征点对的数量，保留了预定数量的特征点对。此外，对估计的图像采集设备的旋转矩阵信息进行调整，使用调整后的旋转信息来进行图像拼接，从而改进了拼接结果图像的精确性和平衡性。

在以上实施例中，本领域技术人员应该理解，控制设备中的第一控制器以及智能设备中的第二控制器可以按照各种方式实现。通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像拼接方法，包括：

由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；

分别提取每个参考图像与待拼接图像之间的多个候选特征点对；

从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对；

利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；

根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

2.根据权利要求1所述的方法，其中，所述估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵包括：

使用预定方法估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及

通过使估计的旋转矩阵的y轴垂直向上来调整每个图像采集设备的旋转矩阵信息。

3.根据权利要求1所述的方法，其中，所述从提取的候选特征点对中去除冗余的特征点对包括：

根据重叠区域的大小和候选特征点对的分布将重叠区域分区为多个区块；以及

针对每个区块去除被认为是冗余的特征点对。

4.根据权利要求3所述的方法，其中，针对每个区块去除被认为是冗余的特征点对包括：

针对区块内的特征点对的数量大于第一数值的每个区块，去除所述区块中的特征点对，使得剩余特征点对的数量与第一数值的比值不超过第一阈值。

5.根据权利要求3或4所述的方法，其中，针对区块内的特征点对的数量大于第二阈值的区块进行去除冗余特征点对的步骤。

6.根据权利要求3-5之一所述的方法，其中，所述第一数值基于区块中特征点对的分布。

7.根据权利要求3或4所述的方法，其中，随机去除冗余的特征点对。

8.一种图像拼接系统，包括：

多个图像采集设备，所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及

控制器，配置为

分别提取每个参考图像与待拼接图像之间的多个候选特征点对；

从提取的候选特征点对中去除冗余的特征点对，得到拼接特征点对；

利用所述拼接特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；和

根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

9.根据权利要求8所述的系统，其中，所述控制器还配置为：

使用预定方法估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及

通过使估计的旋转矩阵的y轴垂直向上来调整每个图像采集设备的旋转矩阵信息。

10.根据权利要求8所述的系统，其中，所述控制器还配置为：

根据重叠区域的大小和候选特征点对的分布将重叠区域分区为多个区块；以及

针对每个区块去除冗余的特征点对。