CN111915483B - 图像拼接方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像拼接方法、装置、计算机设备和存储介质。所述方法包括：获取不同视角采集的各待处理图像，将各待处理图像转换到统一坐标空间，获得各待处理图像对应的转换后图像；确定各转换后图像的重叠区域；基于各转换后图像在重叠区域的像素点，获得空域光流信息，空域光流信息用于表征重叠区域中各像素点的偏移程度；根据空域光流信息，对各转换后图像进行拼接。采用本方法能够提高图像拼接质量。

Description

图像拼接方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像拼接方法、装置、计算机设备和存储介质。

背景技术

图像拼接技术是将数张有重叠部分的图像拼成一张图像的技术，在全景成像、智能安防、医学图像分析、虚拟现实等领域有着重要的应用价值。单个摄像头由于视场范围有限，难以实现大范围视场角甚至于全场景视场角的成像，基于单个或多个摄像头采集的多幅不同视角图像或者视频流图像，可以拼接成覆盖大范围场景信息的图像。

传统的图像拼接方法中，通过提取每幅待拼接图像的特征点并进行特征点匹配，实现图像拼接。然而，当待拼接图像中存在近距离前景物体或移动物体时，通过传统方法拼接后的图像中容易出现明显拼缝或鬼影，导致图像拼接质量不佳。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高拼接质量的图像拼接方法、装置、计算机设备和存储介质。

一种图像拼接方法，所述方法包括：

获取不同视角采集的各待处理图像，将各所述待处理图像转换到统一坐标空间，获得各所述待处理图像对应的转换后图像；

确定各所述转换后图像的重叠区域；

基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，所述空域光流信息用于表征所述重叠区域中各像素点的偏移程度；

根据所述空域光流信息，对各所述转换后图像进行拼接。

一种图像拼接装置，所述装置包括：

图像获取模块，用于获取不同视角采集的各待处理图像，将各所述待处理图像转换到统一坐标空间，获得各所述待处理图像对应的转换后图像；

重叠区域确定模块，用于确定各所述转换后图像的重叠区域；

光流信息确定模块，用于基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，所述空域光流信息用于表征所述重叠区域中各像素点的偏移程度；

图像拼接模块，用于根据所述空域光流信息，对各所述转换后图像进行拼接。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取不同视角采集的各待处理图像，将各所述待处理图像转换到统一坐标空间，获得各所述待处理图像对应的转换后图像；

确定各所述转换后图像的重叠区域；

基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，所述空域光流信息用于表征所述重叠区域中各像素点的偏移程度；

根据所述空域光流信息，对各所述转换后图像进行拼接。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取不同视角采集的各待处理图像，将各所述待处理图像转换到统一坐标空间，获得各所述待处理图像对应的转换后图像；

确定各所述转换后图像的重叠区域；

基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，所述空域光流信息用于表征所述重叠区域中各像素点的偏移程度；

根据所述空域光流信息，对各所述转换后图像进行拼接。

上述图像拼接方法、装置、计算机设备和存储介质，通过获取不同视角采集的各待处理图像，将各待处理图像转换到统一坐标空间，获得各待处理图像对应的转换后图像；确定各转换后图像的重叠区域；基于各转换后图像在重叠区域的像素点，获得空域光流信息，空域光流信息用于表征重叠区域中各像素点的偏移程度；根据空域光流信息，对各转换后图像进行拼接。由于不同景深的物体在不同视角图像中的像素偏移程度不一致，因此通过空域光流信息可以有效区分重叠区域图像中的前景图像和背景图像，根据空域光流信息进行图像拼接时，能够使得缝合线绕过前景物体或运动物体，有效避免缝合线经过前景物体或运动物体时容易出现的拼缝或鬼影问题，从而提高图像拼接质量。

附图说明

图1为一个实施例中图像拼接方法的流程示意图；

图2为一个实施例中不同视角采集的两张待处理图像；

图3为一个实施例中两张待处理图像及其重叠区域；

图4为一个实施例中两张待处理图像对应的转换后图像的重叠区域；

图5为一个实施例中基于空域光流信息获得的能量图；

图6为一个实施例中用于处理各转换后图像的掩码图；

图7为一个实施例中经掩码图处理后的转换后图像；

图8为一个实施例中经掩码图处理后的转换后图像；

图9为一个实施例中的拼接后图像；

图10为一个实施例中图像拼接方法的流程示意图；

图11为一个实施例中图像拼接装置的结构框图；

图12为一个实施例中计算机设备的内部结构图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图像拼接方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤S102至步骤S108。

S102，获取不同视角采集的各待处理图像，将各待处理图像转换到统一坐标空间，获得各待处理图像对应的转换后图像。

其中，待处理图像表示待拼接图像，不同视角采集的各待处理图像，具体可以是通过不同位置的摄像头针对同一对象拍摄的图像，各待处理图像具有一定的重叠部分。

获得各待处理图像之后，由于各待处理图像的图像坐标系可能不一致，因此需要对各待处理图像进行图像配准，以将各待处理图像转换到统一坐标空间中，方便后续处理。在一个实施例中，可以选取其中一张待处理图像作为参考图像，将其它待处理图像作为待配准图像，与该参考图像进行配准，从而将各待处理图像置于同一坐标空间中。

具体地，图像配准过程可以如下：对各待处理图像分别进行特征点提取，获得各待处理图像的特征点，将各待配准图像的特征点与参考图像的特征点进行匹配，基于特征点匹配信息可以得到各待配准图像与参考图像之间的坐标变换关系，计算得到用于各待配准图像进行空间配准变换的单应变换矩阵，基于单应变换矩阵，将各待配准图像以及参考图像转换到同一坐标空间中。

需要说明的是，上述过程中，可以采用任何可能的方式进行特征点提取，例如尺度不变特征变换算法(SIFT)，也可以采用任何可能的方式进行特征点匹配，例如随机抽样一致算法(RANSAC)，在此不作限制。

S104，确定各转换后图像的重叠区域。

具体地，将各待处理图像转换到同一坐标空间中后，可以获取各转换后图像中图像点的坐标位置信息，根据各转换后图像中图像点的坐标位置信息的交集部分，确定重叠区域。

以两张待处理图像为例，请参阅图2，示出了一个实施例中不同视角采集的两张待处理图像，左边的待处理图像用L表示，右边的待处理图像用R表示。图像L和图像R的取景范围不同，具有一定的重叠区域，请参阅图3，示出了图像L和图像R的重叠区域。将图像L和图像R转换到统一坐标空间，得到对应的转换后图像，分别用L′和R′表示，具体地，以图像L为参考图像，图像L′和图像L相同，将图像R投影到图像L所在的坐标空间中，得到图像R′，请参阅图4，示出了图像L′和图像R′的重叠区域，图4中的左图和右图分别表示图像R′和图像L′在重叠区域的图像，分别用R1和L1表示。

S106，基于各转换后图像在重叠区域的像素点，获得空域光流信息，空域光流信息用于表征重叠区域中各像素点的偏移程度。

光流信息可以用于表征像素点的偏移程度，对于不同视角采集的各图像，由于距离和视差等原因，前景目标(包括运动目标)在各图像中的像素会发生偏移，且偏移程度相对于背景物体更大，因此可基于不同视角采集的各图像中的像素偏移情况，获得空域光流信息。

以图4中的重叠区域图像为例，可以通过光流算法计算图像R1到图像L1光流信息，获得空域光流信息，该空域光流信息表示图像R1的像素在图像R1中的位置与该像素在图像L1中的位置的偏移程度。需要说明的是，上述过程中，可以采用任何可能的光流算法计算光流信息，例如Lucas-Kanade、FlowNet等算法，在此不作限制。

S108，根据空域光流信息，对各转换后图像进行拼接。

由于不同景深的物体在不同视角图像中的像素偏移程度不一致，前景目标(包括运动目标)的像素偏移程度相对于背景物体更大，即空域光流信息越大，其对应于前景目标的概率越大，空域光流信息越小，其对应于背景物体的概率越大，因此利用空域光流信息对各转换后图像进行拼接，能够使得缝合线绕过前景目标。

上述图像拼接方法中，通过获取不同视角采集的各待处理图像，将各待处理图像转换到统一坐标空间，获得各待处理图像对应的转换后图像；确定各转换后图像的重叠区域；基于各转换后图像在重叠区域的像素点，获得空域光流信息，空域光流信息用于表征重叠区域中各像素点的偏移程度；根据空域光流信息，对各转换后图像进行拼接。由于不同景深的物体在不同视角图像中的像素偏移程度不一致，因此通过空域光流信息可以有效区分重叠区域图像中的前景图像和背景图像，根据空域光流信息进行图像拼接时，能够使得缝合线绕过前景物体或运动物体，有效避免缝合线经过前景物体或运动物体时容易出现的拼缝或鬼影问题，从而提高图像拼接质量。

在一个实施例中，基于各转换后图像在重叠区域的像素点，获得空域光流信息的步骤，具体可以包括以下步骤：获取第一转换后图像在重叠区域中的第一像素点的第一位置信息，以及第二转换后图像在重叠区域中与第一像素点匹配的第二像素点的第二位置信息，各转换后图像包括第一转换后图像和第二转换后图像；根据第一位置信息和第二位置信息，获得空域光流信息。

以图4中的重叠区域图像为例，图像R1中的像素点表示第一转换后图像在重叠区域中的像素点，即第一像素点，第一位置信息表示第一像素点在图像R1中的位置信息。图像L1中的像素点表示第二转换后图像在重叠区域中的像素点(为了区分，这里用第四像素点表示)，从第四像素点中寻找与第一像素点相匹配的像素点，即第二像素点，第二位置信息表示第二像素点在图像L1中的位置信息。根据第一位置信息相对于第二位置信息的偏移情况，获得空域光流信息。

本实施例中，通过同一像素点在不同视角的重叠区域图像中的位置偏移情况获得空域光流信息，基于这样获得的空域光流信息可以有效区分重叠区域图像中的前景部分和背景部分，并且空域光流信息对对亮度不敏感，即对于各种光照条件下的重叠区域图像，都能准确识别其中的前景部分和背景部分，从而提高在不同光照条件下的图像识别效果。

在一个实施例中，还包括以下步骤：获取第一待处理图像的第一相邻帧图像，以及第二待处理图像的第二相邻帧图像，各待处理图像包括第一待处理图像和第二待处理图像；将第一相邻帧图像和第二相邻帧图像转换到统一坐标空间中，获得第一辅助图像和第二辅助图像。

以两张待处理图像为例，两张待处理图像包括第一待处理图像和第二待处理图像，第一待处理图像转换到统一坐标空间获得第一转换后图像，第二待处理图像转换到统一坐标空间获得第二转换后图像。具体地，第一待处理图像和第二待处理图像可以分别对应第一摄像头和第二摄像头采集的第t帧图像，第一相邻帧图像和第二相邻帧图像可以分别对应第一摄像头和第二摄像头采集的第t-1帧图像，将第一相邻帧图像转换到统一坐标空间中获得第一辅助图像，将第二相邻帧图像转换到统一坐标空间中获得第二辅助图像，使得第一转换后图像、第二转换后图像、第一辅助图像和第二辅助图像处于同一坐标空间中。

本实施例中，通过获取各待处理图像的相邻帧图像，可以获取各待处理图像中的像素在时间上的变化信息，为后续计算光流信息提供更大范围的有效信息，使计算的光流信息能够更准确地反映像素的实际偏移情况，从而有助于提高图像识别的准确性。

在一个实施例中，获得第一辅助图像和第二辅助图像之后，还可以包括以下步骤：获取第一转换后图像在重叠区域的第一像素点的第一位置信息，以及第一辅助图像中与第一像素点匹配的第三像素点的第三位置信息；根据第一位置信息和第三位置信息，获得第一时域光流信息；获取第二转换后图像在重叠区域的第四像素点的第四位置信息，以及第二辅助图像中与第四像素点匹配的第五像素点的第五位置信息，各转换后图像包括第一转换后图像和第二转换后图像；根据第四位置信息和第五位置信息，获得第二时域光流信息。

其中，第一转换后图像对应第一摄像头采集的第t帧图像经空间转换后的图像，第一辅助图像对应第一摄像头采集的第t-1帧图像经空间转换后的图像，第二转换后图像对应第二摄像头采集的第t帧图像经空间转换后的图像，第二辅助图像对应第二摄像头采集的第t-1帧图像经空间转换后的图像，重叠区域表示第一转换后图像和第二转换图像的重叠区域。

第一转换后图像在重叠区域的像素点，即第一像素点，第一位置信息表示第一像素点在第一转换后图像中的位置信息。从第一辅助图像的像素点中寻找与第一像素点相匹配的像素点，即第三像素点，第三位置信息表示第三像素点在第一辅助图像中的位置信息。根据第一位置信息相对于第三位置信息的偏移情况，获得第一时域光流信息。

第二转换后图像在重叠区域的像素点，即第四像素点，第四位置信息表示第四像素点在第二转换后图像中的位置信息。从第二辅助图像的像素点中寻找与第四像素点相匹配的像素点，即第五像素点，第五位置信息表示第五像素点在第二辅助图像中的位置信息。根据第四位置信息相对于第五位置信息的偏移情况，获得第二时域光流信息。

本实施例中，充分利用图像在时域上的连续信息，通过同一像素点在不同帧图像中的位置偏移情况获得时域光流信息，用于反映像素在时间维度的变化情况，对空域光流信息进行补充，从而更准确地反映像素的实际偏移情况，有助于提高图像识别的准确性。

在一个实施例中，根据空域光流信息，对各转换后图像进行拼接的步骤，具体可以包括以下步骤：根据空域光流信息，获得重叠区域对应的能量图；根据能量图，对各转换后图像进行拼接。

其中，根据空域光流信息，获得重叠区域对应的能量图的步骤，具体可以是：将空域光流信息进行转换，得到对应的空域能量值；基于空域能量值，获得重叠区域对应的能量图。以图4中的重叠区域图像为例，计算得到图像R1到图像L1的空域光流信息之后，可以将空域光流信息进行转换，具体可以是将空域光流信息进行归一化，空域光流信息归一化后得到相应的空域能量值，空域能量值的范围可以是0～1，需要理解的是，空域光流信息越大，对应的空域能量值越大，空域光流信息越小，对应的空域能量值越小。基于空域能量值得到重叠区域对应的能量图，请参阅图5，示出了根据图像R1到图像L1的空域光流信息获得的能量图，在该能量图中，能量值越接近0，颜色越接近黑色，对应的位置越可能是背景图像；能量值越接近1，颜色越接近白色，对应的位置越可能是前景图像。

本实施例中，根据空域光流信息获得重叠区域对应的能量图，能量图可以准确反映重叠区域中分别对应前景图像和背景图像的区域，从而基于能量图可以区分重叠区域图像中的前景部分和背景部分，根据能量图进行图像拼接时，能够使得缝合线只经过背景部分，有效避免缝合线经过前景物体或运动物体时容易出现的拼缝或鬼影问题，从而提高图像拼接质量。

在一个实施例中，根据空域光流信息，获得重叠区域对应的能量图的步骤，具体可以包括以下步骤：将空域光流信息、第一时域光流信息和第二时域光流信息分别进行转换，得到对应的空域能量值、第一时域能量值和第二时域能量值；基于空域能量值、第一时域能量值和第二时域能量值，获得重叠区域对应的能量图。

具体地，可以将空域光流信息、第一时域光流信息和第二时域光流信息分别进行归一化，得到相应的空域能量值、第一时域能量值和第二时域能量值，空域能量值、第一时域能量值和第二时域能量值的范围都可以是0～1。获得空域能量值、第一时域能量值和第二时域能量值之后，可以将第一时域能量值与第二时域能量值进行对应相加并取平均值，获得时域能量值，再将时域能量值与空域能量值进行对应相加并取平均值，获得最终能量值，基于最终能量值获得重叠区域对应的能量图。

本实施例中，通过融合空域光流信息和时域光流信息获得重叠区域对应的能量图，包含更大范围的有效信息，基于该能量图可以更准确地区分重叠区域图像中的前景部分和背景部分，有助于进一步提高后续图像拼接质量。

在一个实施例中，根据能量图确定各转换后图像在重叠区域中的前景图像和背景图像，可以采用如下方式：根据能量图中各能量值中大于预设阈值的能量值对应的图像点位置，确定各转换后图像在重叠区域中的前景图像；根据能量图中各能量值中小于或等于预设阈值的能量值对应的图像点位置，确定各转换后图像在重叠区域中的背景图像。

具体地，能量值的范围可以是0～1，预设阈值可以根据实际情况进行设置，例如可以设为0.5，则认为大于0.5的能量值对应的图像点位置在重叠区域图像中对应的图像点属于前景图像，小于或等于0.5的能量值对应的图像点位置在重叠区域图像中对应的图像点属于背景图像。

本实施例中，通过合适的能量值阈值区分能量图中对应前景图像和背景图像的图像点位置，便于前景图像和背景图像的区分和提取。

在一个实施例中，根据能量图，对各转换后图像进行拼接的步骤，具体可以包括以下步骤：根据能量图中的各能量值，确定拼接方向上的最短路径，作为最佳缝合线；基于最佳缝合线，对各转换后图像进行拼接，获得拼接后图像。

以图5中的能量图为例，拼接方向为上下方向，最短路径表示从能量图的最上面一行走到最下面一行的最短路径，最短路径可以理解为经过的能量值总和最小的路径，具体地可以通过动态规划算法寻找能量图的最短路径，图5所示能量图的最短路径如图5中右侧的线条所示。

本实施例中，根据能量图在拼接方向上的最短路径确定最佳缝合线，该最短路径表示拼接方向上经过的能量值总和最小的路径，较小能量值所在位置对应背景物体，从而根据该最短路径确定的最佳缝合线能够绕过前景物体或运动物体，可有效避免拼接时缝合线经过前景物体或运动物体时容易出现的拼缝或鬼影问题，从而提高图像拼接质量。

在一个实施例中，基于最佳缝合线，对各转换后图像进行拼接，获得拼接后图像的步骤，具体可以包括以下步骤：基于最佳缝合线对各转换后图像进行裁剪，将裁剪后的各图像进行拼接。

具体地，基于最佳缝合线可以将各转换后图像的重叠区域图像分成两部分，第一部分图像靠近自身的非重叠区域图像，第二部分图像远离自身的非重叠区域图像，基于最佳缝合线对各转换后图像进行裁剪，具体是将各转换后图像的重叠区域图像中的第二部分图像裁剪掉，裁剪后的各图像表示各转换后图像裁剪掉上述第二部分图像后剩下的图像。基于最佳缝合线还可以获得用于处理各转换后图像的掩码图，根据各转换后图像对应的掩码图对各转换后图像进行裁剪，获得裁剪后图像，对各裁剪后图像进行融合，获得拼接后图像。

以图5中的最佳缝合线为例，根据该最佳缝合线可以获得用于处理图像L′和图像R′的掩码图，请参阅图6，示出了用于处理图像L′和图像R′的掩码图，图6中的左图和右图分别表示用于处理图像L′和图像R′的掩码图，分别用mask_L和mask_R表示，掩码图mask_L中的白色区域和黑色区域分别对应图像L′中的待保留区域和待去除区域，掩码图mask_L中的渐变区域起到羽化作用，使得拼接处的过渡更自然，请参阅图7，示出了图像L′经掩码图mask_L处理后的图像，用L2表示。掩码图mask_R中的白色区域和黑色区域分别对应图像R′中待保留和待去除的区域，掩码图mask_R中的渐变区域起到羽化作用，使得拼接处的过渡更自然，请参阅图8，示出了图像R′经掩码图mask_R处理后的图像，用R2表示。对图像L2和图像R2进行拼接，获得拼接后图像，请参阅图9，示出了图像L2和图像R2拼接后的图像。

本实施例中，基于最佳缝合线对各转换后图像进行拼接，能够绕过前景物体或运动物体，可有效避免拼接时缝合线经过前景物体或运动物体时容易出现的拼缝或鬼影问题，从而提高图像拼接质量。

需要理解的是，上述实施例是以两张图像的拼接为例进行说明，但不限于两张图像的拼接，还可以应用于多于两张图像的拼接，拼接过程与上述实施例类似，此处不再赘述。

在一个实施例中，如图10所示，提供了一种图像拼接方法，该方法包括以下步骤S1001至步骤S1008。

S1001，获取不同视角采集的各待处理图像以及各待处理图像的相邻帧图像，将各待处理图像以及各相邻帧图像转换到统一坐标空间，获得各待处理图像对应的转换后图像以及各相邻帧图像对应的辅助图像。

S1002，确定各转换后图像的重叠区域。

S1003，基于各转换后图像在重叠区域的像素点，获得空域光流信息。

S1004，基于各转换后图像在重叠区域的像素点以及各辅助图像的像素点，获得时域光流信息。

S1005，将空域光流信息和时域光流信息分别进行转换，得到对应的空域能量值和时域能量值。

S1006，基于空域能量值和时域能量值，获得重叠区域对应的能量图。

S1007，根据能量图中的各能量值，确定拼接方向上的最短路径，作为最佳缝合线。

S1008，基于最佳缝合线，对各转换后图像进行拼接，获得拼接后图像。

上述步骤S1001～S1008的具体限定可以参考前文实施例，此处不再赘述。本实施例中，通过融合空域光流信息和时域光流信息，可以有效区分各待拼接图像的重叠区域的前景物体(包括运动物体)和背景物体，从而可以获得能够绕过前景物体或运动物体的最佳缝合线，避免拼接时出现的拼缝或鬼影问题，提高图像拼接质量。

需要理解的是，融合空域光流信息和时域光流信息进行图像拼接的方法，还可以应用于视频流拼接。举例来说，对于第一待拼接视频流和第二待拼接视频流，分别从中提取单帧图像(例如第1帧)，作为第一待拼接图像和第二待拼接图像，通过上述实施例拼接后可以得到拼接后的第1帧图像，同理，可以获得拼接后的第n帧图像，基于拼接后的各帧图像，可以获得拼接后的视频流。

应该理解的是，虽然图1、10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种图像拼接装置，包括：图像获取模块1110、重叠区域确定模块1120、光流信息确定模块1130和图像拼接模块1140，其中：

图像获取模块1110，用于获取不同视角采集的各待处理图像，将各待处理图像转换到统一坐标空间，获得各待处理图像对应的转换后图像。

重叠区域确定模块1120，用于确定各转换后图像的重叠区域。

光流信息确定模块1130，用于基于各转换后图像在重叠区域的像素点，获得空域光流信息，空域光流信息用于表征重叠区域中各像素点的偏移程度。

图像拼接模块1140，用于根据空域光流信息，对各转换后图像进行拼接。

在一个实施例中，光流信息确定模块1130在基于各转换后图像在重叠区域的像素点，获得空域光流信息时，具体用于：获取第一转换后图像在重叠区域中的第一像素点的第一位置信息，以及第二转换后图像在重叠区域中与第一像素点匹配的第二像素点的第二位置信息，各转换后图像包括第一转换后图像和第二转换后图像；根据第一位置信息和第二位置信息，获得空域光流信息。

在一个实施例中，图像获取模块1110，还用于：获取第一待处理图像的第一相邻帧图像，以及第二待处理图像的第二相邻帧图像，各待处理图像包括第一待处理图像和第二待处理图像；将第一相邻帧图像和第二相邻帧图像转换到统一坐标空间中，获得第一辅助图像和第二辅助图像。

在一个实施例中，光流信息确定模块1130，还用于：获取第一转换后图像在重叠区域的第一像素点的第一位置信息，以及第一辅助图像中与第一像素点匹配的第三像素点的第三位置信息；根据第一位置信息和第三位置信息，获得第一时域光流信息；获取第二转换后图像在重叠区域的第四像素点的第四位置信息，以及第二辅助图像中与第四像素点匹配的第五像素点的第五位置信息，各转换后图像包括第一转换后图像和第二转换后图像；根据第四位置信息和第五位置信息，获得第二时域光流信息。

在一个实施例中，图像拼接模块1140在根据空域光流信息，对各转换后图像进行拼接时，具体用于：根据空域光流信息，获得重叠区域对应的能量图；根据能量图，对各转换后图像进行拼接。

在一个实施例中，图像拼接模块1140在根据空域光流信息，获得重叠区域对应的能量图时，具体用于：将空域光流信息进行转换，得到对应的空域能量值；基于空域能量值，获得重叠区域对应的能量图。

在一个实施例中，图像拼接模块1140在根据空域光流信息，获得重叠区域对应的能量图时，具体用于：将空域光流信息、第一时域光流信息和第二时域光流信息分别进行转换，得到对应的空域能量值、第一时域能量值和第二时域能量值；基于空域能量值、第一时域能量值和第二时域能量值，获得重叠区域对应的能量图。

在一个实施例中，图像拼接模块1140在基于空域能量值、第一时域能量值和第二时域能量值，获得重叠区域对应的能量图时，具体用于：将第一时域能量值与第二时域能量值进行对应相加并取平均值，获得时域能量值；将时域能量值与空域能量值进行对应相加并取平均值，获得最终能量值；基于最终能量值获得重叠区域对应的能量图。

在一个实施例中，图像拼接模块1140还用于：根据能量图中各能量值中大于预设阈值的能量值对应的图像点位置，确定各转换后图像在重叠区域中的前景图像。

在一个实施例中，图像拼接模块1140还用于：根据能量图中各能量值中小于或等于预设阈值的能量值对应的图像点位置，确定各转换后图像在重叠区域中的背景图像。

在一个实施例中，图像拼接模块1140在根据能量图，对各转换后图像进行拼接时，具体用于：根据能量图中的各能量值，确定拼接方向上的最短路径，作为最佳缝合线；基于最佳缝合线，对各转换后图像进行拼接。

在一个实施例中，图像拼接模块1140在基于最佳缝合线，对各转换后图像进行拼接时，具体用于：基于最佳缝合线对各转换后图像进行裁剪，将裁剪后的各图像进行拼接。

关于图像拼接装置的具体限定可以参见上文中对于图像拼接方法的限定，在此不再赘述。上述图像拼接装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像拼接方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像拼接方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12或图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要理解的是，上述实施例中的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像拼接方法，所述方法包括：

获取不同视角采集的各待处理图像，将各所述待处理图像转换到统一坐标空间，获得各所述待处理图像对应的转换后图像；

确定各所述转换后图像的重叠区域；

基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，所述空域光流信息用于表征所述重叠区域中各像素点的偏移程度；

根据所述空域光流信息，获得所述重叠区域对应的能量图；

根据所述能量图，对各所述转换后图像进行拼接；

其中，所述根据所述空域光流信息，获得所述重叠区域对应的能量图，包括下述两项中的任意一项：

第一项：

将所述空域光流信息进行转换，得到对应的空域能量值；基于所述空域能量值，获得所述重叠区域对应的能量图；

第二项：

将所述空域光流信息、第一时域光流信息和第二时域光流信息分别进行转换，得到对应的空域能量值、第一时域能量值和第二时域能量值；基于所述空域能量值、所述第一时域能量值和所述第二时域能量值，获得所述重叠区域对应的能量图；

所述根据所述能量图，对各所述转换后图像进行拼接，包括：

根据所述能量图中的各能量值，确定拼接方向上的最短路径，作为最佳缝合线；基于所述最佳缝合线，对各所述转换后图像进行拼接。

2.根据权利要求1所述的方法，其特征在于，基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，包括：

获取第一转换后图像在所述重叠区域中的第一像素点的第一位置信息，以及第二转换后图像在所述重叠区域中与所述第一像素点匹配的第二像素点的第二位置信息，各所述转换后图像包括所述第一转换后图像和所述第二转换后图像；

根据所述第一位置信息和所述第二位置信息，获得空域光流信息。

3.根据权利要求1所述的方法，其特征在于，还包括：

获取第一待处理图像的第一相邻帧图像，以及第二待处理图像的第二相邻帧图像，各所述待处理图像包括所述第一待处理图像和所述第二待处理图像；

将所述第一相邻帧图像和所述第二相邻帧图像转换到所述统一坐标空间中，获得第一辅助图像和第二辅助图像。

4.根据权利要求3所述的方法，其特征在于，还包括：

获取第一转换后图像在所述重叠区域的第一像素点的第一位置信息，以及所述第一辅助图像中与所述第一像素点匹配的第三像素点的第三位置信息；

根据所述第一位置信息和所述第三位置信息，获得第一时域光流信息；

获取第二转换后图像在所述重叠区域的第四像素点的第四位置信息，以及所述第二辅助图像中与所述第四像素点匹配的第五像素点的第五位置信息，各所述转换后图像包括所述第一转换后图像和所述第二转换后图像；

根据所述第四位置信息和所述第五位置信息，获得第二时域光流信息。

5.根据权利要求1所述的方法，其特征在于，基于所述空域能量值、所述第一时域能量值和所述第二时域能量值，获得所述重叠区域对应的能量图，包括：

将所述第一时域能量值与所述第二时域能量值进行对应相加并取平均值，获得时域能量值；

将所述时域能量值与所述空域能量值进行对应相加并取平均值，获得最终能量值；

基于所述最终能量值获得所述重叠区域对应的能量图。

6.根据权利要求1所述的方法，其特征在于，还包括下述两项中的至少一项：

根据所述能量图中各能量值中大于预设阈值的能量值对应的图像点位置，确定各所述转换后图像在所述重叠区域中的前景图像；

根据所述能量图中各能量值中小于或等于所述预设阈值的能量值对应的图像点位置，确定各所述转换后图像在所述重叠区域中的背景图像。

7.根据权利要求1所述的方法，其特征在于，基于所述最佳缝合线，对各所述转换后图像进行拼接，包括：

基于所述最佳缝合线对各所述转换后图像进行裁剪，将裁剪后的各图像进行拼接。

8.一种图像拼接装置，其特征在于，所述装置包括：

图像获取模块，用于获取不同视角采集的各待处理图像，将各所述待处理图像转换到统一坐标空间，获得各所述待处理图像对应的转换后图像；

重叠区域确定模块，用于确定各所述转换后图像的重叠区域；

光流信息确定模块，用于基于各所述转换后图像在所述重叠区域的像素点，获得空域光流信息，所述空域光流信息用于表征所述重叠区域中各像素点的偏移程度；

图像拼接模块，用于根据所述空域光流信息，获得所述重叠区域对应的能量图；根据所述能量图，对各所述转换后图像进行拼接；

所述光流信息确定模块还用于下述两项中的任意一项：

第一项：

将所述空域光流信息进行转换，得到对应的空域能量值；基于所述空域能量值，获得所述重叠区域对应的能量图；

第二项：

将所述空域光流信息、第一时域光流信息和第二时域光流信息分别进行转换，得到对应的空域能量值、第一时域能量值和第二时域能量值；基于所述空域能量值、所述第一时域能量值和所述第二时域能量值，获得所述重叠区域对应的能量图；

所述图像拼接模块还用于：

根据所述能量图中的各能量值，确定拼接方向上的最短路径，作为最佳缝合线；基于所述最佳缝合线，对各所述转换后图像进行拼接。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。