CN115272085A - 全景图像的确定方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种全景图像的确定方法、装置、存储介质及电子装置，其中，该方法包括：获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，第一标记点是对目标对象的同一目标位置进行标记所得到的点，在目标位置距离第二图像的边界小于预定阈值时，第二图像中还包括对目标对象进行标记所得到的第二标记点，第二图像为在第一图像之后采集的图像；基于第一标记点以及第二标记点依次对标记图像序列中包括的图像进行拼接，得到拼接图像；将拼接图像确定为目标对象的全景图像。通过本发明，解决了相关技术中存在的确定全景图像效果差的问题。

Description

全景图像的确定方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及图像处理领域，具体而言，涉及一种全景图像的确定方法、装置、存储介质及电子装置。

背景技术

超视域目标的图像数据获取是图像信息采集工作领域中的一个重点问题，所谓超视域是指图像采集设备的成像画面不能完整记录目标对象的整体信息，即目标对象在长度或高度上超过了成像设备的观测区域。这在摄影（全景拍摄）、道路监控取证（全车取证）等领域中有着广泛且迫切的需求。在相关技术中，获取全景图像主要有以下几种方式：利用鱼眼相机，实现单一硬件设备，可以做到140°以上，单一画面全景捕捉，目标对象基本不会发生超视域的情况。然后，由于是球形成像，画面物体畸变严重，无法对图像边缘进行畸变矫正，因此无法根本上解决超视域的画面捕捉。利用多设备联合捕捉，通过部署时的精确计算，可以对指定区域中的大目标进行分别捕捉，然后进行画面的拼接形成完整的捕捉图像。然而需要同时部署多个画面采集设备，设备的控制需要严格保持同步一致，设备组仅能对指定距离、角度、范围内的大目标进行捕捉。利用固定中心旋转拍摄，软件拼合法，成本低，大量的用于民用场景，如手机全景拍摄等。但该方法仅能捕捉静止的物体，无法捕捉运动中的大目标。

以上几种方式在捕捉超视域运动目标的场景下都或多或少的存在各种问题，或是成像畸变严重、或是使用受限严重，都不能很好的对超视域运动目标进行完整的捕捉。

由此可知，相关技术中存在确定全景图像效果差的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种全景图像的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的确定全景图像效果差的问题。

根据本发明的一个实施例，提供了一种全景图像的确定方法，包括：获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，所述标记图像序列中包括的每帧图像中均包括所述目标对象的部分区域，所述标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，所述第一标记点是对所述目标对象的同一目标位置进行标记所得到的点，在所述目标位置距离所述第二图像的边界小于预定阈值时，所述第二图像中还包括对所述目标对象进行标记所得到的第二标记点，所述第二图像为在所述第一图像之后采集的图像；基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像；将所述拼接图像确定为所述目标对象的全景图像。

根据本发明的另一个实施例，提供了一种全景图像的确定装置，包括：获取模块，用于获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，所述标记图像序列中包括的每帧图像中均包括所述目标对象的部分区域，所述标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，所述第一标记点是对所述目标对象的同一目标位置进行标记所得到的点，在所述目标位置距离所述第二图像的边界小于预定阈值时，所述第二图像中还包括对所述目标对象进行标记所得到的第二标记点，所述第二图像为在所述第一图像之后采集的图像；拼接模块，用于基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像；确定模块，用于将所述拼接图像确定为所述目标对象的全景图像。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，标记图像序列中包括的每帧图像中均包括目标对象的部分区域，标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，第一标记点是对目标对象的同一目标位置进行标记所得到的点，在目标位置距离第二图像的边界小于预定阈值时，第二图像中还包括对目标对象进行标记所得到的第二标记点，第二图像为在第一图像之后采集的图像；根据第一标记点以及第二标记点依次对标记图像序列中包括的图像进行拼接，得到拼接图像；将拼接图像确定为目标对象的全景图像。由于在进行图像拼接时，是根据相邻两帧图像中包括的第一标记点以及第二标记点进行标记的，第一标记点在相邻的两帧图像中均存在，实现了标记点的跟踪，即实现通过相同的标记点对图像进行拼接，因此，可以得到准确的拼接图像，因此，可以解决相关技术中存在的确定全景图像效果差的问题，提升了确定的全景图像的效果。

附图说明

图1是本发明实施例的一种全景图像的确定方法的移动终端的硬件结构框图；

图2是根据本发明实施例的全景图像的确定方法的流程图；

图3是根据本发明实施例的第一图像中的第一标记点示意图；

图4是根据本发明实施例的第二图像中的第二标记点示意图；

图5是根据本发明实施例的第一标记点的时空运动轨迹示意图；

图6是根据本发明实施例的目标对象的完整标注示意图；

图7是根据本发明实施例的锚点跟踪优化插值技术示意图；

图8是根据本发明实施例的确定第一拼接图像和第二拼接图像示意图；

图9是根据本发明实施例的目标对象局部画面有效信息片段调整示意图；

图10是根据本发明实施例的全景图像示意图；

图11是根据本发明具体实施例的全景图像的确定方法流程图；

图12是根据本发明实施例的全景图像的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种全景图像的确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的全景图像的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种全景图像的确定方法，图2是根据本发明实施例的全景图像的确定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，所述标记图像序列中包括的每帧图像中均包括所述目标对象的部分区域，所述标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，所述第一标记点是对所述目标对象的同一目标位置进行标记所得到的点，在所述目标位置距离所述第二图像的边界小于预定阈值时，所述第二图像中还包括对所述目标对象进行标记所得到的第二标记点，所述第二图像为在所述第一图像之后采集的图像；

步骤S204，基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像；

步骤S206，将所述拼接图像确定为所述目标对象的全景图像。

在上述实施例中，标记图像序列可以是对采集到的视频流进行标记所得到的图像序列。在进行标注时，可以对视频流中包括的每帧图像进行标记，也可以对视频流中的目标帧数据进行标记。其中，视频流可以是固定点位的观测设备采集到的视频，目标对象可以是移动的对象。例如，观测设备可以是交通岗中安装至固定点位的监控设备，该设备无水平或垂直方向的偏转，即拍摄角度不变。目标对象可以是车辆等。

在上述实施例中，对图像进行标记可以采用人工标记的方式，也可以采用自动标记的方式。当采用人工标记的方式时，可以通过锚点来标记视频中目标对象移动，即在目标对象进入画面视野区域后，找到目标对象的画面特征点位（此处所谓特征点是指目标物体表面位置固定，可以在空间上标识目标对象位置属性的像素点），并创建对应的时空锚点，即第一标记点来对应的标记该特征点。可以选取视频设备作为图像采集的工具，从而也将提出时空锚的概念。所谓的锚是指图像中的一组可追踪的画面特征信息，而时空锚则是记录了该锚在时间线上对应的空间位置变化的信息。基于时空锚，可以方便的比对前后帧的目标对象的相对位置偏差。根据锚的功能类型不同，有如下不同类型的锚：

点锚：通过观察参考点的位置移动，来计算相应目标对象的位移；

线锚：通过观察参考线的位置移动，来计算相应目标对象的在画面上水平/垂直方向的位移；

矩形锚：通过观察参考线的位置移动，来计算相应目标对象的在画面上水平/垂直方向的位移以及两个维度上的放射变化；

在确定目标对象的画面特征后，标记员使用锚点对随后视频每一帧中该目标对象的特征点位进行移动匹配，匹配的信息将计入该锚点的时空信息中。

在上述实施例中，标记流程如下：

i. 目标对象进入画面时，选取用于持续跟踪的特征点位，其中，第一图像中的第一标记点示意图可参见附图3，第一标记点即图3中Anch01；

ii. 在特征点位创建锚点，即第一标记点；

iii. 切换下一帧，并调整记录锚点在该时刻的位置信息；

iv. 重复iii，直到该锚点即将离开视域画面，如目标位置距离第二图像的边界小于预定阈值，其中，第二图像的边界为沿着目标对象的运动方向前端的边界，第二图像中的第二标记点示意图可参见附图4中的锚点Anch02，第一标记点的时空运动轨迹可参见附图5。

在目标对象超视域的场景下，单一锚点是不足以描述目标的完整信息。这时就需要采用多锚点联合标记的方法来对目标对象进行运动位移标记。在上一个锚点即将运动出观测画面时，寻找目标对象的第二特征点，并对应创建第二个锚点，即第二标记点，这样就可以在第一个特征点消失后，通过第二个锚点继续记录对应目标对象的运动状态。其中，联合标记图像示意图仍可参见附图4。持续以上的过程，直到整个目标对象完整的经过观测区域后即完成该目标对象的标注。目标对象的完整标注示意图可参见附图6，如图6所示，图中的矩形框为视频观察画面的区域。

在上述实施例中，当采用自动标记的方式时，可以采用以下方式进行自动标注：

方式一：在检测到目标对象时，可以在帧图像中选择目标对象的第一标记点，其中，第一标记点的可以是与目标对象的边界的距离小于第一阈值的点，目标对象的边界为目标对象沿着运动方向前端的边界。实时检测目标对象，当第一标记点距离第二图像的边界小于预定阈值时，在第二图像中选择第二标记点，并跟踪第二标记点，当第二标记点距离采集到的图像的边界小于预定阈值时，再次进行标记；

方式二：获取帧图像各个像素点的像素值；对帧图像进行区域划分，以得到目标区域；根据目标区域确定目标区域的像素集合，再将像素集合与预先存储的对比像素集合进行比对，以确定像素集合是否是需要进行标记的目标对象，其中，预先存储的对比像素集合包括不同类型、不同位置的目标对象可能存在的像素集合，例如，蓝色或红色的大货车的车头的像素集合，小轿车的车身的像素集合，大巴车的车头的像素集合等等；在确定是目标对象的情况下，则按照前述标记依次选择第一标记点以及第二标记点；其中，区域划分方式可以是随机的，也可以是按照预定方式进行划分的。

在上述实施例中，为了提升标记的效率，还提供半自动化的辅助标注功能。该方法与视频跟踪标注的原理一致，即采用时间上相近两点进行内部线性插值的方式，提供预标注。该方法的适用条件如下：

1. 由于默认采用采用线性插值的方法，因此插值时间范围内，我们假设目标对象的运动轨迹在以摄像头为球心的球面上是沿着圆弧匀速运行的。即在足够大的半径下、以及足够短的时间内，假设目标沿直线的匀速运动可以近似为摄像头观察角度下的匀速圆弧运动；

2. 由于透视原理，因此目标对象在视频范围内运动时存在视觉差，即在选取目标对象上的不同特征点时（里观测点距离不同的点），其运动位移的计算结果会有微量的偏差。因此，在使用该标注时需要要求用户选择的特征点必须在同一个观察球面上。其中，锚点跟踪优化插值技术示意图可参见附图7。

在上述实施例中，单一时空锚的信息由一个帧的对象数组来表达，这种表达的特点是数据的顺序是完全按照帧序进行排列的，这样就能方便定义多时空锚点的信息表达。在多锚点的运用中，只需要确保：

1) 锚点的标记选取是完全按照时间顺序的；

2) 有且仅有一帧的画面上同时标记了相邻两个锚点；

在以上2点条件的保证下，可以通过锚点来对目标对象的完整信息进行关联。

在获取以上信息后，可以通过前后帧锚点，即标记点的位置坐标的差异，来获取具体的相对位移的距离。前后两个锚点在标记时，可以有大于等于一帧上有重叠信息，这样可以保证整个目标对象在时间上能被完整记录。

其中，上述步骤的执行主体可以为后台处理器等，但不限于此。

通过本发明，获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，标记图像序列中包括的每帧图像中均包括目标对象的部分区域，标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，第一标记点是对目标对象的同一目标位置进行标记所得到的点，在目标位置距离第二图像的边界小于预定阈值时，第二图像中还包括对目标对象进行标记所得到的第二标记点，第二图像为在第一图像之后采集的图像；根据第一标记点以及第二标记点依次对标记图像序列中包括的图像进行拼接，得到拼接图像；将拼接图像确定为目标对象的全景图像。由于在进行图像拼接时，是根据相邻两帧图像中包括的第一标记点以及第二标记点进行标记的，第一标记点在相邻的两帧图像中均存在，实现了标记点的跟踪，即实现通过相同的标记点对图像进行拼接，因此，可以得到准确的拼接图像，因此，可以解决相关技术中存在的确定全景图像效果差的问题，提升了确定的全景图像的效果。

在一个示例性实施例中，基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像包括：针对所述标记图像序列中包括的依次相邻的两帧图像中的所述第一图像和所述第二图像，均执行以下目标操作，得到拼接子图像，其中，所述目标操作包括：确定所述相邻的两帧图像中包括的第一图像中的所述第一标记点的第一坐标；确定所述第二图像中的所述第一标记点的第二坐标以及第二标记点的第三坐标；基于所述第一坐标、所述第二坐标以及所述第三坐标拼接所述第一图像以及所述第二图像，得到所述拼接子图像；在所述第二图像为除所述标记图像序列中包括的最后一帧图像之外的图像的情况下，将第一图像更新为所述拼接子图像；将所述第二图像更新为所述第二图像的下一帧图像；对所述第一图像和所述第二图像执行所述目标操作，得到所述拼接子图像；在所述第二图像为所述最后一帧图像的情况下，将所述拼接子图像确定为所述拼接图像。在本实施例中，时空锚，即标记点准备好了每一帧上目标对象的相对前一帧的相对位移量，借此，可以很方便的从每一帧的画面中截取相应的区域进行拼接，最后完成单一移动目标的完整全景图像。可以根据第一标记点在第一图像中的第一坐标和在第二图像中的第二坐标确定目标对象的相对位移量，再根据第二图像中的第三坐标以及第二坐标确定拼接区域，根据相对位移量和拼接区域对图像进行拼接。

在上述实施例中，在进行图像拼接时，可以根据对标记图像序列中的图像进行依次拼接，先拼接第一帧图像和第二帧图像，再将第三帧图像拼接在第二帧图像后，再拼接第四帧图像，直到拼接完最后一帧图像。即，先拼接第一帧图像和第二帧图像，得到拼接子图像，第二帧图像后仍存在图像时，则将拼接子图像定义为第一图像，将第二帧图像的下一帧图像定义为第二图像，再将第一图像和第二图像拼接到一起，得到新的拼接子图像，重复以上步骤，直到拼接到最后一帧图像，将拼接后的图像确定为拼接图像。

在一个示例性实施例中，基于所述第一坐标、所述第二坐标以及所述第三坐标拼接所述第一图像以及所述第二图像，得到所述拼接子图像包括：基于所述第一坐标以及所述第二坐标确定所述第一图像中包括的第一拼接图像；基于所述第二坐标以及所述第三坐标确定所述第二图像中包括的第二拼接图像；拼接所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像。在本实施例中，可以根据相邻两帧图像中的第一标记点的第一坐标和第二坐标确定第一图像中包括的第一拼接图像，根据第二图像中的第一标记点和第二标记点的坐标确定第二图像中的第二拼接图像，将第一拼接图像和第二拼接图像进行拼接，得到拼接子图像。

在一个示例性实施例中，基于所述第一坐标以及所述第二坐标确定所述第一图像中包括的第一拼接图像包括：确定所述第二坐标中包括的第一横坐标与所述第一坐标中包括的第二横坐标的第一坐标差；在所述第一坐标差大于零的情况下，将所述第一图像的左边界到第一竖线的区域的图像确定为所述第一拼接图像，其中，所述第一竖线过所述第一坐标对应的点；在所述第一坐标差小于零的情况下，将所述第一图像的右边界到所述第一竖线的区域的图像确定为所述第一拼接图像。在本实施例中，可以确定第二坐标中包括的第一横坐标与第一坐标中包括的第二横坐标的第一坐标差，即确定第一标记点在第二图像中的横坐标与第一标记点在第一图像中的横坐标的第一坐标差，根据第一坐标差可以确定目标对象的运动方向，当第一坐标差大于零时，说明目标对象向右运动，当第一坐标差小于零时，说明目标对象向左运动。图8为确定第一拼接图像和第二拼接图像示意图，如图8所示，目标对象向右运动，可以将第一图像的左边界a到过第一坐标所对应的点A的第一竖线b的图像区域（图8中区域1）确定为第一拼接图像。

在一个示例性实施例中，基于所述第二坐标以及所述第三坐标确定所述第二图像中包括的第二拼接图像包括：确定过所述第二坐标对应的点的第二竖线，以及过所述第三坐标对应点的第三竖线；将所述第二竖线、所述第三竖线以及所述第二图像的上下边界所构成的区域的图像确定为所述第二拼接图像。在本实施例中，继续参见附图8，可以将第二坐标对应的点B所在的第二竖线c、第三坐标对应的点C所在的第三竖线d、第二图像的上边界e以及下边界f所围城的区域（图8中区域2）的图像确定为第二拼接图像。

在一个示例性实施例中，拼接所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像包括：确定第二坐标中包括的第一纵坐标与所述第一坐标中包括的第二纵坐标的第二坐标差；在所述第二坐标差等于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像；在所述第二坐标差大于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向下移动目标距离，得到所述拼接子图像，其中，所述目标距离为所述第二坐标差的绝对值；在所述第二坐标差小于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向上移动所述目标距离，得到所述拼接子图像。在本实施例中，还可以根据第一坐标以及第二坐标中包括的纵坐标确定第一拼接图像和第二拼接图像垂直方向的移动距离。当第二坐标差为零时，说明第一拼接图像中的目标对象与第二拼接图像中的目标对象的垂直位置未发生偏移，则可以直接将第一拼接图像和第二拼接图像放置在目标画板中，得到拼接子图像。当第二坐标差大于零时，说明第二拼接图像相对第一拼接图像向上偏移，则可以将第二拼接图像在画板中向下移动第二坐标差对应的目标距离。当第二坐标差小于零时，说明第二拼接图像相对第一拼接图像向下偏移，则可以将第二拼接图像在画板中向上移动第二坐标差对应的目标距离

在一个示例性实施例中，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向下移动目标距离，得到所述拼接子图像包括：删除所述第二拼接图像中包括的位于所述目标画板之外的图像，将第一区域中包括的空余部分填充目标颜色，得到第三拼接图像，将所述目标画板中包括的所述第一拼接图像以及所述第三拼接图像确定为所述拼接子图像，其中，所述第一区域为所述第二拼接图像初始放置在所述目标画板中的区域；在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向上移动所述目标距离，得到所述拼接子图像包括：删除所述第二拼接图像中包括的位于所述目标画板之外的图像，将第一区域中包括的空余部分填充目标颜色，得到第四拼接图像，将所述目标画板中包括的所述第一拼接图像以及所述第四拼接图像确定为所述拼接子图像，其中，所述第一区域为所述第二拼接图像初始放置在所述目标画板中的区域。在本实施例中，由于在拼接图像拼接时，第二拼接图像可能会向上或向下移动，导致目标画板中存在空余区域，也会存在超过目标画板区域的图像。因此，可以将目标画板中空余区域填充目标颜色，将超出目标画板区域的图像删除。

继续参见附图8，多帧画面拼接流程如下：

①获取首帧画面，及锚点坐标 (x(0,0) , y(0,0))；

②获取第二帧画面，及对应锚点坐标 (x(0,1), y(0,1))；

③计算水平方向位移绝对量，Δx(0,0) = x(0,1)-x(0,0)，如果为正，则目标物体向右移动，反之为向左移动；

④计算垂直方向位移绝对量，Δy(0,0) = y(0,1)-y(0,0);

⑤从第二帧画面中截出移动增量画面，假设全画面的分辨率为W×H，其中W为画面宽，H为画面高，则需要截出的画面为以下坐标围城的区域：(xt , 0), (xt+1, 0), (xt+1,H), (xt , H)。更具象的认知，可以参考附图8中的区域3。

⑥对截出的画面图像，根据第二帧锚点坐标垂直方向的相对偏移进行反向调整，即垂直方向的绝对位移量为Δy(0,0)，那么整个画面的像素全部在垂直方向上移动-Δy(0,0)的距离。如图9中的图（a）所示，第二拼接图像的画面区域包括区域3以及区域4、画布显示区域为区域4以及区域5。那么经过移动后，溢出的像素全部丢弃，而不足的部分，则用默认色（如#fffffff）进行填充，最终该片段的成像效果可参见附图9中的图（b）。

⑦重复以上2-6的步骤，可以连续获取一组调整后的片段画面，直至最后一个画面帧；

⑧将以上获取的画面整按照顺序进行拼合，则可获取最终的拼合目标全景图像，全景图像示意图可参见附图10。

下面结合具体实施方式对全景图像的确定方法进行说明：

图11是根据本发明具体实施例的全景图像的确定方法流程图，如图11所示，该流程包括：

步骤S1102，目标选定。

步骤S1104，时空锚联合标定。具体包括：单一时空锚标定、画面帧切割提取有效片段以及有效片段中目标偏移回归调整。

步骤S1106，有效片段拼合。

在前述实施例中，通过对目标对象的特征点进行标定、跟踪，再根据具体的场景进行仿射还原，从而从视频画面中获取完整的目标对象的全景图像，用以精确捕捉超设备视域范围的目标物体的全画幅图像数据，主要解决了监控摄像设备对大型移动目标对象拍摄不全的问题。以视频跟踪技术为基础提出了时空锚的概念，可以针对不同的复杂场景采用不同的时空锚来进行目标的捕捉。在观测物体移动路径的水平垂直观测区域观测时，可以采用点锚/线锚（时空锚一种）来辅助定位捕捉；在观测物体移动路径的非水平垂直观测区域观测时，可以采用矩形锚（时空锚一种）来辅助定位捕捉，并借此来调整由于仿射变换造成的图像变形。时空锚的作用不仅可以解决视频采集设备视域小的问题，同时可以应对不同的复杂场景进行应用，辅助矫正图像球形形变（鱼眼相机的问题）、运动仿射形变（透视视角）、数据存储（高速摄像场景）等。避免了类似鱼眼相机成像时边缘侧的球形畸变；并且成本低，仅需要一个设备就可以完成对超视域移动物体的全景捕捉；对图像采集设备的架设条件并没有那么苛刻；能针对运动中的目标物体进行捕捉，成像还原度高。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

在本实施例中还提供了一种全景图像的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图12是根据本发明实施例的全景图像的确定装置的结构框图，如图12所示，该装置包括：

获取模块1202，用于获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，所述标记图像序列中包括的每帧图像中均包括所述目标对象的部分区域，所述标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，所述第一标记点是对所述目标对象的同一目标位置进行标记所得到的点，在所述目标位置距离所述第二图像的边界小于预定阈值时，所述第二图像中还包括对所述目标对象进行标记所得到的第二标记点，所述第二图像为在所述第一图像之后采集的图像；

拼接模块1204，用于基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像；

确定模块1206，用于将所述拼接图像确定为所述目标对象的全景图像。

在一个示例性实施例中，拼接模块1204可以通过如下方式实现基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像：针对所述标记图像序列中包括的依次相邻的两帧图像中的所述第一图像和所述第二图像，均执行以下目标操作，得到拼接子图像，其中，所述目标操作包括：确定所述相邻的两帧图像中包括的第一图像中的所述第一标记点的第一坐标；确定所述第二图像中的所述第一标记点的第二坐标以及第二标记点的第三坐标；基于所述第一坐标、所述第二坐标以及所述第三坐标拼接所述第一图像以及所述第二图像，得到所述拼接子图像；在所述第二图像为除所述标记图像序列中包括的最后一帧图像之外的图像的情况下，将第一图像更新为所述拼接子图像；将所述第二图像更新为所述第二图像的下一帧图像；对所述第一图像和所述第二图像执行所述目标操作，得到所述拼接子图像；在所述第二图像为所述最后一帧图像的情况下，将所述拼接子图像确定为所述拼接图像。

在一个示例性实施例中，拼接模块1204可以通过如下方式实现基于所述第一坐标、所述第二坐标以及所述第三坐标拼接所述第一图像以及所述第二图像，得到所述拼接子图像：基于所述第一坐标以及所述第二坐标确定所述第一图像中包括的第一拼接图像；基于所述第二坐标以及所述第三坐标确定所述第二图像中包括的第二拼接图像；拼接所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像。

在一个示例性实施例中，拼接模块1204可以通过如下方式实现基于所述第一坐标以及所述第二坐标确定所述第一图像中包括的第一拼接图像：确定所述第二坐标中包括的第一横坐标与所述第一坐标中包括的第二横坐标的第一坐标差；在所述第一坐标差大于零的情况下，将所述第一图像的左边界到第一竖线的区域的图像确定为所述第一拼接图像，其中，所述第一竖线过所述第一坐标对应的点；在所述第一坐标差小于零的情况下，将所述第一图像的右边界到所述第一竖线的区域的图像确定为所述第一拼接图像。

在一个示例性实施例中，拼接模块1204可以通过如下方式实现基于所述第二坐标以及所述第三坐标确定所述第二图像中包括的第二拼接图像：确定过所述第二坐标对应的点的第二竖线，以及过所述第三坐标对应点的第三竖线；将所述第二竖线、所述第三竖线以及所述第二图像的上下边界所构成的区域的图像确定为所述第二拼接图像。

在一个示例性实施例中，拼接模块1204可以通过如下方式实现拼接所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像：确定第二坐标中包括的第一纵坐标与所述第一坐标中包括的第二纵坐标的第二坐标差；在所述第二坐标差等于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像；在所述第二坐标差大于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向下移动目标距离，得到所述拼接子图像，其中，所述目标距离为所述第二坐标差的绝对值；在所述第二坐标差小于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向上移动所述目标距离，得到所述拼接子图像。

在一个示例性实施例中，拼接模块1204可以通过如下方式实现在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向下移动目标距离，得到所述拼接子图像：删除所述第二拼接图像中包括的位于所述目标画板之外的图像，将第一区域中包括的空余部分填充目标颜色，得到第三拼接图像，将所述目标画板中包括的所述第一拼接图像以及所述第三拼接图像确定为所述拼接子图像，其中，所述第一区域为所述第二拼接图像初始放置在所述目标画板中的区域；拼接模块1204可以通过如下方式实现在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向上移动所述目标距离，得到所述拼接子图像：删除所述第二拼接图像中包括的位于所述目标画板之外的图像，将第一区域中包括的空余部分填充目标颜色，得到第四拼接图像，将所述目标画板中包括的所述第一拼接图像以及所述第四拼接图像确定为所述拼接子图像，其中，所述第一区域为所述第二拼接图像初始放置在所述目标画板中的区域。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全景图像的确定方法，其特征在于，包括：

获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，所述标记图像序列中包括的每帧图像中均包括所述目标对象的部分区域，所述标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，所述第一标记点是对所述目标对象的同一目标位置进行标记所得到的点，在所述目标位置距离所述第二图像的边界小于预定阈值时，所述第二图像中还包括对所述目标对象进行标记所得到的第二标记点，所述第二图像为在所述第一图像之后采集的图像；

基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像；

将所述拼接图像确定为所述目标对象的全景图像。

2.根据权利要求1所述的方法，其特征在于，基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像包括：

针对所述标记图像序列中包括的依次相邻的两帧图像中的所述第一图像和所述第二图像，均执行以下目标操作，得到拼接子图像，其中，所述目标操作包括：确定所述相邻的两帧图像中包括的第一图像中的所述第一标记点的第一坐标；确定所述第二图像中的所述第一标记点的第二坐标以及第二标记点的第三坐标；基于所述第一坐标、所述第二坐标以及所述第三坐标拼接所述第一图像以及所述第二图像，得到所述拼接子图像；

在所述第二图像为除所述标记图像序列中包括的最后一帧图像之外的图像的情况下，将第一图像更新为所述拼接子图像；将所述第二图像更新为所述第二图像的下一帧图像；对所述第一图像和所述第二图像执行所述目标操作，得到所述拼接子图像；

在所述第二图像为所述最后一帧图像的情况下，将所述拼接子图像确定为所述拼接图像。

3.根据权利要求2所述的方法，其特征在于，基于所述第一坐标、所述第二坐标以及所述第三坐标拼接所述第一图像以及所述第二图像，得到所述拼接子图像包括：

基于所述第一坐标以及所述第二坐标确定所述第一图像中包括的第一拼接图像；

基于所述第二坐标以及所述第三坐标确定所述第二图像中包括的第二拼接图像；

拼接所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像。

4.根据权利要求3所述的方法，其特征在于，基于所述第一坐标以及所述第二坐标确定所述第一图像中包括的第一拼接图像包括：

确定所述第二坐标中包括的第一横坐标与所述第一坐标中包括的第二横坐标的第一坐标差；

在所述第一坐标差大于零的情况下，将所述第一图像的左边界到第一竖线的区域的图像确定为所述第一拼接图像，其中，所述第一竖线过所述第一坐标对应的点；

在所述第一坐标差小于零的情况下，将所述第一图像的右边界到所述第一竖线的区域的图像确定为所述第一拼接图像。

5.根据权利要求3所述的方法，其特征在于，基于所述第二坐标以及所述第三坐标确定所述第二图像中包括的第二拼接图像包括：

确定过所述第二坐标对应的点的第二竖线，以及过所述第三坐标对应点的第三竖线；

将所述第二竖线、所述第三竖线以及所述第二图像的上下边界所构成的区域的图像确定为所述第二拼接图像。

6.根据权利要求3所述的方法，其特征在于，拼接所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像包括：

确定第二坐标中包括的第一纵坐标与所述第一坐标中包括的第二纵坐标的第二坐标差；

在所述第二坐标差等于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，得到所述拼接子图像；

在所述第二坐标差大于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向下移动目标距离，得到所述拼接子图像，其中，所述目标距离为所述第二坐标差的绝对值；

在所述第二坐标差小于零的情况下，在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向上移动所述目标距离，得到所述拼接子图像。

7.根据权利要求6所述的方法，其特征在于，

在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向下移动目标距离，得到所述拼接子图像包括：删除所述第二拼接图像中包括的位于所述目标画板之外的图像，将第一区域中包括的空余部分填充目标颜色，得到第三拼接图像，将所述目标画板中包括的所述第一拼接图像以及所述第三拼接图像确定为所述拼接子图像，其中，所述第一区域为所述第二拼接图像初始放置在所述目标画板中的区域；

在目标画板中依次相邻放置所述第一拼接图像以及所述第二拼接图像，并将所述第二拼接图像向上移动所述目标距离，得到所述拼接子图像包括：删除所述第二拼接图像中包括的位于所述目标画板之外的图像，将第一区域中包括的空余部分填充目标颜色，得到第四拼接图像，将所述目标画板中包括的所述第一拼接图像以及所述第四拼接图像确定为所述拼接子图像，其中，所述第一区域为所述第二拼接图像初始放置在所述目标画板中的区域。

8.一种全景图像的确定装置，其特征在于，包括：

获取模块，用于获取对目标视频中包括的目标对象进行标记所得到的标记图像序列，其中，所述标记图像序列中包括的每帧图像中均包括所述目标对象的部分区域，所述标记图像序列中包括的任意相邻的两帧图像中的第一图像和第二图像中均包括第一标记点，所述第一标记点是对所述目标对象的同一目标位置进行标记所得到的点，在所述目标位置距离所述第二图像的边界小于预定阈值时，所述第二图像中还包括对所述目标对象进行标记所得到的第二标记点，所述第二图像为在所述第一图像之后采集的图像；

拼接模块，用于基于所述第一标记点以及所述第二标记点依次对所述标记图像序列中包括的图像进行拼接，得到拼接图像；

确定模块，用于将所述拼接图像确定为所述目标对象的全景图像。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

Images