CN116366977A - 一种基于光学增稳的塔机云台全景图像防抖动方法和系统 - Google Patents

Abstract

本申请实施例提供一种基于光学增稳的塔机云台全景图像防抖动方法和系统。该方法包括：在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接。本申请通过光学增稳的方式以及精确的位置和移动补偿计算，解决图像模糊使得全景图像的拼接出现延迟、拼接后的全景图像不对称的技术问题。

Description

一种基于光学增稳的塔机云台全景图像防抖动方法和系统

技术领域

本申请涉及智能塔机技术领域，尤其涉及一种基于光学增稳的塔机云台全景图像防抖动方法和系统。

背景技术

塔机由于其起升高度、起重量大和工作幅度大等特点，是目前建筑施工中使用较多的起重机械。

由于塔机结构庞大，并伴有高空作业，容易发生重大人身伤亡事故，一旦发生事故，就会给施工企业和个人带来巨大的经济损失。因此，塔机在安装环节及升节环节，需要在不同区域安装监控云台，以保证塔机的安全。

目前塔机的塔机云台，往往只能监控一个区域一个方向的情况，无法提供360度无死角的全景图像，从而存在安全隐患。另外，由于塔机的操作过程中出现的振动、移动，也会导致塔机云台产生抖动现象，从而使得监控图像出现一定的模糊。

发明内容

有鉴于此，本申请的目的在于提出一种基于光学增稳的塔机云台全景图像防抖动方法和装置，本申请能够针对性的解决现有的塔机监控死角和云台抖动导致的图像模糊问题。

基于上述目的，本申请提出了一种基于光学增稳的塔机云台全景图像防抖动方法，包括：

在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；

每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；

当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；

在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；

绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；

接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。

进一步地，所述每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻，包括：

控制每个摄像头转动使其以预设时间间隔指向上下左右前后六个方向；

在摄像头到达预设方向时停止转动一定时间，采集该方向的图像，如此采集六个方向的图像并记录每幅图像的拍摄时刻；

在一轮六个方向的六张图像采集完毕后，重新控制所述摄像头以预设时间间隔指向上下左右前后六个方向并拍摄。

进一步地，所述获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量，包括：

所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；

通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；

其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作；

其中，通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量，包括：

控制陀螺仪传感器采集角速度数据，并根据所述角速度数据和预设拟合函数模型，计算得到过幅抖动的方向、速度和移动量，所述预设拟合函数模型的获取过程为：

预先建立一个拟合函数，在拍摄图像之前控制摄像头产生抖动，并通过陀螺仪传感器采集摄像头抖动过程中的参考角速度数据以及摄像头的偏移量，根据摄像头的偏移量得到对应的参考抖动补偿数据；然后根据采集的参考角速度数据和参考抖动补偿数据，计算拟合函数中的常量；最后将计算得到的常量带入拟合函数从而建立模型。

进一步地，所述在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接，包括：

对于单个摄像头的相邻两个方向，均执行以下拼接操作：

接收由所述单个摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；

确定第一重叠区域，该第一重叠区域包括来自摄像头的第一方向对应视场的与第二方向对应视场重叠的第一部分的像素值；

接收由该摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；

确定第二重叠区域，该第二重叠区域包括来自与摄像头的第一方向对应视场重叠的摄像头的第二方向对应视场的第二部分的像素值；

基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：

第一帧区域包括选自第一帧的像素值；

第二帧区域包括选自第二帧的像素值；和

混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。

进一步地，所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：

接收混合帧区域中的缝合接缝的第一指示；

在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；

在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；

在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；

识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；

在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；

识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。

进一步地，在第一次拼接时计算拼接位置，在后续拼接中直接计算重合部分的相似度，如果高于预设阈值则按照前一次拼接的位置拼接，如果低于预设阈值则计算补偿值或重新按第一次的方法拼接。

进一步地，在轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接之后，进一步包括：给定一个显示框，将每一帧图像都根据匹配位置覆盖到之前拼接好的图像中，然后根据标定物的位置裁剪拼接图像。

进一步地，所述绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置，包括：

将所有摄像头的在相同时刻的全景图像进行进一步全景拼接，得到所述塔机作业现场的全景图像；

根据所述塔机作业现场的全景图像绘制所述塔机作业现场地图，并标记所有摄像头在所述地图上的位置；

根据所述塔机作业现场地图呈现地图显示界面，所述地图显示界面上显示所述塔机作业现场地图及所有的摄像头位置。

进一步地，所述接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像，包括：

接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示选择菜单，所述选择菜单能够选择或输入时刻信息；

根据用户选择或输入的时刻信息，显示距离所述选择或输入的时刻信息最近的时刻所述目标摄像头的全景图像。

本申请还提供了一种基于光学增稳的塔机云台全景图像防抖动系统，包括：

云台模块，用于在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；

拍摄模块，用于每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；

抖动补偿模块，用于当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；

全景拼接模块，用于在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；

地图绘制模块，用于绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；

全景显示模块，用于接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。

总的来说，本申请的优势及给用户带来的体验在于：

1、本申请通过现场全景图像采集方式使得远在施工现场之外的监控人员能够分区域调取塔吊作业现场的全景图像，并还原指定时刻的作业现场情况，能有效消除监控死角，准确还原施工过程。

2、通过光学增稳的方式以及精确的位置和移动补偿计算，消除了塔机云台在拍摄过程中由于塔机的振动而出现的过幅抖动从而引起的图像模糊问题，解决图像模糊使得全景图像的拼接出现延迟、拼接后的全景图像不对称的技术问题。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1示出本申请的架构原理示意图。

图2示出根据本申请实施例的基于光学增稳的塔机云台全景图像防抖动方法的流程图。

图3示出根据本申请实施例的全景拼接方式示意图。

图4示出根据本申请实施例的基于光学增稳的塔机云台全景图像防抖动装置的构成图。

图5示出了本申请一实施例所提供的一种电子设备的结构示意图。

图6示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出本申请的系统架构原理示意图。本申请的实施例中，如图1左边部分所示为塔吊施工场地，塔吊大臂可以划分为多个区域，每个区域中心附近安装一个云台，每个云台包括摄像头（ABCD），摄像头采集图像后通过有线或无线方式发送给远端的服务器，服务器处理图像后得到每个摄像头的全景拼接图像。用户可以通过位于控制室内的全景图像显示器看到施工现场的地图和地图内的每个摄像头及其位置，在屏幕上点击单个摄像头时，调取服务器内相应时刻的该摄像头的全景拼接图像。

图2示出根据本申请实施例的基于光学增稳的塔机云台全景图像防抖动方法的流程图。如图2所示，该基于光学增稳的塔机云台全景图像防抖动方法包括：

S1、在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；所有摄像头的视觉覆盖区域的并集大于或等于所述塔吊作业现场的全部区域。如此，所有摄像头的监控区域加在一起，能够覆盖整个塔吊作业施工场地，能有效消除监控死角，准确还原施工过程。

S2、每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；

S3、当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；此处抖动检测可以采用加速度计加陀螺仪的形式。

S4、在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；

S5、绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；

S6、接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。

更为具体的，步骤S2包括：

控制每个摄像头转动使其以预设时间间隔指向上下左右前后六个方向；

在摄像头到达预设方向时停止转动一定时间，采集该方向的图像，如此采集六个方向的图像并记录每幅图像的拍摄时刻；

在一轮六个方向的六张图像采集完毕后，重新控制所述摄像头以预设时间间隔指向上下左右前后六个方向并拍摄。

本申请的摄像头能够通过程序的设定，自动的转动并拍摄照片。通过遍历六个方向并拍摄照片，能够全方位的查看该点位的全景视觉图像，达到身临其境的感觉。

更为具体的，在第一个实施例中，步骤S3包括：

所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；

通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；

其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作。

其中，通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量，包括：

控制陀螺仪传感器采集角速度数据，并根据所述角速度数据和预设拟合函数模型，计算得到过幅抖动的方向、速度和移动量，所述预设拟合函数模型的获取过程为：

预先建立一个拟合函数，在拍摄图像之前控制摄像头产生抖动，并通过陀螺仪传感器采集摄像头抖动过程中的参考角速度数据以及摄像头的偏移量，根据摄像头的偏移量得到对应的参考抖动补偿数据；然后根据采集的参考角速度数据和参考抖动补偿数据，计算拟合函数中的常量；最后将计算得到的常量带入拟合函数从而建立模型。

例如，拟合函数可以表示为

，其中，x表示陀螺仪采集的角速度数据，y(x,w)表示镜头的抖动补偿数据，/>

为常量，j可以为任意自然数，在此不做限定。求出各个常量/>

之后就可以建立角速度数据和抖动补偿数据的对应关系。

驱动单元包括第一驱动单元，配置为通过使用第一马达在水平方向上旋转摄像头的成像方向，以及第二驱动单元，所述第二驱动单元被配置为通过使用第二马达在垂直方向上旋转摄像头的成像方向。

当在图像模糊校正的执行期间计算驱动单元的驱动剩余量的结果，当驱动剩余量等于或大于阈值时，在图像的一个周期中添加驱动量对驱动单元的位置信息进行模糊校正处理，当驱动剩余量小于阈值时，将驱动剩余量与位置信息相加，进一步相加校正量，并设置驱动单元的驱动目标值，从而更新驱动剩余量。

其中，当结束图像模糊校正时，通过将驱动单元的输出乘以增益来使驱动单元减速以将驱动单元停止在驱动目标值。

本实施例通过光学增稳的方式以及精确的位置和移动补偿计算，消除了塔机云台在拍摄过程中由于塔机的振动而出现的过幅抖动从而引起的图像模糊问题，解决图像模糊使得全景图像的拼接出现延迟、拼接后的全景图像不对称的技术问题。

更为具体的，步骤S4包括：

对于单个摄像头的相邻两个方向，如图3所示，均执行以下拼接操作：

接收由所述单个摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；

确定第一重叠区域，该第一重叠区域包括来自摄像头的第一方向对应视场的与第二方向对应视场重叠的第一部分的像素值；

接收由该摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；

确定第二重叠区域，该第二重叠区域包括来自与摄像头的第一方向对应视场重叠的摄像头的第二方向对应视场的第二部分的像素值；

基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：

第一帧区域包括选自第一帧的像素值；

第二帧区域包括选自第二帧的像素值；和

混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。

所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：

接收混合帧区域中的缝合接缝的第一指示；

在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；

在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；

在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；

识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；

在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；

识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。

本申请中，因为相机位置是固定的，所以在第一次拼接的时候需要计算拼接位置。但在后续的拼接过程中，只需要根据第一次的结果做补偿就可以了。所以后续拼接可以直接计算重合部分的相似度，高于阈值就按照前一次拼接的位置拼接，低于阈值，就计算补偿值或重新按第一次的方法拼接。这么做的目的是为了减少计算量，提高拼接速度。

在另一个实施例中，在第一次拼接完成之后，还可以进一步给定一个显示框，后续的每一帧图像都根据匹配位置覆盖到之前拼接好的图像中，然后根据标定物的位置裁剪拼接图像，这样做同样为了提高图像拼接的速度。

更为具体的，步骤S5包括：

将所有摄像头的在相同时刻的全景图像进行进一步全景拼接，得到所述塔机作业现场的全景图像；

根据所述塔机作业现场的全景图像绘制所述塔机作业现场地图，并标记所有摄像头在所述地图上的位置；

根据所述塔机作业现场地图呈现地图显示界面，所述地图显示界面上显示所述塔机作业现场地图及所有的摄像头位置。

由于每个摄像头的全景图像也只能覆盖塔吊作业施工场地的一部分区域，为了查看所有施工区域的全景图像，本申请通过将所有摄像头的全景图像进行进一步拼接，得到整个塔吊作业现场的全景图像，并绘制相应的地图以通过图1中的全景图像显示器进行显示。地图中可以以闪烁或者高亮显示每个摄像头所在的位置，便于用户发现和点击。

更为具体的，步骤S6包括：

接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示选择菜单，所述选择菜单能够选择或输入时刻信息；

根据用户选择或输入的时刻信息，显示距离所述选择或输入的时刻信息最近的时刻所述目标摄像头的全景图像。

当用户想要查看某个区域的塔吊施工作业过程时，可以根据全景图像显示器的提示，观看施工作业现场的地图，找到离该区域最近的摄像头并点击显示器屏幕上的摄像头标记。此时弹出对话框和/或菜单，允许用户选择或者输入某个时刻，服务器则调取该时刻最近时间点的该摄像头的全景图像并展示给用户，如此达到了全景监控还原的效果。尤其是当施工出现问题，需要回看监控查找具体问题时，采用本申请的方法，能够准确、快速、清晰的还原施工过程，找到施工存在的问题及原因。

本申请现场全景图像采集方式使得远在施工现场之外的监控人员能够分区域调取塔吊作业现场的全景图像，并还原指定时刻的作业现场情况，能有效消除监控死角，准确还原施工过程。

申请实施例提供了一种基于光学增稳的塔机云台全景图像防抖动装置，该装置用于执行上述实施例所述的基于光学增稳的塔机云台全景图像防抖动方法，如图4所示，该装置包括：

云台模块401，用于在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；

拍摄模块402，用于每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；

抖动补偿模块403，用于当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；

全景拼接模块404，用于在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；

地图绘制模块405，用于绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；

全景显示模块406，用于接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。

本申请的上述实施例提供的基于光学增稳的塔机云台全景图像防抖动装置与本申请实施例提供的基于光学增稳的塔机云台全景图像防抖动方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的基于光学增稳的塔机云台全景图像防抖动方法对应的电子设备，以执行上基于光学增稳的塔机云台全景图像防抖动方法。本申请实施例不做限定。

请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于光学增稳的塔机云台全景图像防抖动方法。

其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于光学增稳的塔机云台全景图像防抖动方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于光学增稳的塔机云台全景图像防抖动方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的基于光学增稳的塔机云台全景图像防抖动方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于光学增稳的塔机云台全景图像防抖动方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于光学增稳的塔机云台全景图像防抖动方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于光学增稳的塔机云台全景图像防抖动方法，其特征在于，包括：

在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；

每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；

当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；

在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；

绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；

接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。

2.根据权利要求1所述的方法，其特征在于，

所述每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻，包括：

控制每个摄像头转动使其以预设时间间隔指向上下左右前后六个方向；

在摄像头到达预设方向时停止转动一定时间，采集该方向的图像，如此采集六个方向的图像并记录每幅图像的拍摄时刻；

在一轮六个方向的六张图像采集完毕后，重新控制所述摄像头以预设时间间隔指向上下左右前后六个方向并拍摄。

3.根据权利要求2所述的方法，其特征在于，

所述获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量，包括：

所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；

通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；

其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作；

其中，通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量，包括：

控制陀螺仪传感器采集角速度数据，并根据所述角速度数据和预设拟合函数模型，计算得到过幅抖动的方向、速度和移动量，所述预设拟合函数模型的获取过程为：

预先建立一个拟合函数，在拍摄图像之前控制摄像头产生抖动，并通过陀螺仪传感器采集摄像头抖动过程中的参考角速度数据以及摄像头的偏移量，根据摄像头的偏移量得到对应的参考抖动补偿数据；然后根据采集的参考角速度数据和参考抖动补偿数据，计算拟合函数中的常量；最后将计算得到的常量带入拟合函数从而建立模型。

4.根据权利要求3所述的方法，其特征在于，

所述在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接，包括：

对于单个摄像头的相邻两个方向，均执行以下拼接操作：

接收由所述单个摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；

确定第一重叠区域，该第一重叠区域包括来自摄像头的第一方向对应视场的与第二方向对应视场重叠的第一部分的像素值；

接收由该摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；

确定第二重叠区域，该第二重叠区域包括来自与摄像头的第一方向对应视场重叠的摄像头的第二方向对应视场的第二部分的像素值；

基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：

第一帧区域包括选自第一帧的像素值；

第二帧区域包括选自第二帧的像素值；和

混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。

5.根据权利要求4所述的方法，其特征在于，

所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：

接收混合帧区域中的缝合接缝的第一指示；

在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；

在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；

在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；

识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；

在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；

识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。

6.如权利要求5所述的方法，其特征在于，

在第一次拼接时计算拼接位置，在后续拼接中直接计算重合部分的相似度，如果高于预设阈值则按照前一次拼接的位置拼接，如果低于预设阈值则计算补偿值或重新按第一次的方法拼接。

7.如权利要求1-4任一项所述的方法，其特征在于，

在轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接之后，进一步包括：给定一个显示框，将每一帧图像都根据匹配位置覆盖到之前拼接好的图像中，然后根据标定物的位置裁剪拼接图像。

8.如权利要求4或5所述的方法，其特征在于，

所述绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置，包括：

将所有摄像头的在相同时刻的全景图像进行进一步全景拼接，得到所述塔机作业现场的全景图像；

根据所述塔机作业现场的全景图像绘制所述塔机作业现场地图，并标记所有摄像头在所述地图上的位置；

根据所述塔机作业现场地图呈现地图显示界面，所述地图显示界面上显示所述塔机作业现场地图及所有的摄像头位置。

9.根据权利要求8所述的方法，其特征在于，

所述接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像，包括：

接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示选择菜单，所述选择菜单能够选择或输入时刻信息；

根据用户选择或输入的时刻信息，显示距离所述选择或输入的时刻信息最近的时刻所述目标摄像头的全景图像。

10.一种基于光学增稳的塔机云台全景图像防抖动系统，其特征在于，包括：

云台模块，用于在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；

拍摄模块，用于每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；

抖动补偿模块，用于当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；

全景拼接模块，用于在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；

地图绘制模块，用于绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；

全景显示模块，用于接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。

Images