CN112017215A - 图像处理方法、装置、计算机可读存储介质及计算机设备 - Google Patents

Abstract

本申请适用于图像处理领域，提供了一种图像处理方法、装置、计算机可读存储介质及计算机设备。所述图像处理方法包括：获取多个视频帧序列，并对所述多个视频帧序列进行同步；估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用所述平滑的旋转量对相应的视频帧进行旋转和渲染，输出平滑的视频帧；对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。本申请可以生成高清、稳定、视角更广的视频帧和/或视频，该方法速度快、功耗低，具有很强的鲁棒性。

Description

图像处理方法、装置、计算机可读存储介质及计算机设备

技术领域

本申请属于图像处理领域，尤其涉及一种图像处理方法、装置、计算机可读存储介质及计算机设备。

背景技术

目前大多数手机都具有双摄像头或多摄像头，双摄像头或多摄像头带来了更出色的拍照体验的同时还有些功能不够完善。例如，有些手机支持拍摄广角的大视场图像，但图像清晰度不高；有些手机则支持长焦拍摄出超级清晰的图像，但不能支持拍摄广角的大视场图像。另外，现有技术中对由多个终端的摄像头分别拍摄的多幅图像进行融合的方法中，也是存在无法生成广角的大视场且高清晰度的图像或视频的问题。

发明内容

本申请实施例在于提供一种图像处理方法、装置、计算机可读存储介质及计算机设备、终端及相机，旨在至少解决以上问题之一。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；

对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；

采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；

对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；

将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

同步模块，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

运动估算模块，用于估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；

平滑模块，用于对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；

渲染模块，用于采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；

配准模块，用于对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；

融合模块，用于将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的图像处理方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。

第五方面，本申请实施例提供了一种相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。

第六方面，本申请实施例提供了一种终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。

在本申请实施例中，由于对多个由多个摄像头拍摄的视频帧序列进行同步，估算多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对视频帧进行旋转和渲染，输出平滑的视频帧，因此可以生成高清、稳定的视频帧和/或视频。又由于对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准，将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。因此可以生成视角更广的视频帧和/或视频。此外，本申请的图像处理方法处理速度快、功耗低，具有很强的鲁棒性。

附图说明

图1、图2和图3是本申请一实施例提供的图像处理方法的应用场景示意图。

图4是本申请一实施例提供的图像处理方法的流程图。

图5是本申请一实施例提供的图像处理装置示意图。

图6是本申请一实施例提供的计算机设备的具体结构框图。

图7是本申请一实施例提供的终端的具体结构框图。

图8是本申请一实施例提供的相机的具体结构框图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

本申请一实施例提供的图像处理方法的应用场景可以是包括多个摄像头的终端或者是包括多个摄像头的相机。包括多个摄像头的终端或者包括多个摄像头的相机执行本申请一实施例提供的图像处理方法对多个摄像头拍摄的多幅图像进行处理。本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和一个包括多个摄像头的相机200(如图1所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和多个包括一个或多个摄像头的相机300(如图2所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和多个包括一个或多个摄像头的终端400(如图3所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括计算机设备和分别与计算机设备连接的多个包括一个或多个摄像头的移动终端和多个包括一个或多个摄像头的相机(图未示)。计算机设备100、包括多个摄像头的相机200、包括一个或多个摄像头的相机300和包括一个或多个摄像头的终端400中可运行至少一个的应用程序。计算机设备100可以是服务器、台式计算机、平板电脑、笔记本电脑、个人数字助理等。计算机设备100执行本申请一实施例提供的图像处理方法对一个包括多个摄像头的相机200拍摄的多幅图像进行处理，或者，对多个包括一个或多个摄像头的相机300拍摄的多幅图像进行处理，或者，对包括一个或多个摄像头的终端400拍摄的多幅图像进行处理。

请参阅图4，是本申请一实施例提供的图像处理方法的流程图，本实施例主要以该图像处理方法应用于计算机设备、终端或相机为例来举例说明，本申请一实施例提供的图像处理方法包括以下步骤：需注意的是，若有实质上相同的结果，本申请一实施例提供的图像处理方法并不以图4所示的流程顺序为限。

S101、获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄。

在本申请一实施例中，所述对所述多个视频帧序列进行同步只需要保证在步骤S105之前执行即可，可以是步骤S102、S103、S104和S105这四个步骤的任意步骤之前执行。

所述多个摄像头的数量为n个，n是大于或等于2的整数，所述多个摄像头位于一个终端或者相机，也可以位于多个终端和/或相机，本申请不做具体限定。

所述摄像头用于获得图像或视频，可以包括镜头、图像传感器等组件。所述摄像头的镜头可以是标准镜头、广角镜头、超广角镜头或其他镜头；如果多个摄像头位于多个相机或者终端时，相邻两个摄像头的镜头之间的距离可以但不限于在5cm以内，多个摄像头的运动状态可以但不限于保持一致。如果多个摄像头是位于一个终端或者相机时，多个摄像头的位置关系是固定的，相邻两个摄像头的镜头之间的距离可以但不限于在5cm以内。

当所述多个摄像头位于一个终端或者相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步。

当所述多个摄像头位于多个终端和/或相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列对应的陀螺仪信号，通过所述多个视频帧序列对应的陀螺仪信号对所述多个视频帧序列进行同步。

所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列行同步具体为：

采用基准时间将所述多个视频帧序列的时间戳保持同步，所述基准时间可以包括但不限于：采用所述多个摄像头位于的终端或相机的系统时间作为基准时间或采用任一个视频帧序列的时间戳作为基准时间等。

S102、估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量。

针对每个视频帧，所述参考坐标系可以为拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系或拍摄所述第一帧视频帧时IMU(Inertial measurement unit，惯性测量单元)状态的参考系或者地球坐标系。

当所述参考坐标系为拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系时，可以采用视觉运动估计算法(例如运动恢复结构(structure-from-motion，sfm)算法、同步定位与建图(Simultaneous Localization and Mapping，slam)算法等)估算所述多个视频帧序列中的每个视频帧相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系的运动旋转量，在本申请一实施例中，针对每个视频帧，S102具体可以包括：

S1021、实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的旋转量q_{K_0}；所述实时更新关键帧具体可以为：将所述第一帧视频帧设置为关键帧，实时判断当前视频帧与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持所述第一帧视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将当前视频帧设置为关键帧；

S1022、计算视频帧N和与所述视频帧N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

S1023、获得视频帧N相对所述第一帧视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

S1024、采用光束平差法对第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为视频帧N相对第一帧视频帧的运动旋转量。

所述光束平差法，为通过将相机或终端的姿态和测量点的三维坐标作为未知参数，将影像上探测到的用于前方交会的特征点坐标作为观测数据从而进行平差得到最优的相机参数和世界点坐标。

当所述参考坐标系为拍摄所述第一帧视频帧时IMU状态的参考系或者地球坐标系时，在本申请一实施例中，S102具体还可以为：用IMU方法估算所述多个视频帧序列中的每个视频帧相对所述参考坐标系的运动旋转量，所述IMU方法具体可采用以下的运动估计方法：实时获取终端或相机中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到每个融合后的视频帧相对参考坐标系的运动旋转量。

在本申请一实施例中，S102具体还可以为：结合所述视觉运动估计算法和所述IMU方法估算所述多个视频帧序列中的每个视频帧相对所述参考坐标系的运动旋转量。

S103、对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量。

在本申请一实施例中，S103具体可以为：

采用控制裁剪余度的方式对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量q′_{N_0}进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量

S104、采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧。

在本申请一实施例中，S104具体可以为：

采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行3D旋转，渲染获得并输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧，其中，3D旋转的旋转量△q计算公式为：

S105、对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准。

在本申请一实施例中，S105具体可以为：对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧中有重叠区域的两幅平滑的视频帧进行两两配准。

所述两两配准可采用包括但不限于如下方法实现：

将有重叠区域的每对图像对齐；具体可以采用包括但不限于以下方式：根据标定的相机参数对每对图像进行畸变校正、尺度变换以及极线校正等操作,使每对图像的同名点位于同一行或者同一列；

或者，

将有重叠区域的每对图像进行配准；具体可以采用包括但不限于以下方式：对每对图像进行特征点检测和匹配，并用仿射变换模型进行配准。

所述特征点检测可以采用：定向快速旋转简报(Oriented Fast and RotatedBrief，ORB)、尺度不变特征变换(Scale-invariant feature transform，SIFT)或加速鲁棒特征(Speeded Up Robust Features，SURF)等算法；所述匹配可以根据特征点的描述子用快速最近邻(Fast Library for Approximate Nearest Neighbor，FLANN)算法计算，并根据仿射变换模型用RANSAC(Random Sample Consensus，随机抽样一致性算法)剔除错误匹配。

S106、将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。

在本申请一实施例中，S106具体可以采用传统的图像拼接融合算法，也可以采用采用以下的图像融合方法：

获取若干张已对齐的图像；计算每张图像的梯度信息；设定每张图像的掩模图，生成目标梯度图像；对目标梯度图像进行梯度运算，得到目标拉普拉斯图像；对拉普拉斯图像做反卷积变换，生成融合后的全景图像。

请参阅图5，本申请一实施例提供的图像处理装置可以是运行于计算机设备、终端或相机中的一个计算机程序或一段程序代码，例如该图像处理装置为一个应用软件；该图像处理装置可以用于执行本申请实施例提供的图像处理方法中的相应步骤。本申请一实施例提供的图像处理装置包括：

同步模块11，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

运动估算模块12，用于估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；

平滑模块13，用于对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；

渲染模块14，用于采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；

配准模块15，用于对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；

融合模块16，用于将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。

本申请一实施例提供的图像处理装置与本申请一实施例提供的图像处理方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的图像处理方法的步骤。

图6示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1、图2和图3中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的图像处理方法的步骤。

计算机设备100可以是台式计算机、平板电脑、笔记本电脑、个人数字助理等。

图7示出了本申请一实施例提供的终端的具体结构框图，一种终端500包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例提供的图像处理方法的步骤。

图8示出了本申请一实施例提供的相机的具体结构框图，一种相机600包括：一个或多个处理器301、存储器302、以及一个或多个计算机程序，其中所述处理器301和所述存储器302通过总线连接，所述一个或多个计算机程序被存储在所述存储器302中，并且被配置成由所述一个或多个处理器301执行，所述处理器301执行所述计算机程序时实现如本申请一实施例提供的图像处理方法的步骤。

在本申请中，由于对多个由多个摄像头拍摄的视频帧序列进行同步，估算多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对视频帧进行旋转和渲染，输出平滑的视频帧，因此可以生成高清、稳定的视频帧和/或视频。又由于对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准，将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。因此可以生成视角更广的视频帧和/或视频。此外，本申请的图像处理方法处理速度快、功耗低，具有很强的鲁棒性。

应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；

对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；

采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；

对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；

将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。

2.如权利要求1所述的图像处理方法，其特征在于，所述多个摄像头位于一个终端或者相机，或者位于多个终端和/或相机。

3.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于一个终端或者相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步。

4.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于多个终端和/或相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列对应的陀螺仪信号，通过所述多个视频帧序列对应的陀螺仪信号对所述多个视频帧序列进行同步。

5.如权利要求3所述的图像处理方法，其特征在于，所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：

采用基准时间将所述多个视频帧序列的时间戳保持同步。

6.如权利要求1所述的图像处理方法，其特征在于，所述对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准具体为：对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧中有重叠区域的两幅平滑的视频帧进行两两配准。

7.如权利要求1所述的图像处理方法，其特征在于，针对每个视频帧，所述参考坐标系为拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系、拍摄所述第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；

当所述参考坐标系为拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系时，所述估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量具体为：采用视觉运动估计算法估算所述多个视频帧序列中的每个视频帧相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系的运动旋转量；

当所述参考坐标系为拍摄所述第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系时，所述估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量具体为：采用惯性测量单元方法估算所述多个视频帧序列中的每个视频帧相对所述参考坐标系的运动旋转量；

或者，

所述估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量具体为：结合所述视觉运动估计算法和所述惯性测量单元方法估算所述多个视频帧序列中的每个视频帧相对所述参考坐标系的运动旋转量。

8.如权利要求7所述的图像处理方法，其特征在于，所述采用视觉运动估计算法估算所述多个视频帧序列中的每个视频帧相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的参考系的运动旋转量具体包括：

实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述拍摄所述视频帧的摄像头拍摄的第一帧视频帧的旋转量q_{K_0}；

计算视频帧N和与所述视频帧N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

获得视频帧N相对所述第一帧视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法对第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为视频帧N相对第一帧视频帧的运动旋转量。

9.如权利要求8所述的图像处理方法，其特征在于，所述实时或离线更新关键帧具体为：

将所述第一帧视频帧设置为关键帧，实时判断当前视频帧与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持所述第一帧视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将当前视频帧设置为关键帧。

10.如权利要求1至9任一项所述的图像处理方法，其特征在于，所述对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量具体为：

采用控制裁剪余度的方式对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量。

11.如权利要求8所述的图像处理方法，其特征在于，所述采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧具体为：

采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行3D旋转，渲染获得并输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧，其中，3D旋转的旋转量△q计算公式为：

其中，

是平滑的旋转量。

12.一种图像处理装置，其特征在于，所述装置包括：

同步模块，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

运动估算模块，用于估算所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量；

平滑模块，用于对所述多个视频帧序列中的每个视频帧相对参考坐标系的运动旋转量进行平滑，得到与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量；

渲染模块，用于采用所述与所述多个视频帧序列中的每个视频帧对应的平滑的旋转量对相应的视频帧进行旋转和渲染，输出与所述多个视频帧序列中的每个视频帧对应的平滑的视频帧；

配准模块，用于对与所述多个视频帧序列中的每组同步的视频帧对应的平滑的视频帧进行配准；

融合模块，用于将配准后的每组同步的视频帧对应的平滑的视频帧进行融合，生成融合后的视频帧和/或视频。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的图像处理方法的步骤。

14.一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的图像处理方法的步骤。

15.一种相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的图像处理方法的步骤。

16.一种终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的图像处理方法的步骤。

Images