CN112017216B - 图像处理方法、装置、计算机可读存储介质及计算机设备 - Google Patents

Abstract

本申请适用于图像处理领域，提供了一种图像处理方法、装置、计算机可读存储介质及计算机设备。所述图像处理方法包括：获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；分别对所述多个视频帧序列中的每组同步的视频帧进行配准；分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；估算每个融合后的视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。本申请可以生成高清、稳定、视角更广的视频帧和/或视频，该方法速度快、功耗低，具有很强的鲁棒性。

Description

图像处理方法、装置、计算机可读存储介质及计算机设备

技术领域

本申请属于图像处理领域，尤其涉及一种图像处理方法、装置、计算机可读存储介质及计算机设备。

背景技术

目前大多数手机都具有双摄像头或多摄像头，双摄像头或多摄像头带来了更出色的拍照体验的同时还有些功能不够完善。例如，有些手机支持拍摄广角的大视场图像，但图像清晰度不高；有些手机则支持长焦拍摄出超级清晰的图像，但不能支持拍摄广角的大视场图像。另外，现有技术中对由多个终端的摄像头分别拍摄的多幅图像进行融合的方法中，也是存在无法生成广角的大视场且高清晰度的图像或视频的问题。

发明内容

本申请实施例在于提供一种图像处理方法、装置、计算机可读存储介质及计算机设备、终端及相机，旨在解决以上问题之一。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

分别对所述多个视频帧序列中的每组同步的视频帧进行配准；

分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

估算每个融合后的视频帧相对参考坐标系的运动旋转量；

对所述运动旋转量进行平滑，得到平滑的旋转量；

采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

第一同步模块，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

第一配准模块，用于分别对所述多个视频帧序列中的每组同步的视频帧进行配准；

第一融合模块，用于分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

第一运动估算模块，用于估算每个融合后的视频帧相对参考坐标系的运动旋转量；

第一平滑模块，用于对所述运动旋转量进行平滑，得到平滑的旋转量；

第一渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

第三方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；

采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

第四方面，本申请实施例提供了一种图像处理装置，所述装置包括：

第二同步模块，用于获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

第二融合模块，用于针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

第二平滑模块，用于估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；

第二渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的图像处理方法的步骤。

第六方面，本申请实施例提供了一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。

第七方面，本申请实施例提供了一种相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。

第八方面，本申请实施例提供了一种终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的图像处理方法的步骤。

在本申请实施例中，由于对多个由多个摄像头拍摄的视频帧序列进行同步，再对所述多个视频帧序列中的每组同步的视频帧进行配准，将配准后的每组同步的视频帧进行融合，生成融合后的视频帧，因此可以生成视角更广的视频帧和/或视频。又由于估算每个融合后的视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。因此可以生成高清、稳定的视频帧和/或视频。此外，本申请的图像处理方法处理速度快、功耗低，具有很强的鲁棒性。

附图说明

图1、图2和图3是本申请一实施例提供的图像处理方法的应用场景示意图。

图4是本申请一实施例提供的图像处理方法的流程图。

图5是本申请一实施例提供的图像处理装置示意图。

图6是本申请另一实施例提供的图像处理方法的流程图。

图7是本申请另一实施例提供的图像处理装置示意图。

图8是本申请一实施例提供的计算机设备的具体结构框图。

图9是本申请一实施例提供的终端的具体结构框图。

图10是本申请一实施例提供的相机的具体结构框图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

本申请一实施例提供的图像处理方法的应用场景可以是包括多个摄像头的终端或者是包括多个摄像头的相机。包括多个摄像头的终端或者包括多个摄像头的相机执行本申请一实施例提供的图像处理方法对多个摄像头拍摄的多幅图像进行处理。本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和一个包括多个摄像头的相机200(如图1所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和多个包括一个或多个摄像头的相机300(如图2所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括相连接的计算机设备100和多个包括一个或多个摄像头的终端400(如图3所示)，本申请一实施例提供的图像处理方法的应用场景也可以是包括计算机设备和分别与计算机设备连接的多个包括一个或多个摄像头的终端和多个包括一个或多个摄像头的相机(图未示)。计算机设备100、包括多个摄像头的相机200、包括一个或多个摄像头的相机300和包括一个或多个摄像头的终端400中可运行至少一个的应用程序。计算机设备100可以是服务器、台式计算机、平板电脑、笔记本电脑、个人数字助理等。计算机设备100执行本申请一实施例提供的图像处理方法对一个包括多个摄像头的相机200拍摄的多幅图像进行处理，或者，对多个包括一个或多个摄像头的相机300拍摄的多幅图像进行处理，或者，对包括一个或多个摄像头的终端400拍摄的多幅图像进行处理。

请参阅图4，是本申请一实施例提供的图像处理方法的流程图，本实施例主要以该图像处理方法应用于计算机设备、终端或相机为例来举例说明，本申请一实施例提供的图像处理方法包括以下步骤：

S101、获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄。

在本申请一实施例中，

所述多个摄像头的数量为n个，n是大于或等于2的整数，所述多个摄像头位于一个终端或相机，也可以位于多个终端和/或相机，本申请不做具体限定。

所述摄像头用于捕获图像和视频，可以包括镜头、图像传感器等组件。所述摄像头的镜头可以是标准镜头、广角镜头、超广角镜头或其他镜头；如果多个摄像头是位于多个相机或者终端时，相邻两个摄像头的镜头之间的距离可以但不限于在5cm以内，多个摄像头的运动状态可以但不限于保持一致。如果多个摄像头是位于一个终端或者相机时，多个摄像头的位置关系是固定的，相邻两个摄像头的镜头之间的距离可以但不限于在5cm以内。

当所述多个摄像头位于一个终端或者相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步。

当所述多个摄像头位于多个相机和/或终端时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列对应的陀螺仪信号，通过所述多个视频帧序列对应的陀螺仪信号对所述多个视频帧序列进行同步。

所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：

采用基准时间将所述多个视频帧序列的时间戳保持同步，所述基准时间可以包括但不限于：采用所述多个摄像头位于的终端或相机的系统时间作为基准时间或采用任一个视频帧序列的时间戳作为基准时间等。

S102、分别对所述多个视频帧序列中的每组同步的视频帧进行配准。

在本申请一实施例中，S102具体可以为：对所述多个视频帧序列中的每组同步的视频帧中有重叠区域的两幅视频帧进行两两配准。

所述两两配准可采用包括但不限于如下方法实现：

分别将有重叠区域的每对同步的视频帧对齐；具体可以采用包括但不限于以下方式：根据标定的相机参数对每对同步的视频帧进行畸变校正、尺度变换以及极线校正等操作,使每对同步的视频帧的同名点位于同一行或者同一列；

或者，

分别将有重叠区域的每对同步的视频帧进行配准；具体可以采用包括但不限于以下方式：对每对同步的视频帧进行特征点检测和匹配，并用仿射变换模型进行配准。

所述特征点检测可以采用：定向快速旋转简报(Oriented Fast and RotatedBrief，ORB)、尺度不变特征变换(Scale-invariant feature transform，SIFT)或加速鲁棒特征(Speeded Up Robust Features，SURF)等算法；所述匹配可以根据特征点的描述子用快速最近邻(Fast Library for Approximate Nearest Neighbor，FLANN)算法计算，并根据仿射变换模型用RANSAC(Random Sample Consensus，随机抽样一致性算法)剔除错误匹配。

S103、分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧。

在本申请一实施例中，S103具体可以采用传统的图像拼接融合算法，也可以采用以下的图像融合方法：

获取若干张已对齐的图像；分别计算每张图像的梯度信息；设定每张图像的掩模图，生成目标梯度图像；对目标梯度图像进行梯度运算，得到目标拉普拉斯图像；对拉普拉斯图像做反卷积变换，生成融合后的全景图像。

S104、估算每个融合后的视频帧相对参考坐标系的运动旋转量。

所述参考坐标系包括但不限于第一帧融合后的视频帧的参考系或拍摄第一帧视频帧时IMU(Inertial measurement unit，惯性测量单元)状态的参考系或者地球坐标系。

当参考坐标系为第一帧融合后的视频帧的参考系时，可以采用视觉运动估计算法(例如运动恢复结构(structure-from-motion，sfm)算法、同步定位与建图(SimultaneousLocalization and Mapping，slam)算法等)估算每个融合后的视频帧相对所述第一帧融合后的视频帧的参考系的运动旋转量，在本申请一实施例中，S104具体可以包括：

S1041、实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对第一帧融合后的视频帧的旋转量q_{K_0}；所述实时或离线更新关键帧具体可以为：将第一帧融合后的视频帧设置为关键帧，判断当前融合后的视频帧与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持第一帧融合后的视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将当前融合后的视频帧设置为关键帧；

S1042、计算融合后的视频帧N和与所述融合后的视频帧N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

S1043、获得融合后的视频帧N相对第一帧融合后的视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

S1044、采用光束平差法(Bundle Adjustment,BA)对第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为当前融合后的视频帧相对第一帧融合后的视频帧的运动旋转量。

所述光束平差法，为通过将相机或终端的姿态和测量点的三维坐标作为未知参数，将影像上探测到的用于前方交会的特征点坐标作为观测数据从而进行平差得到最优的相机参数和世界点坐标。

当参考坐标系为拍摄第一帧视频帧时IMU状态的参考系或者地球坐标系时，可以采用IMU方法估算每个融合后的视频帧相对参考坐标系的运动旋转量，在本申请一实施例中，S104具体还可以为：用IMU方法估算每个融合后的视频帧相对参考坐标系的运动旋转量，所述IMU方法具体可采用以下的运动估计方法：实时获取终端或相机中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到每个融合后的视频帧相对参考坐标系的运动旋转量。

在本申请一实施例中，S104具体还可以为：结合所述视觉运动估计算法和所述IMU方法估算每个融合后的视频帧相对参考坐标系的运动旋转量。

S105、对所述运动旋转量进行平滑，得到平滑的旋转量。

在本申请一实施例中，S105具体可以为：

采用控制裁剪余度的方式对所述运动旋转量q′_{N_0}进行平滑，得到平滑的旋转量

S106、采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

在本申请一实施例中，S106具体可以为：

对每个融合后的视频帧进行3D旋转，渲染获得输出视频帧和/或视频，其中，3D旋转的旋转量△q计算公式为：

在本申请一实施例中，当输出视频时，具体是先输出视频帧，然后将输出的所有视频帧按时间顺序接起来生成视频。

请参阅图5，本申请一实施例提供的图像处理装置可以是运行于计算机设备、终端或相机中的一个计算机程序或一段程序代码，例如该图像处理装置为一个应用软件；该图像处理装置可以用于执行本申请一实施例提供的图像处理方法中的相应步骤。本申请一实施例提供的图像处理装置包括：

第一同步模块11，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

第一配准模块12，用于分别对所述多个视频帧序列中的每组同步的视频帧进行配准；

第一融合模块13，用于分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

第一运动估算模块14，用于估算每个融合后的视频帧相对参考坐标系的运动旋转量；

第一平滑模块15，用于对所述运动旋转量进行平滑，得到平滑的旋转量；

第一渲染模块16，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

本申请一实施例提供的图像处理装置与本申请一实施例提供的图像处理方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

在本申请一实施例中，由于对多个由多个摄像头拍摄的视频帧序列进行同步，再对所述多个视频帧序列中的每组同步的视频帧进行配准，将配准后的每组同步的视频帧进行融合，生成融合后的视频帧，因此可以生成视角更广的视频和/或视频帧。又由于估算每个融合后的视频帧相对参考坐标系的运动旋转量；对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对融合后的视频帧进行旋转和渲染，输出视频帧和/或视频；因此可以生成高清、稳定的视频帧和/或视频。此外，本申请的图像处理方法处理速度快、功耗低，具有很强的鲁棒性。

请参阅图6，是本申请另一实施例提供的图像处理方法的流程图，本实施例主要以该图像处理方法应用于计算机设备、终端或相机为例来举例说明，本申请另一实施例提供的图像处理方法包括以下步骤：

S201、获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄。

在本申请另一实施例中，

所述多个摄像头的数量为n个，n是大于或等于2的整数，所述多个摄像头位于一个终端或者相机。

所述摄像头的镜头可以是标准镜头、广角镜头或超广角镜头；如果多个摄像头是位于多个相机或者终端时，相邻两个摄像头的镜头之间的距离可以但不限于在5cm以内，多个摄像头的运动状态可以但不限于保持一致；。

所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：

采用基准时间将所述多个视频帧序列的时间戳保持同步，所述基准时间可以包括但不限于：采用所述多个摄像头位于的终端或相机的系统时间作为基准时间或采用任一个视频帧序列的时间戳作为基准时间等。

S202、针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量。

在本申请另一实施例中，所述针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧的步骤，和所述估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量的步骤，这两个步骤可以同时进行，也可以任意一个步骤在前，另一个步骤在后。

在本申请另一实施例中，所述以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准具体为：

以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧中有重叠区域的两幅视频帧进行两两配准。

所述参考坐标系可以为第一帧融合后视频帧的参考系或拍摄第一帧视频帧时IMU(Inertial measurement unit，惯性测量单元)状态的参考系或者地球坐标系。所述第一帧视频帧和所述基准图像是由同一个摄像头拍摄的。

当参考坐标系为第一帧视频帧的参考系时，采用视觉运动估计算法估算所述基准图像相对参考坐标系的运动旋转量；

当参考坐标系为拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系时，采用惯性测量单元方法估算所述基准图像相对参考坐标系的运动旋转量；

或者，

所述估算所述基准图像相对参考坐标系的运动旋转量具体为：结合所述视觉运动估计算法和所述惯性测量单元方法估算所述基准图像相对参考坐标系的运动旋转量。

所述采用视觉运动估计算法估算所述基准图像相对参考坐标系的运动旋转量具体包括：

实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对第一帧视频帧的旋转量q_{K_0}，所述关键帧K和第一帧视频帧是由同一个摄像头拍摄的；

计算所述基准图像N和与所述基准图像N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

获得所述基准图像N相对第一帧视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法对第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为所述基准图像相对第一帧视频帧的运动旋转量。

所述实时或离线更新关键帧具体为：

将第一帧视频帧设置为关键帧，判断所述基准图像与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持第一帧视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将所述基准图像设置为关键帧。

所述对所述运动旋转量进行平滑，得到平滑的旋转量具体为：

采用控制裁剪余度的方式对所述运动旋转量进行平滑，得到平滑的旋转量。

S203、采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

在本申请另一实施例中，S203具体可以为：

对每个融合后的视频帧进行3D旋转，渲染获得输出视频帧和/或视频，其中，3D旋转的旋转量△q计算公式为：其中，/>是平滑的旋转量。

在本申请另一实施例中，当输出视频时，具体是先输出视频帧，然后将输出的所有视频帧按时间顺序接起来生成视频。

请参阅图7，本申请另一实施例提供的图像处理装置可以是运行于计算机设备、终端或相机中的一个计算机程序或一段程序代码，例如该图像处理装置为一个应用软件；该图像处理装置可以用于执行本申请另一实施例提供的图像处理方法中的相应步骤。本申请另一实施例提供的图像处理装置包括：

第二同步模块21，用于获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

第二融合模块22，用于针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

第二平滑模块23，用于估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；

第二渲染模块24，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频。

本申请另一实施例提供的图像处理装置与本申请另一实施例提供的图像处理方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例和另一实施例提供的图像处理方法的步骤。

图8示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1、图2和图3中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例和另一实施例提供的图像处理方法的步骤。

计算机设备100可以是服务器、台式计算机、平板电脑、笔记本电脑、个人数字助理等。

图9示出了本申请一实施例提供的终端的具体结构框图，一种终端500包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例和另一实施例提供的图像处理方法的步骤。

图10示出了本申请一实施例提供的相机的具体结构框图，一种相机600包括：一个或多个处理器301、存储器302、以及一个或多个计算机程序，其中所述处理器301和所述存储器302通过总线连接，所述一个或多个计算机程序被存储在所述存储器302中，并且被配置成由所述一个或多个处理器301执行，所述处理器301执行所述计算机程序时实现如本申请一实施例和另一实施例提供的图像处理方法的步骤。

在本申请另一实施例中，由于对多个由多个摄像头拍摄的视频帧序列进行同步，再进行配准融合，生成融合后的视频帧，因此可以生成视角更广的视频帧和/或视频。又由于并估算运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；采用平滑的旋转量对融合后的视频帧进行旋转和渲染，输出视频帧和/或视频；因此可以生成高清、稳定的视频帧和/或视频。此外，本申请的图像处理方法处理速度快、功耗低，具有很强的鲁棒性。

应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：

获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

分别对所述多个视频帧序列中的每组同步的视频帧进行配准；

分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

估算每个融合后的视频帧相对参考坐标系的运动旋转量；

对所述运动旋转量进行平滑，得到平滑的旋转量；

采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频；

所述参考坐标系为第一帧融合后的视频帧的参考系、拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；

当所述参考坐标系为所述第一帧融合后的视频帧的参考系时，所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体包括：

实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述第一帧融合后的视频帧的旋转量q_{K_0}；

计算融合后的视频帧N和与所述融合后的视频帧N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

获得所述融合后的视频帧N相对所述第一帧融合后的视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法对所述第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为融合后的视频帧相对第一帧融合后的视频帧的运动旋转量。

2.如权利要求1所述的图像处理方法，其特征在于，所述多个摄像头位于一个终端或者相机，或者位于多个终端和/或相机。

3.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于一个终端或者相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步。

4.如权利要求2所述的图像处理方法，其特征在于，当所述多个摄像头位于多个终端和/或相机时，所述对所述多个视频帧序列进行同步具体为：

分别提取多个视频帧序列对应的陀螺仪信号，通过所述多个视频帧序列对应的陀螺仪信号对所述多个视频帧序列进行同步。

5.如权利要求3所述的图像处理方法，其特征在于，所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：

采用基准时间将所述多个视频帧序列的时间戳保持同步。

6.如权利要求1所述的图像处理方法，其特征在于，所述对所述多个视频帧序列中的每组同步的视频帧进行配准具体为：

对所述多个视频帧序列中的每组同步的视频帧中有重叠区域的两幅视频帧进行两两配准。

7.如权利要求1所述的图像处理方法，其特征在于，当所述参考坐标系为拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系时，所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体为：采用惯性测量单元方法估算每个融合后的视频帧相对所述参考坐标系的运动旋转量；

或者，

所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体为：结合所述视觉运动估计算法和所述惯性测量单元方法估算每个融合后的视频帧相对所述参考坐标系的运动旋转量。

8.如权利要求1所述的图像处理方法，其特征在于，所述实时或离线更新关键帧具体为：

将所述第一帧融合后的视频帧设置为关键帧，判断当前融合后的视频帧与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持所述第一帧融合后的视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将所述当前融合后的视频帧设置为关键帧。

9.如权利要求1至8中任意一项所述的图像处理方法，其特征在于，所述对所述运动旋转量进行平滑，得到平滑的旋转量具体为：

采用控制裁剪余度的方式对所述运动旋转量进行平滑，得到平滑的旋转量。

10.如权利要求1所述的图像处理方法，其特征在于，所述采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频具体为：

对每个融合后的视频帧进行3D旋转，渲染获得输出视频帧和/或视频，其中，3D旋转的旋转量Δq计算公式为：其中，/>是平滑的旋转量。

11.一种图像处理装置，其特征在于，所述装置包括：

第一同步模块，用于获取多个视频帧序列，并对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

第一配准模块，用于分别对所述多个视频帧序列中的每组同步的视频帧进行配准；

第一融合模块，用于分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

第一运动估算模块，用于估算每个融合后的视频帧相对参考坐标系的运动旋转量；

第一平滑模块，用于对所述运动旋转量进行平滑，得到平滑的旋转量；

第一渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频；

所述参考坐标系为第一帧融合后的视频帧的参考系、拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；

当所述参考坐标系为所述第一帧融合后的视频帧的参考系时，所述估算每个融合后的视频帧相对参考坐标系的运动旋转量具体包括：

实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述第一帧融合后的视频帧的旋转量q_{K_0}；

计算融合后的视频帧N和与所述融合后的视频帧N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

获得所述融合后的视频帧N相对所述第一帧融合后的视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法对所述第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为融合后的视频帧相对第一帧融合后的视频帧的运动旋转量。

12.一种图像处理方法，其特征在于，所述方法包括：

获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；

采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频；

所述参考坐标系为第一帧视频帧的参考系、拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；所述第一帧视频帧和所述基准图像是由同一个摄像头拍摄的；

当所述参考坐标系为第一帧视频帧的参考系时，所述估算所述基准图像相对参考坐标系的运动旋转量具体包括：

实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述第一帧视频帧的旋转量q_{K_0}，所述关键帧K和第一帧视频帧是由同一个摄像头拍摄的；

计算所述基准图像N和与所述基准图像N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

获得所述基准图像N相对第一帧视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法对所述第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为所述基准图像相对第一帧视频帧的运动旋转量。

13.如权利要求12所述的图像处理方法，其特征在于，所述多个摄像头位于一个终端或者相机。

14.如权利要求12所述的图像处理方法，其特征在于，所述通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步具体为：

采用基准时间将所述多个视频帧序列的时间戳保持同步。

15.如权利要求12所述的图像处理方法，其特征在于，所述以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准具体为：以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧中有重叠区域的两幅视频帧进行两两配准。

16.如权利要求12所述的图像处理方法，其特征在于，当所述参考坐标系为拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系时，所述估算所述基准图像相对参考坐标系的运动旋转量具体为：采用惯性测量单元方法估算所述基准图像相对所述参考坐标系的运动旋转量；

或者，

所述估算所述基准图像相对参考坐标系的运动旋转量具体为：结合所述视觉运动估计算法和所述惯性测量单元方法估算所述基准图像相对所述参考坐标系的运动旋转量。

17.如权利要求12所述的图像处理方法，其特征在于，所述实时或离线更新关键帧具体为：

将所述第一帧视频帧设置为关键帧，判断所述基准图像与关键帧的视场之间的交叠度和特征点关联个数，当交叠度和特征点关联个数大于或等于预设值时，保持所述第一帧视频帧为关键帧不变；当交叠度和特征点关联个数小于预设值时，更新关键帧，将所述基准图像设置为关键帧。

18.如权利要求12至17任一项所述的图像处理方法，其特征在于，所述对所述运动旋转量进行平滑，得到平滑的旋转量具体为：

采用控制裁剪余度的方式对所述运动旋转量进行平滑，得到平滑的旋转量。

19.如权利要求12所述的图像处理方法，其特征在于，所述采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频具体为：

对每个融合后的视频帧进行3D旋转，渲染获得输出视频帧和/或视频，其中，3D旋转的旋转量Δq计算公式为：其中，/>是平滑的转量。

20.一种图像处理装置，其特征在于，所述装置包括：

第二同步模块，用于获取多个视频帧序列，分别提取多个视频帧序列的时间戳，通过所述多个视频帧序列的时间戳对所述多个视频帧序列进行同步，所述多个视频帧序列分别由多个摄像头拍摄；

第二融合模块，用于针对所述多个视频帧序列中的每组同步的视频帧，以所述每组同步的视频帧中的任一幅视频帧作为基准图像分别对每组同步的视频帧进行配准，分别将配准后的每组同步的视频帧进行融合，生成融合后的视频帧；

第二平滑模块，用于估算所述基准图像相对参考坐标系的运动旋转量，对所述运动旋转量进行平滑，得到平滑的旋转量；

第二渲染模块，用于采用平滑的旋转量对每个融合后的视频帧进行旋转和渲染，输出视频帧和/或视频；

所述参考坐标系为第一帧视频帧的参考系、拍摄第一帧视频帧时惯性测量单元状态的参考系或者地球坐标系；所述第一帧视频帧和所述基准图像是由同一个摄像头拍摄的；

当所述参考坐标系为第一帧视频帧的参考系时，所述估算所述基准图像相对参考坐标系的运动旋转量具体包括：

实时或离线更新关键帧K，得到所有关键帧K，分别计算每个关键帧K相对所述第一帧视频帧的旋转量q_{K_0}，所述关键帧K和第一帧视频帧是由同一个摄像头拍摄的；

计算所述基准图像N和与所述基准图像N匹配的同名点最多的关键帧K之间的相对旋转量q_{N_k}；

获得所述基准图像N相对第一帧视频帧的第一旋转量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法对所述第一旋转量q_{N_0}进行优化，得到第二旋转量q′_{N_0}，将所述第二旋转量q′_{N_0}作为所述基准图像相对第一帧视频帧的运动旋转量。

21.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10和12至19任一项所述的图像处理方法的步骤。

22.一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10和12至19任一项所述的图像处理方法的步骤。

23.一种相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10和12至19任一项所述的图像处理方法的步骤。

24.一种终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10和12至19任一项所述的图像处理方法的步骤。