CN114693569A - 双摄像头视频融合的方法和电子设备 - Google Patents

Abstract

一种双摄像头视频融合的方法和电子设备，可以实现在视频录制过程中融合不同摄像头的优势，提高视频的质量。包括：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像；获取第一摄像头在第三时刻拍摄的第三图像；将第三图像进行处理，以得到处理后的第三图像；获取第一时刻和第三时刻之间的单应矩阵；根据第一融合图像和单应矩阵获取第四图像；将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。

Description

双摄像头视频融合的方法和电子设备

技术领域

本申请涉及计算机视觉领域，并且更具体地，涉及一种双摄像头视频融合的方法和电子设备。

背景技术

随着用户对移动设备成像功能需求的提高，现在的智能手机往往具有多个摄像头，包括广角、长焦、主摄等镜头，其分别在动态范围、颜色和清晰度等不同的方面存在不同的优势，通常不同的摄像头在工作时按照用户设置的不同焦段分别单独启用。多摄融合技术在近年的学术研究中已有涉及，通常需要较为复杂的算法来实现不同摄像头获取的两帧图像的融合，而受制于手机本身的算力，相关的算法仅能应用于拍摄图像的场景，无法应用于视频录制，目前的双景录像功能也仅涉及两个摄像头的画面拼接，不涉及效果融合的功能。因此，如何在视频录制的过程中融合不同摄像头的优势具有重要意义。

发明内容

本申请提供一种双摄像头视频融合的方法和电子设备，可以实现在视频录制过程中融合不同摄像头的优势，提高视频的质量。

第一方面，提供了一种双摄像头视频融合的方法，包括：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像；获取第一摄像头在第三时刻拍摄的第三图像；将第三图像进行处理，以得到处理后的第三图像；获取第一时刻和第三时刻之间的单应矩阵；根据第一融合图像和单应矩阵获取第四图像；将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。

本申请的双摄像头视频融合的方法，可以对视频拍摄过程中的每一帧图像进行处理，从而获取融合了第一摄像头和第二摄像头优势的视频，提高视频拍摄的质量。

结合第一方面，在一种可能的实现方式中，第一时刻与第二时刻相同。

第一摄像头和第二摄像头在获取图像时可以同时拍摄，也可以在一段预设时间内先后拍摄，可以根据具体情况灵活设定。

结合第一方面，在一种可能的实现方式中，将第一图像和第二图像进行处理是将第一图像和第二图像经过图像信号处理器进行处理，将第三图像进行处理是将第三图像经过图像信号处理器进行处理。

结合第一方面，在一种可能的实现方式中，将第一图像和第二图像进行处理，和将第三图像进行处理，包括：第一图像和第二图像为RAW格式；根据图像信号处理器将第一图像和第二图像由RAW格式转换为RGB格式，和第三图像为RAW格式；根据图像信号处理器将第三图像由RAW格式转换为RGB格式。

本申请的双摄像头视频融合的方法，只需将获取的真实图像经过图像信号处理器处理，而生成的图像无需经过图像信号处理器处理，极大减小了图像信号处理器处理图像对设备性能的要求和内存的消耗。

结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合之前，方法还包括：将处理后的第一图像和处理后的第二图像进行图像配准。

结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：将处理后的第一图像和处理后的第二图像中的对齐区域融合。

结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：根据局部配准方法将处理后的第一图像和处理后的第二图像中的非对齐区域对齐；将处理后的第一图像和处理后的第二图像中的对齐区域融合。

本申请的双摄像头视频融合的方法，只需对获取的真实图像进行图像配准，而生成的第四图像与第一摄像头获取的真实图像是对齐的，因此第四图像和第三图像融合前无需再进行图像配准，减少了图像处理的时间，实现了视频拍摄过程中图像处理的实时性。

结合第一方面，在一种可能的实现方式中，获取第一时刻和第三时刻之间的单应矩阵，包括：获取第一时刻的惯性测量单元的第一数据；获取第三时刻的惯性测量单元的第二数据；根据第一数据和第二数据得到单应矩阵。

结合第一方面，在一种可能的实现方式中，第一摄像头和第二摄像头的清晰度或动态范围或颜色不同。

第一摄像头和第二摄像头在清晰度、动态范围或颜色方面各有优势，本申请的双摄像头视频融合的方法可以实现将第一摄像头和第二摄像头的优势融合，从而获取清晰度、动态范围或颜色更好的视频。

结合第一方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：使用图像融合算法或图像融合神经网络将处理后的第一图像和处理后的第二图像融合，图像融合神经网络为预先训练好的神经网络。

第二方面，提供了一种电子设备，包括：一个或多个处理器；存储器，存储器中包括指令；当指令被一个或多个处理器执行时，使得电子设备执行以下步骤：获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像；获取第一摄像头在第三时刻拍摄的第三图像；将第三图像进行处理，以得到处理后的第三图像；获取第一时刻和第三时刻之间的单应矩阵；根据第一融合图像和单应矩阵获取第四图像；将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。

结合第二方面，在一种可能的实现方式中，第一时刻与第二时刻相同。

结合第二方面，在一种可能的实现方式中，将第一图像和第二图像进行处理是将第一图像和第二图像经过图像信号处理器进行处理，将第三图像进行处理是将第三图像经过图像信号处理器进行处理。

结合第二方面，在一种可能的实现方式中，处理单元将第一图像和第二图像进行处理，和将第三图像进行处理，包括：第一图像和第二图像为RAW格式；根据图像信号处理器将第一图像和第二图像由RAW格式转换为RGB格式，和第三图像为RAW格式；根据图像信号处理器将第三图像由RAW格式转换为RGB格式。

结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合之前，电子设备还用于：将处理后的第一图像和处理后的第二图像进行图像配准。

结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：将处理后的第一图像和处理后的第二图像中的对齐区域融合。

结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：根据局部配准方法将处理后的第一图像和处理后的第二图像中的非对齐区域对齐；将处理后的第一图像和处理后的第二图像中的对齐区域融合。

结合第二方面，在一种可能的实现方式中，获取第一时刻和第三时刻之间的单应矩阵，包括：获取第一时刻的惯性测量单元的第一数据；获取第三时刻的惯性测量单元的第二数据；根据第一数据和第二数据得到单应矩阵。

结合第二方面，在一种可能的实现方式中，第一摄像头和第二摄像头的清晰度或动态范围或颜色不同。

结合第二方面，在一种可能的实现方式中，将处理后的第一图像和处理后的第二图像融合，包括：使用图像融合算法或图像融合神经网络将处理后的第一图像和处理后的第二图像融合，图像融合神经网络为预先训练好的神经网络。

第三方面，提供了一种芯片系统，包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得所述至少一个处理器执行上述第一方面和第一方面中任一种可能实现方式中的方法。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，所述程序代码包括用于执行上述第一方面和第一方面中任一种可能实现方式中的部分或全部步骤的指令。

第五方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面和第一方面中任一种可能实现方式中的部分或全部步骤的指令。

附图说明

图1是本申请的单应矩阵应用说明的示意图；

图2是本申请的一种电子设备的示意图；

图3是本申请的一种镜头模组的示意性爆炸图；

图4是本申请的一种镜头模组的示意性剖面图；

图5是本申请的将两个摄像头结合从而提升清晰度的示意性说明图；

图6是本申请的将两个摄像头结合从而提升动态范围的示意性说明图；

图7是本申请的将两个摄像头结合从而提升亮度和清晰度的示意性说明图；

图8是本申请的双摄像头视频融合的方法的示意性框图；

图9是本申请的双摄像头视频融合的具体方法操作的示意性框图；

图10是本申请的双摄像头视频融合的方法的示意性流程图；

图11是本申请的电子设备的一种可能的组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例中所涉及的电子设备可以包括手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备。还可以包括蜂窝电话(cellularphone)、智能手机(smart phone)、个人数字助理(personal digital assistant，PDA)电脑、平板型电脑、手提电脑、膝上型电脑(laptop computer)、机器类型通信(machine typecommunication，MTC)终端、销售终端(point of sales，POS)、摄像机、录像机、照相机、智能手表(smart watch)、智能手环(smart wristband)、车载电脑以及其他具有成像功能的电子设备等。

以下，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。

此外，本申请中，“中心”、“上”、“下”、“内”、“外”等方位术语是相对于附图中的部件示意放置的方位或位置来定义的，应当理解，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，而不是指示或暗示所指的装置或元器件必须具有的特定的方位、或以特定的方位构造和操作，其可以根据附图中部件所放置的方位的变化而相应地发生变化，因此不能理解为对本申请的限定。

还需说明的是，本申请实施例中以同一附图标记表示同一组成部分或同一零部件，对于本申请实施例中相同的零部件，图中可能仅以其中一个零件或部件为例标注了附图标记，应理解的是，对于其他相同的零件或部件，附图标记同样适用。

以下先对本申请实施例中可能涉及的概念做简要介绍。

单应矩阵：单应是射影几何中的概念，又称为射影变换，它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质，总的来说，单应是关于三维齐次矢量的一种线性变换，可以用单应矩阵H(3×3的非奇异矩阵)来表示。如图1所示，根据图(a)和图(b)之间的单应矩阵，可以将图(a)转换到图(b)的视角下，得到图(b)视角下的图(a)，即图(c)。

图像配准：就是将同一个场景的不同图像转换到相同的坐标系中的过程。这些图像可以是不同时间拍摄的(多时间配准)、不同传感器拍摄的(多模配准)、不同视角拍摄的，这些图像之间的空间关系可能是刚体的(平移和旋转)、放射的(错切)、单应性的或者是大型形变模型。

惯性测量单元(inertial measurement unit，IMU)：惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，便可计算出物体的姿态。

图2示出了本申请实施例提供的一种电子设备100的示意图。电子设备100可以为具有摄像或拍照功能的设备，本申请实施例对电子设备100的具体形式不做特殊限制。以下为了方便说明和理解，是以电子设备100为手机为例进行的说明。示例性的，图2中的(a)和(b)分别示意性地示出了电子设备100的正面和背面。

如图2所示，电子设备100可以包括壳体101、显示屏(display panel，DP)102、镜头模组(camera compact module，CCM)103。

壳体101形成有容纳空间，用于布置电子设备100的各种零部件，壳体101还可以起到保护电子设备100和支撑整机的作用。显示屏102和镜头模组103设置于壳体101的容纳空间中，并与壳体101相连接。在一些实施例中，壳体101包括后盖和中框，显示屏102和镜头模组103可以固定于中框上。壳体101的材质可以是金属的、塑料的、陶瓷的或者玻璃的。

显示屏102可以为液晶显示(liquid crystal display，LCD)屏、有机发光二极管(organic light emitting diode，OLED)显示屏等，其中OLED显示屏可以为柔性显示屏或硬质显示屏。显示屏102可以是普通的规则屏幕，也可以为异形屏幕、折叠屏幕等，例如显示屏102可相对自由转动或折叠形成弧形、球形、圆柱等等。显示屏102可以设置于电子设备100的正面和/或背面。电子设备100的正面可以理解为用户使用该电子设备100时面向用户的一侧，电子设备100的背面可以理解为用户使用电子设备100时背向用户的一侧。

镜头模组103用于捕获静态图像或视频，应理解，图2中的电子设备可以包括多个镜头模组，这些镜头模组可以具有相同的功能或者不同的功能，这里仅以其中一个镜头模组为例做介绍。镜头模组103设置于电子设备100的正面时，可用于拍摄位于电子设备100正面一侧的景象，在一些实施例中可以称之为前置摄像头。镜头模组103设置于电子设备100的背面时，可用于拍摄位于电子设备100背面一侧的景象，在一些实施例中可以称之为后置摄像头。在拍摄时用户可以根据拍摄需求选择相应的镜头模组。镜头模组103可以用于拍摄不同距离例如远处、近处或微距的景象，本申请实施例不做特殊限定。

应理解，图2中镜头模组103的安装位置仅仅是示意性的。镜头模组103作为前置摄像头时，可以安装于电子设备100的正面上除显示屏102之外的任意位置，例如听筒的左侧、电子设备100的上部中间、电子设备100的下部(或称下巴)或者电子设备100的四个角落等。镜头模组103作为后置摄像头时，可以安装于电子设备100背面的任意位置上，例如左上角或右上角。在其他一些实施例中，镜头模组103还可以不设置在电子设备100的主体上，而设置在相对电子设备100的主体突出的边缘上，或者设置于相对电子设备100可移动或转动的部件上，该部件可以从电子设备100的主体上伸缩或旋转等。当镜头模组103相对电子设备100可以旋转时，镜头模组103相当于前置摄像头和后置摄像头，即通过旋转同一个镜头模组103既可以拍摄位于电子设备100正面一侧的景象，也可以拍摄位于电子设备100背面一侧的景象。在另一些实施例中，当显示屏101可以折叠时，镜头模组103可以随着显示屏102的折叠作为前置摄像头或作为后置摄像头。

本申请实施例对镜头模组103的设置个数不做限定，可以是一个、两个、四个甚至更多，例如可以在电子设备100正面设置一个或多个镜头模组103，和/或在电子设备100背面设置一个或多个镜头模组103。当设置多个镜头模组103时，该多个镜头模组103可以是完全相同的，也可以是不同的，例如该多个镜头模组103的透镜光学参数不同，透镜的设置位置不同，透镜的形态不同等。本申请实施例对多个镜头模组设置时的相对位置也不做任何限定。

可选地，电子设备100还可以包括用于保护镜头模组103的保护镜片104。保护镜片104设置于壳体101上，并覆盖镜头模组103。保护镜片104用于保护前置摄像头时，保护镜片104可以只覆盖前置镜头模组或覆盖电子设备100的整个正面。其中当保护镜片104覆盖电子设备100的整个正面时，可用于同时保护前置镜头模组和显示屏102，保护镜片104即为盖板玻璃(cover glass，CG)。保护镜片104用于保护后置摄像头时，保护镜片104可以覆盖电子设备100的整个背面，也可以只设置于后置镜头模组对应的位置上。保护镜片104的材质可以是玻璃、蓝宝石、陶瓷等，本申请实施例不做特殊限定。在一些实施例中，保护镜片104为透明的，电子设备100外部的光线能够通过保护镜片104进入镜头模组103中。

应理解，图2中示意的结构并不构成对电子设备100的具体限定，电子设备100可以包括比图示更多或更少的部件，例如电子设备100还可以包括电池、闪光灯、指纹识别模组、听筒、按键、传感器等元器件中的一种或多种，电子设备100也可以设置与图示不同的部件布置方式。

图3示出了本申请实施例提供的一种镜头模组的示意性爆炸图。图4示出了图3中的镜头模组的示意性剖面图。镜头模组200可以是图2中的镜头模组103的一种示例性结构。下面结合图3和图4对镜头模组200的结构做简要介绍。

为方便描述，以下定义镜头模组200的光轴方向为Z方向，光轴方向上的被摄物体方向侧为前侧，与被摄物体相背的方向侧为后侧。垂直于光轴的第一方向为X方向，垂直于光轴和第一方向的第二方向为Y方向。在X和Y方向上靠近光轴的方向为内侧，与光轴相背的方向为外侧。同样的，X、Y、Z方向和前、后、内、外侧的定义同样适用于后文将要描述的各幅附图。需要说明的是，上述对X、Y、Z方向和前、后、内、外侧的定义仅仅是为了方便描述本申请实施例中的各零部件之间的位置关系和连接关系，不应理解为对本申请实施例的限定。

如图所示，镜头模组200可以包括外壳210、镜头组件220、自动对焦(auto focus，AF)组件230、光学防抖(optical image stabilization，OIS)组件240和图像传感器组件250。

镜头组件220主要包括光学镜头211和镜筒212，镜头组件220用于将物侧的景物成像于像侧的成像面上。光学镜头211可以包括至少一个透镜，该至少一个透镜可以是不同的，也可以是相同的。该至少一个透镜可以包括固体透镜和/或液体透镜。其中固体透镜可以是用透明物质例如塑胶(plastic)、玻璃(glass)制成的表面为球面一部分的光学元件，其具有固定的透镜参数。液体透镜是一种使用一种或多种液体制成的无机械连接的光学元件，其透镜参数可以通过外部控制实现动态调整。本申请实施例中对光学镜头211包括的透镜个数不做具体限定，本领域技术人员根据实际需求可以相应设置透镜个数，例如1个、2个、3个、5个、8个或者更多，也可以根据实际需求设置固体透镜和/或液体透镜的组合方式，在此不作更多描述。

光学镜头211的焦距可以是固定的，则镜头组件220为定焦镜头；光学镜头211的焦距也可以进行调节，则镜头组件220为变焦镜头。例如通过调整光学镜头211的各透镜之间的相对位置、调整液体透镜的折射率、改变液体透镜的表面形状(曲率)等可以实现光学镜头211的焦距的调节。

镜筒212形成有容纳空间，主要用于收容光学镜头211。镜筒212可以是一个整体，光学镜头211收容于该整体的镜筒212中，但光学镜头211的透镜之间的相对位置可以通过其他的结构进行调整。镜筒212也可以包括多个镜筒部分，光学镜头211的透镜分组设置于该多个镜筒部分中，该多个镜筒部分之间的相对位置可以进行调整，从而实现透镜之间的相对位置的调整。因此应理解，图3和图4中的镜筒212的结构、光学镜头211与镜筒212的连接方式等仅仅是示例性的，对本申请实施例不造成任何限定。

AF组件230用于实现自动对焦。如图4所示，AF组件230与镜头组件220中的镜筒212相连接，在自动对焦过程中，AF组件230可以推动镜筒212沿光轴上下运动，从而改变光学镜头211的光心到成像面的距离(即改变像距)，以获得清晰的图像。应理解，图中仅示意性表示AF组件230所在的位置，对AF组件230的具体结构不造成任何限定。

OIS组件240用于实现光学防抖。如图4所示，OIS组件240与镜头组件220中的镜筒212相连接，在光学防抖过程中，OIS组件240可以带动镜筒212沿垂直光轴方向运动，从而使光学镜头211的焦点偏离光轴，以获得清晰的图像。应理解，图中仅示意性地表示SMA组件240所在的位置，对SMA组件240的具体结构不造成任何限定。

本申请实施例中，AF组件230可以称为AF马达，OIS组件可以称为OIS马达。在一些实施例中，镜头模组200可以包括AF马达和/或OIS马达，即镜头模组200可以实现自动对焦和/或光学防抖。在一些实施例中，镜头模组200中也可以将AF马达和SMA马达集成于一体，由一个马达同时实现自动对焦和光学防抖。本申请实施例仅以镜头模组200包括AF马达和OIS马达两个组件为例进行说明，但应理解，本申请实施例不限于此。

传感器组件250设置于镜头组件210的后侧，主要用于成像。具体地，传感器组件250可以包括滤光片(例如红外截止滤光片或滤掉其他的光波段的滤光片)、传感器、线路板等。其中，红外截止滤光片可以消除投射到传感器上的不必要的光线，防止传感器在成像时出现鬼影、杂光和偏色等问题。传感器是一种半导体芯片，表面包含有几十万到几百万的光电二极管，受到光照射时，会产生电荷，通过模数转换器芯片转换成数字信号。传感器可以是电荷耦合元件(charge coupled device，CCD)，也可以是互补金属氧化物导体器件(complementary metal-oxide semiconductor，CMOS)。线路板可以是柔性电路板(flexible printed circuit，FPC)或印刷电路板(printed circuit board，PCB)，用于传输电信号。其中，FPC可以是单面柔性板、双面柔性板、多层柔性板、刚柔性板或混合结构的柔性电路板等。

外壳210形成有内腔，用于收容镜头组件220、AF组件230、OIS组件240等。另外，外壳210也可以起到保护和支撑作用。图中外壳210的结构仅仅是示例性的，对本申请实施例不造成任何限定，本领域技术人员可以根据实际需要相应设计外壳210的形状。

镜头模组200还可以包括连接器、以及周边电子元件等元件(图中未示出)，在此不再一一详述。

不同的摄像头(广角、长焦、主摄等)在动态范围、颜色及清晰度等方面存在不同的优势，如何实现在一次成像中融合不同摄像头的优势具有重要意义。

现有的一种融合普通可见光波段RGB和近红外光波段NIR的成像方法，该方法使用一个移除红外滤光片的摄像头得到RGB和NIR的融合图像，再通过另外一个没有移除红外滤光片的摄像头得到RGB图像，将这两种图像融合，可以获得较好的夜景成像效果。

现有的一种用于多摄融合的算法框架，使用一个统一的卷积神经网络(convolutional neural networks，CNN)实现不同摄像头的逐帧端到端融合，包括黑白彩色摄像头获取的图像融合使得黑白摄像头获取的图像上色；不同曝光图片融合获取高动态图像；单反和立体相机融合，获得更高清的立体图像。总的来说都是将两个摄像头获取的每一帧图像进行融合，从而获得较好的成像效果。

在上述的现有技术中，由于相机录像的图像信号处理器(image signalprocessor，ISP)大多仅支持单摄的高帧率，如双景录像最高支持分辨率1080p、帧率30fps，若将4k、30fps等双摄高帧率高分辨率图像均进行ISP处理，会造成移动设备负担过大；此外，现有的拍摄图像融合的方法每次融合都需要输入两帧真实图像，对于移动设备功耗内存的要求极高，而当前最先进的移动处理器也无法满足实时和功耗的约束要求。

因此本申请实施例提供一种多摄像头录制视频的方法，通过多个摄像头的配合，融合不同摄像头的优势，从而提升录制的视频的质量。

图5示出了本申请实施例的通过将两个摄像头结合从而提升清晰度的示意性框图，如图5所示，摄像头二普遍具有更高的动态范围以及更好的颜色，但是清晰度不足，将摄像头二与清晰度更高的摄像头一相结合，可以在保留高动态范围和更好颜色的同时提升清晰度。例如手机内置相机镜头与单反相机镜头相比具有更高的动态范围，而单反相机镜头具有更高的清晰度，将手机内置相机镜头与单反相机镜头结合，可以在保留高动态范围的同时提升清晰度；再例如，彩色镜头与黑白镜头相比具有更好的颜色，而黑白镜头具有更高的清晰度，将彩色镜头与黑白镜头相比，可以在保留更好颜色的同时提升清晰度。

图6示出了本申请实施例的通过将两个摄像头结合从而提升动态范围的示意性框图，如图6所示，摄像头二(主镜头)具有更高的清晰度，但动态范围不足，将摄像头二与动态范围更好的摄像头一(广角镜头)相结合，可以在保留高清晰度的同时提升动态范围，可以记录更加丰富的画面细节。

图7示出了本申请实施例的通过将两个摄像头结合从而提升亮度和清晰度的示意性框图，如图7所示，摄像头二(长焦镜头)可以拍摄远景、聚焦局部，但进光量较低，在暗光条件下拍摄效果较差，将摄像头二与摄像头一(主镜头)相结合，可以在暗光条件下提升亮度和清晰度。

因此本申请实施例提供一种双摄像头视频融合的方法，在录制视频的过程中可以实现将两个摄像头的优势融合，从而提高录制的视频的质量。

图8示出了本申请实施例的一种双摄像头视频融合的方法的示意性框图，可以实现提升录制的视频的质量。图8中的方法包括主摄像头和辅摄像头的融合，其中主摄像头可以是图4、5、6中的摄像头二，辅摄像头可以是图4、5、6中的摄像头一，主摄像头和辅摄像头可以是图2、3中的摄像头模组，图8的方法可以应用于图2所示的电子设备。图8中的方法将主摄像头和辅摄像头结合，可以在保留主摄像头优势的同时，融合辅摄像头的优势，从而获得更好的视频录制效果。

如图8所示，在拍摄视频的过程中，首先获取主摄像头拍摄的一帧图像A1，以及辅摄像头拍摄的一帧图像B1，其中主摄像头和辅摄像头可以是同时拍摄，也可以在一段预设的时间内先后拍摄，例如，预设时间可以是0.1毫秒，主摄像头拍摄第一帧图像A1的0.1毫秒后，辅摄像头拍摄第一帧图像B1；也可以是辅摄像头拍摄第一帧图像B1的0.1毫秒后，主摄像头拍摄第一帧图像A1，具体可以根据实际情况灵活设定。其中图像A1和图像B1均可以为RAW格式，RAW格式为图像感应器将捕捉到的光源信号转换为数字信号的原始数据。同时在主摄像头拍摄图像A1的时刻，获取电子设备中的惯性测量单元的位姿数据I1，位姿数据包括电子设备当前的角速度以及线加速度共计六维度自由度信息，具体的，惯性测量单元中的加速计测量三轴上的加速度，陀螺仪测量绕三轴的角速度。

将图像A1和图像B1均通过图像信号处理器处理，将RAW格式通过现有的ISP去马赛克算法转换为RGB格式，从而得到转换后的RGB格式图像A1和转换后的RGB格式图像B1，其中，将RAW格式转换为RGB格式需要电子单元进行大量的数字计算，对设备的功耗和性能开销较大。

由于转换后的图像A1和转换后的图像B1来自不同的摄像头，因此在进行融合之前需要进行图像配准，其中图像配准是指将不同时间、不同传感器或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，譬如，可以使用现有的尺度不变特征变换(scale-invariant feature transform，SIFT)图像匹配算法，该算法是将两张数字图像分别提取SIFT特征点，然后将两张图像的特征点通过一定的方法进行位置对齐，得到空间位置相同的图像过程。

将经过了格式转换和图像配准后的图像A1和图像B1进行融合，因为图像A1和图像B1的拍摄镜头光心空间上不完全一致，存在视差，另外两个镜头的图像记录时间也可能不一致，运动的场景运动对象的位置在两张图像中也会不一致，因此上述两种情况都会存在部分区域图像内容不完全一致，内容一致的区域称为对齐区域，内容不一致区域称为非对齐区域。本申请实施例的双摄像头视频融合的方法中可以直接将图像A1和图像B1中的两张图像对齐区域融合，而非对齐区域不作处理；或者也可以先使用光流特征等局部配准方法将图像A1和图像B1中的非对齐区域对齐，然后使用细节增强网络进行细节恢复，其中细节增强网络为预先训练好的可以对图像细节进行恢复的神经网络，最后将图像A1和图像B1中的对齐区域和处理后的非对齐区域进行融合。本申请实施例中对图像A1和图像B1进行融合，可以是使用传统的图像融合算法，例如将图像A1的黑白通道以及图像B1的彩色通道合并在一张图像中，即将图像A1和图像B1进行融合，也可以是使用图像融合神经网络将图像A1和图像B1进行融合，即将图像A1和图像B1输入图像融合神经网络，图像融合神经网络输出融合后的图像，其中图像融合神经网络为预先训练好的可以进行图像融合的神经网络。图像A1和图像B1融合后可以得到融合后的图像AB1，图像AB1融合了主摄像头和辅摄像头的优势。

继续获取主摄像头拍摄的第二帧图像A2，图像A2依然为RAW格式，辅摄像头此时不用工作，即停止图像捕获工作，降低工作频率。同时在主摄像头拍摄图像A2的时刻，获取电子设备中的惯性测量单元的位姿数据I2。

将图像A2通过图像信号处理器处理，将RAW格式通过ISP去马赛克算法转换为RGB格式，从而得到转换后的图像A2。

根据位姿数据I1和位姿数据I2可以计算得到图像A1和图像A2之间的单应矩阵H1，其中单应矩阵表示同一平面的点在不同图像之间的映射关系。

根据图像AB1和单应矩阵H1，对AB1中每一个像素点都可以做H1矩阵计算，计算后得到的像素点组成了虚拟图像B2，具体的B2＝H1×AB1。由于图像AB1由图像A1得到，因此图像AB1和图像A1是对齐的，而图像A1和图像A2之间的单应关系为单应矩阵H1，因此图像AB1根据单应矩阵H1得到的图像B2和图像A2是对齐的。

由于图像B2和图像A2是对齐的，因此图像B2和图像A2无需再进行图像配准，可直接融合得到图像AB2。

根据上述的方法，可以再对第三帧图像A3进行处理。

本申请实施例的双摄像头视频融合的方法，辅摄像头的帧率比主摄像头低，即主摄像头获取多帧真实的图像时辅摄像头获取一帧真实的图像，辅摄像头缺少的图像用自动生成的虚拟图像弥补，从而使辅摄像头的图像与主摄像头的图像一一对应融合。主摄像头的帧率与辅摄像头的帧率的比例由系统预先设定，具体比例本申请实施例在此不做限定。

辅摄像头拍摄一帧图像B1后，下次再拍摄第二帧图像的时机由主摄像头的帧率与辅摄像头的帧率的比例决定。例如假设主摄像头获取第一帧图像A1和辅摄像头获取第一帧图像B1是同时的，且主摄像头的帧率与辅摄像头的帧率的比例为5:1，则主摄像头拍摄的图像A2、A3、A4、A5由生成的虚拟图像B2、B3、B4、B5与之对应融合，当主摄像头拍摄图像A6时，辅摄像头同时拍摄第二帧图像B6；或者主摄像头获取第一帧图像A1和辅摄像头获取第一帧图像B1是非同时的，例如主摄像头获取第一帧图像A1后0.1秒辅摄像头获取第一帧图像B1，且主摄像头的帧率与辅摄像头的帧率的比例为3:1，则主摄像头拍摄的图像A2、A3由生成的虚拟图像B2、B3与之对应融合，当主摄像头拍摄图像A4后0.1秒辅摄像头拍摄第二帧图像B4。

根据上述图8中的方法，可以对视频拍摄过程中的每一帧图像进行处理，从而获取融合了主摄像头和辅摄像头优势的视频。图8的方法中，只需要对获取的真实图像进行图像信号处理器处理，生成的虚拟图像无需进行图像信号处理器处理，RAW图像获取以及ISP去马赛克处理过程相比简单的虚拟合成过程计算量大很多，通过生成的虚拟图像能耗消耗较少，从而极大减小了图像信号处理器处理图像对设备性能的要求和内存的消耗。生成的虚拟图像与获取的主摄像头的真实图像是对齐的，因此在进行图像融合之前无需再进行图像配准，减少了图像处理的时间，实现了视频拍摄过程中图像处理的实时性。图像AB1融合了图像A1和图像B1的优势，图像B2由图像AB1通过单应矩阵得到，因此图像B2继承了图像AB1的优势，图像B2再与图像A2融合，得到的图像AB2融合之前图像的优势，因此获得的视频有更好的效果；此外由于后续得到的图像继承了前面图像的信息，因此得到的视频也具有很好的连续性。

图8的方法中涉及的细节增强网络和图像融合网络均为预先训练好的神经网络。其中细节增强网络的训练过程可以是将已有的未进行细节增强的图片作为训练数据输入待训练的神经网络模型，将相应的已进行细节增强的图片作为训练标签，从而完成对神经网络的训练。图像融合网络的训练过程可以是将待融合的两张图片作为训练数据输入待训练的神经网络模型，将两张待融合图片的融合结果作为训练标签，从而完成对神经网络模型的训练。

图9示出了本申请实施例的一种双摄像头视频融合的具体方法操作的示意性框图，以手机上的黑白摄像头和彩色摄像头的融合为例进行说明，以下分步骤进行介绍。

1、用户打开相机，进入录像模式；

2、在检测到用户点击录像的操作后，彩色摄像头模组获取一帧彩色图像C1，其中该彩色摄像头模组可以是图3中的摄像头模型，彩色图像C1的初始格式为RAW格式，RAW格式为图像感应器将捕捉到的光源信号转换为数字信号的原始数据；同时记录彩色图像C1产生的时刻所对应的惯性测量单元(inertial measurement unit，IMU)的位姿数据I1，位姿数据包括电子设备当前的角速度以及线加速度共计六维度自由度信息，具体的，惯性测量单元中的加速计测量三轴上的加速度，陀螺仪测量绕三轴的角速度；黑白摄像头在后台打开获取黑白图像M1，其中该黑白摄像头模组可以是图3中的摄像头模型，黑白图像M1的格式为RAW格式；其中彩色摄像头和黑白摄像头可以是同时拍摄，也可以在一段预设的时间内先后拍摄，彩色图像C1和黑白图像M1同时存储在手机内存中。

3、将存储在手机内存中的彩色图像C1和黑白图像M1通过相机内置的软硬件图像处理算法模块进行ISP处理，例如可以通过现有的ISP去马赛克算法将彩色图像C1和黑白图像M1由初始的RAW格式转换为RGB格式。

4、利用现有的图像配准算法将RGB格式的彩色图像C1和RAW格式的黑白图像M1进行图像配准，然后输出图像对齐的彩色图像和黑白图像，即将黑白图像的可视视场角裁剪至与彩色图像一致，其中图像配准是指将不同时间、不同传感器或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。例如，可以使用现有的SIFT图像匹配算法将两张数字图像分别提取SIFT特征点，然后将两张图像的特征点通过一定的方法进行位置对齐，得到空间位置相同的图像过程。最后利用现有的逐帧融合算法将彩色图像C1和黑白图像M1进行图像融合，从而得到融合图像MCF1，其中MCF1的视场角与彩色图像C1完全一致。

5、彩色摄像头继续获取下一帧彩色图像C2，其中彩色图像C2依然为RAW格式，同时记录图像C2产生的时刻对应的IMU数据I2，黑白摄像头暂时不工作，即停止图像捕获工作，降低工作频率。

6、根据彩色图像C1产生的时刻对应的IMU数据I1和图像C2产生的时刻对应的IMU数据I2，计算可以得到单应矩阵H1，其中单应矩阵表示同一平面的点在不同图像之间的映射关系。

7、根据单应矩阵H1、融合图像MCF1和几何学原理可以得到虚拟图像M2：

M2＝H1×MCF1

即对融合图像MCF1中的每一个像素点都通过单应矩阵H1作映射变换，变换后的像素点组成了虚拟图像M2，此时虚拟图像M2与彩色图像C2的视场角完全一致。

8、虚拟图像M2与彩色图像C2无需额外的配准即可直接得到融合结果MCF2。

由此，根据图9的方法可以实现在视频录制的过程中，将彩色镜头与黑白镜头的优势融合，从而得到更加清晰的视频。

结合上述实施例和相关附图，本申请实施例提供了一种双摄像头视频融合的方法，该方法可以在如图2所示的电子设备(例如手机、平板电脑等)中实现。图10是本申请实施例提供的一种双摄像头视频融合的方法的示意性流程图，如图10所示，该方法包括步骤1001至步骤1008。

S1001，获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像。

一个示例中，第一时刻与第二时刻相同。

S1002，将第一图像和第二图像进行处理，以得到处理后的第一图像和处理后的第二图像。

S1003，将处理后的第一图像和处理后的第二图像融合，以得到第一时刻的第一融合图像。

一个示例中，将处理后的第一图像和处理后的第二图像融合之前，本申请的方法还包括：将处理后的第一图像和处理后的第二图像进行图像配准，具体的，直接将处理后的第一图像和处理后的第二图像中的对齐区域融合。或者，处理后的第一图像和处理后的第二图像中还存在非对齐区域，则根据局部配准方法将处理后的第一图像和处理后的第二图像中的非对齐区域对齐，然后将处理后的第一图像和处理后的第二图像中的对齐区域融合。

S1004，获取第一摄像头在第三时刻拍摄的第三图像。

S1005，将第三图像进行处理，以得到处理后的第三图像。

一个示例中，将第一图像和第二图像进行处理是将第一图像和第二图像经过图像信号处理器进行处理，将第三图像进行处理是将第三图像经过图像信号处理器进行处理。具体的，第一图像、第二图像、和第三图像为RAW格式，根据图像信号处理器将第一图像、第二图像、第三图像由RAW格式转换为RGB格式。

S1006，获取第一时刻和第三时刻之间的单应矩阵。

具体的，获取第一时刻的惯性测量单元的第一数据；获取第三时刻的惯性测量单元的第二数据；根据第一数据和第二数据得到单应矩阵。

S1007，根据第一融合图像和单应矩阵获取第四图像。

S1008，将处理后的第三图像和第四图像融合，以得到第三时刻的第二融合图像。

一个示例中，第一摄像头和第二摄像头的清晰度或动态范围或颜色不同。

一个示例中，本申请中的图像融合，包括处理后的第一图像和处理后的第二图像的融合，以及处理后的第三图像和第四图像的融合，可以使用现有的图像融合算法或图像融合神经网络进行图像融合。

应理解，图10只是对本申请双摄像头视频融合的方法的流程的简要介绍，具体可以参照上述对于图8和图9的描述，为了简洁，本申请实施例在此不再赘述。

可以理解的是，本申请的电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图11示出了上述实施例中涉及的电子设备的一种可能的组成示意图，如图11所示，该电子设备可以包括：获取单元1101和处理单元1102。

获取单元1101可以用于支持电子设备1100执行上述图10中的步骤1001、步骤1004等，和/或用于本文所描述的技术的其他过程。

处理单元1102可以用于支持电子设备1100执行上述图10中的步骤1002、步骤1003、步骤1005至步骤1008等，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备，用于双摄像头视频融合的方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述获取单元1101和处理单元1102。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图2所示结构的设备。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的双摄像头视频融合方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的双摄像头视频融合的方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的双摄像头视频融合的方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种双摄像头视频融合的方法，其特征在于，包括：

获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；

将所述第一图像和所述第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；

将所述处理后的第一图像和所述处理后的第二图像融合，以得到所述第一时刻的第一融合图像；

获取所述第一摄像头在第三时刻拍摄的第三图像；

将所述第三图像进行处理，以得到处理后的第三图像；

获取所述第一时刻和所述第三时刻之间的单应矩阵；

根据所述第一融合图像和所述单应矩阵获取第四图像；

将所述处理后的第三图像和所述第四图像融合，以得到所述第三时刻的第二融合图像。

2.根据权利要求1所述的方法，其特征在于，所述第一时刻与所述第二时刻相同。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一图像和所述第二图像进行处理是将所述第一图像和所述第二图像经过图像信号处理器进行处理，所述将所述第三图像进行处理是将所述第三图像经过图像信号处理器进行处理。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将所述第一图像和所述第二图像进行处理，和所述将所述第三图像进行处理，包括：

所述第一图像和所述第二图像为RAW格式；

根据图像信号处理器将所述第一图像和所述第二图像由RAW格式转换为RGB格式；

所述第三图像为RAW格式；

根据图像信号处理器将所述第三图像由RAW格式转换为RGB格式。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合之前，所述方法还包括：

将所述处理后的第一图像和所述处理后的第二图像进行图像配准。

6.根据权利要求5所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：

将所述处理后的第一图像和所述处理后的第二图像中的对齐区域融合。

7.根据权利要求5所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：

根据局部配准方法将所述处理后的第一图像和所述处理后的第二图像中的非对齐区域对齐；

将所述处理后的第一图像和所述处理后的第二图像中的对齐区域融合。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取所述第一时刻和所述第三时刻之间的单应矩阵，包括：

获取所述第一时刻的惯性测量单元的第一数据；

获取所述第三时刻的惯性测量单元的第二数据；

根据所述第一数据和所述第二数据得到所述单应矩阵。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一摄像头和所述第二摄像头的清晰度或动态范围或颜色不同。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：

使用图像融合算法或图像融合神经网络将所述处理后的第一图像和所述处理后的第二图像融合，所述图像融合神经网络为预先训练好的神经网络。

11.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，所述存储器中包括指令；当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行以下步骤：

获取第一摄像头在第一时刻拍摄的第一图像和第二摄像头在第二时刻拍摄的第二图像；

将所述第一图像和所述第二图像进行处理，以得到处理后的第一图像和处理后的第二图像；

将所述处理后的第一图像和所述处理后的第二图像融合，以得到所述第一时刻的第一融合图像；

获取所述第一摄像头在第三时刻拍摄的第三图像；

将所述第三图像进行处理，以得到处理后的第三图像；

获取所述第一时刻和所述第三时刻之间的单应矩阵；

根据所述第一融合图像和所述单应矩阵获取第四图像；

将所述处理后的第三图像和所述第四图像融合，以得到所述第三时刻的第二融合图像。

12.根据权利要求11所述的电子设备，其特征在于，所述第一时刻与所述第二时刻相同。

13.根据权利要求11或12所述的电子设备，其特征在于，所述将所述第一图像和所述第二图像进行处理是将所述第一图像和所述第二图像经过图像信号处理器进行处理，所述将所述第三图像进行处理是将所述第三图像经过图像信号处理器进行处理。

14.根据权利要求11至13中任一项所述的电子设备，其特征在于，所述处理单元将所述第一图像和所述第二图像进行处理，和所述将所述第三图像进行处理，包括：

所述第一图像和所述第二图像为RAW格式；

根据图像信号处理器将所述第一图像和所述第二图像由RAW格式转换为RGB格式；

所述第三图像为RAW格式；

根据图像信号处理器将所述第三图像由RAW格式转换为RGB格式。

15.根据权利要求11至14中任一项所述的电子设备，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合之前，所述电子设备还用于：

将所述处理后的第一图像和所述处理后的第二图像进行图像配准。

16.根据权利要求15所述的电子设备，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：

将所述处理后的第一图像和所述处理后的第二图像中的对齐区域融合。

17.根据权利要求15所述的电子设备，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：

根据局部配准方法将所述处理后的第一图像和所述处理后的第二图像中的非对齐区域对齐；

将所述处理后的第一图像和所述处理后的第二图像中的对齐区域融合。

18.根据权利要求11至17中任一项所述的电子设备，其特征在于，所述获取所述第一时刻和所述第三时刻之间的单应矩阵，包括：

获取所述第一时刻的惯性测量单元的第一数据；

获取所述第三时刻的惯性测量单元的第二数据；

根据所述第一数据和所述第二数据得到所述单应矩阵。

19.根据权利要求11至18中任一项所述的电子设备，其特征在于，所述第一摄像头和所述第二摄像头的清晰度或动态范围或颜色不同。

20.根据权利要求11至19中任一项所述的电子设备，其特征在于，所述将所述处理后的第一图像和所述处理后的第二图像融合，包括：

使用图像融合算法或图像融合神经网络将所述处理后的第一图像和所述处理后的第二图像融合，所述图像融合神经网络为预先训练好的神经网络。

21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码包括用于执行如权利要求1至10中的任一项所述的方法的部分或全部步骤的指令。

22.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的方法的部分或全部步骤的指令。

Images