CN113596319A - 基于画中画的图像处理方法、设备、存储介质和程序产品 - Google Patents

Abstract

本申请实施例提供了一种基于画中画的图像处理方法、设备、存储介质和程序产品，所述方法包括接收画中画拍摄模式下的视频拍摄操作；根据视频拍摄操作拍摄视频图像，视频图像包含第一图像画面及至少一个第二图像画面，第一图像画面至少部分包围至少一个第二图像画面；接收第一调整操作，第一调整操作用以调整第二图像画面的位置和/或大小；根据第一调整操作，实时调整视频图像的合成策略，合成策略是用以合成第一图像画面及至少一个第二图像画面的显示位置及显示大小的信息；根据调整后的合成策略，将至少两路视频数据的帧图像合成待显示的视频图像。用以对画中画的第二图像画面的大小及位置进行调整的目的，更好的满足用户需求，提高用户体验。

Description

基于画中画的图像处理方法、设备、存储介质和程序产品

技术领域

本申请涉及计算机技术领域，具体地涉及一种基于画中画的图像处理方法、设备、存储介质和程序产品。

背景技术

画中画技术是使用两个播放窗口叠加，进而同时呈现两路视频信号的技术。

在现有的基于画中画的视频播放方案中，终端设备显示的播放界面中包括主窗口和辅窗口，终端设备在主窗口和辅窗口中分别显示两路视频信号。其中，主窗口大小大于辅助窗口的窗口大小，且主窗口通常为整个播放界面，而辅窗口通常叠加显示在主窗口之上。

为了提高用户体验，手机、平板电脑等电子设备通常配置多个摄像头，例如在电子设备上分别配置一个前置摄像头和一个后置摄像头。用户可以根据自己的需求选择相应的拍摄模式，例如，前摄模式、后摄模式、前后双摄模式等。

用户可以使用至少两个摄像头，采用画中画模式进行拍摄。而在视频拍摄的场景中，用户可能在视频拍摄过程中需要对辅窗口的大小或位置进行调整。但是，现有技术中画中画模式的拍摄场景中，辅窗口图像画面的大小及位置是固定不变的，无法对辅窗口图像画面的大小或位置进行调整，无法满足用户需求，导致用户体验较差。

发明内容

有鉴于此，本申请实施例提供一种基于画中画的图像处理方法、设备、存储介质和程序产品，以利于解决现有技术无法对辅窗口的大小或位置进行调整时，导致用户体验较差的问题。

第一方面，本申请实施例提供了一种基于画中画的图像处理方法，应用于电子设备，包括：

接收画中画拍摄模式下的视频拍摄操作；

根据所述视频拍摄操作拍摄视频图像，其中，所述视频图像包含第一图像画面及至少一个第二图像画面，所述第一图像画面至少部分包围所述至少一个第二图像画面，所述第一图像画面和所述至少一个第二图像画面分别是至少两路视频数据的帧图像合成的视频图像；

接收第一调整操作，所述第一调整操作用以调整所述第二图像画面的位置和/或大小；

根据所述第一调整操作，实时调整所述视频图像的合成策略，所述合成策略是用以合成所述第一图像画面及至少一个第二图像画面的显示位置及显示大小的信息；

根据调整后的所述合成策略，将所述至少两路视频数据的帧图像合成待显示的视频图像。

优选地，所述方法还包括：

将拍摄过程中，实时调整的所述视频图像进行编码生成视频文件；存储所述视频文件。

优选地，所述第一调整操作包括缩放操作或拖动操作中的至少一种。

优选地，

在所述第一调整操作为缩放操作时，所述根据所述第一调整操作，调整所述视频图像的合成策略包括：

根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，其中，所述辅图像画面是所述至少一个第二图像画面；

根据所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略。

优选地，

在所述第一调整操作为拖动操作时，所述根据所述第一调整操作，调整视频图像的合成策略包括：

根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置；

根据所述辅图像画面在第一图像画面上的叠加位置，调整合成策略。

优选地，

所述根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小包括：

在所述第一调整操作的初始触控点为单个触控点，且落入所述辅图像画面的调整范围时，确定所述第一调整操作为缩放操作；

根据第一调整操作的触控轨迹，确定所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

优选地，

所述根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小包括：

在所述第一调整操作的初始触控点为至少两个触控点时，根据所述至少两个触控点的触控轨迹，确定所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

优选地，

所述根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置包括：

根据所述第一调整操作的触控轨迹，确定所述辅图像画面在第一图像画面上的叠加位置。

优选地，所述根据所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略包括：

根据所述辅图像画面的大小，在所述辅图像画面的尺寸小于预设尺寸阈值时，根据所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略，其中，所述预设尺寸阈值为拼接显示模式下，所述第一图像画面与所述辅图像画面拼接显示的尺寸。

优选地，所述方法还包括：

在所述辅图像画面的尺寸不小于预设尺寸阈值时，将所述合成策略更新为拼接显示模式的合成策略。

优选地，所述根据所述视频拍摄操作录制视频图像包括：

根据所述视频拍摄操作获取至少两路视频数据；

将所述至少两路视频数据的帧图像按照画中画显示模式的合成策略，合成视频图像。

优选地，

所述将所述至少两路视频数据的帧图像按照画中画显示模式的合成策略，合成视频图像包括：

根据所述画中画显示模式的合成策略，确定每路视频数据的帧图像对应的显示位置及显示大小；

根据每路视频数据的帧图像对应的显示大小调整每路视频数据的帧图像的大小；

根据调整后的每路视频数据的帧图像确定每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息；

根据所述每路视频数据的帧图像对应的显示位置、每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息，将所述至少两路视频数据的帧图像合成为视频图像。

第二方面，本申请实施例提供了一种电子设备，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行第一方面任一项所述的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面中任意一项所述的方法。

第四方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述第一方面中任意一项所述的方法。

采用本申请实施例提供的技术方案，在根据视频拍摄操作录制视频图像时，接收到第一调整操作，通过根据接收的第一调整操作对合成策略进行调整，以对画中画的第二图像画面的大小及位置进行调整的目的，更好的满足用户需求，提高用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种电子设备示意图；

图2为本申请实施例提供的一种画中画拍摄模式的场景示意图；

图3为本申请实施例提供的一种基于画中画的图像处理方法流程示意图；

图4a为本申请实施例提供的一种前后双摄模式拍摄场景示意图；

图4b为本申请实施例提供的一种前后画中画模式拍摄场景示意图；

图4c为本申请实施例提供的一种后置画中画模式拍摄场景示意图；

图5a为本申请实施例提供的一种辅图像画面调整的场景示意图；

图5b为本申请实施例提供的另一种辅图像画面调整的场景示意图；

图5c为本申请实施例提供的另一种辅图像画面调整的场景示意图；

图5d为本申请实施例提供的另一种辅图像画面调整的场景示意图；

图6a为本申请实施例提供的一种拼接显示模式的场景示意图；

图6b为本申请实施例提供的另一种拼接显示模式的场景示意图；

图6c为本申请实施例提供的另一种拼接显示模式的场景示意图；

图7为本申请实施例提供的另一种基于画中画的图像处理方法流程示意图；

图8为本申请实施例提供的一种电子设备的软件结构框图；

图9为本申请实施例提供的一种渲染场景示意图；

图10为本申请实施例提供的另一种渲染场景示意图；

图11a为本申请实施例提供的一种合成视频图像的场景示意图；

图11b为本申请实施例提供的另一种合成视频图像的场景示意图；

图12为本申请实施例提供的另一种基于画中画的图像处理方法流程示意图；

图13为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

参见图1，为本申请实施例提供的一种电子设备示意图。在图1中以手机100为例对电子设备进行示例性说明，图1中示出了手机100的前视图和后视图，在手机100的前侧配置有两个前置摄像头111、112，在手机100的后侧面配置有四个后置摄像头121、122、123、124。通过配置的多个摄像头，可以为用户提供多种拍摄模式，例如，前摄模式、后摄模式、前后双摄模式等。用户可以根据拍摄场景，选择相应的拍摄模式进行拍摄，以提高用户体验。

可理解，图1所示仅为一种示例性说明，并不应当将其作为本申请保护范围的限制。例如，不同的手机，其摄像头的配置数量和配置位置可能不同。另外，本申请实施例涉及的电子设备除了手机以外，还可以为平板电脑、个人计算机(personal computer，PC)、个人数字助理(personal digital assistant，PDA)、智能手表、上网本、可穿戴电子设备、增强现实技术(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、车载设备、智能汽车、智能音响、机器人、智能眼镜、智能电视等。

需要指出的是，在一些可能的实现方式中，电子设备也可能称为终端设备、用户设备(User Equipment，UE)等，本申请实施例对此不作限制。

在实际应用场景中，现在电子设备包含有至少两个摄像头，可以同时开启至少两个摄像头进行录像，使得录像获取的视频文件的视频图像包含多路摄像头的拍摄画面(基于用户选定的摄像头模式，按照摄像头模式所对应的画面组合策略，多路摄像头的拍摄画面组合为一个图像画面)。

这种同时使用至少两个摄像头进行同一视频文件拍摄的模式可以称为多路录像模式。在多路录像模式下，在录像过程中，在不中断视频录制的状态下，用户可以调整拍摄模式，例如调整录制视频所使用的摄像头和/或视频图像中多路摄像头画面的组合模式，以生成一个包含拍摄模式切换视频文件。同步的，在视频录制的过程中，电子设备的显示屏上会显示录制的视频文件的同步显示画面。显示画面与录制的视频文件中的画面保持一致。

参见图2，为本申请实施例提供的一种画中画模式拍摄的场景示例图。如图2所示，用户在通过电子设备进行视频拍摄的过程中，显示界面内可以实时显示拍摄的视频画面。另外，在显示界面内还包括拍摄模式选择窗口，用户可以在拍摄模式选择窗口内选择相应的拍摄模式进行视频拍摄。例如，前置单摄模式、后置单摄模式、前后双摄模式、前后画中画模式等。

在图2所示的应用场景中，用户选择前后画中画拍摄模式，此时前置摄像头拍摄前景画面和后置摄像头拍摄的后景画面被组合成一张画面，以实现画中画的效果。也就是说，在前后双摄模式下，分别通过前置摄像头和后置摄像头进行前景画面的采集和后景画面的采集，并在显示界面内分别显示前景画面以及后景画面的合成画面，并且，在后台将前景画面以及后景画面的合成画面编码保存为视频文件。

如图2所示，在电子设备以画中画模式拍摄视频时，从视觉效果上，显示的显示画面包括两部分，第一窗口以及第二窗口。第一窗口大小大于第二窗口的窗口大小，且第一窗口通常为整个播放界面，而第二窗口通常叠加显示在第一窗口之上。

但是，从图像数据的角度看，显示画面内显示的是一个视频图像，并不是第一窗口和第二窗口的组合显示，并不是独立的第一窗口图像与独立的第二窗口图像的组合显示。而是，电子设备后台获取前景画面以及后景画面的两路视频数据，按照画中画显示模式对应的图像合成策略，将前景画面处理为第一窗口图像，将后景画面处理为第二窗口图像，将第一窗口图像以及第二窗口图像合并为一张视频图像，然后分别发送到显示界面显示以及编码保存。

进一步的，如图2所示的视频录像场景中，在视频拍摄过程中，录制的视频画面中前景画面中重要的图像内容可能被后景画面遮挡，或者，用户对当前录制的视频画面中前景画面与后景画面的布局不满意；此时，用户可能希望对后景画面(辅窗口)的大小或位置进行调整。但是，由于辅窗口仅仅是一种在视频画面上呈现出的视觉显示效果，其并不是一个独立的显示窗口，因此，无法基于针对窗口控件的调整方法对其进行调整，因而无法满足用户需求，导致用户体验较差。

针对该问题，在图2所示的视频录像场景中，通过用户可以输入第一调整操作，根据第一调整操作调整前景画面以及后景画面的合成方式，生成对应用户第一调整操作的视频图像，将该视频图像发送到显示界面显示以及编码保存，从而实现在画中画模式录制过程中，对录制的视频图像中第二窗口图像的大小和/或位置进行调整的目的，更好的满足用户需求，提高用户体验。

可理解，在视频录制过程中，除了需要在显示界面内对拍摄的视频进行显示以外，还需要将拍摄的视频编码为视频文件(例如，MP4格式的视频文件)，并存储在电子设备中。

参见图3，为本申请实施例提供的一种基于画中画的图像处理方法流程示意图。该方法可应用于图1所示的电子设备，如图3所示，其主要包括以下步骤。

步骤S301、接收画中画拍摄模式下的视频拍摄操作。

在本申请实施例中，电子设备涉及的拍摄模式可能包括单摄模式和多摄模式。其中，单摄模式可能包括前置单摄模式、后置单摄模式等；多摄模式可能包括前置双摄模式、后置双摄模式、前后双摄模式、前置画中画模式、后置画中画模式、前后画中画模式等。

其中，在单摄模式下，采用一个摄像头进行视频拍摄；在多摄模式下采用两个或两个以上摄像头进行视频拍摄。

具体地，在前置单摄模式下，采用一个前置摄像头进行视频拍摄；在后置单摄模式下，采用一个后置摄像头进行视频拍摄；在前置双摄模式下，采用两个前置摄像头进行视频拍摄；在后置双摄模式下，采用两个后置摄像头进行视频拍摄；在前后双摄模式下，采用一个前置摄像头和一个后置摄像头进行视频拍摄；在前置画中画模式下，采用两个前置摄像头进行视频拍摄，且将一个前置摄像头拍摄的画面置于另一个前置摄像头拍摄的画面之中；在后置画中画模式下，采用两个后置摄像头进行视频拍摄，且将一个后置摄像头拍摄的画面置于另一个后置摄像头拍摄的画面之中；在前后画中画模式下，采用一个前置摄像头和一个后置摄像头进行视频拍摄，且将前置摄像头或后置摄像头拍摄的画面置于后置摄像头或前置摄像头拍摄的画面之中。

参见图4a，为本申请实施例提供的一种前后双摄模式拍摄场景示意图。在前后双摄模式下，采用一个前置摄像头采集前景画面，采用一个后置摄像头采集后景画面，前景画面和后景画面在显示界面内同时显示。

参见图4b，为本申请实施例提供的一种前后画中画模式拍摄场景示意图。在前后画中画模式下，采用一个前置摄像头采集前景画面，采用一个后置摄像头采集后景画面，将前景画面置于后景画面之中。

参见图4c，为本申请实施例提供的一种后置画中画模式拍摄场景示意图。在后置画中画模式下，采用一个后置摄像头采集远景画面，采用另一个后置摄像头采集近景画面，将近景画面置于远景画面之中。

本申请实施例涉及的拍摄模式可以为前置画中画模式、后置画中画模式、前后画中画模式中的任意一种。

需要指出的是，上述拍摄模式仅是本申请实施例列举的一些可能的实现方式，本领域技术人员可以根据实际需要配置其它形式的画中画拍摄模式，本申请实施例对此不作具体限制。

用户在电子设备中，若需要采用画中画拍摄模式进行视频的拍摄时，可以输入画中画拍摄模式下的视频拍摄操作。其中，用户可以通过触摸屏、物理按键、手势控制、语音控制等方式输入视频拍摄操作，本申请实施例对此不作具体限制。

步骤S302、根据视频拍摄操作拍摄视频图像。

其中，视频图像包含第一图像画面及至少一个第二图像画面，第一图像画面至少部分包围至少一个第二图像画面。第一图像画面和至少一个第二图像画面分别是至少两路视频数据的帧图像合成的视频图像。且第一图像画面是第一路视频数据中的帧图像的画面，至少一个第二图像画面分别是至少一个第二路视频数据中的帧图像的画面；第一路视频数据及至少一个第二路视频数据通过不同摄像装置采集的视频数据。

需要说明的是，在视频图像中的第一图像画面是指上文所述的第一窗口图像的画面，第二图像画面是指上文所述的第二窗口图像的画面。

在本申请实施例中，电子设备接收到画中画拍摄模式下的视频拍摄操作后，可以在画中画拍摄模式下通过摄像头采集到至少两路视频数据，并将其合成策略可以确定为画中画显示模式的合成策略。此时，电子设备根据画中画显示模式的合成策略可以将采集的至少两路视频数据的帧图像合成一个视频图像。在进行至少两路视频数据的合成时，可以按照画中画显示模式的合成策略中，预先设定的第一图像画面的显示位置、显示大小，每个第二图像画面的显示位置及显示大小，将第一图像画面对应的视频数据设置在其对应的显示位置处，且将每个第二图像画面对应的视频数据设置在其对应的显示位置处，将第一图像画面对应的视频数据的帧图像的大小调整为其对应的显示大小，将每个第二图像画面对应的视频数据的帧图像的大小调整为其各自对应的显示大小，然后将各路视频数据的帧图像进行合成，得到一个视频图像。其中，该视频图像中各第二图像画面的位置及大小即为画中画显示模式的合成策略中，预先设定的第二图像画面的显示位置及显示大小。也就是说，在本申请实施例中，是将拍摄的至少两路视频数据的帧图像合成为一个视频图像后，在进行后续的显示及编码。

需要说明的是，第一图像画面可以是按照显示屏的显示区域大小进行显示，此时可以将第一图像画面的显示位置设置为显示屏的显示区域的一点，显示大小设定为显示屏的显示区域的尺寸。

进一步地，根据视频拍摄操作录制视频图像包括：

根据视频拍摄操作获取至少两路视频数据；将至少两路视频数据的帧图像按照画中画显示模式的合成策略，合成录制的视频图像。

具体的，电子设备在接收到拍摄操作时，可以根据拍摄操作开启相应的至少两个摄像头，以便通过至少两个摄像头采集至少两路视频数据。其中，电子设备通过至少两个摄像头采集的至少两路视频数据的大小可以不同，例如，前置摄像头采集的视频数据的大小为540*480，后置摄像头采集的视频数据的大小为1080*960。当然，至少两个摄像头采集的至少两路视频数据的大小也可以相同，本申请对此不作限制。

电子设备在获取了至少两路视频数据后，由于接收的是画中画拍摄模式的拍摄操作，因此，电子设备可以将合成策略设定为画中画显示模式的合成策略，将各路视频数据的帧图像按照合成策略中预先设置的各路视频数据的帧图像对应的显示大小及显示位置，进行渲染合并处理，得到一个视频图像。例如，将前置摄像头采集的视频图像按照预设画中画显示模式的合成策略中前置摄像头采集的视频图像对应的显示大小，将其进行缩放处理，并按照合成策略中前置摄像头采集的视频图像对应的显示位置，将前置摄像头采集的视频图像嵌入至后置摄像头采集的图像内部对应的位置，实现采集的前置摄像头与后置摄像头采集的至少两路视频数据的帧图像的合并，该合并后的图像为画中画显示模式，形成一个视频图像。

进一步地，将至少两路视频数据的帧图像按照画中画显示模式的合成策略，合成视频图像包括：

根据预设画中画显示模式的合成策略，确定每路视频数据的帧图像的显示位置及显示大小。根据每路视频数据的帧图像对应的显示大小调整每路视频数据的帧图像的大小。根据每路视频数据的帧图像，确定每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息。根据每路视频数据的帧图像的显示位置、每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息，将至少两路视频数据的帧图像对应合成为一个视频图像。

需要说明的是，在设置画中画显示模式的合成策略时，即为设置画中画显示模式中，各个图像画面的显示位置及显示大小。因此，在用户选择采用画中画拍摄模式进行录制时，电子设备可以在存储介质中获取预先设置的画中画显示模式的合成策略，并在该合成策略中获取各个图像画面的显示位置及显示大小的相关信息，进而可以确定出每路视频数据的帧图像的显示位置及显示大小。根据每路视频数据的帧图像的显示大小，分别对每路视频数据的帧图像的大小进行调整，例如进行缩放处理，或者进行相应大小的图像提取处理，得到每路视频数据的对应大小的帧图像。在调整大小之后的每路视频数据中的帧图像中提取出每路视频数据的帧图像的纹理信息及该纹理信息对应的位置信息。根据每路视频数据的帧图像对应的显示位置、每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息，将至少两路视频数据的帧图像对应合成为一个视频图像。

步骤S303、接收第一调整操作。

其中，第一调整操作用以指示调整第二图像画面的位置和/或大小。

在实际应用中，用户可能在视频拍摄过程中需要调整第二图像画面的位置和/或大小时，可以向电子设备输入第一调整操作，以便对相应的辅显示区域进行调整。其中，用户可以通过触摸屏、物理按键、手势控制、语音控制等方式输入第一调整操作，本申请实施例对此不作具体限制。

进一步地，第一调整操作包括缩放操作及拖动操作中的至少一种。即为，用户可以通过缩放操作对第二图像画面的大小及显示位置进行调整。可以通过拖动操作仅对第二图像画面的显示位置进行调整。

需要说明的是，在本申请实施例中，在至少一个第二图像画面中，将第一调整操作需要调整的第二图像画面统称为辅图像画面。

需要说明的是，现有的电子设备普遍具有触摸屏，因此用户可以通过触控触摸屏向电子设备输入第一调整操作。

作为一种可能的实现方式，在本申请实施例中，用户在需要对第二图像画面的大小和/或位置进行调整时，可以通过触摸屏向电子设备输入触控操作，电子设备可以根据用户输入的触控操作确定第一调整操作，以便对第二图像画面进行调整。

具体的，在第一调整操作的初始触控点为单个触控点，且落入辅图像画面的调整范围时，确定第一调整操作为缩放操作。

需要说明的是，在每个第二图像画面中预先设置了可以对第二图像画面的显示大小进行调整的调整区域，例如可以是第二图像画面的显示边界。

在本申请实施例中，在用户输入触控操作时，若初始触控点落在辅图像画面的调整范围内，则用户可以通过调整初始触控点的位置实现对辅图像画面的缩放。用户可以直接触控触摸屏，电子设备根据用户的触摸轨迹确定对辅图像画面的调整。即为，用户通过触摸输入触控操作时，如果触控操作的初始触控点为单个触控点，说明用户通过单指触控触摸屏，并且初始触控点落入辅图像画面的调整范围内时，说明用户想要调整辅图像画面，实现辅图像画面的显示尺寸及显示位置的调整。此时，电子设备确定第一调整操作作为缩放操作。

或者，在第一调整操作的初始触控点为至少两个触控点，确定第一调整操作为缩放操作。

也就是说，用户输入的触控点可以是单个，也可以是至少两个。在触控点是单个控制缩放时，可以参考上述内容，在此不再赘述。用户输入的触控点为至少两个时，可以直接确定第一调整操作为缩放操作。即为，用户是通过至少双指调整辅图像画面的大小及显示位置。

进一步地，在第一调整操作的初始触控点为至少两个触控点时，可以进一步检测至少两个触控点是否在辅图像画面内，如果触控点在辅图像画面外，说明是对其他图像画面的操控，并不是对辅图像画面的操控。因此，在电子设备检测到第一调整操作的至少两个初始触控点后，可以先检测至少两个初始触控点的坐标是否在辅图像画面内，例如，检测至少两个初始触控点的坐标位置是否在辅图像画面对应的坐标范围内。如果在辅图像画面内，则说明是对辅图像画面的操作，此时电子设备可以将第一调整操作确定为缩放操作。该种第一调整操作是用户通过至少两指对辅图像画面进行尺寸调整的。此种方式用户通过双指捏合的方式调整辅图像画面的大小。

或者，在第一调整操作的初始触控点为单个触控点，且未落入辅图像画面的调整区域内时，可以确定第一调整操作为拖动操作。

也就是说，用户输入的触控点为单个时，若单个触控点并没有落入辅图像画面的调整区域内时，则说明该触控点是用于对辅图像画面的位置的调整。即为，电子设备在检测到第一调整操作的初始触控点后，可以检测初始触控点的坐标位置是否落入辅图像画面的调整区域内，若未落入，则说明电子设备可以确定第一调整操作为拖动操作。

需要说明的是，确定第一调整操作是否为拖动操作还可以通过现有技术中的其他方式实现，本申请对此不做限制。

步骤S304、根据第一调整操作，实时调整视频图像的合成策略。

其中，合成策略是用以合成第一图像画面及至少一个第二图像画面的显示位置及显示大小的信息。

在本申请实施例中，电子设备确定了第一调整操作后，可以根据第一调整操作，确定出需调整的第二图像画面即为辅图像画面的在第一图像画面上的叠加位置及辅图像画面的大小，进而可以确定出调整后的合并策略，即为确定出各个视频数据对应的图像画面在待合成的视频图像中的显示位置及显示大小，实时更新已有的合并策略，以便后续进行至少两路视频数据的帧图像的合成时，按照更新后的合并策略，将至少两路视频数据的帧图像对应合成为一个视频图像，此时，该视频图像中的辅图像画面是按照用户调整的位置及大小显示出来的。

其中，辅图像画面是至少一个第二图像画面中，第一调整操作需调整的第二图像画面。

如上文所述，第一调整操作可以是缩放操作也可以是拖动操作。根据第一调整操作的不同，对辅图像画面的调整也不同，具体如下。

在第一调整操作为缩放操作时，根据第一调整操作，调整视频图像的合成策略包括：

根据第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

根据辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略。

具体的，在第一调整操作为缩放操作时，可以根据第一调整操作确定出用户调整后的辅图像画面的大小，进而可以根据调整大小之前，辅图像画面在第一图像画面上的叠加位置及调整后的辅图像画面的大小，确定出调整后的辅图像画面在第一图像画面上的叠加位置，进而根据缩放操作调整后的辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略，调整合成策略。

由于缩放操作可以是用户通过单指向触摸屏输入的，也可以是用过通过至少两指向触摸屏输入的，根据输入的初始触控点的个数不同，其确定调整后的辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小的方式也不同，具体如下。

根据第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小包括：

在第一调整操作的初始触控点为单个触控点，且落入辅图像画面的调整范围时，确定第一调整操作为缩放操作；根据第一调整操作的触控轨迹，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

具体的，电子设备在接收的第一调整操作是缩放操作时，可以根据此缩放操作，确定出辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。如上文所述，在用户通过触摸屏输入第一调整操作时，若用户输入的初始触控点为单个触控点，且落入辅图像画面的调整区域内时，说明第一调整操作为缩放操作，此时可以将初始触控点视为辅窗口画面的调整点。电子可以根据第一调整操作的触控轨迹，确定出辅图像画面的调整点的调整位置。电子设备可以根据辅图像画面的调整点调整前的位置及调整后的位置计算出辅图像画面的大小，并根据辅图像画面的大小，调整前辅图像画面在第一图像画面上的叠加位置，确定出调整辅图像画面的大小后，辅图像画面在第一图像画面上的叠加位置。这样，在确定出辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小后，可以调整合成策略中记录的辅图像画面的显示位置及显示大小。即为，调整视频图像中辅图像画面对应的一路视频数据的帧图像在待合成的视频图像中的显示位置及显示大小，更新合成策略，如图5a所示。

或者，根据第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小包括：

在第一调整操作的初始触控点为至少两个触控点时，根据至少两个触控点的触控轨迹，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

若用户通过触摸屏输入第一调整操作时，在用户输入的初始触控点为至少两个，则说明用户是通过至少双指的捏合操作实现对辅图像画面的大小调整，此时可以确定第一调整操作为缩放操作，电子设备可以根据至少两个触控点的触控轨迹确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。这样，在确定出辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小后，可以根据辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，相应的调整合成策略中记录的辅图像画面的显示位置及显示大小，即为调整合成策略，如图5b所示。

需要说明的是，在第一调整操作为缩放操作时，对辅图像画面的大小进行缩放操作时，会导致辅图像画面的显示位置也发生变化。因此，调整合成策略时，需要同时确定辅图像画面的大小及辅图像画面在第一图像画面的叠加位置。

在第一调整操作为拖动操作时，根据一调整操作，调整视频图像的合成策略包括：

根据第一调整操作，确定辅图像画面在第一图像画面上的叠加位置。根据辅图像画面在第一图像画面上的叠加位置，调整合成策略。

在本申请实施例中，若用户仅需对辅图像画面的显示位置进行调整，并不需要对辅图像画面的大小进行调整，此时可以输入拖动操作，即为第一调整操作为拖动操作。在电子设备接收到拖动操作后，可以根据拖动操作确定出调整后的辅图像画面在第一图像画面上的叠加位置，进而根据辅图像画面在第一图像画面上的叠加位置，调整合成策略。

进一步地，在用户通过触控触摸屏的方式输入拖动操作时，根据第一调整操作，确定辅图像画面在第一图像画面上的叠加位置包括：

根据第一调整操作的触控轨迹，确定辅图像画面在第一图像画面上的叠加位置。

具体的，用户通过触摸屏输入的第一调整操作为拖动操作时，电子设备可以根据第一调整操作的触控轨迹确定出辅图像画面在第一图像画面上的叠加位置。这样，在确定出辅图像画面在第一图像画面上的叠加位置后，可以根据辅图像画面在第一图像画面上的叠加位置，调整合成策略中记录的辅图像画面的显示位置，即为调整合成策略，如图5c所示。

需要说明的是，在本申请实施例中，当第一调整操作为缩放操作时，根据第一调整操作确定辅图像画面的大小可以是确定辅图像画面的缩放比例。此时，合成策略中记录该缩放比例，以便电子设备可以根据该缩放比例，对辅图像画面对应的视频数据的帧图像进行缩放处理，得到相应大小的图像。当然，也可以是直接确定出调整后的辅图像画面的大小，此时，合成策略中记录辅图像画面的大小，以便可以电子设备可以直接根据辅图像画面的大小，在辅图像画面对应的视频数据的帧图像中提取出相应大小的图像。

进一步地，根据辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略包括：

根据辅图像画面的大小，在辅图像画面的尺寸小于预设尺寸阈值时，根据辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略。

其中，预设尺寸阈值为拼接显示模式下，第一图像画面与辅图像画面拼接显示的尺寸。在拼接显示模式中，第一图像画面与辅图像画面拼接显示的尺寸可以相等，如图6a所示，也可以是第一图像画面与辅图像画面为等宽拼接显示，如图6b所示，还可以是第一图像画面与辅图像画面为等长拼接显示，如图6c所示，当然，还可以是其他的拼接显示模式，本申请对此不作限制。

需要说明的是，等宽是指沿电子设备的短边方向宽度相等，等长是指沿电子设备的长边方向长度相等。

在本申请实施例中，电子设备通过至少两个摄像头拍摄的至少两路视频数据的帧图像以画中画的显示模式形成视频图像后，在显示界面中显示出。由于在本申请实施例中，用户可以根据实际需求调整第二图像画面的大小，为了防止第二图像画面过大，影响第一图像画面的显示，可以限定第二图像画面的显示尺寸阈值。基于此，可以预先设置第二图像画面的显示尺寸阈值，电子设备在根据辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小对合成策略进行调整之前，先确定需要调整的辅图像画面的尺寸是否小于显示尺寸阈值，若调整后的辅图像画面的大小小于显示尺寸阈值，则说明辅图像画面的大小在正常范围内，此时可以根据辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小对合成策略进行调整。

需要说明的是，可以将预设尺寸阈值设置为拼接显示模式下，辅图像画面与第一图像画面拼接显示时的尺寸，当然，还可以将预设尺寸阈值设置为其他尺寸值，本申请对此不作限制。

进一步地，上述方法还包括：在辅图像画面的大小不小于预设尺寸阈值时，将合成策略更新为拼接显示模式的合成策略。

在本申请实施例中，电子设备检测到调整后的辅图像画面的大小等于或大于预设尺寸阈值，则说明辅图像画面会影响其他图像画面的显示，此时，可以将合成策略由画中画显示模式更新为拼接显示模式的合成策略，以便后续的多路视频数据的帧图像可以通过拼接显示模式显示，不再进行画中画显示，如图5d所示。

步骤S305、根据调整后的合成策略，将至少两路视频数据的帧图像对应合成待显示的视频图像。

在本申请实施例中，电子设备在调整了合成策略后，在后续将至少两路视频数据的帧图像进行视频图像的合成时，使用调整后的合成策略，以便后续合成的视频图像中辅图像画面的显示位置及显示大小是按照用户调整后的显示位置及显示大小显示的。

具体的，在合成策略中记录了各路视频数据的帧图像对应的图像画面的显示位置及显示大小，此时，电子设备可以通过解析合成策略，获知各路视频数据的帧图像对应的图像画面的显示位置及显示大小，将各路视频数据的帧图像按照各自的显示位置及显示大小，合成为一个视频图像。例如，电子设备在合成策略中获知调整后的辅图像画面的显示位置，则可以将辅图像画面对应的一路视频数据的帧图像放置在待合成的视频图像中的相应的位置处，且根据辅图像画面的大小对辅图像画面对应的一路视频数据的帧图像进行相应大小的视频画面的提取或对帧图像进行缩放处理，得到相应大小的图像，将该图像的纹理信息设置在相应的显示位置处。

参见图7，为本申请实施例提供的另一种基于画中画的图像处理方法流程示意图。该方法可应用于图1所示的电子设备，其在图3所示实施例的基础上还包括生成视频文件，主要包括以下步骤。

步骤S601、接收画中画拍摄模式下的视频拍摄操作。

具体可参考步骤S301在此不再赘述。

步骤S602、根据视频拍摄操作拍摄视频图像。

其中，视频图像包含第一图像画面及至少一个第二图像画面，第一图像画面至少部分包围至少一个第二图像画面，第一图像画面和所述至少一个第二图像画面分别是至少两路视频数据的帧图像合成的视频图像。

具体可参考步骤S302在此不再赘述。

步骤S603、接收第一调整操作。

其中，第一调整操作用以调整所述第二图像画面的位置和/或大小。

具体可参考步骤S303在此不再赘述。

步骤S604、根据第一调整操作，实时调整所述视频图像的合成策略。

其中，合成策略是用以合成第一图像画面及至少一个第二图像画面的显示位置及显示大小的信息。

具体可参考步骤S304在此不再赘述。

步骤S605、根据调整后的合成策略，将至少两路视频数据的帧图像合成待显示的视频图像。

步骤S606、将拍摄过程中，实时调整的视频图像进行编码，生成视频文件，存储视频文件。

本申请实施例在视频拍摄过程中，需要将拍摄的视频图像编码为视频文件。此时，将拍摄过程中，实时调整的视频图像发送至编码模块，以便实现边录制边编码，实现所看即所得的效果。即为，在本申请中，在合成视频图像后，可以将该视频图像发送至相应的编码模块进行编码，生成视频文件，并存储生成的视频文件，从而可以保证再次播放视频文件时，显示界面中显示的视频图像也是通过画中画的模式进行显示，并且可以在播放的视频图像中体现出对第二图像画面的调整。

参见图8，为本申请实施例提供的一种电子设备的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将安卓(Android)系统分为四层，从上至下分别为应用层、框架层、硬件抽象层和硬件层。

应用层(Application，App)可以包括一系列应用程序包。例如，该应用程序包可以包括相机应用。应用层又可以分为显示界面(UI)和应用逻辑。

相机应用的应用界面包括单景模式、多景模式、画中画模式等。其中，在单景模式下仅显示一个拍摄画面；在多景模式下并列显示至少两个拍摄画面；在画中画模式下显示至少两个拍摄画面，其中至少一个拍摄画面位于另一个拍摄画面之中。

相机应用的应用逻辑包括多摄框架和相机管理。其中，多摄框架包括画中画事件管理模块、画中画坐标管理模块、画中画绘制管理模块及多摄编码模块等。画中画事件管理模块用于控制合成策略的调整；画中画坐标管理模块用于确定各路视频数据的帧图像对应的图像画面的显示位置及显示大小；画中画绘制管理模块用于通过调用Open GL渲染器对至少两路视频数据中的帧图像进行渲染处理。多摄编码模块，用于对显示界面显示的视频图像进行编码，生成视频文件。相机管理包括设备管理模块、Surface管理模块、会话管理模块等。在Android系统中，Surface对应一块屏幕缓冲区，用于保存当前窗口的像素数据。

框架层(Framework，FWK)为应用层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架，包括一些预先定义的函数。在图8中，框架层包括相机访问接口(Camera2 API)，Camera2 API是Android推出的一套访问摄像头设备的接口，其采用管道式的设计，使数据流从摄像头流向Surface。Camera2 API包括相机管理(CameraManager)和相机设备(CameraDevice)。CameraManager为Camera设备的管理类，通过该类对象可以查询设备的Camera设备信息，得到CameraDevice对象。CameraDevice提供了Camera设备相关的一系列固定参数，例如基础的设置和输出格式等。

硬件抽象层(HAL)是位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。在图8中，HAL包括相机硬件抽象层(Camera HAL)，Camera HAL包括设备(Device)1、设备(Device)2、设备(Device)3等。可理解，该Device1、Device2和Device3为抽象的设备。

硬件层(HardWare，HW)是位于操作系统最底层的硬件。在图8中，HW包括相机设备(CameraDevice)1、相机设备(CameraDevice)2、相机设备(CameraDevice)3等。其中，CameraDevice1、CameraDevice2和CameraDevice3可对应于电子设备上的多个摄像头。

在一种可能的实现方式中，画中画绘制管理模块可以调用开放图形库(OpenGraphics Library，OpenGL)渲染器实现对视频数据的渲染处理。画中画绘制管理模块包含Open GL显示渲染引擎、Open GL编码渲染引擎及显示缓存区。以视频数据中的一帧视频图像为例进行渲染处理说明，具体如下所述：

在电子设备通过多摄像头进行视频的拍摄时，以电子设备通过第一摄像头及第二摄像头进行视频的拍摄为例进行说明。Open GL显示渲染引擎通过两个监听模块监听电子设备的两个摄像头采集的视频图像。即为，Open GL显示渲染引擎通过第一监听模块及第二监听模块分别监听第一摄像头及第二摄像头采集的视频图像。Open GL显示渲染引擎将第一监听模块及第二监听模块监听到的两路视频图像及合成策略传输至Open GL渲染器。Open GL渲染器根据合成策略，将两路视频图像合成为一个视频图像，并将该视频图像传输至显示缓存区进行缓存。将显示缓存区中缓存的视频图像分别传输至显示界面(SurfaceView)及编码缓存区。在显示界面内显示该视频图像。Open GL编码渲染引擎获取编码缓存区内的视频图像，并对该视频图像根进行相关渲染，例如对该视频图像进行美颜处理，或者在该视频图像中添加水印，将渲染后的视频图像发送至编码模块，以便编码模块进行相应的编码处理，生成视频文件，如图9及图10所示。

需说明的是，在上述过程中，除了编码模块生成的视频文件为MP4格式外，其他视频图像均是RGB格式的。也就是说，Open GL显示渲染引擎监听的视频图像为RGB格式的图像，Open GL渲染器渲染合成后输出的视频图像也是RGB格式。即为，显示缓存区缓存的视频图像为RGB格式，发送至显示界面及编码缓存区的视频图像也是RGB格式。Open GL编码渲染引擎获取到RGB格式的视频图像，并对该视频图像根据用户输入的图像渲染操作进行相关渲染，得到的渲染后的视频图像是RGB格式。编码模块接收的视频图像为RGB格式，对RGB格式的视频图像进行编码处理，生成MP4格式的视频文件。

进一步地，Open GL渲染器根据合成策略，将两路视频图像合成为一个视频图像具体为：

Open GL渲染器解析合成策略，获知每路视频图像对应的图像画面的显示位置，例如，可以合成策略中可以标记出每路视频图像对应的图像画面的顶点坐标，例如左上角的顶点坐标。Open GL渲染器根据每路视频图像对应的图像画面的顶点坐标，可以确定每路视频图像对应的图像画面的显示位置。根据每路视频图像获取每路视频图像的纹理信息及纹理信息对应的位置信息。Open GL渲染器根据每路视频图像对应的图像画面的显示位置、每路视频图像的纹理信息及纹理信息对应的位置信息，将两路视频图像合成为一个视频图像，如图11a及图11b所示。

需要说明的是，将单个摄像头拍摄的视频图像进行显示及编码的渲染过程中，Open GL显示渲染引擎可以分别通过第一监听模块及第二监听模块监听视频图像，分别将两个监听模块监听的视频图像一个用作显示渲染，一个用作编码渲染。也可以仅使用一个监听模块监听视频图像，将监听的视频图像进行显示渲染，并将显示渲染后的视频图像进行编码渲染。具体说明如下：

在电子设备通过单摄像头进行视频的拍摄时，以电子设备通过第一摄像头进行视频的拍摄为例进行说明。Open GL显示渲染引擎可以通过两个监听模块监听电子设备的第一摄像头采集的视频图像。即为，Open GL显示渲染引擎通过第一监听模块及第二监听模块分别监听第一摄像头采集的视频图像。Open GL显示渲染引擎将第一监听模块监听到的视频图像及第二监听模块监听到的视频图像均传输至Open GL渲染器，Open GL渲染器将获取的Open GL显示渲染引擎的第一监听模块传输的视频图像传输至显示缓存区进行缓存，该路视频图像用于在显示界面进行显示，将获取的Open GL显示渲染引擎的第二监听模块传输的视频图像传输至编码缓存区，该路视频图像用于在多摄编码模块中进行编码处理。将显示缓存区中缓存的视频图像传输至显示界面。在显示界面内显示该视频图像。Open GL编码渲染引擎获取编码缓存区内的视频图像，并对该视频图像根进行相关渲染，例如对该视频图像进行美颜处理，或者在该视频图像中添加水印，将渲染后的视频图像发送至多摄编码模块，以便多摄编码模块进行相应的编码处理，生成视频文件，参考图9所示。

需要说明的是，在上述电子设备通过单摄像头进行视频拍摄时，由于无需对视频图像进行特殊的渲染处理，因此Open GL显示渲染引擎的第一监听模块及第二监听模块监听的视频图像也可以不经过Open GL渲染器，而是直接将Open GL显示渲染引擎的第一监听模块监听的视频图像传输至显示缓存区，将第二监听模块监听的视频图像传输至编码缓存区，本申请对此不作限制。

或者，在电子设备通过单摄像头进行视频的拍摄时，Open GL显示渲染引擎可以通过一个监听模块监听电子设备的第一摄像头采集的视频图像。例如，Open GL显示渲染引擎通过第一监听模块监听第一摄像头采集的视频图像。Open GL显示渲染引擎将第一监听模块监听到的视频图像传输至Open GL渲染器，Open GL渲染器将获取的视频图像传输至显示缓存区进行缓存。将显示缓存区中缓存的视频图像传输至显示界面。在显示界面内显示该视频图像，并将该视频图像传输至编码缓存区中。Open GL编码渲染引擎获取编码缓存区内的视频图像，并对该视频图像根进行相关渲染，例如对该视频图像进行美颜处理，或者在该视频图像中添加水印，将渲染后的视频图像发送至编码模块，以便编码模块进行相应的编码处理，生成视频文件，参考图10所示。

需要说明的是，在上述电子设备通过单摄像头进行视频拍摄时，由于无需对视频图像进行特殊的渲染处理，因此Open GL显示渲染引擎的第一监听模块监听的视频图像也可以不经过Open GL渲染器，而是直接将Open GL显示渲染引擎的第一监听模块监听的视频图像传输至显示缓存区，本申请对此不作限制。

在本申请实施例中，可以利用共享上下文(SharedContext)实现编码缓存区及显示界面共享显示缓存区中缓存的视频图像，使得显示线程与编码线程间通过SharedContext共享纹理信息实现视频录制。

需要说明的是，电子设备通过多摄像头进行视频的拍摄时，其对应的显示界面可以是多景模式，也可以是画中画模式。电子设备通过单个摄像头进行视频的拍摄时，其对应的显示界面是单景模式。

需要说明的是，在附图9及附图10中单景模式下的Open GL显示渲染引擎、Open GL渲染器及显示缓存区与双景模式下的Open GL显示渲染引擎、Open GL渲染器及显示缓存区分别是同一个Open GL显示渲染引擎、Open GL渲染器及显示缓存区。为了便于说明，在附图9及附图10中，在单景模式及双景模式下均绘制了Open GL显示渲染引擎、Open GL渲染器及显示缓存区。

参见图12，为本申请实施例提供的另一种基于画中画的图像处理方法流程示意图。该方法可应用于图8所示的软件结构，如图12所示，其主要包括以下步骤。

S901、触发画中画拍摄模式下的视频拍摄操作。

用户若需要电子设备进行画中画拍摄下的视频拍摄，则触发画中画拍摄模式下的视频拍摄操作。

S902、根据视频拍摄操作拍摄视频图像。

其中，视频图像包含第一图像画面及至少一个第二图像画面，所述第一图像画面至少部分包围所述至少一个第二图像画面，第一图像画面和所述至少一个第二图像画面分别是至少两路视频数据的帧图像合成的视频图像。

画中画事件管理模块视频拍摄操作传输至画中画绘制管理模块，画中画绘制管理模块将拍摄的至少两路视频数据的帧图像进行渲染处理，得到视频图像，可以将该视频图像传输至预显示面进行显示，并传输至多摄编码模块进行编码处理。

S903、将拍摄过程中，实时合成的视频图像传输至多摄编码模块进行编码处理。

画中画绘制管理模块将摄的至少两路视频数据的帧图像进行渲染处理，得到视频图像，可以将该视频图像传输至多摄编码模块进行编码处理，生成视频文件。

S904、触发第一调整操作。

用户在拍摄过程中，需要对显示界面中显示的第二图像画面的位置和/或大小进行调整，此时触发第一调整操作，第一调整操作用于指示调整第二图像画面的位置和/或大小。

S905、画中画事件管理模块启动辅图像画面的调整。

画中画事件管理模块接收到第一调整操作后，启动辅图像画面的调整。辅图像画面是至少两个第二图像画面中，第一调整操作需调整的第二图像画面。

S906、画中画事件管理模块向画中画坐标管理模块发送第一调整操作。

画中画坐标管理模块可以根据第一调整操作，确定辅图像画面的在第一图像画面中的叠加位置及辅图像画面的大小。例如，可以确定辅图像画面的顶点的坐标位置及辅图像画面的缩放比例。

S907、画中画绘制管理模块从画中画坐标管理模块中获取在第一图像画面中的叠加位置及缩放比例，调整合成策略中辅图像画面对应的一路视频数据的帧图像在视频图像中的显示位置及显示大小。并调用Open GL渲染器对至少两路视频数据中的帧图像进行渲染处理。

其中，合成策略是用以合成第一图像画面及至少一个第二图像画面的显示位置及显示大小的信息。

具体的，画中画绘制管理模块在画中画坐标管理模块中获取了第一图像画面中的叠加位置及缩放比例后，可以根据第一图像画面中的叠加位置及缩放比例，调整合成策略。调用Open GL渲染器，Open GL渲染器根据调整后的合成策略对至少两路视频数据中的帧图像进行渲染处理，得到待显示视频图像。将待显示的视频图像通过显示界面显示，并通过多摄编码模块进行编码。

S908、将拍摄过程中，实时调整的视频图像进行编码生成视频文件；存储视频文件。

画中画绘制管理模块通过调用Open GL渲染器对至少两路视频数据中的帧图像进行渲染处理，得到待显示的视频图像，即为调整的视频图像。画中画绘制管理模块将该待显示视频图像发送至多摄编码模块，多摄编码模块对接收的视频图像进行编码，生成视频文件。其中，步骤S903生成的视频文件与该步骤生成的视频文件为一个视频文件，将此视频文件存储在电子设备中。

与上述方法实施例相对应，本申请还提供了一种电子设备，该电子设备用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行上述方法实施例中的部分或全部步骤。

参见图13，为本申请实施例提供的一种电子设备的结构示意图。如图13所示，该电子设备1400可以包括处理器1410，外部存储器接口1420，内部存储器1421，通用串行总线(universal serial bus，USB)接口1430，充电管理模块1440，电源管理模块1441，电池1442，天线1，天线2，移动通信模块1450，无线通信模块1460，音频模块1470，扬声器1470A，受话器1470B，麦克风1470C，耳机接口1470D，传感器模块1480，按键1490，马达1491，指示器1492，摄像头1493，显示屏1494，以及用户标识模块(subscriber identification module，SIM)卡接口1495等。其中传感器模块1480可以包括压力传感器1480A，陀螺仪传感器1480B，气压传感器1480C，磁传感器1480D，加速度传感器1480E，距离传感器1480F，接近光传感器1480G，指纹传感器1480H，温度传感器1480J，触摸传感器1480K，环境光传感器1480L，骨传导传感器1480M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备1400的具体限定。在本申请另一些实施例中，电子设备1400可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器1410可以包括一个或多个处理单元，例如：处理器1410可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器1410中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1410中的存储器为高速缓冲存储器。该存储器可以保存处理器1410刚用过或循环使用的指令或数据。如果处理器1410需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1410的等待时间，因而提高了系统的效率。

在一些实施例中，处理器1410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器1410可以包含多组I2C总线。处理器1410可以通过不同的I2C总线接口分别耦合触摸传感器1480K，充电器，闪光灯，摄像头1493等。例如：处理器1410可以通过I2C接口耦合触摸传感器1480K，使处理器1410与触摸传感器1480K通过I2C总线接口通信，实现电子设备1400的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器1410可以包含多组I2S总线。处理器1410可以通过I2S总线与音频模块1470耦合，实现处理器1410与音频模块1470之间的通信。在一些实施例中，音频模块1470可以通过I2S接口向无线通信模块1460传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块1470与无线通信模块1460可以通过PCM总线接口耦合。在一些实施例中，音频模块1470也可以通过PCM接口向无线通信模块1460传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器1410与无线通信模块1460。例如：处理器1410通过UART接口与无线通信模块1460中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块1470可以通过UART接口向无线通信模块1460传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器1410与显示屏1494，摄像头1493等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器1410和摄像头1493通过CSI接口通信，实现电子设备1400的拍摄功能。处理器1410和显示屏1494通过DSI接口通信，实现电子设备1400的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器1410与摄像头1493，显示屏1494，无线通信模块1460，音频模块1470，传感器模块1480等。GPIO接口还可以被配置为I14C接口，I14S接口，UART接口，MIPI接口等。

USB接口1430是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口1430可以用于连接充电器为电子设备1400充电，也可以用于电子设备1400与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备1400的结构限定。在本申请另一些实施例中，电子设备1400也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块1440用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块1440可以通过USB接口1430接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块1440可以通过电子设备1400的无线充电线圈接收无线充电输入。充电管理模块1440为电池1442充电的同时，还可以通过电源管理模块1441为电子设备供电。

电源管理模块1441用于连接电池1442，充电管理模块1440与处理器1410。电源管理模块1441接收电池1442和/或充电管理模块1440的输入，为处理器1410，内部存储器1421，显示屏1494，摄像头1493，和无线通信模块1460等供电。电源管理模块1441还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块1441也可以设置于处理器1410中。在另一些实施例中，电源管理模块1441和充电管理模块1440也可以设置于同一个器件中。

电子设备1400的无线通信功能可以通过天线1，天线2，移动通信模块1450，无线通信模块1460，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备1400中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块1450可以提供应用在电子设备1400上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块1450可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块1450可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块1450还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块1450的至少部分功能模块可以被设置于处理器1410中。在一些实施例中，移动通信模块1450的至少部分功能模块可以与处理器1410的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器1470A，受话器1470B等)输出声音信号，或通过显示屏1494显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器1410，与移动通信模块1450或其他功能模块设置在同一个器件中。

无线通信模块1460可以提供应用在电子设备1400上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块1460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块1460经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器1410。无线通信模块1460还可以从处理器1410接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备1400的天线1和移动通信模块1450耦合，天线2和无线通信模块1460耦合，使得电子设备1400可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备1400通过GPU，显示屏1494，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏1494和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器1410可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏1494用于显示图像，视频等。显示屏1494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备1400可以包括1个或N个显示屏1494，N为大于1的正整数。

电子设备1400可以通过ISP，摄像头1493，视频编解码器，GPU，显示屏1494以及应用处理器等实现拍摄功能。

ISP用于处理摄像头1493反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头1493中。

摄像头1493用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备1400可以包括1个或N个摄像头1493，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备1400在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备1400可以支持一种或多种视频编解码器。这样，电子设备1400可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备1400的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口1420可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备1400的存储能力。外部存储卡通过外部存储器接口1420与处理器1410通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器1421可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器1421可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备1400使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器1421可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器1410通过运行存储在内部存储器1421的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备1400的各种功能应用以及数据处理。

电子设备1400可以通过音频模块1470，扬声器1470A，受话器1470B，麦克风1470C，耳机接口1470D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块1470用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块1470还可以用于对音频信号编码和解码。在一些实施例中，音频模块1470可以设置于处理器1410中，或将音频模块1470的部分功能模块设置于处理器1410中。

扬声器1470A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备1400可以通过扬声器1470A收听音乐，或收听免提通话。

受话器1470B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备1400接听电话或语音信息时，可以通过将受话器1470B靠近人耳接听语音。

麦克风1470C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风1470C发声，将声音信号输入到麦克风1470C。电子设备1400可以设置至少一个麦克风1470C。在另一些实施例中，电子设备1400可以设置两个麦克风1470C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备1400还可以设置三个，四个或更多麦克风1470C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口1470D用于连接有线耳机。耳机接口1470D可以是USB接口1430，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器1480A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器1480A可以设置于显示屏1494。压力传感器1480A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器1480A，电极之间的电容改变。电子设备1400根据电容的变化确定压力的强度。当有触摸操作作用于显示屏1494，电子设备1400根据压力传感器1480A检测所述触摸操作强度。电子设备1400也可以根据压力传感器1480A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器1480B可以用于确定电子设备1400的运动姿态。在一些实施例中，可以通过陀螺仪传感器1480B确定电子设备1400围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器1480B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器1480B检测电子设备1400抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备1400的抖动，实现防抖。陀螺仪传感器1480B还可以用于导航，体感游戏场景。

气压传感器1480C用于测量气压。在一些实施例中，电子设备1400通过气压传感器1480C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器1480D包括霍尔传感器。电子设备1400可以利用磁传感器1480D检测翻盖皮套的开合。在一些实施例中，当电子设备1400是翻盖机时，电子设备1400可以根据磁传感器1480D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器1480E可检测电子设备1400在各个方向上(一般为三轴)加速度的大小。当电子设备1400静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器1480F，用于测量距离。电子设备1400可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备1400可以利用距离传感器1480F测距以实现快速对焦。

接近光传感器1480G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备1400通过发光二极管向外发射红外光。电子设备1400使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备1400附近有物体。当检测到不充分的反射光时，电子设备1400可以确定电子设备1400附近没有物体。电子设备1400可以利用接近光传感器1480G检测用户手持电子设备1400贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器1480G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器1480L用于感知环境光亮度。电子设备1400可以根据感知的环境光亮度自适应调节显示屏1494亮度。环境光传感器1480L也可用于拍照时自动调节白平衡。环境光传感器1480L还可以与接近光传感器1480G配合，检测电子设备1400是否在口袋里，以防误触。

指纹传感器1480H用于采集指纹。电子设备1400可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器1480J用于检测温度。在一些实施例中，电子设备1400利用温度传感器1480J检测的温度，执行温度处理策略。例如，当温度传感器1480J上报的温度超过阈值，电子设备1400执行降低位于温度传感器1480J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备1400对电池1442加热，以避免低温导致电子设备1400异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备1400对电池1442的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器1480K，也称“触控器件”。触摸传感器1480K可以设置于显示屏1494，由触摸传感器1480K与显示屏1494组成触摸屏，也称“触控屏”。触摸传感器1480K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏1494提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器1480K也可以设置于电子设备1400的表面，与显示屏1494所处的位置不同。

骨传导传感器1480M可以获取振动信号。在一些实施例中，骨传导传感器1480M可以获取人体声部振动骨块的振动信号。骨传导传感器1480M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器1480M也可以设置于耳机中，结合成骨传导耳机。音频模块1470可以基于所述骨传导传感器1480M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器1480M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键1490包括开机键，音量键等。按键1490可以是机械按键。也可以是触摸式按键。电子设备1400可以接收按键输入，产生与电子设备1400的用户设置以及功能控制有关的键信号输入。

马达1491可以产生振动提示。马达1491可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏1494不同区域的触摸操作，马达1491也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器1492可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口1495用于连接SIM卡。SIM卡可以通过插入SIM卡接口1495，或从SIM卡接口1495拔出，实现和电子设备1400的接触和分离。电子设备1400可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口1495可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口1495可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口1495也可以兼容不同类型的SIM卡。SIM卡接口1495也可以兼容外部存储卡。电子设备1400通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备1400采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备1400中，不能和电子设备1400分离。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

具体实现中，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种基于画中画的图像处理方法，应用于电子设备，其特征在于，包括：

接收画中画拍摄模式下的视频拍摄操作；

根据所述视频拍摄操作拍摄视频图像，其中，所述视频图像包含第一图像画面及至少一个第二图像画面，所述第一图像画面至少部分包围所述至少一个第二图像画面，所述第一图像画面和所述至少一个第二图像画面分别是至少两路视频数据的帧图像合成的视频图像；

接收第一调整操作，所述第一调整操作用以调整所述第二图像画面的位置和/或大小；

根据所述第一调整操作，实时调整所述视频图像的合成策略，所述合成策略是用以合成所述第一图像画面及至少一个第二图像画面的显示位置及显示大小的信息；

根据调整后的所述合成策略，将所述至少两路视频数据的帧图像合成待显示的视频图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将拍摄过程中，实时调整的所述视频图像进行编码生成视频文件；存储所述视频文件。

3.根据权利要求1所述的方法，其特征在于，所述第一调整操作包括缩放操作或拖动操作中的至少一种。

4.根据权利要求3所述的方法，其特征在于，

在所述第一调整操作为缩放操作时，所述根据所述第一调整操作，调整所述视频图像的合成策略包括：

根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，其中，所述辅图像画面是所述至少一个第二图像画面；

根据所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略。

5.根据权利要求3所述的方法，其特征在于，

在所述第一调整操作为拖动操作时，所述根据所述第一调整操作，调整视频图像的合成策略包括：

根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置；

根据所述辅图像画面在第一图像画面上的叠加位置，调整合成策略。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小包括：

在所述第一调整操作的初始触控点为单个触控点，且落入所述辅图像画面的调整范围时，确定所述第一调整操作为缩放操作；

根据第一调整操作的触控轨迹，确定所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

7.根据权利要求4所述的方法，其特征在于，所述根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小包括：

在所述第一调整操作的初始触控点为至少两个触控点时，根据所述至少两个触控点的触控轨迹，确定所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小。

8.根据权利要求5所述的方法，其特征在于，所述根据所述第一调整操作，确定辅图像画面在第一图像画面上的叠加位置包括：

根据所述第一调整操作的触控轨迹，确定所述辅图像画面在第一图像画面上的叠加位置。

9.根据权利要求4所述的方法，其特征在于，所述根据所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略包括：

根据所述辅图像画面的大小，在所述辅图像画面的尺寸小于预设尺寸阈值时，根据所述辅图像画面在第一图像画面上的叠加位置及辅图像画面的大小，调整合成策略，其中，所述预设尺寸阈值为拼接显示模式下，所述第一图像画面与所述辅图像画面拼接显示的尺寸。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在所述辅图像画面的尺寸不小于预设尺寸阈值时，将所述合成策略更新为拼接显示模式的合成策略。

11.根据权利要求1所述的方法，其特征在于，所述根据所述视频拍摄操作录制视频图像包括：

根据所述视频拍摄操作获取至少两路视频数据；

将所述至少两路视频数据的帧图像按照画中画显示模式的合成策略，合成视频图像。

12.根据权利要求11所述的方法，其特征在于，所述将所述至少两路视频数据的帧图像按照画中画显示模式的合成策略，合成视频图像包括：

根据所述画中画显示模式的合成策略，确定每路视频数据的帧图像对应的显示位置及显示大小；

根据每路视频数据的帧图像对应的显示大小调整每路视频数据的帧图像的大小；

根据调整后的每路视频数据的帧图像确定每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息；

根据所述每路视频数据的帧图像对应的显示位置、每路视频数据的帧图像的纹理信息及纹理信息对应的位置信息，将所述至少两路视频数据的帧图像合成为视频图像。

13.一种电子设备，其特征在于，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行权利要求1-12任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-12中任意一项所述的方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行权利要求1-12中任意一项所述的方法。

Images