CN111951206A - 图像合成方法、图像合成装置及终端设备 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了图像合成方法、图像合成装置、终端设备及计算机可读存储介质，一种图像合成方法，包括：在接收到预设指令之后，针对每一个目标应用，对所述目标应用的内容进行渲染，获得所述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与所述目标应用相关；根据所述目标应用的渲染参数信息，确定当前合成速率；若存在至少两个渲染图像，则根据所述当前合成速率，对各个所述渲染图像进行合成，获得合成图像。通过上述方法，可以减小终端设备生成屏幕显示图像过程中的延迟。

Description

图像合成方法、图像合成装置及终端设备

技术领域

本申请属于图像处理技术领域，尤其涉及图像合成方法、图像合成装置、终端设备及计算机可读存储介质。

背景技术

在使用终端设备的过程中，终端设备需要不断刷新屏幕来为用户提供动态的显示效果。

目前，终端设备往往是以固定的帧率刷新屏幕，具体的，可以根据固定的帧率生成固定频率的垂直同步(Vertical Synchronization，VSYNC)信号，并通过该VSYNC信号指示进行内容渲染、合成以及刷新屏幕等操作。而在一些情况中，由于某些内容渲染部分可能需要花费较多时间，导致渲染超时，因此需要等待内容渲染完成的下一个VSYNC信号才能进行合成以及刷新屏幕的操作，导致屏幕显示存在明显的延时，并可能导致画面卡顿等情况。

发明内容

本申请实施例提供了图像合成方法、图像合成装置、终端设备及计算机可读存储介质，可以减小终端设备生成屏幕显示图像过程中的延迟。

第一方面，本申请实施例提供了一种图像合成方法，包括：

在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；

根据上述目标应用的渲染参数信息，确定当前合成速率；

若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像。

第二方面，本申请实施例提供了一种图像合成装置，包括：

渲染模块，用于在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；

确定模块，用于根据上述目标应用的渲染参数信息，确定当前合成速率；

合成模块，用于若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如第一方面上述的图像合成方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的图像合成方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中上述的图像合成方法。

本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；此时，各个目标应用分别对内容进行渲染的速率可以根据各个目标应用各自的情况灵活设置，而无需根据固定的帧率来进行内容渲染，控制方式更为灵活；此外，可以根据目标应用的渲染参数信息，确定当前合成速率，并且若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像，从而能够基于各个目标应用的渲染情况来确定当前合成速率并进行合成，以动态地调整合成时机，而无需根据固定的VSYNC信号来确定合成时机，减小了合成时的等待时长，降低了生成屏幕显示图像过程中的延迟。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种图像合成方法的流程示意图；

图2是本申请一实施例提供的步骤S102的一种流程示意图；

图3是本申请一实施例提供的一种图像合成装置的结构示意图；

图4是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的图像合成方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

具体地，图1示出了本申请实施例提供的一种图像合成方法的流程图，该图像合成方法可以应用于终端设备。

目前，终端设备往往是以固定的帧率刷新屏幕。较为常见的固定刷新率为60HZ、90HZ、120HZ、144HZ等，相应的，终端设备的显示面板每隔16.6ms、11.1ms、8.3ms或者6.94ms自刷新一次，这个周期是固定的值，对应的VSYNC信号的频率也与显示面板的刷新率相一致。其中，在生成屏幕显示图像并显示的过程中，屏幕显示图像的内容渲染以及合成、显示也都是基于频率固定的VSYNC信号来触发。然而，在一些情况中，在通过各个应用进行内容渲染的过程中，由于某些内容渲染部分可能需要花费较多时间，导致渲染超时，因此需要等待内容渲染完成的下一个VSYNC信号才能进行合成以及刷新屏幕的操作，导致屏幕显示存在明显的延时，并可能导致画面卡顿等情况。

而通过本申请实施例，可以减小终端设备生成屏幕显示图像过程中的延迟。

如图1所示，该图像合成方法可以包括：

步骤S101，在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关。

本申请实施例中，上述预设指令用于指示目标应用对内容进行渲染。上述预设指令的具体生成方式可以有多种。例如，可以是检测到预设手势信息、传感数据或者用户对终端设备的触控操作等之后产生，或者，也可以在检测到终端设备中的预设应用、服务所产生的指示信号之后生成。

上述目标应用可以包括上述终端设备的显示界面所涉及的应用。例如，在一些示例中，上述终端设备的显示界面显示有状态栏和视频应用，则上述目标应用可以包括上述状态栏所对应的控制应用以及上述视频应用。上述目标应用的个数和类型可以根据实际场景需求来确定。每一个目标应用所对应的渲染图像的个数可以为一个或两个以上。例如，在一些情况下，一个目标应用可以对应一个渲染图像；而在一些情况下，若一个目标应用对应的显示部分被分割为两个子部分，则可以获得该目标应用的两个渲染图像，其中，该目标应用的每个渲染图像可以对应上述目标应用的一个子部分。

其中，各个目标应用所分别对应的渲染速率可以根据各个目标应用的实际需求来确定，而不将各个目标应用的渲染速率统一为固定刷新率。其中，各个目标应用的渲染速率可以由各个目标应用预先向系统申请。示例性的，对于显示界面中一些内容变化较慢较小的部分(例如显示界面中的菜单栏部分)，相应的目标应用可以采用较小的渲染速率；而对于显示界面中一些内容变化较快的部分(例如视频应用部分)，相应的目标应用可以采用较高的渲染速率。可见，在很多情况下，通过灵活设置各个目标应用的渲染速率可以节省不必要的能源消耗。上述目标应用的内容可以包括上述目标应用中当前待显示的信息。上述内容的具体类型可以有多种，例如，上述目标应用的内容可以包括文本、表格以及图像中的至少一种。

示例性的，在一些应用场景中，例如，在Android系统中，可以通过Android系统中的服务SurfaceFlinger中的子服务DispSync通知各个目标应用的类Choreographer，此时，上述子服务DispSync通知各个目标应用的类Choreographer的频率分别为各个目标应用的渲染速率；然后，各个目标应用所对应的渲染线程RenderThread可以针对上述目标应用的内容进行渲染，从而获得各个目标应用所分别对应的渲染图像。

现有技术中，指示各个应用对内容进行渲染的信号往往是根据终端设备中的显示面板向终端设备中的应用处理器(Application Processor，AP)所发送的电信号来生成。并且，该显示面板向AP所发送的电信号的频率为固定刷新率，因此，而由于应用需要根据显示面板的信号进行内容渲染，因此应用进行渲染的频率也是固定频率。

而本申请实施例中，各个目标应用不再依赖于固定频率的VSYNC信号来进行渲染，即无需依赖于终端设备的显示面板所产生的硬件同步信号来进行渲染，从而提升了灵活度和针对各种应用场景的调节能力。

步骤S102，根据上述目标应用的渲染参数信息，确定当前合成速率。

本申请实施例中，上述渲染参数信息可以包括渲染速率和/或渲染图像信息等等与上述目标应用的渲染操作相关联的信息。其中，根据各个目标应用的渲染参数信息确定当前合成速率的方法可以有多种。例如，可以根据多个目标应用的渲染速率的大小，确定当前合成速率；或者，还可以根据各个目标应用所得到的渲染图像的大小，确定较为重要的目标应用，即优先级较高的目标应用，并根据优先级较高的目标应用的渲染速率来确定当前合成速率；或者，也可以根据预设的白名单中的应用信息，确定当前合成速率。

现有技术中，是在各个渲染图像都完成之后，等待下一个VSYNC信号到来才对渲染图像进行合成，因此，往往存在一个等待合成的等待时间，并且，如果存在某些内容渲染部分需要花费较多时间，导致渲染超时，最终合成并显示时所造成的延迟往往会导致图像出现卡顿等情况，影响用户体验。

而本申请实施例中，各个渲染图像进行合成的合成时机是根据各个目标应用的渲染参数信息确定的，因此，可以灵活地根据各个目标应用的渲染情况进行调整，减小等待时长，从而提升图像显示的流畅度，降低延迟。

步骤S103，若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像。

本申请实施例中，在确定上述当前合成速率之后，即可获知对各个渲染图像进行合成的合成时机，因此，若存在至少两个渲染图像，则可以根据上述当前合成速率对各个渲染图像进行合成，获得合成图像。所获得的合成图像可以用于后续传输至特定模块并指示终端设备的显示屏根据该合成图像进行显示。

在一些实施例中，若仅存在一个渲染图像，例如，若仅存在一个目标应用，并且该目标应用所对应的渲染图像只有一个(例如，为一个全屏显示的图像等等)，则可以将该渲染图像用于后续传输至特定模块并指示终端设备的显示屏进行显示。示例性的，可以在通过对应的目标应用获得该渲染图像之后，将该渲染图像传输至执行上述合成操作的服务(如传输至Android系统中的服务SurfaceFlinger)，然后通过该服务将该渲染图像传输至特定模块(如传输至硬件合成器(Hardware Composer，HWC)等)，以执行特定的处理操作并在终端设备的显示屏进行显示。

在一些实施例中，在获得合成图像之后，还包括：

若得到上一帧合成图像的历史合成速率与上述当前合成速率不同，则向上述目标应用中的第二应用发送时间差信息，上述时间差信息用于指示上述历史合成速率与上述当前合成速率所分别对应的单帧合成时长之间的差值。

本申请实施例中，若得到上一帧合成图像的历史合成速率与上述当前合成速率不同，则上述终端设备的屏幕显示图像的合成速度发生了变化。而在一些应用(即第二应用)中，可能需要基于稳定的速率来显示图像，例如，对于针对物体运动的动画，需要通过多帧图像来呈现连续运动的物体(例如自由落体或者匀速运动的物体)，且其中可能记录了运动物体在各帧图像之间的相对位置关系，则各帧图像的显示间隔应该是固定的。若上述终端设备的屏幕显示图像的合成速度发生了变化，会导致屏幕显示出现抖动现象。此时，可以向第二应用发送时间差信息，以使得第二应用可以对图像渲染中的相应内容进行补偿，如根据该时间差信息调整渲染图像中运动物体的位置，或者根据该时间差信息调整渲染速率等等。

在一些实施例中，在获得合成图像之后，还包括：

将上述合成图像传输至第一服务，并向第二服务传输通知信息，上述通知信息用于通知上述第二服务根据上述第一服务中的上述合成图像刷新终端设备的显示界面。

本申请实施例中，上述第一服务可以用于存储上述合成图像，以便于在刷新上述显示界面时，能够获取到完整的待显示图像，即上述合成图像，或者基于上述合成图像进行特定的图像处理之后所得到的图像，从而不会出现刷新时屏幕图像撕裂等情形。

上述第一服务以及上述第二服务可以根据相应的操作系统的设置来确定。例如，在Android系统中，可以通过SurfaceFlinger中的DispSync将上述合成图像传输至硬件合成器(Hardware Composer，HWC)，再由HWC根据上述合成图像和屏幕设置来设定一些显示参数信息，并将合成图像以及显示参数信息传输至基于Linux的图像管理驱动软件(DirectRender Manager，DRM)。DRM根据上述显示参数信息和合成图像，调度相应的硬件来准备硬件合成，并在接收到指定信号之后，将合成图像传输至显示面板，使得显示面板根据接收到的数据进行刷新显示界面。

在一些实施例中，上述步骤S102具体包括：

步骤S201，若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级；

步骤S202，根据优先级最高的目标应用所对应的渲染速率，确定上述当前合成速率。

本申请实施例中，可以根据上述渲染参数信息确定各个目标应用的优先级，从而选择能够获得更好的显示效果的当前合成速率。其中，优先级最高的目标应用可以有一个，也可以不只一个，当优先级最高的目标应用有一个时，可以根据该优先级最高的目标应用的渲染速率来确定上述当前合成速率；而若优先级最高的目标应用有多个，例如，在一些情况下，无法区分出哪个目标应用的优先级最高，则可以认为各个目标应用的优先级相同，此时，可以根据各个目标应用的渲染参数信息，共同确定上述当前合成速率。上述渲染参数信息的选择以及确定各个目标应用的优先级的具体方式可以根据实际应用场景来具体确定。

在一些实施例中，若存在一个目标应用，则可以将上述目标应用的渲染速率作为当前合成速率；或者，也可以根据上述目标应用的渲染图像信息确定上述目标应用的渲染速率。例如，若上述目标应用所对应的渲染图像中，相对于对应的上述目标应用的上一帧渲染图像发生变化的区域在该渲染图像中的占比小于预设占比，则可以根据上述目标应用的渲染速率，适当降低上述当前合成速率。例如，可以将上述目标应用的渲染速率乘以系数X之后的值作为当前合成速率。其中，X可以小于1。

在一些实施例中，上述若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级，包括：

若存在至少两个目标应用，则根据各个渲染图像的图像信息、各个目标应用的渲染速率和/或各个目标应用的预设权限，确定各个目标应用的优先级，其中，上述图像信息包括上述渲染图像的大小和/或上述渲染图像的目标区域的大小，上述目标区域为渲染图像中相对于对应的上述目标应用的上一帧渲染图像发生变化的区域。

本申请实施例中，示例性的，各个目标应用的预设权限可以通过白名单列表或者黑名单列表等预设权限列表的方式预先确定，上述目标区域也可以称为脏区域，并且，在一些场景中，上述脏区域限定为矩形区域，则上述脏区域也可以称为脏矩形。

本申请实施例中，上述渲染参数信息可以包括各个渲染图像的图像信息、各个目标应用的渲染速率以及各个目标应用的预设权限中的至少一个。在一些示例中，可以根据其中的一个渲染参数的大小，确定各个目标应用的优先级；此外，也可以计算上述目标应用相对于其中至少两个渲染参数的子分值，并根据各个渲染参数所分别对应的权重计算各个目标应用所分别对应的总分值，再根据各个目标应用分别对应的总分值的大小，确定各个目标应用的优先级；或者，也可以确定其中的多个渲染参数的参数优先级，先以参数优先级较高的渲染参数来确定各个目标应用的优先级，若无法区分，则再以参数优先级较低的渲染参数来确定各个目标应用的优先级。当然，也可以根据实际场景，以其他策略来确定各个目标应用的优先级。

在一些实施例中，上述若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级，包括：

若存在至少两个目标应用，则根据对应的策略等级由高到低的顺序，从至少两个预设策略中确定当前策略，其中，不同的预设策略分别根据不同的渲染参数确定各个目标应用的优先级；

根据上述当前策略确定各个目标应用的初始优先级；

若初始优先级最高的目标应用的个数为一个，或者，初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，则将各个目标应用的初始优先级作为各个目标应用的优先级；

若初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率不同，则返回执行上述根据对应的策略等级由高到低的顺序，从至少两个预设策略中确定当前策略的步骤及后续步骤，直到通过任一预设策略所得到的初始优先级最高的目标应用的个数为一个，或者，直到所得到的初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，或者，直到遍历各个预设策略。

本申请实施例中，上述渲染参数可以包括各个渲染图像的图像信息、各个目标应用的渲染速率和/或各个目标应用的预设权限等。

在一些示例中，上述预设策略所对应的策略等级可以根据各个渲染参数对最终图像显示效果的影响程度等来确定。例如，在一些情况下，可以首先通过渲染图像的大小，判断相应的目标应用在显示中所占的比重。而若各个渲染图像的大小相同或者较为接近(如比值在一定范围内)，则可以再根据相应的渲染图像中的目标区域的大小渲染图像的变化情况，从而确定对应的目标应用在当前显示中的重要程度。若渲染图像对应的目标区域较小，说明该渲染图像相对于其上一帧渲染图像的变化较小，此时，该渲染图像可能不是当前显示的重点；而若渲染图像对应的目标区域较大，说明该渲染图像相对于其上一帧渲染图像的变化较大，此时，该渲染图像可能是当前显示的重点，从而可以根据该渲染图像的渲染速率确定当前合成速率。

本申请实施例中，若初始优先级最高的目标应用所对应的渲染速率为一个确定值，例如，若初始优先级最高的目标应用的个数为一个，或者，初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，则可以将通过该当前策略计算出的各个初始优先级作为目标应用的优先级，并且可以根据任一优先级最高的目标应用的渲染速率来确定当前合成速率。而若初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率不同，则不能根据各个初始优先级最高的目标应用确定出一个优先级最高的渲染速率，则可以进一步获取策略等级更低的预设策略来进行判断，直到遍历各个预设策略。

在一些实施例中，上述根据优先级最高的目标应用所对应的渲染速率，确定上述当前合成速率，包括：

若优先级最高的目标应用的个数为一个，则将上述优先级最高的目标应用的渲染速率作为上述当前合成速率；

若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率相同，则将任一上述优先级最高的目标应用的渲染速率作为上述当前合成速率；

若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率不同，则获取第一应用所分别对应的渲染速率的最小公倍数，其中，上述第一应用为优先级最高的各个目标应用，或者，上述第一应用为所有目标应用；

若上述最小公倍数不大于预设阈值，则将上述最小公倍数作为上述当前合成速率；

若上述最小公倍数大于上述预设阈值，则将上述预设阈值作为上述当前合成速率。

本申请实施例中，若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率不同，则需要根据多个目标应用的渲染速率确定出较为合适的当前合成速率。其中，可以根据优先级最高的各个目标应用的渲染速率的最小公倍数，或者所有目标应用的渲染速率的最小公倍数来确定。上述预设阈值可以为上述终端设备的显示面板的刷新率的上限。

示例性的，若上述目标应用包括第一目标应用和第二目标应用，其中，该第一目标应用所对应的渲染速率为30Hz，该第二目标应用所对应的渲染速率为40Hz，并且第一目标应用的优先级与第二目标应用的优先级相同。此时，若预设阈值为150Hz，则可以确定上述当前合成速率为30Hz和40Hz的最小公倍数120Hz。若预设阈值为80Hz；而若预设阈值为80Hz，则可以确定上述当前合成速率为80Hz。

本申请实施例中，在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；此时，各个目标应用分别对内容进行渲染的速率可以根据各个目标应用各自的情况灵活设置，而无需根据固定的帧率来进行内容渲染，控制方式更为灵活；此外，可以根据目标应用的渲染参数信息，确定当前合成速率，并且若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像，从而能够基于各个目标应用的渲染情况来确定当前合成速率并进行合成，以动态地调整合成时机，而无需根据固定的VSYNC信号来确定合成时机，减小了合成时的等待时长，降低了生成屏幕显示图像过程中的延迟。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例上述的图像合成方法，图3示出了本申请实施例提供的一种图像合成装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图3，该图像合成装置3包括：

渲染模块301，用于在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；

确定模块302，用于根据上述目标应用的渲染参数信息，确定当前合成速率；

合成模块303，用于若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像。

可选的，上述确定模块302具体包括：

第一确定单元，用于若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级；

第二确定单元，用于根据优先级最高的目标应用所对应的渲染速率，确定上述当前合成速率。

可选的，上述第一确定单元具体用于：

若存在至少两个目标应用，则根据各个渲染图像的图像信息、各个目标应用的渲染速率和/或各个目标应用的预设权限，确定各个目标应用的优先级，其中，上述图像信息包括上述渲染图像的大小和/或上述渲染图像的目标区域的大小，上述目标区域为渲染图像中相对于对应的上述目标应用的上一帧渲染图像发生变化的区域。

可选的，上述第一确定单元具体包括：

第一确定子单元，用于若存在至少两个目标应用，则根据对应的策略等级由高到低的顺序，从至少两个预设策略中确定当前策略，其中，不同的预设策略分别根据不同的渲染参数确定各个目标应用的优先级；

第二确定子单元，用于根据上述当前策略确定各个目标应用的初始优先级；

第一处理子单元，用于若初始优先级最高的目标应用的个数为一个，或者，初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，则将各个目标应用的初始优先级作为各个目标应用的优先级；

第二处理子单元，用于若初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率不同，则返回执行上述根据对应的策略等级由高到低的顺序，从至少两个预设策略中确定当前策略的步骤及后续步骤，直到通过任一预设策略所得到的初始优先级最高的目标应用的个数为一个，或者，直到所得到的初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，或者，直到遍历各个预设策略。

可选的，上述第二确定单元具体包括：

第三处理子单元，用于若优先级最高的目标应用的个数为一个，则将上述优先级最高的目标应用的渲染速率作为上述当前合成速率；

第四处理子单元，用于若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率相同，则将任一上述优先级最高的目标应用的渲染速率作为上述当前合成速率；

获取子单元，用于若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率不同，则获取第一应用所分别对应的渲染速率的最小公倍数，其中，上述第一应用为优先级最高的各个目标应用，或者，上述第一应用为所有目标应用；

第五处理子单元，用于若上述最小公倍数不大于预设阈值，则将上述最小公倍数作为上述当前合成速率；

第六处理子单元，用于若上述最小公倍数大于上述预设阈值，则将上述预设阈值作为上述当前合成速率。

可选的，上述图像合成装置3还包括：

发送模块，用于若得到上一帧合成图像的历史合成速率与上述当前合成速率不同，则向上述目标应用中的第二应用发送时间差信息，上述时间差信息用于指示上述历史合成速率与上述当前合成速率所分别对应的单帧合成时长之间的差值。

可选的，上述图像合成装置3还包括：

传输模块，用于将上述合成图像传输至第一服务，并向第二服务传输通知信息，上述通知信息用于通知上述第二服务根据上述第一服务中的上述合成图像刷新终端设备的显示界面。

将上述合成图像传输至第一服务，并向第二服务传输通知信息，上述通知信息用于通知上述第二服务根据上述第一服务中的上述合成图像刷新终端设备的显示界面。

本申请实施例中，在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；此时，各个目标应用分别对内容进行渲染的速率可以根据各个目标应用各自的情况灵活设置，而无需根据固定的帧率来进行内容渲染，控制方式更为灵活；此外，可以根据目标应用的渲染参数信息，确定当前合成速率，并且若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像，从而能够基于各个目标应用的渲染情况来确定当前合成速率并进行合成，以动态地调整合成时机，而无需根据固定的VSYNC信号来确定合成时机，减小了合成时的等待时长，降低了生成屏幕显示图像过程中的延迟。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4为本申请一实施例提供的终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40(图4中仅示出一个)、存储器41以及存储在上述存储器41中并可在上述至少一个处理器40上运行的计算机程序42，上述处理器40执行上述计算机程序42时实现上述任意各个图像合成方法实施例中的步骤。

上述终端设备4可以是服务器、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。

上述处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器41在一些实施例中可以是上述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。上述存储器41在另一些实施例中也可以是上述终端设备4的外部存储设备，例如上述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器41还可以既包括上述终端设备4的内部存储单元也包括外部存储设备。上述存储器41用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

另外，尽管未示出，上述终端设备4还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。

本申请实施例中，上述处理器40执行上述计算机程序42以实现上述任意各个图像合成方法实施例中的步骤时，本申请实施例中，在接收到预设指令之后，针对每一个目标应用，对上述目标应用的内容进行渲染，获得上述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与上述目标应用相关；此时，各个目标应用分别对内容进行渲染的速率可以根据各个目标应用各自的情况灵活设置，而无需根据固定的帧率来进行内容渲染，控制方式更为灵活；此外，可以根据目标应用的渲染参数信息，确定当前合成速率，并且若存在至少两个渲染图像，则根据上述当前合成速率，对各个上述渲染图像进行合成，获得合成图像，从而能够基于各个目标应用的渲染情况来确定当前合成速率并进行合成，以动态地调整合成时机，而无需根据固定的VSYNC信号来确定合成时机，减小了合成时的等待时长，降低了生成屏幕显示图像过程中的延迟。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像合成方法，其特征在于，包括：

在接收到预设指令之后，针对每一个目标应用，对所述目标应用的内容进行渲染，获得所述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与所述目标应用相关；

根据所述目标应用的渲染参数信息，确定当前合成速率；

若存在至少两个渲染图像，则根据所述当前合成速率，对各个所述渲染图像进行合成，获得合成图像。

2.如权利要求1所述的图像合成方法，其特征在于，所述根据所述目标应用的渲染参数信息，确定当前合成速率，包括：

若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级；

根据优先级最高的目标应用所对应的渲染速率，确定所述当前合成速率。

3.如权利要求2所述的图像合成方法，其特征在于，所述若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级，包括：

若存在至少两个目标应用，则根据各个渲染图像的图像信息、各个目标应用的渲染速率和/或各个目标应用的预设权限，确定各个目标应用的优先级，其中，所述图像信息包括所述渲染图像的大小和/或所述渲染图像的目标区域的大小，所述目标区域为渲染图像中相对于对应的所述目标应用的上一帧渲染图像发生变化的区域。

4.如权利要求2所述的图像合成方法，其特征在于，所述若存在至少两个目标应用，则根据各个目标应用的渲染参数信息，确定各个目标应用的优先级，包括：

若存在至少两个目标应用，则根据对应的策略等级由高到低的顺序，从至少两个预设策略中确定当前策略，其中，不同的预设策略分别根据不同的渲染参数确定各个目标应用的优先级；

根据所述当前策略确定各个目标应用的初始优先级；

若初始优先级最高的目标应用的个数为一个，或者，初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，则将各个目标应用的初始优先级作为各个目标应用的优先级；

若初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率不同，则返回执行所述根据对应的策略等级由高到低的顺序，从至少两个预设策略中确定当前策略的步骤及后续步骤，直到通过任一预设策略所得到的初始优先级最高的目标应用的个数为一个，或者，直到所得到的初始优先级最高的目标应用的个数为至少两个且初始优先级最高的各个目标应用的渲染速率相同，或者，直到遍历各个预设策略。

5.如权利要求2所述的图像合成方法，其特征在于，所述根据优先级最高的目标应用所对应的渲染速率，确定所述当前合成速率，包括：

若优先级最高的目标应用的个数为一个，则将所述优先级最高的目标应用的渲染速率作为所述当前合成速率；

若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率相同，则将任一所述优先级最高的目标应用的渲染速率作为所述当前合成速率；

若优先级最高的目标应用的个数为至少两个，且优先级最高的各个目标应用的渲染速率不同，则获取第一应用所分别对应的渲染速率的最小公倍数，其中，所述第一应用为优先级最高的各个目标应用，或者，所述第一应用为所有目标应用；

若所述最小公倍数不大于预设阈值，则将所述最小公倍数作为所述当前合成速率；

若所述最小公倍数大于所述预设阈值，则将所述预设阈值作为所述当前合成速率。

6.如权利要求1所述的图像合成方法，其特征在于，在获得合成图像之后，还包括：

若得到上一帧合成图像的历史合成速率与所述当前合成速率不同，则向所述目标应用中的第二应用发送时间差信息，所述时间差信息用于指示所述历史合成速率与所述当前合成速率所分别对应的单帧合成时长之间的差值。

7.如权利要求1至6任意一项所述的图像合成方法，其特征在于，在获得合成图像之后，还包括：

将所述合成图像传输至第一服务，并向第二服务传输通知信息，所述通知信息用于通知所述第二服务根据所述第一服务中的所述合成图像刷新终端设备的显示界面。

8.一种图像合成装置，其特征在于，包括：

渲染模块，用于在接收到预设指令之后，针对每一个目标应用，对所述目标应用的内容进行渲染，获得所述目标应用所对应的渲染图像，其中，渲染所采用的渲染速率与所述目标应用相关；

确定模块，用于根据所述目标应用的渲染参数信息，确定当前合成速率；

合成模块，用于若存在至少两个渲染图像，则根据所述当前合成速率，对各个所述渲染图像进行合成，获得合成图像。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像合成方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像合成方法。

Images