CN116309918A - 一种基于平板电脑的场景合成方法和系统 - Google Patents

Abstract

本申请实施例公开了一种基于平板电脑的场景合成方法与系统，该方法包括：通过平板电脑获取前图像；确定合成模式；基于合成模式，通过平板电脑获取后图像；将前图像与后图像进行合成处理，生成面向场景的合成图像。本说明书采用基于平板性能、应用场景等因素选择合成模式的方法，可以生成更加高质量的合成图像。

Description

一种基于平板电脑的场景合成方法和系统

技术领域

本说明书涉及通信技术领域，特别涉及一种基于平板电脑的场景合成方法和系统。

背景技术

随着图像处理技术的发展与平板电脑等智能终端的更新迭代，目前已经可以实现前、后摄像头一起预览或拍摄的功能。传统的前、后摄像头摄取图像合成技术方案，主要是利用终端前摄像头自拍个人图像，利用后摄像头拍摄景物图像，然后分别将两个不同摄像头拍摄的图像进行合成。但由于前、后摄像头在分辨率、视角等功能参数等方面存在明显差异，所以在所合成的图像中可能会出现人物图像失真、人物与背景存在明显边界等情况。

针对如何提高合成图像质量的问题，CN104580910B提出一种基于前、后摄像头的图像合成方法及系统，该方法从前、后摄像头获取分别获取前摄图像和后摄图像，并在合成图像前对前摄图像进行处理，以便前、后摄像头的图像更加自然地融合。然而，该方法仅涉及一种图像合成模式，未涉及对视频的合成处理，对于图像的处理过程也未涉及终端的性能信息。

因此，需要提供一种基于平板电脑的场景合成方法和系统，该方法和系统能够提供涉及终端性能参数的同时提供多种图像合成模式，生成更为高质量的合成图像。

发明内容

本说明书实施例之一提供一种基于平板电脑的场景合成方法，该方法包括：通过平板电脑获取前图像；确定合成模式；基于合成模式，通过平板电脑获取后图像；将前图像与后图像进行合成处理，生成面向场景的合成图像。

本说明书实施例之一提供一种基于平板电脑的场景合成系统，该系统包括：第一获取模块，用于通过平板电脑获取前图像；第一确定模块，用于确定合成模式；第二获取模块，用于基于合成模式，通过平板电脑获取后图像；生成模块，用于将前图像与后图像进行合成处理，生成面向场景的合成图像。

本说明书实施例之一提供一种基于平板电脑的场景合成装置，包括处理器，所述处理器用于执行基于平板电脑的场景合成方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行基于平板电脑的场景合成方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的基于平板电脑的场景合成系统的应用场景示意图；

图2是根据本说明书一些实施例所示的基于平板电脑的场景合成系统的示例性模块图；

图3是根据本说明书一些实施例所示的基于平板电脑的场景合成方法的示例性流程图；

图4是根据本说明书一些实施例所示的确定合成模式的示例性流程图；

图5是根据本说明书一些实施例所示的合成模型的示例性示意图。

实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

基于平板电脑的场景合成系统可以通过实施本说明书中披露的方法和/或过程来进行面向场景的合成图像的生成。在一些实例中，基于平板电脑的场景合成系统可以用于将用户拍摄的人物图像合成到指定的背景图像，从而获得面向场景的合成图像，其中，场景可以包括办公室、住宅、公园等室内或室外环境。

例如，对于用户无法亲身达到的地方，如禁止进入或攀爬的古建筑，用户可以通过平板电脑的前摄像头采集本人的人物图像，同时通过后置摄像头采集古建筑的场景图像，使用基于平板电脑的场景合成系统对人物图像和场景图像进行合成处理，即时生成人物与场景的合成图像。

再例如，用户可以使用平板电脑的前摄像头拍摄手部进行从下到上抓取动作的视频图像，使用后摄像拍摄动物向上跳跃动作的视频图像，使用基于平板电脑的场景合成系统对前摄像头采集的视频图像和后摄像头采集的视频图像进行合成处理，即时生成人手抓取动物的合成图像。

图1是根据本说明书一些实施例所示的基于平板电脑的场景合成系统的应用场景示意图。

如图1所示，基于平板电脑的场景合成系统的应用场景100中可以包括用户110、平板电脑120、合成图像130。

用户110是平板电脑120的使用者。例如，用户110可以是使用平板电脑120进行拍摄的拍摄者，也可以是对所拍摄图像进行后续处理过程中各人工选项的确认者。

平板电脑120是指带有摄像功能、计算功能、网络链接功能等的智能终端。

在一些实施例中，平板电脑120可以用于获取前图像和后图像。例如，用户110可以使用平板电脑120的前摄像头进行自拍以获取前图像；又例如，用户110可以使用平板电脑120的后摄像头对用户110所处的场景进行拍摄以获取后图像。关于前图像和后图像的更多内容参见图3及其相关描述。

在一些实施例中，平板电脑120包括素材库（图1中未示出）。在一些实施例中，平板电脑120可以基于素材库获取后图像。

素材库是指包含大量图像的数据库。

在一些实施例中，平板电脑120包括处理器（图1中未示出）。处理器是指具有计算能力的系统。在一些实施例中，处理器可以用于确定合成模式。在一些实施例中，处理器可以用于对前图像、后图像进行合成处理，生成面向场景的合成图像130。关于合成模式及其确定方式、前图像、后图像的更多内容，参见图3及其相关描述。

合成图像130是指前图像和后图像经过平板电脑120处理后得到的面向场景的合成图像。合成图像的形式可以包括图片或视频。如，合成图像130可以包括将前图像的人物图像区域合成到后图像的背景中所得到的生成图像。关于合成图像130生成方法的更多内容，参见图3、图4、图5及其相关描述。

应当注意应用场景仅仅是为了说明的目的而提供，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，应用场景还可以包括数据库。又例如，应用场景可以在其他设备上实现以实现类似或不同的功能。然而，变化和修改不会背离本说明书的范围。

图2是根据本说明书一些实施例所示的基于平板电脑的场景合成系统的示例性模块图。

如图2所示，在一些实施例中，基于平板电脑的场景合成系统200可以包括第一获取模块210、第一确定模块220、第二获取模块230和生成模块240。

第一获取模块210可以用于通过平板电脑获取前图像。关于前图像的更多内容，参见图3及其相关描述。

第一确定模块220可以用于确定合成模式。关于合成模式及其确定方式的更多内容，参见图3、图4及其相关描述。

在一些实施例中，第一确定模块220还用于基于平板电脑的位姿信息、运动信息和位置信息中的至少一种，确定候选模式；基于候选模式的评估值，确定合成模式。关于平板电脑的位姿信息、运动信息、位置信息以及候选模式的更多内容，参见图4及其相关描述。

第二获取模块230可以用于基于合成模式，通过平板电脑获取后图像。关于后图像的更多内容，参见图3及其相关描述。

生成模块240可以用于将前图像与后图像进行合成处理，生成面向场景的合成图像。关于合成处理的更多内容，参见图3及其相关描述；关于合成图像的更多内容参见图1及其相关描述。

在一些实施例中，生成模块240还用于通过合成模型对前图像和后图像进行合成处理，生成面向场景的合成图像。关于合成模型的更多内容，参见图5及其相关描述。

在一些实施例中，基于平板电脑的场景合成系统200还可以包括第二确定模块250。

第二确定模块250可以用于基于平板电脑的性能信息，确定合成处理的强度参数。关于更多平板电脑的性能信息、强度参数的更多内容参见图3及其相关描述。

在一些实例中，第二确定模块250还用于基于使用场景确定强度参数，其中使用场景基于平板电脑的位姿信息、运动信息和位置信息中的至少一种确定。关于使用场景及其确定方式的更多内容，参见图3、图4及其相关描述。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，第一获取模块210和第二获取模块230可以整合在一个模块中。又例如，各个模块可以共用一个存储设备，各个模块也可以分别具有各自的存储设备。诸如此类的变形，均在本说明书的保护范围之内。

图3是根据本说明书一些实施例所示的基于平板电脑的场景合成方法的示例性流程图。在一些实施例中，流程300可以由平板电脑的处理器执行。如图3所示，流程300包括下述步骤。

步骤310，通过平板电脑获取前图像。

前图像是指包含人物图像区域的图像。例如，前图像可以是用户的自拍图像。

人物图像区域是指包括至少一个目标内容的图像区域。例如，用户的自拍图像中用户所在的区域。在一些实施例中，目标内容可以包括用户的头部、身体部位等。在一些实施例中，目标内容还可以包括用户选择的其他对象内容。例如，动物、植物、物品等。

在一些实施例中，前图像可以通过平板电脑的前摄像头获取。

步骤320，确定合成模式。

合成模式是指用于对前图像和后图像进行图像合成的标准样式。合成模式可以包括库模式和后摄模式。

库模式用于对前图像和基于素材库获取的后图像进行图像合成，库模式可以根据素材库中不同类型的素材划分为不同的模式。例如，素材库中可以包括会议背景图像素材和课程培训背景图像素材，相应地，库模式可以包括会议模式和课程培训模式。关于素材库的更多内容参见图1及其相关描述。

后摄模式用于对前图像和基于后摄像头获取的后图像进行图像合成，后摄模式可以根据平板电脑的使用情况划分为不同的模式。例如，平板电脑在使用时固定放置于一个位置，则对应的后摄模式可以是固定模式；又例如，平板电脑在使用时位置缓慢移动，则对应的后摄模式可以是缓动模式（即间隔取帧模式）；又例如，平板电脑在使用时位置快速移动，则对应的后摄模式可以是实时模式。

在一些实施例中，合成模式可以由用户确定。例如，用户可以在平板电脑上手动选择其所需要的合成模式。在一些实施例中，第一确定模块220可以根据平板电脑的使用情况确定合成模式。例如，第一确定模块220可以根据安装在平板电脑上的运动传感器获取平板电脑的使用情况，进而根据使用情况自动确定相对应的合成模式。

在一些实施例中，第一确定模块220可以基于平板电脑的位姿信息、运动信息和位置信息中的至少一种，确定候选模式及其评估值，进而确定合成模式。关于位姿信息、运动信息、位置信息、候选模式及其评估值的更多内容参见图4及其相关描述。

步骤330，基于合成模式，通过平板电脑获取后图像。

后图像是指作为背景的图像。例如，后图像可以是用户所处场景的真实图像；又例如，后图像可以是用户从网上下载的其他图像。

在一些实施例中，后图像可以通过平板电脑的后摄像头获取。在一些实施例中，后图像可以通过平板电脑的素材库获取。

在一些实施例中，第二获取模块230可以根据合成模式自动获取后图像。例如，当合成模式为库模式中会议模式时，第二获取模块可以从素材库中自动获取与会议相关的背景图像。在一些实施例中，可以由用户来选取后图像。例如，用户可以从素材库中选择背景图像作为后图像。

步骤340，将前图像与后图像进行合成处理，生成面向场景的合成图像。

合成图像是指前图像和后图像经过平板电脑处理后得到的面向场景的合成图像。场景可以指用户在使用平板电脑时所处的场景，例如，场景可以是视频会议、课程培训、出游分享等。

合成处理是指将前图像和后图像处理为合成图像所执行的一系列操作。例如，合成处理包括将前图像的人物图像区域的图像合成至后图像中；又例如，合成处理还包括对前图像的清晰度进行调整。

在一些实施例中，第二确定模块250可以基于平板电脑的性能信息，确定合成处理的强度参数。

平板电脑的性能信息是指反映平板电脑所具有的性质与效用的信息，平板电脑的性能信息可以包括平板电脑自身的一些相关参数。例如，平板电脑的性能信息可以包括处理器的核数、存储空间的大小、运行内存的大小等。

强度参数是指进行合成处理时，基于合成图像的精细程度的需求，对应设置的处理参数。例如，强度参数可以包括分辨率、视角、大小、比例、色彩、感光度、曝光时间和/或锐度等。强度参数也可以通过具体的数值进行表示，数值越大，则需要处理的参数越多。

在一些实施例中，第二确定模块250可以基于平板电脑的性能信息，自动确定合成处理的强度参数。例如，若平板电脑当前的运行内存不足，则合成处理时可以仅处理部分强度参数，即使用较弱的强度参数，如，此时的强度参数可以是3，对应仅处理图像的分辨率和感光度。

在本说明书的一些实施例中，在使用平板电脑进行合成处理时，基于平板电脑的性能信息确定合成处理的强度参数，以及对强度参数进行适应性调整，可以结合平板电脑自身的属性以及实际的使用情况，在保证合成图像的质量的前提下，有效避免了平板电脑在执行合成处理时超负荷运行，从而提高了合成处理的流畅性与稳定性。

在一些实施例中，强度参数还相关于使用场景，使用场景基于平板电脑的位姿信息、运动信息和位置信息中的至少一种确定。

使用场景是指用户在使用平板电脑时的具体场景。例如，使用场景可以是视频会议、课程培训、出游分享等。

关于位姿信息、运动信息、位置信息的更多内容参见图4及其相关描述。

在一些实施例中，第二确定模块250可以基于平板电脑的位姿信息、运动信息和位置信息中的至少一种，自动确定平板电脑的使用场景。例如，当位置信息反映平板电脑处于某一个景区中，且运动信息反映平板电脑处于持续运动的状态中，则处理器可以根据位置信息和运动信息确定平板电脑的使用场景为出游分享。

在一些实施例中，第二确定模块250可以基于使用场景，自动确定合成处理的强度参数。在一些实施例中，不同的使用场景可以对应不同的强度参数，第二确定模块250可以基于使用场景直接确定相对应的强度参数。在一些实施例中，使用场景所对应的强度参数可以通过系统或人工提前设置。

在一些实施例中，第二确定模块250可以同时基于平板电脑的性能信息和使用场景确定合成处理的强度参数。例如，第二确定模块250可以将基于平板电脑的性能信息确定的强度参数作为第一参数，将基于使用场景确定的强度参数作为第二参数，基于第一参数和第二参数的权重确定最终的强度参数。，其中，权重可以基于性能信息或使用场景的优先级确定。

优先级是指性能信息或使用场景的重要程度，优先级越高，对应的性能信息或使用场景越重要，相应的权重越大。在一些实施例中，优先级可以通过系统或人工提前设置。

在本说明书的一些实施例中，在使用平板电脑进行合成处理时，不仅引入了平板电脑的性能信息，还进一步考虑到了使用场景。当性能信息更重要时，着重考虑性能信息对强度参数的影响；当使用场景更重要时，着重考虑使用场景对强度参数的影响。二者兼顾，平板电脑根据用户的使用场景对强度参数进行灵活调整，可以使得合成处理的强度参数更贴近用户的实际使用情况，既能保证合成图像的质量和合成处理的效率，又能满足用户的不同需求，有效提升了用户的体验感。

在一些实施例中，合成模块240可以通过各种图像合成算法（如，paste函数、seamlessClon函数等），对前图像与后图像进行合成处理，生成面向场景的合成图像。

在一些实施例中，合成模块240可以通过合成模型对前图像和后图像进行处理，生成合成图像。关于合成模型和基于合成模型生成合成图像的更多内容参见图5及其相关描述。

在本说明书的一些实施例中，通过平板电脑获取前图像和后图像，并对前图像和后图像进行处理获取合成图像，可以使得图像合成功能集成于平板电脑，提高了用户使用的便利性，并且，图像合成功能基于平板电脑的固有属性以及不同平板电脑之间的差异进行了适应性调整，有效提高了图像合成功能的针对性和适用性。

图4是根据本说明书一些实施例所示的确定合成模式的示例性流程图。在一些实施例中，流程400可以由第一确定模块220执行。如图4所示，流程400包括下述步骤。

步骤410，基于平板电脑的位姿信息、运动信息和位置信息中的至少一种，确定候选模式。

位姿信息是指平板电脑放置的角度，包括平板电脑的水平旋转角度和平板电脑的垂直翻转角度等。例如，位姿信息可以是“以平板电脑的几何中心为圆点，顺时针旋转10°（即水平旋转角度）；以平板电脑的长轴为旋转轴，向平板电脑屏幕方向旋转20°（即垂直翻转角度）”。

在一些实施例中，位姿信息可以通过内置于平板电脑的传感器（如，角度传感器等）获取。

运动信息是指平板电脑的运动状态，包括平板电脑是否移动、移动速度、移动方向等。

在一些实施例中，运动信息可以通过内置于平板电脑的传感器（如，运动传感器等）获取。

位置信息是指平板电脑所在的地理位置的相关信息，包括具体的地址、经纬度坐标等。。

在一些实施例中，位置信息可以通过对平板电脑进行定位（如，卫星定位、WIFI定位等）来确定。

在一些实施例中，位姿信息、运动信息、位置信息均可以包括多个连续时刻的信息。在一些实施例中，位姿信息、运动信息、位置信息可以通过多个连续时刻的信息构成的序列进行表示。

候选模式是指准备作为具体使用的合成模式的备选模式。在一些实施例中，一组位姿信息、运动信息、位置信息可以构成一组特征向量并对应一个候选模式。例如，一组位姿信息、运动信息、位置信息可以表示为特征向量（x，y，z），其中，x表示位姿信息、y表示运动信息、z表示位置信息，该组特征向量可以对应候选模式c。若该组特征向量中的某个信息不存在或不考虑，则对应的向量元素可以取0。

平板电脑的存储设备中的向量数据库包含多个参考向量，以及多个参考向量中的每个参考向量对应的历史合成模式。

参考向量基于平板电脑的历史位姿信息、历史运动信息、历史位置信息构建，待匹配向量基于平板电脑的当前位姿信息、当前运动信息、当前位置信息构建。参考向量和待匹配向量的构建方式参见上述特征向量。

在一些实施例中，第一确定模块220可以分别计算参考向量与待匹配向量之间的向量距离（如，余弦距离等），并将向量距离小于距离阈值的参考向量对应的历史合成模式作为候选模式。

步骤420，基于候选模式的评估值，确定合成模式。

评估值是指候选模式针对当前合成需求的适用程度。评估值可以通过具体的数值进行表示。在一些实施例中，候选模式的评估值可以基于该候选模式对应的参考向量与待匹配向量之间的向量距离确定，如向量距离越大，则评估值越小。

在一些实施例中，第一确定模块220可以将评估值最大的候选模式确定为合成模式。

在本说明书的一些实施例中，基于平板电脑的位姿信息、运动信息和位置信息，通过向量数据库进行匹配的方式来确定合成模式，可以充分利用平板电脑储存的信息数据，简化确定合成模式的操作步骤，提高确定合成模式的速度，减轻平板电脑的运行负荷。

应当注意的是，上述有关流程300、流程400的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300、流程400进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图5是根据本说明书一些实施例所示的合成模型500的示例性示意图。

在一些实施例中，生成模块240可以通过合成模型500对前图像和后图像进行处理，生成合成图像。在一些实施例中，合成模型500至少包括参数生成层560。其中，参数生成层的输入包括前画质特征、后画质特征，输出包括合成参数，参数生成层为神经网络模型。

合成模型500是指用于处理前图像和后图像，生成合成图像的模型。在一些实施例中，合成模型500还可以包括图像分离层520、角度确定层530、前画质层540、后画质层550、合成层580。在一些实施例中，合成模型500可以是机器学习模型与算法相结合的混合模型。

在一些实施例中，图像分离层520可以对前图像511进行处理，获取切分图像521。在一些实施例中，图像分离层520可以为各种可行的算法。例如，Background Matting、DeepImage Matting、Semantic Human Matting等。

如图5所示，图像分离层520的输入可以包括前图像511。例如，输入的前图像511可以是用户的自拍图像。关于前图像的更多内容参见图3及其相关描述。

图像分离层520的输出可以包括切分图像521。切分图像是指将人物图像区域从前图像中分离出来后，包含人物图像区域的图像。例如，输出的切分图像521可以是将用户所在的区域从用户的自拍图像中分离出来后，包含用户所在的区域的图像。

在一些实施例中，图像分离层520的输入还可以包括强度参数512。例如，输入的强度参数512可以是8。关于强度参数的更多内容参见图3及其相关描述。

在一些实施例中，输入的强度参数512可以用于确定图像分离层520所采用的算法。

在一些实施例中，不同的强度参数可以对应不同的算法，平板电脑可以基于系统自动确定或工人设置，根据不同的强度参数提前确定最适用的算法，并保存至存储设备中，合成模型500可以基于输入的强度参数512自动匹配图像分离层520所采用的算法。

在本说明书的一些实施例中，强度参数与平板电脑的性能和使用场景相关联，通过将强度参数512作为图像分离层520的输入，可以使得图像分离层520在进行数据处理时充分考虑平板电脑自身的情况，结合平板电脑的实际情况选择最适用的算法，保证了图像分离层520处理数据的流畅性，减轻了平板电脑后台的运行负荷，有效延长了平板电脑的使用寿命。

在一些实施例中，角度确定层530可以对切分图像521进行处理，获取角度特征531。在一些实施例中，角度确定层530可以为卷积神经网络（Convolutional NeuralNetworks，CNN）模型。在一些实施例中，角度确定层530还可以是其他机器学习模型，例如，深度神经网络（Deep Neural Networks, DNN）模型、图神经网络（Graph Neural Networks，GNN）模型等或其组合。

如图5所示，角度确定层530的输入可以包括切分图像521。

角度确定层530的输出可以包括角度特征531。角度特征可以表征切分图像521中的人物图像的角度信息，包括人物图像的角度偏转大小、角度偏转方向等。

在一些实施例中，角度确定层530可以基于历史数据单独训练。在一些实施例中，可以基于多个第一训练样本及第一标签训练得到角度确定层530。

在一些实施例中，训练角度确定层的第一训练样本包括样本切分图像，与第一训练样本相对应的第一标签为样本切分图像对应的样本角度特征。第一训练样本可以基于历史数据获取，第一标签可以通过人工标注或自动标注的方式确定。以上说明仅为示例，而非限制，训练数据的第一标签可以通过各种方式获取。

训练时，将第一训练样本输入角度确定层，基于初始角度确定层的输出与第一标签构建损失函数，通过损失函数更新初始角度确定层的参数，直到训练的初始角度确定层满足预设条件，获取训练好的角度确定层530，其中，预设条件可以是损失函数小于阈值、收敛，或训练周期达到阈值等。

在一些实施例中，前画质层540可以对更新前图像535进行处理，获取前画质特征541。在一些实施例中，前画质层540可以是神经网络（Neural Networks，NN）模型。

如图5所示，前画质层540的输入可以包括更新前图像535。更新前图像是指基于角度特征，通过预设算法对切分图像进行几何变换后得到的图像。在一些实施例中，预设算法可以包括各种图像几何变换算法，如，插值算法等。

前画质层540的输出可以包括前画质特征541。前画质特征是指基于更新前图像提取到的相关特征，包括更新前图像的亮度、亮度分布、清晰度、运动幅度等特征。

在一些实施例中，前画质层540可以基于历史数据单独训练。在一些实施例中，可以基于多个第二训练样本及第二标签训练得到前画质层540。

在一些实施例中，训练前画质层的第二训练样本包括样本更新前图像，与第二训练样本相对应的第二标签为样本更新前图像包含的样本前画质特征。第二训练样本可以基于历史数据获取，第二标签可以通过人工标注或自动标注的方式确定。以上说明仅为示例，而非限制，训练数据的第二标签可以通过各种方式获取。

训练前画质层的具体方式与训练角度确定层的方式相同，关于前画质层的训练内容参见前文角度确定层的训练内容。

在一些实施例中，后画质层550可以对后图像513进行处理，获取后画质特征551。在一些实施例中，后画质层550可以是神经网络（Neural Networks，NN）模型。

如图5所示，后画质层550的输入可以包括后图像513。关于后图像的更多内容参见图3及其相关描述。

后画质层550的输出可以包括后画质特征551。后画质特征是指基于后图像提取到的相关特征，包括后图像的亮度、亮度分布、清晰度、运动幅度等特征。

在一些实施例中，后画质层550可以基于历史数据单独训练。在一些实施例中，可以基于多个第三训练样本及第三标签训练得到后画质层550。

在一些实施例中，训练后画质层的第三训练样本包括样本后图像，与第三训练样本相对应的第三标签为样本后图像包含的样本后画质特征。第三训练样本可以基于历史数据或平板电脑的素材库获取，第三标签可以通过人工标注或自动标注的方式确定。以上说明仅为示例，而非限制，训练数据的第三标签可以通过各种方式获取。

训练后画质层的具体方式与训练角度确定层的方式相同，关于后画质层的训练内容参见前文角度确定层的训练内容。

在一些实施例中，前画质层540和后画质层550可以合并为一个画质特征确定层。在一些实施例中，画质特征确定层可以是神经网络（Neural Networks，NN）模型。

在一些实施例中，画质特征确定层的输入可以包括更新前图像和平板电脑的前摄像头参数，输出可以包括前画质特征。在一些实施例中，画质特征确定层的输入可以包括后图像和平板电脑的后摄像头参数，输出可以包括后画质特征。前摄像头参数和后摄像头参数是指平板电脑的摄像头的规格参数，包括摄像头的光圈、焦距、分辨率等。在一些实施例中，画质特征确定层可以基于摄像头参数确定输入的图像是更新前图像还是后图像。

在一些实施例中，画质特征确定层可以基于历史数据单独训练。在一些实施例中，可以基于多个第四训练样本及第四标签训练得到画质特征确定层。

在一些实施例中，训练画质特征确定层的第四训练样本可以包括样本图像和样本图像对应的摄像头参数，与第四训练样本相对应的第四标签为样本图像包含的样本画质特征。第四训练样本可以基于历史数据或平板电脑的素材库获取，第四标签可以通过人工标注或自动标注的方式确定。以上说明仅为示例，而非限制，训练数据的第四标签可以通过各种方式获取。

训练画质特征确定层的具体方式与训练角度确定层的方式相同，关于画质特征确定层的训练内容参见前文角度确定层的训练内容。

在一些实施例中，参数生成层560可以对前画质特征541和后画质特征551进行处理，获取合成参数570。在一些实施例中，参数生成层560可以是神经网络（NeuralNetworks，NN）模型。

如图5所示，参数生成层560的输入可以包括前画质特征541和后画质特征551。

参数生成层560的输出可以包括合成参数570。合成参数是指对更新前图像和后图像进行合成处理时所使用的相关参数，包括亮度、色温调整、边缘亮度、锐度等。

在一些实施例中，参数生成层560可以基于历史数据单独训练。在一些实施例中，可以基于多个第五训练样本及第五标签训练得到参数生成层560。

在一些实施例中，训练参数生成层的第五训练样本包括多组样本前画质特征和样本后画质特征，与第五训练样本相对应的第五标签为每组样本前画质特征和样本后画质特征对应的最优合成参数。第五训练样本可以基于历史数据获取，第五标签可以通过使用不同的合成参数对每组样本前画质特征对应的前图像和样本后画质特征对应的后图像进行合成，选取合成效果最优的图像所对应的合成参数作为该组第五训练样本对应的第五标签，第五标签可以通过人工标注或自动标注的方式确定。以上说明仅为示例，而非限制，训练数据的第五标签可以通过各种方式获取。

训练参数生成层的具体方式与训练角度确定层的方式相同，关于参数生成层的训练内容参见前文角度确定层的训练内容。

在一些实施例中，角度确定层530、前画质层540、后画质层550和参数生成层560可以根据执行频率对相应的输入数据进行处理。

执行频率是指角度确定层530、前画质层540、后画质层550和参数生成层560处理数据的频率，不同层的执行频率可以不同。例如，当平板电脑存在较长一段时间保持固定不动的状态，此时前图像和后图像的画面较稳定，无需使用合成模型500对前图像和后图像进行频繁处理，则此时角度确定层530、前画质层540、后画质层550和参数生成层560的执行频率可以相对低一些，如，角度确定层530、前画质层540、后画质层550可以每10分钟执行一次数据处理，参数生成层560可以每15分钟执行一处数据处理。

在一些实施例中，角度确定层530、前画质层540、后画质层550和参数生成层560的执行频率可以基于强度参数确定。例如，强度参数的值越高，则执行频率越高。关于强度参数的更多内容参见图3及其相关描述。

在一些实施例中，角度确定层530、前画质层540、后画质层550和参数生成层560的执行频率还相关于使用场景。例如，根据不同的使用场景，平板电脑可以通过系统自动确定或人工设置预设各个层的执行频率；又例如，平板电脑可以在基于强度参数确定的执行频率的基础上，根据使用场景对执行频率进行优化调整。关于使用场景的更多内容参见图3及其相关描述。

在本说明书的一些实施例中，强度参数与平板电脑的性能和使用场景相关联，基于强度参数和使用场景确定角度确定层530、前画质层540、后画质层550和参数生成层560的执行频率，可以在平板电脑保持固定时相应减少模型处理数据的次数，既满足了用户的正常需求，又避免了平板电脑执行无用功，有效节约了资源。

在一些实施例中，合成层580可以对后图像513、更新前图像535和合成参数570进行处理，获取合成图像590。在一些实施例中，合成层580可以为各种可行的算法。

如图5所示，合成层580的输入可以包括后图像513、更新前图像535和合成参数570。

合成层580的输出可以包括合成图像590。例如，输出的合成图像590可以是对更新前图像535和后图像513进行合成处理后得到的图像。关于合成图像的更多内容参见图3及其相关描述。

在一些实施例中，参数生成层560和合成层580可以进行结合，并通过对抗生成网络（Generative Adversarial Network，GAN）进行训练。

在本说明书的一些实施例中，确定合成图像的合成模型并非一个单纯的机器学习模型，而是一个机器学习与算法的混合模型，合成模型通过将机器学习模型与算法进行整合，共同处理前图像和后图像，从而得到合成图像，可以提高获取合成图像的效率，保证生成的合成图像的质量。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种基于平板电脑的场景合成方法，其特征在于，所述方法包括：

通过平板电脑获取前图像；

确定合成模式；

基于所述合成模式，通过所述平板电脑获取后图像；

将所述前图像与所述后图像进行合成处理，生成面向场景的合成图像。

2.根据权利要求1所述的方法，其特征在于，所述确定合成模式包括：

基于所述平板电脑的位姿信息、运动信息和位置信息中的至少一种，确定候选模式；

基于所述候选模式的评估值，确定所述合成模式。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述平板电脑的性能信息，确定所述合成处理的强度参数。

4.根据权利要求3所述的方法，其特征在于，所述强度参数还相关于使用场景，所述使用场景基于所述平板电脑的位姿信息、运动信息和位置信息中的至少一种确定。

5.根据权利要求1所述的方法，其特征在于，将所述前图像与所述后图像进行合成处理，生成面向场景的合成图像包括：

通过合成模型对所述前图像和所述后图像进行处理，生成所述合成图像；

所述合成模型至少包括参数生成层，所述参数生成层的输入包括前画质特征、后画质特征，输出包括合成参数，所述参数生成层为神经网络模型。

6.一种基于平板电脑的场景合成系统，其特征在于，所述系统包括：

第一获取模块，用于通过平板电脑获取前图像；

第一确定模块，用于确定合成模式；

第二获取模块，用于基于所述合成模式，通过所述平板电脑获取后图像；

生成模块，用于将所述前图像与所述后图像进行合成处理，生成面向场景的合成图像。

7.根据权利要求6所述的系统，其特征在于，所述第一确定模块还用于：

基于所述平板电脑的位姿信息、运动信息和位置信息中的至少一种，确定候选模式；

基于所述候选模式的评估值，确定所述合成模式。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

第二确定模块，用于基于所述平板电脑的性能信息，确定所述合成处理的强度参数。

9.一种基于平板电脑的场景合成装置，所述装置包括至少一个处理器以及至少一个存储器；

所述至少一个存储器用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1~5中任意一项所述的基于平板电脑的场景合成方法。

10.一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如权利要求1~5中任意一项所述的基于平板电脑的场景合成方法。

Images