CN111147751A - 拍照模式的生成方法、装置和计算机可读存储介质 - Google Patents

Abstract

本申请提供一种拍照模式的生成方法、装置和计算机可读存储介质。涉及人工智能领域，该方法包括：获取场景的预览流；根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数，其中所述算法功能用于对所述预览流进行图像或视频的算法处理；组装所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数，以生成针对所述场景的拍照模式。本申请实施例的技术方案能够根据场景的预览流预测和组装算法功能以及算法功能的功能参数，无需预先划分场景和定义拍照模式，在优化拍照模式的同时实现拍照模式生成的智能化和自动化。

Description

拍照模式的生成方法、装置和计算机可读存储介质

技术领域

本申请涉及图像处理领域，并且更具体地，涉及一种拍照模式的生成方法、装置和计算机可读存储介质。

背景技术

随着终端设备的相机模块性能的增强和计算能力的提高，终端设备上内置了越来越多的算法功能和功能参数来改善相机拍照的最终成像质量。一般来说，某一项算法功能或功能参数只能改善单一的拍照效果，而通过组合多种算法功能和功能参数形成一种拍照模式，可以在某个场景下获得更好的拍照效果。

目前的相机应用，通过针对某种场景人为组装一个或多个算法功能形成多种拍照模式，例如，有很多相机应用都提供了人像模式、超级夜景模式、大光圈模式、高动态范围成像(high dynamic range，HDR)模式、微距模式等。然而场景是复杂多样的，这种人为定义的方式无法覆盖所有场景的拍照，会导致拍照模式越来越多，对显示和用户选择产生负向作用。除此之外，相机应用还提供了专业模式，这种模式提供了一个算法功能合集，主要面向有专业知识的拍照用户，用户需要知道每个算法功能和功能参数对拍摄效果的影响。

发明内容

本申请提供一种拍照模式的生成方法、装置和计算机可读存储介质，能够在优化拍照模式的同时实现拍照模式生成的智能化和自动化。

第一方面，提供了一种拍照模式的生成方法，该方法包括：获取场景的预览流；根据该场景的预览流，从多个算法功能中预测应用于该场景的至少一个算法功能和至少一个算法功能的功能参数，其中该算法功能用于对该预览流进行图像或视频的算法处理；组装所预测的至少一个算法功能和至少一个算法功能的功能参数，以生成针对该场景的拍照模式。

根据场景的预览流自动预测能够开启的算法功能和该算法功能的功能参数，并将预测开启的算法功能和功能参数自动组装成拍照模式，无需预先划分场景和定义拍照模式，在优化拍照模式的同时实现拍照模式生成的智能化和自动化。

结合第一方面，在第一方面的某些实现方式中，根据该场景的预览流，从多个算法功能中预测应用于该场景的至少一个算法功能和至少一个算法功能的功能参数，包括：确定多个算法功能中每个算法功能和对应的功能参数的置信度；根据该置信度预测应用于该场景的至少一个算法功能和至少一个算法功能的功能参数。

结合第一方面，在第一方面的某些实现方式中，确定该多个算法功能中每个算法功能和对应的功能参数的置信度，包括：确定每个算法功能的第一置信度，以及每个算法功能的每个功能参数的第二置信度；或者，确定算法功能和功能参数的组合的置信度。

结合第一方面，在第一方面的某些实现方式中，该组装所预测的至少一个算法功能和至少一个算法功能的功能参数，以生成针对该场景的拍照模式，包括：根据算法功能和功能参数的互斥信息，组装至少一个算法功能和至少一个算法功能的功能参数。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：训练用于进行该预测的预测模型。

可选地，该预测模型可以是针对单个算法功能或功能参数进行预测的单任务预测模型，也可以是同时预测多个算法功能和功能参数的多任务预测模型。

不需要预先划分场景和定义拍照模式，而是采用人工智能方式通过预测模型对算法功能和功能参数的开启进行预测，用户不需要考虑每个算法功能和功能参数对拍照效果的影响，从而简化了用户操作，提高了拍照模式生成的智能化和自动化。

结合第一方面，在第一方面的某些实现方式中，该预测模型是根据训练数据预先训练得到的，该训练数据包括训练图片或训练视频数据、训练算法功能和该训练算法功能的功能参数。

结合第一方面，在第一方面的某些实现方式中，该训练图片或训练视频数据是在拍摄场景下获得的预览图片或视频数据，经过对该预览图片或视频数据进行标注(例如，由基于神经网络的智能标注系统标注，或者由具有专业背景或擅长拍照的用户标注)，将标注的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数。

结合第一方面，在第一方面的某些实现方式中，该训练图片为已拍摄的图片，对该已拍摄的图片进行评分，将评分高于第一阙值的图片的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数。

将具有专业背景或擅长拍照的用户对该预览图片或视频数据进行的标注或将评分高于一定阙值的图片的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数，能够提高拍照模式生成的质量，从而实现拍照模式的优化。

结合第一方面，在第一方面的某些实现方式中，该预测模型是针对每个算法功能和该算法功能的功能参数训练的二分类器或神经网络模型。

结合第一方面，在第一方面的某些实现方式中，该预测模型是针对多个算法功能和该算法功能的功能参数训练的一个神经网络模型。

结合第一方面，在第一方面的某些实现方式中，该获取场景的预览流还包括：从该场景的预览流中获取该场景的特征。

通过场景的特征匹配，能够减少算法功能和功能参数的预测的次数，从来提高拍照模式生成的效率。

结合第一方面，在第一方面的某些实现方式中，在根据该场景的预览流，从多个算法功能中预测应用于该场景的至少一个算法功能和至少一个算法功能的功能参数之前，还包括：

根据该场景的特征，将该场景与云端所保存的图片进行匹配，以从该云端所保存的图片中查找匹配该场景的图片；

将云端所保存的该匹配该场景的图片所对应的算法功能和该算法功能的功能参数作为该所预测的所述至少一个算法功能和至少一个算法功能的功能参数。

结合第一方面，在第一方面的某些实现方式中，该云端所保存的图片是美学评分高于第二阙值的图片。

第二方面，提供了一种拍照模式的生成装置，该装置包括：获取模块，用于获取场景的预览流；预测模块，用于根据该场景的预览流，从多个算法功能中预测应用于该场景的至少一个算法功能和至少一个算法功能的功能参数，其中该算法功能用于对该预览流进行图像或视频的算法处理；组装模块，用于组装所预测的至少一个算法功能和至少一个算法功能的功能参数，以生成针对该场景的拍照模式。

根据场景的预览流自动预测能够开启的算法功能和该算法功能的功能参数，并将预测开启的算法功能和功能参数自动组装成拍照模式，从而无需预先划分场景和定义拍照模式，实现优化拍照模式生成的智能化和自动化。

结合第二方面，在第二方面的某些实现方式中，该预测模块还用于确定该多个算法功能中每个算法功能和对应的功能参数的置信度；根据该置信度预测应用于该场景的至少一个算法功能和至少一个算法功能的功能参数。

结合第二方面，在第二方面的某些实现方式中，该预测模块具体用于确定每个算法功能的第一置信度，以及每个算法功能的每个功能参数的第二置信度；或者，所述预测模块具体用于确定算法功能和功能参数的组合的置信度。

结合第二方面，在第二方面的某些实现方式中，该组装模块具体用于根据算法功能和功能参数的互斥信息，组装至少一个算法功能和至少一个算法功能的功能参数。

结合第二方面，在第二方面的某些实现方式中，该装置还包括训练模块，训练用于进行该预测的预测模型。

可选地，该预测模型可以是针对单个算法功能或功能参数进行预测的单任务预测模型，也可以是同时预测多个算法功能和功能参数的多任务预测模型。

不需要预先划分场景和定义拍照模式，而是采用人工智能方式通过预测模型对算法功能和功能参数的开启进行预测，用户不需要考虑每个算法功能和功能参数对拍照效果的影响，从而简化了用户操作，同时提高了拍照模式生成的智能化和自动化。

结合第二方面，在第二方面的某些实现方式中，该预测模型是根据训练数据预先训练得到的，该训练数据包括训练图片或训练视频数据、训练算法功能和该训练算法功能的功能参数。

结合第二方面，在第二方面的某些实现方式中，该训练图片或训练视频数据是在拍摄场景下获得的预览图片或视频数据，经过对该预览图片或视频数据进行标注(例如，由基于神经网络的智能标注系统标注，或者由具有专业背景或擅长拍照的用户标注)，将标注的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数。

结合第二方面，在第二方面的某些实现方式中，该训练图片为已拍摄的图片，对该已拍摄的图片进行评分，将评分高于第一阙值的图片的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数。

将具有专业背景或擅长拍照的用户对该预览图片或视频数据进行的标注或将评分高于一定阙值的图片的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数，能够提高拍照模式生成的质量，从而实现拍照模式的优化。

结合第二方面，在第二方面的某些实现方式中，该预测模型是针对每个算法功能和该算法功能的功能参数训练的二分类器或神经网络模型。

结合第二方面，在第二方面的某些实现方式中，该预测模型是针对多个算法功能和该算法功能的功能参数训练的一个神经网络模型。

结合第二方面，在第二方面的某些实现方式中，所述获取模块，还用于从所述场景的预览流中获取所述场景的特征。

通过场景的特征匹配，能够减少算法功能和功能参数的预测的次数，从来提高拍照模式生成的效率。

结合第二方面，在第二方面的某些实现方式中，该装置还包括：

匹配模块，用于根据所述场景的特征，将所述场景与云端所保存的图片进行匹配，以从所述云端所保存的图片中查找匹配所述场景的图片；所述获取模块还用于获取云端所保存的所述匹配所述场景的图片所对应的算法功能和所述算法功能的功能参数；所述预测模块还用于将所述匹配所述场景的图片所对应的算法功能和所述算法功能的功能参数，作为所述所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数。

结合第二方面，在第二方面的某些实现方式中，该云端所保存的图片是美学评分高于第二阙值的图片。

第三方面，提供了一种计算机可读存储介质，包括计算机程序，当其在计算机设备上运行时，使得所述计算机设备中的处理单元执行如第一方面所述的方法。

第四方面，提供了一种计算机程序产品，包括计算机程序，当其在计算机设备上运行时，使得所述计算机设备中的处理单元执行如第一方面所述的方法。

附图说明

图1是基于人为定义的拍照模式的示例图；

图2是人为定义的拍照模式的操作流程示例图；

图3是本申请实施例的系统架构的示例图；

图4是本申请实施例提供的一种根据CNN模型进行拍照模式生成的示例图；

图5是本申请实施例提供的一种芯片的硬件结构的示例图；

图6是本申请实施例提供的一个拍照模式的生成方法示例图；

图7是本申请实施例提供的另一个拍照模式的生成方法的示例图；

图8是本申请实施例提供的拍照模式生成的一种用户界面示例图；

图9是本申请实施例提供的拍照模式生成的另一种用户界面示例图；

图10是本申请实施例提供的一种预测模型的训练方法示例图；

图11是本申请实施例提供的拍照模式的生成装置示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

为便于理解，首先对本申请实施例的应用场景进行简单的介绍。

为改善终端相机拍照的最终成像质量，终端设备上内置了许多的算法功能以及功能参数，这些算法功能包括人像虚化、美颜、高动态范围成像(high dynamic range，HDR)、夜景功能、流光快门功能、大光圈功能等用于对成像的预览流进行视频和/或图像的算法处理以得到最终的视频和/或图像的功能。功能参数是某一项算法功能的参数配置，例如大光圈功能中的光圈取值、美颜功能中的美颜级别等。一般来说，某一项算法功能及其功能参数只能改善单一的拍照效果，例如美颜功能只能对人像进行美颜，夜景功能只能对夜景场景进行优化。如果希望在某一场景下获得更好的拍照体验，可能需要组合一种或多种算法功能(如有进一步的需要，还要再组合时考虑每种算法功能的不同功能参数，例如考虑同一种算法功能中不同功能参数的组合方式带来的处理结果的影响)。这种对一种或多种算法功能(如果需要更细化的功能参数的话，还要考虑算法功能的功能参数)的组合，可以称为拍照模式。

针对某种场景，可以通过人为组装一个或多个算法功能形成多种拍照模式。例如，相机应用可以提供人为组装的人像模式、超级夜景模式、大光圈模式、HDR模式、微距模式等。图1是基于人为定义的拍照模式的示例图，如图1所示，通过人为组装一种或几种算法功能形成的一个拍照模式，例如人像模式可以包含人像虚化、美颜、HDR等算法功能。在设置好拍照模式之后，在实际拍摄时，可通过场景识别，从已经设置好的多个拍照模式中选择适合于当前场景的模式。

图2是人为定义的拍照模式的操作流程示例图。如图2所示，当检测到场景中有人脸时，可以向用户推荐人像模式，这样用户可以使用人像模式下的算法功能及其功能参数的组合，进行拍照。

但是，基于人为定义的拍照模式存在以下问题。首先，拍照模式是预先人为定义的，主要通过人的经验确定该场景下需要的算法功能以及功能参数，不一定就是适合的模式，例如虽然某些场景中有人脸存在，但是可能只是作为背景，不适合选用人像模式，或者人像模式的算法功能/功能参数并不合适于当前场景。

另一方面，当识别到的场景没有对应的拍照模式时，则无法向用户推荐拍照模式。人为定义的模式无法覆盖所有场景的拍照，而如果为了适应复杂多样的场景而人为定义过多的拍照模式，既会增加设置人员的负担，也会导致内置的拍照模式越来越多，对模式展示和用户选择反而有负向作用。

除此之外，还可提供专业模式。专业模式向用户展示多种算法功能/功能参数的选项，而不向用户推荐组合后的拍照模式，只是由用户根据自己的专业知识或者经验使用某个算法功能，调整某个功能参数。但这种方法要求用户具有很深的拍照专业背景，能够知道每个算法功能和功能参数对拍摄效果的影响；不同的终端设备、不同的底层相机规格下，专业模式中的算法功能和功能参数的效果也不同，这也增加了用户选择的难度。

本申请实施例不是简单地从给定的一些拍照模式中选择合适的拍照模式，也不是简单地向用户提供算法功能或功能参数供用户选择，而是根据场景的预览流，从多个算法功能中自动预测和组装合适的算法功能以及所述算法功能的功能参数，从而生成一个优化的拍照模式，实现相机拍照模式生成的智能化和自动化。

本申请实施例的拍照模式的生成可以由神经网络(模型)来执行，为了更好地理解本申请实施例的拍照模式的生成方法，下面先对神经网络的相关术语和概念进行介绍。

(1)神经网络

神经网络可以是由神经单元组成的，神经单元可以是指以x_s和截距1为输入的运算单元，该运算单元的输出可以如公式(1)所示：

其中，s＝1、2、……n，n为大于1的自然数，W_s为x_s的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，该激活函数用于对神经网络中的特征进行非线性变换，从而将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

(2)深度神经网络

深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。

虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：

其中，

是输入向量，

是输出向量，

是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量

经过如此简单的操作得到输出向量

由于DNN层数多，系数W和偏移向量

的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为

上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。

综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为

需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。

(3)卷积神经网络

卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

(4)残差网络

残差网络是在2015年提出的一种深度卷积网络，相比于传统的卷积神经网络，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。残差网络的核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。残差网络一般会包含很多结构相同的子模块，通常会采用残差网络(residualnetwork，ResNet)连接一个数字表示子模块重复的次数，比如ResNet50表示残差网络中有50个子模块。

(6)分类器

很多神经网络结构最后都有一个分类器，用于对图像中的物体进行分类。分类器一般由全连接层(fully connected layer)和softmax函数(可以称为归一化指数函数)组成，能够根据输入而输出不同类别的概率。

(7)损失函数

在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。

(8)反向传播算法

神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的数值，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。

以上对神经网络的一些基本内容做了简单介绍，下面针对图像处理时可能用到的一些特定神经网络进行介绍。

下面结合图3对本申请实施例的系统架构进行详细的介绍。

图3是本申请实施例的系统架构的示意图。如图3所示，系统架构100包括执行设备110、训练设备120、数据库130、客户设备140、数据存储系统150、以及数据采集系统160。

另外，执行设备110包括计算模块111、I/O接口112、预处理模块113和预处理模块114。其中，计算模块111中可以包括目标模型/规则101，预处理模块113和预处理模块114是可选的。

数据采集设备160用于采集训练数据。针对本申请实施例的拍照模式的生成方法来说，训练数据可以包括训练图片或训练视频数据、训练算法功能和所述训练算法功能的功能参数。在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。

下面对训练设备120基于训练数据得到目标模型/规则101进行描述，训练设备120对输入的训练图片或训练视频数据进行检测，将输出的算法功能和功能参数与训练算法功能和所述训练算法功能的功能参数进行对比，直到训练设备120输出的算法功能和功能参数与训练算法功能和所述训练算法功能的功能参数的差异小于一定的阈值，从而完成目标模型/规则101的训练。

上述目标模型/规则101能够用于实现本申请实施例的拍照模式的生成方法，即，将场景的预览流(通过相关预处理后)输入该目标模型/规则101，即可生成预览场景的拍照模式。本申请实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际应用中，数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图3所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。在图3中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的场景的预览流。这里的客户设备140具体可以是终端设备。

预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据场景预览流进行预处理，在本申请实施例中，可以没有预处理模块113和预处理模块114或者只有的一个预处理模块。当不存在预处理模块113和预处理模块114时，可以直接采用计算模块111对输入数据进行处理。

在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。

最后，I/O接口112将处理结果，如将目标模型/规则101计算得到的拍照模式呈现给客户设备140，从而提供给用户。

具体地，经过计算模块111中的目标模型/规则101处理得到的拍照模式可以通过预处理模块113(也可以再加上预处理模块114的处理)的处理后将处理结果送入到I/O接口，再由I/O接口将处理结果送入到客户设备140中显示。

应理解，当上述系统架构100中不存在预处理模块113和预处理模块114时，计算模块111还可以将处理得到的拍照模式传输到I/O接口，然后再由I/O接口将拍照模式送入到客户设备140中显示。

值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。

在图3中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。

值得注意的是，图3仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图3中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。

如图3所示，根据训练设备120训练得到目标模型/规则101，可以是本申请实施例中的预测模型，具体的，本申请实施例提供的预测模型可以是神经网络，例如，CNN以及深度卷积神经网络(deep convolutional neural networks,DCNN)等等。

由于CNN是一种非常常见的神经网络，下面结合图4重点对CNN的结构进行详细的介绍。如上文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的预览场景流作出响应。

如图4所示，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及全连接层(fully connected layer)230。下面对这些层的相关内容做详细介绍。

卷积层/池化层220：

卷积层：

如图4所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。

下面将以卷积层221为例，介绍一层卷积层的内部工作原理。

卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。

这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。

当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

池化层：

由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图4中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

全连接层230：

在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用全连接层230来生成一个或者一组所需要的类的数量的输出。因此，在全连接层230中可以包括多层隐含层(如图4所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等……

在全连接层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图4由210至240方向的传播为前向传播)完成，反向传播(如图4由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。

需要说明的是，如图4所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。

图5为本申请实施例提供的一种芯片硬件结构，该芯片包括神经网络处理器50。该芯片可以被设置在如图3所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图3所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则101。如图4所示的卷积神经网络中各层的算法均可在如图5所示的芯片中得以实现。

神经网络处理器(neural-network processing unit，NPU)50作为协处理器挂载到主中央处理器(central processing unit，CPU)(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路503，控制器504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。

在一些实现中，运算电路503内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路503是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路503从权重存储器502中取矩阵B相应的数据，并缓存在运算电路503中每一个PE上。运算电路503从输入存储器501中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)508中。

向量计算单元507可以对运算电路503的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。

在一些实现中，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元507生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路503的激活输入，例如用于在神经网络中的后续层中的使用。

统一存储器506用于存放输入数据以及输出数据。

权重数据直接通过存储单元访问控制器505(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502，以及将统一存储器506中的数据存入外部存储器。

总线接口单元(bus interface unit，BIU)510，用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。

与控制器504连接的取指存储器(instruction fetch buffer)509，用于存储控制器504使用的指令；

控制器504，用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过程。

一般地，统一存储器506，输入存储器501，权重存储器502以及取指存储器509均为片上(on-chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，简称DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。

另外，在本申请中，图4所示的卷积神经网络中各层的运算可以由运算电路503或向量计算单元507执行。

下面结合附图对本申请实施例的拍照模式的生成方法进行详细介绍。本申请实施例的拍照模式的生成方法可以由图3中的执行设备110执行。

图6是本申请实施例提供的一个拍照模式的生成方法示例图。图6的方法可以由图3至图5中的设备执行，这些设备中的部分单元或全部单元可以集成在终端设备中。如图6所示，该方法600包括步骤S610、步骤S620和步骤S630，下面对这些步骤进行详细描述。

S610，获取场景的预览流。

应理解，所述场景的预览流可以由终端设备的摄像头捕获。例如，通过手机或者其他智能终端的摄像头预览场景，就会自动捕获场景的预览流。可选地，所述摄像头可以为前置摄像头也可以为后置摄像头。可选地，摄像头可以从实际场景中获取场景的预览流，也可以对存储器中的图像进行预览获取预览流。

应理解，场景的预览流应包含预览场景的信息。例如，预览场景中的人、物、风景、光线、环境参数、地理位置信息以及时间参数等，不做限定。

可选地，在获取场景的预览流之后还可以提取该场景的特征。可选地，提取的特征可以是预览场景中的对象(人、物、景等)；可以是预览的时间，例如，白天或夜晚、春夏或秋冬、清晨或傍晚；可以是预览场景的环境，例如，刮风、下雨等；还可以是能够直观地感受到的自然特征，如颜色特征、纹理特征、形状特征、空间关系特征等。具体提取的特征可以是上述一种或多种，且不限于上述所举的例子。应理解，对于不同的特征有不同的提取方式，本申请对此不做进一步限定。

S620，根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数，其中所述算法功能用于对所述预览流进行图像或视频的算法处理。

应理解，所述预测过程可以基于预测模型进行。预测模型可以是事先训练好的，例如可以由图3的系统架构训练得到；并且可以根据实际拍摄的结果进行模型更新。训练好的预测模型可以内置于执行图6的方法的终端设备中，也可以存储在该终端设备之外，例如云端。当终端设备需要进行拍照模式的预测时，与该云端之间交换预测所需的数据，如场景特征、模型参数和/或拍照模式参数等，从而实现拍照模式的实时预测和组装。云端还可以收集多个用户对特定场景的拍照模式的选择结果等大数据信息，以更新预测模型，实现预测模型的不断优化。

在一种实现方式中，获取场景的预览流之后，预测模型进行预测操作。所述预测操作，可以包括对每个算法功能是否开启进行预测，并且进一步的，还可以包括对算法功能的每个功能参数是否开启进行预测。预测的结果(例如，开启哪些算法功能，或者开启哪些算法功能和这些算法功能的哪些功能参数)，作为组装拍照模式的候选数据。换句话说，本申请实施例在组装得到最终推荐的拍照模式时，可以使用预测得到的所有算法功能及其功能参数，也可以仅仅使用预测得到的部分算法功能或部分功能参数。

具体地，预测模型可确定多个算法功能中每个算法功能和对应的功能参数的置信度，并根据所述置信度预测应用于该场景的至少一个算法功能和该至少一个算法功能的功能参数。

可选地，上述开启置信度可以分别对应于算法功能和功能参数，换句话说，每个算法功能和每个功能参数均有对应的置信度。此时，在确定多个算法功能中每个算法功能和对应的功能参数的置信度时，可以是确定每个算法功能的第一置信度，以及每个算法功能的每个功能参数的第二置信度。进一步的，在此实施例下，可以先根据算法功能的第一置信度，确定是否将该算法功能作为拍照模式的组装候选(即，作为预测模型的部分输出)，然后再根据该算法功能的各个功能参数的第二置信度，确定将该算法功能的哪些功能参数及其取值作为拍照模式的组装候选(即，作为预测模型的另一部分输出)。这种分层预测的方式，算法相对简单快速，适合于处理能力相对低的设备，有利于减少系统功耗。

作为另一个实施例，也可以是确定算法功能和功能参数的组合的置信度。具体地，可以将算法功能和功能参数作为组合，来预测是否将该组合作为拍照模式的组装候选。例如，假设存在算法功能A和B，其中算法功能A具有功能参数a1和a2(a1和a2可以是不同类型的功能参数，也可以是同一功能参数的不同取值)，算法功能B具有功能参数b1和b2，则可以形成四种组合{A,a1}、{A,a2}、{B,b1}和{B,b2}；预测模型可以计算这四种组合分别对应的置信度，从而将置信度较高的组合作为拍照模式的组装候选，即，作为预测模型的输出。上述组合也可以是跨算法功能或者跨功能参数的，例如可以形成{A,B,a1,b1}或{A,a1,a2}之类的组合方式。这种组合的置信度的预测方式，可以更多的考虑组合中各个因素之间的相互影响，从而得到整体上更佳的预测结果，适合于处理能力较高的设备。

在另一种实现方式中，算法功能和/或功能参数的开启预测也可通过云端匹配的方法。

具体地，首先可以在云端保存符合要求(例如，美学评分高于一定阙值，或者其他评判标准达到一定阈值)的照片和拍照所使用的算法功能和功能参数。此时，终端设备进行拍照预览时，提取待拍照场景的预览流的特征，将所提取的特征发送给云端，以与云端的保存的照片进行匹配，从而选取最为匹配的照片，对应地开启所匹配照片所使用的算法功能和功能参数。通过这种方式能够减少功能预测的次数，加速优化拍照模式的生成过程。

可选地，将云端最佳匹配的照片所使用的算法功能和功能参数开启后，还可以对终端相机中剩下的算法功能和功能参数的开启置信度通过预测模型进行预测，从而实现多角度的预测评判，得到优化的拍照模式。

可选地，所述算法功能可以是HDR、人像虚化、美肤、光效、美颜、大光圈功能、滤镜、感光度、流光快门和色彩功能等至少一项，在此不做具体限定，凡是能够应用在拍照中的算法功能均落在本申请的保护范围内。

应理解，所述功能参数为所述算法功能内置的各项参数。示例性地，对于美颜这个算法功能而言，功能参数可以是瘦脸程度、美颜级别、大眼等级、磨皮程度等，对于其他算法功能而言，功能参数也可以是大光圈值、光效类型等，在此不做限定。

S630，组装所预测的至少一个算法功能和至少一个算法功能的功能参数，以生成针对当前场景的拍照模式。

步骤S620的预测结果(例如，开启哪些算法功能，或者开启哪些算法功能和这些算法功能的哪些功能参数)，作为组装拍照模式的候选数据。换句话说，本申请实施例在步骤S630的组装处理中，可以使用S620的预测处理得到的所有算法功能及其功能参数，也可以仅仅使用S620的预测处理得到的部分算法功能或部分功能参数。

例如，作为一个实施例，可根据算法功能和/或功能参数的互斥信息，组装所述至少一个算法功能和所述至少一个算法功能的功能参数。具体的实现方式将在下文结合图7的实施例详细描述。

将能够开启的算法功能和所述算法功能的功能参数，结合算法功能和功能参数的互斥情况组装成最终的拍照模式。最终的拍照模式是针对当前场景所能达到具有一定效果的拍照模式，因此可以向用户推荐该拍照模式，例如在终端设备的预览界面上向用户展示所组装的拍照模式。当然，拍照模式的组装方案可以不仅仅是单一的，而是可以提供多个基准维度下得到的不同拍照模式。例如，对于既有人也有山的同一个场景，可以组装出更加侧重于人像的第一拍照模式(例如选择预测出的算法功能中人像图像处理比重更大的那些算法功能和功能参数进行组装，此模式不妨命名为人像模式)，也可以同时组装出侧重于山景的第二拍照模式(例如选择预测出的算法功能中风景图像处理比重更大的那些算法功能和功能参数进行组装，此模式不妨命名为风景模式)，并且在终端设备的预览界面上同时向用户推荐人像模式和风景模式，例如以图标或下拉菜单等方式，供用户根据偏好选择。

本申请实施例提供了一种智能化、自动化的拍照模式的生成方法。在本申请方案中，不需要人为划分场景、定义拍照模式，对用户的专业性和经验性也没有要求，用户也不需要考虑每个算法功能和功能参数对拍照效果的影响，从而简化了用户操作，提高了拍照模式生成的智能化和自动化。

图7是本申请实施例提供的另一个生成拍照模式的方案的示例图。作为一个实施例，如图7所示，在获取场景的预览流之后，预测模型对每个算法功能的开启进行预测，同时对所述算法功能的功能参数进行预测(即，上述分层预测方案)。在预测完成后，对预测开启的算法功能和功能参数进行组装，生成一种优化的拍照模式。在得到拍照模式之后，可以在用户界面上开启模式预览等处理，并根据用户的选择进行实际拍照和处理过程。

应理解，图7仅代表一种实现方式。可选地，预测模型可以是单任务预测模型也可以是多任务预测模型。其中，单任务预测模型仅针对某个固定的算法功能或功能参数进行预测，也就是每个算法功能或功能参数都可以有一个单任务预测模型对其是否开启进行预测，例如二分类器或神经网络模型；多任务预测模型可以对多个算法功能进行预测，可选地，多任务预测模型可以同时对多个不同的算法功能和功能参数进行预测，也可以对其依次进行预测，例如图3至图5所述的神经网络模型。应理解，判断某项算法功能和功能参数是否开启可以通过某项算法功能对应的单任务预测模型进行预测，也可以通过多任务预测模型进行预测。示例性地，如果终端设备的相机功能中存在3种算法功能，那么可以使用1个多任务预测模型对3种算法功能进行预测，也可以使用3个单任务预测模型分别对3种算法功能进行预测，在此不做限定。

可选地，所述预测模型可以是多个二分类器，当二分类器输出1的时候表示开启某项功能或功能参数，输出0的时候表示当前预览场景不需要开启某项功能或功能参数。应理解，输出1或0只是人为定义的一种区分开启或不开启的一种方式，在具体实施中不做限定。

可选地，某个二分类器可以分别给出某个算法功能的第一开启置信度，当第一开启置信度大于一定阙值时，二分类器输出1，表示开启某个算法功能，也可以给出某个算法功能的某个功能参数的第二开启置信度，当第二开启置信度大于一定阙值时，二分类器输出1，表示开启某个算法功能的某个功能参数；当开启置信度小于一定阙值时，二分类器输出0，表示不开启某个算法功能或功能参数。可选地，二分类器也可以给出算法功能和功能参数的组合的开启置信度，当组合的开启置信度大于一定阙值时，二分类器输出1，表示开启某个算法功能以及某个算法功能的某个功能参数。应理解，算法功能和算法功能的参数的开启可以通过同一个二分类器进行预测，也可以通过不同的二分类器进行预测，不做限定。应理解，同一个二分类器也可以同时对某个算法功能以及某个算法功能对应的多种功能参数的开启进行预测。

可选地，所述预测模型也可以是神经网络模型，神经网络模型根据场景预览流，同时对多个算法功能和功能参数的开启置信度进行预测，当某个算法功能或功能参数的开启置信度大于一定阙值时，表示开启某个算法功能或功能参数；当开启置信度小于一定阙值时，表示不开启某个算法功能或功能参数。

应理解，在预测出算法功能和功能参数开启置信度之后，可以将预测开启的算法功能和功能参数按照开启置信度高低进行排序，同时按照这些算法功能和功能参数的互斥情况进行组装。

示例性地，预测模型给出每个算法功能开启置信度，当开启置信度大于0.5时，二分类器输出1，表示算法功能开启；当置信度小于0.5时，二分类器输出0，表示算法功能在当前场景不开启。然后对开启的算法功能按照开启置信度从高到低进行排序。由于设备计算能力、拍照效果的限制，某些算法功能不能同时开启，因而需要对预测开启的算法功能进行组装，这就需要事先了解算法功能的互斥情况，本申请实施例在终端设备保存了一份互斥表，如表1所示，表示两两算法功能的互斥情况(Y表示互斥；N表示不互斥)，结合预测的功能开启的置信度和保存的互斥表，利用最大值抑制算法实现功能的自动组装。

表1算法功能互斥示意表

算法功能

1

2

3

4

5

6

7

1

Y

Y

N

Y

N

N

N

2

Y

Y

N

Y

N

Y

N

3

N

N

Y

Y

N

N

N

4

Y

Y

Y

Y

N

N

Y

5

N

N

N

N

Y

N

N

6

N

Y

N

N

N

Y

Y

7

N

N

N

Y

N

Y

Y

示例性地，如果开启置信度预测出可以开启美颜、大光圈、HDR三个功能，其置信度分别是0.9、0.8、0.7，根据互斥表看出美颜和HDR之间存在互斥，则在组装拍照模式时可以选择使用美颜功能，而不使用HDR功能。

以上互斥表主要针对算法功能给出的示例，应理解，在功能参数的预测和组装中同样适用。

作为另一个实施例，功能的开启预测也可通过云端匹配的方法。具体地，对待拍照场景的预览流的特征进行提取，将所提取的特征和云端的保存的照片进行匹配，选取最佳匹配的照片，并对应地开启云端最佳匹配的照片所使用的算法功能和功能参数。

应理解，要实现云端匹配，首先要在云端保存最佳照片和照片所使用的算法功能和功能参数。可选地，可以使用人工处理或机器实现的美学评分机制，对现有用户拍摄的大量的照片进行评分，当评分高于某一阙值时，将照片保存在云端，同时保存拍摄时所使用的算法功能和功能参数；当评分低于一定阙值时，不保存该照片。可选地，可以使用标注的方法，将在多种多样的拍照场景下获得的尽可能多的预览照片，通过对拍照有专业背景或擅长拍照的人进行标注，或者通过神经网络算法按照给定的参数和标准进行智能标注，标注出该场景下的开启哪些算法功能或功能参数，将这些预览照片和其标注需要开启的算法功能和功能参数保存在云端。

在本申请实施例中，还可以将具有专业背景或擅长拍照的用户对该预览图片或视频数据进行的标注或将评分高于一定阙值的图片的算法功能和该算法功能的功能参数作为训练算法功能和该训练算法功能的功能参数，能够提高拍照模式生成的质量，从而实现拍照模式的优化。

应理解，在使用这种实现方式时，还可以提供照片的匹配机制。具体地，首先对预览场景进行场景的特征提取，然后将预览场景与云端照片进行匹配，匹配到最为相似的照片，应理解，当相似度大于某一阙值时，使用最佳的匹配照片的算法功能和功能参数组装成拍照模式。

可选地，在相似度大于一定阙值时，还可以先开启最佳匹配照片所使用的拍照算法功能和功能参数，再对相机中配置的剩余的算法功能和功能参数通过预测模型进行预测。

具体地，将云端优化匹配照片所使用的算法功能和功能参数开启后，对终端设备相机中剩下的算法功能和功能参数的开启置信度通过预测模型进行预测，并根据算法功能的开启置信度和算法功能的互斥情况对算法功能自动组合成优化的拍照模式。可选地，当通过云端匹配的算法功能和功能参数与预测模型预测开启的算法功能和功能参数存在互斥时，可以组合云端匹配的，不组合预测模型预测的；也可以对云端匹配中存在互斥情况的算法功能进行预测模型预测，根据预测的开启置信度来决定开启哪个。

还应理解，当最佳匹配照片的相似度低于某一阙值时，意味着待拍摄场景在云端没有类似的场景，可以重新通过预测模型进行预测，并将预测和组合的优化拍照模式以及拍摄的照片上传至云端保存，以方便其他用户使用。

在本申请实施例中，能够通过云端匹配的方式减少功能预测的次数，加速优化模式生成过程。

应理解，在本申请实施例中，在得到推荐的拍照模式之后，用户可以在用户界面上开启模式预览等处理，随后终端根据用户的选择进行实际拍照和处理过程。

作为一个实施例，图8是拍照模式生成的一种用户界面示例图。用户在打开手机的相机应用后，摄像头首先捕获需要拍照或录像的场景，如图8中的人像场景。在预览界面上，向用户呈现“开启智能拍照模式组装”的按钮。如果用户要使用本申请实施例的推荐拍照模式的方式进行拍照，则可以点击该按钮。

可选地，在用户点击该按钮(即用户选择开启智能拍照模式组装功能)后，用户界面上可以呈现出针对当前场景所推荐拍照模式中的算法功能，如在图8中的人像场景下，推荐的拍照模式由人像虚化、美颜和HDR这三种算法功能组装而成。

进一步可选地，用户还可以在用户界面上查看推荐模式中的算法功能所使用的功能参数。例如，如果用户点击“人像虚化”按钮，可以以下拉菜单的方式，向用户呈现该“人像虚化”算法功能中所使用的具体功能参数。

在一个实施例下，在用户选择使用推荐的拍照模式，再点击拍照，就会得到经过推荐模式修正的图片。在另一实施例下，当用户选择开启智能拍照模式组装功能之后，可以实时地处理预览流，以呈现经推荐的拍照模式处理后的预览流，再根据用户的“拍照”操作记录此时的图片或视频，这样可以给用户更加实时的体验。

作为另一个实施例，图9是拍照模式生成的另一种用户界面示例图。在图9中，呈现给用户的预览流是根据智能组装的拍照模式修正过的预览流，此时，用户界面上可以呈现提示信息：“已经开启智能拍照模式组装功能，是否需要关闭此功能？”、以及按钮“是”和“否”。

可选地，如果用户要使用经过修正后的预览场景，则可以点击“否”或者可以不进行任何操作，再进行拍照或录像，就会得到经过推荐模式修正的图片/视频。如果用户不想使用修正后的预览场景，则可以点击“是”，恢复到未经处理的原始预览流，再进行拍照或录像。应理解，以上用户界面仅作为示例，该用户界面中的按钮或提示也可以选用其他文字，只要能够提醒用户进行点击某个按钮就可以开启/关闭推荐拍照模式即可，本申请实施例不作具体限定。

应理解，在本申请实施例中，用户可以是在得到推荐拍照模式之后，根据自己的需要决定是否开启/关闭推荐的拍照模式；也可以是用户在选择使用推荐的拍照模式之后，用户设备再进行智能组装得到推荐的拍照模式，对此顺序不做限定。

在图8和图9的实施例中，还可以同时向用户提供多个推荐的拍照模式，以供用户选择或切换，并且可以根据用户选择或切换结果，在屏幕上实时呈现经过当前的拍照模式修正后的预览流。这样，可以方便用户选择更满意的拍照模式。进一步可选的，用户对拍照模式的选择，可以由云端收集处理，作为训练预测模型的数据输入，以不断优化预测模型。

图10是本申请实施例提供地一种预测模型的训练方法示例图1000。所述训练方法1000具体可以由如图3所示的训练设备120执行，所述方法1000中的数据集可以是如图3所示的数据库130中维护的训练数据，可选的，所述方法1000可以在训练设备120中执行，也可以在训练设备120之前由其他功能模块预先执行，即先对从所述数据库130中接收或者获取到的训练数据进行预处理。

可选的，所述方法1000可以由CPU处理，也可以由CPU和GPU共同处理，也可以不用GPU，而使用其他适合用于神经网络计算的处理器，本申请不做限制。

如图10所示，在本申请实施例中，所述数据集为训练数据，包括训练图片或训练视频数据，训练图片所对应的训练算法功能和所述训练算法功能的功能参数。

应理解，训练数据可以由多种方式产生。示例性地，可以是在多种多样的拍照场景下获得尽可能多的预览图片或视频数据，然后找对拍照有专业背景或擅长拍照的人进行标注，标注对象为该场景下的开启哪些算法功能和功能参数。也可以是通过美学评分算法，对大量用户拍的照片进行评分，记录高评分照片的算法功能和功能参数。

可选地，在本申请实施例中，预测模型可以是针对单个算法功能或功能参数进行预测的单任务预测模型。示例性地，预测模型可以是针对每个算法功能或功能参数都训练一个二分类器，也可以是针对每个算法功能或功能参数都训练一个神经网络，对神经网络来说，预览流可简单预处理(如归一化)后训练；或对预览流进行特征提取后利用支持向量机、随机森林、最近邻算法等分分类器分类或回归。

可选地，预测模型也可以是同时预测多个算法功能和功能参数的多任务预测模型。例如，神经网络模型就可以同时对多个算法功能和功能参数进行预测和训练。

应理解，图10中的功能属性为预测的算法功能和功能参数。

应理解，预测模型训练时一般尽量使得预测值接近真实值，训练的目标使得预测值和真实值的交叉熵损失loss最小。

应理解，在训练好预测模型之后，还需要对预测模型进行检测，具体地，输入训练图片，比较预测的算法功能和功能参数与训练的算法功能和功能参数的loss值是否符合要求。

图11是本申请实施例提供的拍照模式的生成装置的示例图1100。装置1100可以实现为终端设备，例如带有摄像头和图像处理能力终端设备，也可以是其他任何合适形式的设备。如图11所示，该装置1100包括获取模块1110、预测模块1120和组装模块1130。该装置1100可以实现前面各个方法实施例的各个过程，为了避免重复，不再详细描述。

获取模块1110用于获取场景的预览流。预测模块1120用于根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数，其中所述算法功能用于对所述预览流进行图像或视频的算法处理。组装模块1130用于组装所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数，以生成针对所述场景的拍照模式。

预测模块1120还可以用于确定所述多个算法功能中每个算法功能和对应的功能参数的置信度；根据所述置信度预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数。

具体地，作为一个实施例，预测模块1120可以用于确定所述每个算法功能的第一置信度，以及所述每个算法功能的每个功能参数的第二置信度。或者，作为另一个实施例，预测模块1120可以确定算法功能和功能参数的组合的置信度。

应理解，组装模块1130可以根据算法功能和功能参数的互斥信息，组装所述至少一个算法功能和所述至少一个算法功能的功能参数。

可选地，该装置1100还可以包括训练模块1140，训练用于进行所述预测的预测模型。当然，训练模块1140也可以不和预测模块1120位于同一个硬件装置内，例如，预测模块1120可以在终端设备中实现，训练模块1140可以在云端实现，并将训练好的训练模型事先输入到终端设备中，或者在线更新所述终端设备中的训练模型。

可选地，所述预测模型是根据训练数据预先训练得到的，所述训练数据包括训练图片/视频数据、训练算法功能和所述训练算法功能的功能参数。

可选地，所述训练图片/视频数据可以是在拍摄场景下获得的预览图片或视频数据，经过具有专业背景或擅长拍照的用户或者智能标注系统(如基于神经网络或其他算法的智能系统)对所述预览图片或视频数据进行标注，将标注的算法功能和所述算法功能的功能参数作为训练算法功能和所述训练算法功能的功能参数。

可选地，所述训练图片可以是已拍摄的图片，对所述已拍摄的图片进行评分，将评分高于第一阙值的图片的算法功能和所述算法功能的功能参数作为训练算法功能和所述训练算法功能的功能参数。

应理解，所述预测模型是针对每个算法功能和所述算法功能的功能参数训练的二分类器或神经网络模型，还可以是针对多个算法功能和所述算法功能的功能参数训练的一个神经网络模型。

可选地，获取模块1110还可以获取所预览的场景的特征。

可选地，该装置1100还可以包括匹配模块1150，根据所述场景的特征，将该场景与云端所保存的图片进行匹配，以从云端所保存的图片中查找匹配该场景的图片。此时，云端可以保存与每个图片对应的算法功能及其功能参数。匹配模块1150可以将场景的特征的信息发送至云端，以由云端执行上述匹配图片的操作；也可以从云端预先下载部分最常见的标志性图片(如人像、风景、夜景)以及该标志性图片对应的算法功能和功能参数，以在装置1100本地执行匹配操作，这样可以提供匹配效率。

获取模块1110还可以用于获取云端所保存的、并且匹配该场景的图片所对应的算法功能和所述算法功能的功能参数。

预测模块1120可以将获取模块1100获取的、匹配所述场景的图片所对应的算法功能和算法功能的功能参数，作为所述所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数。例如，可以将所述预览场景与云端所保存的图片进行匹配，如果匹配值高于一定阙值，则开启云端所保存图片的拍照算法功能和所述算法功能的功能参数。

应理解，所述云端所保存的图片可以是美学评分高于第二阙值的图片。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

本申请实施例中的方法，如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质中，基于这样的理解，本申请的技术方案或技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。该存储介质至少包括：U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种拍照模式的生成方法，其特征在于，包括：

获取场景的预览流；

根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数，其中所述算法功能用于对所述预览流进行图像或视频的算法处理；

组装所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数，以生成针对所述场景的拍照模式。

2.根据权利要求1所述的方法，其特征在于，所述根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数，包括：

确定所述多个算法功能中每个算法功能和对应的功能参数的置信度；

根据所述置信度预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数。

3.根据权利要求2所述的方法，其特征在于，所述确定所述多个算法功能中每个算法功能和对应的功能参数的置信度，包括：

确定所述每个算法功能的第一置信度，以及所述每个算法功能的每个功能参数的第二置信度；或者，

确定算法功能和功能参数的组合的置信度。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述组装所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数，以生成针对所述场景的拍照模式，包括：

根据算法功能和功能参数的互斥信息，组装所述至少一个算法功能和所述至少一个算法功能的功能参数。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

训练用于进行所述预测的预测模型。

6.根据权利要求5所述的方法，其特征在于，所述预测模型是针对每个算法功能和所述算法功能的功能参数训练的二分类器或神经网络模型。

7.根据权利要求5所述的方法，其特征在于，所述预测模型是针对多个算法功能和所述算法功能的功能参数训练的一个神经网络模型。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取场景的预览流还包括：从所述场景的预览流中获取所述场景的特征。

9.根据权利要求8所述的方法，其特征在于，在根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数之前，还包括：

根据所述场景的特征，将所述场景与云端所保存的图片进行匹配，以从所述云端所保存的图片中查找匹配所述场景的图片；

将云端所保存的所述匹配所述场景的图片所对应的算法功能和所述算法功能的功能参数作为所述所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数。

10.一种拍照模式的生成装置，其特征在于，包括：

获取模块，用于获取场景的预览流；

预测模块，用于根据所述场景的预览流，从多个算法功能中预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数，其中所述算法功能用于对所述预览流进行图像或视频的算法处理；

组装模块，用于组装所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数，以生成针对所述场景的拍照模式。

11.根据权利要求10所述的装置，其特征在于，所述预测模块还用于确定所述多个算法功能中每个算法功能和对应的功能参数的置信度；

根据所述置信度预测应用于所述场景的至少一个算法功能和所述至少一个算法功能的功能参数。

12.根据权利要求11所述的装置，其特征在于，所述预测模块具体用于确定所述每个算法功能的第一置信度，以及所述每个算法功能的每个功能参数的第二置信度；或者，所述预测模块具体用于确定算法功能和功能参数的组合的置信度。

13.根据权利要求10至12中任一项所述的装置，其特征在于，所述组装模块具体用于根据算法功能和功能参数的互斥信息，组装所述至少一个算法功能和所述至少一个算法功能的功能参数。

14.根据权利要求10至13中任一项所述的装置，其特征在于，所述装置还包括：

训练模块，训练用于进行所述预测的预测模型。

15.根据权利要求14所述的装置，其特征在于，所述预测模型是针对每个算法功能和所述算法功能的功能参数训练的二分类器或神经网络模型。

16.根据权利要求14所述的装置，其特征在于，所述预测模型是针对多个算法功能和所述算法功能的功能参数训练的一个神经网络模型。

17.根据权利要求10至16中任一项所述的装置，其特征在于，

所述获取模块，还用于从所述场景的预览流中获取所述场景的特征。

18.根据权利要求17所述的装置，其特征在于，所述装置还包括：

匹配模块，用于根据所述场景的特征，将所述场景与云端所保存的图片进行匹配，以从所述云端所保存的图片中查找匹配所述场景的图片；

所述获取模块还用于获取云端所保存的所述匹配所述场景的图片所对应的算法功能和所述算法功能的功能参数；

所述预测模块还用于将所述匹配所述场景的图片所对应的算法功能和所述算法功能的功能参数，作为所述所预测的所述至少一个算法功能和所述至少一个算法功能的功能参数。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码包括用于执行如权利要求1-9中任一项所述的方法的部分或全部步骤的指令。

Images