CN116320716A - 图片采集方法、模型训练方法及相关装置 - Google Patents

Abstract

申请实施例提供了图片采集方法、模型训练方法及相关装置，本申请通过将深度数据加入模型训练，由于深度数据表征了待拍摄对象与电子设备的图像传感器之间的距离，基于凸透镜成像原理中焦距、物距以及像距之间的固定关系，即已知其中两个参数可以得到另外一个参数，可以更好的学习到成像质量好的情况下待拍摄对象，摄像头与图像传感器之间的相对位置关系。经过模型的训练和学习，训练好的第一模型推荐的拍摄参数更加快速准确，基于推荐的拍摄参数采集的图片美学质量更高。并且，样本数据中加入用户使用电子设备过程中产生的多张第一样本图片，可以让电子设备利用本申请推荐的第一拍摄参数采集的图片，既有高质量，又符合用户审美。

Description

图片采集方法、模型训练方法及相关装置

技术领域

本申请涉及计算机技术领域，尤其涉及图片采集方法、模型训练方法及相关装置。

背景技术

随着计算机技术的不断发展，手机等电子设备在人们日常生活中的应用越来越广泛，人们常常用手机拍照，记录生活。图片质量的好坏，很大程度是由光圈值、快门速度、感光度、曝光度、焦距以及景深等拍摄参数决定。用户（尤其是非摄影专业的用户）在拍照时，很难调节出适配拍摄环境的拍摄参数，从而很难得到高质量的图片。

发明内容

本申请实施例提供了图片采集方法、模型训练方法及相关装置，本申请通过将深度数据加入模型训练，由于深度数据表征了待拍摄对象与电子设备的图像传感器之间的距离，基于凸透镜成像原理中焦距、物距以及像距之间的固定关系，即已知其中两个参数可以得到另外一个参数，可以更好的掌控待拍摄对象，摄像头与图像传感器之间的相对位置关系，让调整的拍摄参数在图像传感器的成像质量更好。经过模型的训练和学习，训练好的第一模型推荐的拍摄参数更加快速准确，基于推荐的拍摄参数采集的图片美学质量更高。并且，样本数据中加入用户使用电子设备过程中产生的多张第一样本图片，可以让电子设备利用本申请推荐的第一拍摄参数采集的图片，既有高质量，又符合用户审美。

第一方面，本申请实施例提供了一种图片采集方法，包括：

获取第一预览图片；上述第一预览图片为电子设备显示在取景框中的一张预览图片，上述取景框中显示的预览图片随着电子设备拍摄范围内的待拍摄对象的变化而变化；

将上述第一预览图片以及上述第一预览图片的深度数据输入第一模型，得到第一拍摄参数；上述第一模型是将第一样本数据输入初始模型后，通过前向传播计算得到美学质量评分，并基于上述美学质量评分和梯度值更新上述初始模型的参数得到的，上述梯度值为上述初始模型的模型参数的梯度值；上述第一样本数据包括用户使用电子设备过程中采集的多张第一样本图片、上述第一样本图片的拍摄参数以及上述第一样本图片的深度数据，上述深度数据用于表征待拍摄对象与电子设备的图像传感器之间的距离；

在接收到第一用户操作的情况下，使用上述第一拍摄参数进行图片采集，得到第一目标图片；上述第一用户操作用于触发电子设备采集图片。

本申请实施例中，上述图片采集方法可以理解为后文中的模型应用方法，具体可以由电子设备执行，比如本申请实施例提供的电子设备100执行。

可以理解，在电子设备的拍照过程中，打开相机应用后，光线将通过摄像头到达图像传感器，图像传感器可以通过图像处理得到图片。并且，电子设备的取景框可以用于摄像头拍摄范围内采集到的图片进行实时预览显示，即取景框中显示的预览图片随着电子设备拍摄范围内的待拍摄对象的变化而变化，而不是拍摄并保存下来的固定图片。

在获取到第一预览图片后，电子设备将第一预览图片输入第一模型，本申请实施例中，第一模型可以理解为对初始模型进行训练得到的模型，即训练好的模型。本申请实施例中，输入初始模型进行训练以得到第一模型的输入数据（或者称为样本数据）为第一样本数据，第一样本数据包括用户使用电子设备过程中采集的多张第一样本图片、该第一样本图片的拍摄参数以及深度数据。可以理解，不同的图片的拍摄环境是不同的，因此，每张图片的拍摄参数和深度数据都是不同的，即样本图片与拍摄参数之间一一对应，样本图片与深度数据之间也一一对应。

在一种可能的实现方式中，第一样本数据中第一样本图片的数量大于数量阈值，也就是在用户使用电子设备采集的图片数量达到一定数量阈值后，才将第一样本数据用于训练初始模型，可以使得训练得到的第一模型与用户的适配度更高。

本申请实施例中，图片的拍摄参数（比如第一样本图片的拍摄参数、第二样本图片的拍摄参数等）包括光圈值、快门速度、感光度、曝光度、焦距以及景深。图片的深度数据用于表征待拍摄对象与电子设备的图像传感器之间的距离，示例性地，该深度数据可以是深度图像，获取深度图像的具体方式可以参阅图7的相关描述；也可以是通过激光、或者结构光获取到的待拍摄对象与图像传感器之间的距离数据。

对初始模型进行训练时，将第一样本数据输入初始模型后，通过前向传播计算得到美学质量评分，并基于该美学质量评分和梯度值更新初始模型的参数，在满足结束条件的情况下可以得到第一模型，具体可以参阅后文有关模型训练的相关方法，比如图10的相关描述。本申请实施例中，图片的美学质量评分可以基于训练好的美学评分模型和训练好的质量评分模型得到，美学评分模型的训练和应用、质量评分模型的训练和应用可以参阅后文“图片的美学质量评价”术语部分以及离线训练阶段中的描述。

可以理解的，在得到第一拍摄参数后，电子设备可以使用第一拍摄参数对第一预览图片进行调整。比如第一预览图片的快门是1秒，而第一拍摄参数中的快门为0.5秒，那么电子设备可以将快门从1秒调整到0.5秒，调整后，原本的第一预览图片将发生变化。在接收到第一用户操作后，电子设备就可以使用第一拍摄参数采集图片，得到第一目标图片，第一目标图片可以理解为拍摄并保存下来的图片，一般地，该第一目标图片不会在取景框中显示。

上述第一用户操作用于触发电子设备采集图片，可以理解，实际情况下可以通过多种方式触发电子设备采集图片，比如可以是作用在拍摄控件上的点击操作，也可以是作用在音量减弱按键上的按压操作等。

结合第一方面，在一种可能的实现方式中，上述将上述第一预览图片输入第一模型，得到第一拍摄参数，包括：

在上述第一预览图片的美学质量评分小于或等于第一阈值的情况下，将上述第一预览图片以及上述第一预览模型的深度数据输入上述第一模型，得到上述第一拍摄参数。

本实施例中，电子设备获取到第一预览图片后，先获取第一预览图片的美学质量评分，在第一预览图片的美学质量评分小于或等于第一阈值的情况下，可以认为第一预览图片本身的质量较差，因此，需要对拍摄参数进行调节以得到质量更好的图片。本申请实施例中，第一阈值的设定可以有多种方式，比如可以是经验值。在电子设备中存储有用户拍摄的多张照片时，上述第一阈值可以设定为大于平均美学质量评分的数值。

应理解，在第一预览图片的美学质量评分小于或等于第一阈值的情况下，可以认为低于预览图片本身的图片质量较好，电子设备可以继续使用当前第一预览图片的拍摄参数采集图片。

结合第一方面，在一种可能的实现方式中，第一样本图片的美学质量评分大于或等于第二阈值。可以理解，第一样本图片为用户使用电子设备的过程中采集的图片，但是采集到的图片可能质量参差不齐，质量好的图片更能反映出用户审美。将美学质量评分大于或等于第二阈值的图片作为第一样本图片进行训练，相比直接将全部图片拿去训练，可以更好地学习到用户的审美习惯。

本申请实施例中，第二阈值可以根据多种情况设定，比如可以设定成比第一阈值大的值，也可以根据用户收藏的图片确定，可以设成用户收藏的多张图片的平均美学质量评分。

结合第一方面，在一种可能的实现方式中，上述将上述第一预览图片以及上述第一预览图片的深度数据输入第一模型，得到第一拍摄参数之前，上述方法还包括：

获取初始模型；上述初始模型是将第二样本数据输入待训练模型训练得到的，上述第二样本数据包括从多种拍摄环境中采集的多张第二样本图片、上述第二样本图片的拍摄参数以及上述第二样本图片的深度数据。

本申请实施例中，上述第一模型、初始模型以及待训练模型的类别为深度学习模型。其中，上述第一模型可以理解为后文实施例中的个性化推荐模型、初始模型可以理解为后文实施例中的离线模型，因此，对待训练模型训练得到初始模型的过程可以理解为后文实施例中的离线训练阶段，对初始模型训练得到第一模型的过程可以理解为后文实施例中的在线训练阶段。示例性地，电子设备利用第一拍摄参数采集图片或利用第二拍摄参数采集图片可以理解为后文实施例中电子设备在“个性化推荐模式”下采集图片。

本申请实施例中，第二样本数据与第一样本数据的来源不同，第一样本数据来自用户使用电子设备过程采集的图片，但是不限定第二样本数据的来源，可以来自不同的电子设备。来自不同的用户。

第二样本数据包括从多种拍摄环境中采集的多张第二样本图片、上述第二样本图片的拍摄参数以及上述第二样本图片的深度数据，有关第二样本数据的拍摄参数和深度数据与前文第一样本图像的拍摄参数和深度数据是类似的，这里不再赘述。

应理解，采集第二样本图片的拍摄环境种类越多，模型的学习能力越好，利用训练好的第一模型推荐的拍摄参数采集的图片质量越好。示例性地，从地点类型划分，采集第二样本图片的拍摄环境可以是家庭环境、办公室环境、自然风光环境、公共交通环境等。示例性地，还可以是夜景环境、强光环境等。示例性地，本申请实施例中第二样本数据的采集方式还可以参阅图8，图9（a）和图9（b）的相关描述。

在一些实施例中，采集上述第二样本数据的拍摄环境包括弱光环境，上述弱光环境中的光线强度小于或等于第三阈值。本申请实施例中，上述第三阈值可以设定为经验值。本实施例中，采集第二样本数据的拍摄环境包括弱光环境可以让训练好的第一模型在弱光环境下实现快速对焦，即缩短对焦时长。

结合第一方面，在一种可能的实现方式中，上述方法还包括：

在接收到第二用户操作的情况下，获取第二预览图片；上述第二预览图片与上述第一预览图片不同的另一张预览图片，上述第二用户操作用于触发使用上述初始模型；

将上述第二预览图片以及上述第二预览图片的深度数据输入上述初始模型，得到第二拍摄参数；

在接收到第三用户操作的情况下，使用上述第二拍摄参数进行图片采集，得到第二目标图片；上述第三用户操作用于触发电子设备采集图片。

本实施例中，在接收到第二用户操作后，电子设备可以在拍照过程中使用初始模型推荐参数。其中，第二用户操作触发使用上述初始模型，第二用户操作比如可以是删除第一模型的用户操作，在第一模型被删除后，电子设备可以继续使用原本的初始模型推荐拍摄参数。第二用户操作比如可以是触发恢复出厂设置的操作，在上述情况下，电子设备可以保留第一模型。

上述第二预览图像的来源与第一预览图像类似，可以是电子设备的取景框中的任一与第一预览图片不同的预览图片。本实施例中，在第一模型被停用后，电子设备可以继续使用初始模型进行拍摄参数推荐。由于初始模型的训练中加入了深度数据，深度数据表征待拍摄对象与电子设备的图像传感器之间的距离，基于凸透镜成像原理中焦距、物距以及像距之间的固定关系，即已知其中两个参数可以得到另外一个参数，可以更好的掌控待拍摄对象，摄像头与图像传感器之间的相对位置关系，让调整的拍摄参数在图像传感器的成像质量更好。经过模型的训练和学习，训练好的第一模型推荐的拍摄参数更加快速准确，基于推荐的拍摄参数采集的图片美学质量更高。

第二方面，本申请实施例提供了一种模型训练方法，包括：

获取第二样本数据，上述第二样本数据包括从多种拍摄环境中采集的多张第二样本图片、上述第二样本图片的拍摄参数以及上述第二样本图片的深度数据；

将上述第二样本数据输入待训练模型，计算得到美学质量评分；

基于上述美学质量评分更新上述待训练模型，得到初始模型。

结合第二方面，在一种可能的实现方式中，上述将上述第二样本数据输入待训练模型，计算得到美学质量评分，包括：

将上述第二样本数据输入待训练模型，调整输入的第二样本图片的拍摄参数，得到候选图像；

基于上述候选图像的美学质量评分，计算上述待训练模型的模型参数的梯度值；

基于上述梯度值以及上述候选图片的美学质量评分更新上述待训练模型，得到上述初始模型。

本实施例中，调整输入的第二样本图片的拍摄参数可以得到候选图像，可以理解，如图8所示的样本数据采集方式，本申请实施例中的样本数据是基于同一拍摄环境的拍摄过程得到的，拍摄过程中拍摄参数会发生变化；且在初始模型的训练过程中，会将大量图片一起输入待训练模型进行训练。因此，待训练模型输出新的拍摄参数后，可以得到相当于将新的拍摄参数作用到原始图片后的新图片，即候选图像，从而得到候选图像的美学质量评分。

本申请实施例中，可以在输出的美学质量评分大于或等于阈值的情况下结束训练，得到初始模型，该阈值可以理根据实际情况设定，可以设定成经验值，如果以美学质量评分为百分制的情况下，为了使初始模型的推荐效果比较好，可以设定为大于或等于90，小于100的数值。

结合第二方面，在一种可能的实现方式中，采集上述第二样本数据的拍摄环境包括弱光环境，上述弱光环境中的光线强度小于或等于第三阈值。

第三方面，本申请实施例提供了一种图片采集装置，包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的单元。

第四方面，本申请实施例提供了一种模型训练装置，包括用于执行第二方面或第二方面的任意可能的实现方式中的方法的单元。

第五方面，本申请实施例提供一种电子设备，所述电子设备包括处理器、存储器以及显示屏；上述显示屏用于显示，所述收发器，用于接收信号或者发送信号；所述存储器与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述处理器调用所述计算机指令，以使第一方面或第一方面的任意可能的实现方式中的方法被执行。

第六方面，本申请实施例提供一种芯片，包括逻辑电路和接口，所述逻辑电路和接口耦合；所述接口用于输入和/或输出代码指令，所述逻辑电路用于执行所述代码指令，以使第一方面或第一方面的任意可能的实现方式中的方法被执行。其中，上述第一方面或第一方面的任意可能的实现方式中的方法的显示步骤可以由芯片控制显示屏实现。

第七方面，本申请实施例公开了一种计算机程序产品，上述计算机程序产品包括程序指令，上述程序指令当被处理器执行时，使第一方面或第一方面的任意可能的实现方式中的方法被执行。

第八方面，本申请实施例提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当上述计算机程序在处理器上运行时，使第一方面或第一方面的任意可能的实现方式中的方法被执行。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种对焦耗时的对比图；

图2是本申请实施例提供的一种开启电子设备拍摄功能的用户界面示意图；

图3是本申请实施例提供的一种开启个性化推荐模式的用户界面示意图；

图4（a）-图4（b）是本申请实施例提供的一种从AI模式切换到个性化推荐模式的用户界面示意图；

图5是本申请实施例提供的一种从人像模式切换到个性化推荐模式的用户界面示意图；

图6是本申请实施例提供的一种系统架构图；

图7是本申请实施例提供的一种的生成深度图像的示意图；

图8是本申请实施例提供的一种样本数据采集的场景示意图；

图9（a）是本申请实施例提供的一种样本数据的示意图；

图9（b）是本申请实施例提供的一种获取样本数据的流程示意图；

图10是本申请实施例提供的一种神经网络模型训练的架构图；

图11是本申请实施例提供的一种图片采集方法的流程示意图；

图12是本申请实施例提供的一种端侧自学习的方法流程示意图；

图13是本申请实施例提供的一种端侧自更新的方法流程示意图；

图14是本申请实施例提供的一种图片采集方法的流程示意图；

图15是本申请实施例提供的一种电子设备100的结构示意图；

图16是本申请实施例提供的一种电子设备100的软件结构框图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

本申请的说明书、权利要求书及附图中的术语“第一”、“第二”、“第三”以及“第四”等是用于区别不同对象，而不是用于描述特定顺序。还应理解，本申请实施例中，步骤前的编号是为了便于理解和描述方案而作出的，而不应该理解为对步骤执行顺序的限定。

随着计算机科学技术的不断发展，手机等电子设备的应用越来越广泛。例如，日常生活中，人们常常用手机拍照，以记录生活的美好瞬间。本申请实施例提供了图片采集方法、模型训练方法及相关装置，电子设备可以在图片采集过程中，自动调整出适配拍摄环境的拍摄参数，并利用调整后的拍摄参数采集图片，以得到美学质量高的图片。电子设备可以根据用户的拍摄喜好调整拍摄参数，并利用调整后的拍摄参数采集图片，以得到更加符合用户审美的图片，提高用户体验。

另外，相比其他方案，电子设备在弱光环境下可以以更短的时间完成对焦，即电子设备的对焦耗时更短。本申请实施例中，弱光环境可以理解为光线强度低于强度阈值的环境，比如夜幕降临后的乡村、阴雨天气下的公园等拍摄环境中的光线非常弱，可以理解为弱光环境。其中，强度阈值可以根据实际情况设定，本申请对此不作限定。示例性地，在拍摄图片时，电子设备可以获取像素点的光线信息以判断光线强度，进而确定是否为弱光环境。可选地，弱光环境也可以称为暗光环境，由于弱光环境中像素点的对比度差异较小，因此，弱光环境一般也是低反差环境。

下面介绍本申请实施例中相关的一些概念。

1、拍摄参数

可以理解的是，电子设备采集的图片很大程度是由光圈值、快门速度、感光度（ISO）、曝光度、焦距以及景深等拍摄参数决定，这些拍摄参数会以某种特定的规律影响采集到的图片质量。以下分别进行介绍。

光圈值可以理解为镜头的焦距与镜头通光直径的比值。光圈值越大，进入摄像头的光线越多；光圈值越小，进入摄像头的光线越少。光圈值越大，景深越浅，图片的背景虚化越明显；光圈值越小，景深越深，背景中的景物越清晰。因此，在需要突出待拍摄对象时，可以使用较大光圈以突出待拍摄对象。

本申请实施例中，待拍摄对象可以理解为任意可以被拍摄图片的对象，比如可以是人、动物、植物、建筑等，本申请对此不作限定。

快门可以理解为控制曝光时间的装置，快门速度可以理解为快门保持开启状态的时长，即快门从开启状态到关闭状态之间的时间间隔，在上述时间间隔内，待拍摄对象可以在成像元件上留下影像。可以理解，快门速度越大，运动的待拍摄对象在成像元件上呈现的图片越清晰；反之，快门速度越小，运动的待拍摄对象在成像元件上呈现的图片就越模糊。

曝光时间可以理解为将光投射到摄像头的感光材料的感光面上，快门所要打开的时间。曝光时间可以由感光材料的感光度和对感光面上的照度确定。可以理解，曝光时间越长，进入摄像头的光越多。因此，为了接收的光线适量，弱光环境下需要长的曝光时间；亮光环境下需要短的曝光时间。可选地，快门速度可以理解为曝光时间。

曝光度也可以称为曝光值，基于快门速度和光圈值组合来表示摄像头的镜头通光能力。

ISO可以用于衡量成像元件对于光的灵敏程度。在固定快门速度不变的情况下，ISO越小，电子设备对光线的敏感程度越低，拍摄的图片越暗；反之，ISO越大，电子设备对光线的敏感程度越高，拍摄的图片越亮。

对于某一个透镜来说，焦点可以理解为与透镜的主轴平行的光穿过透镜后汇聚的点，对应地，焦距可以理解为透镜的光学中心与透镜的焦点之间的距离。本申请实施例中，焦距可以理解为电子设备的光学系统的整体焦距。

待拍摄对象与成像元件之间的距离可以称为对焦距离，对焦可以理解为在待拍摄对象与成像元件不变（也即对焦距离不变）的情况下，通过调节镜片的位置（也即调节镜片光学中心到成像元件之间的距离），以使待拍摄对象反射的光线恰好汇聚在成像元件上，呈现清晰的图片的过程。

本申请实施例中，成像元件可以理解为将光信号转换为电信号的元件，上述成像元件可以是底片、电荷藕合器件图像传感器（charge coupled device，CCD）、互补性氧化金属半导体CMOS（complementary metal-oxide semiconductor，CMOS）等。成像元件也可以称为成像器件、成像传感器、图像传感器、图像采集器、光电转换器等。

对焦也可以形象地理解为使对焦区域的图像清晰度达到阈值的过程。本申请实施例中，对焦区域可以理解为对焦点所分布的区域。示例性地，对焦区域可以通过多种方式确定，比如可以通过用户手动选定，也可以由电子设备自动确定。电子设备可以包括触摸屏，用户可以点击触摸屏以选定对焦区域。又示例性地，电子设备可以识别拍摄场景中的物体（比如花卉、动物等），以该物体所在区域为对焦区域。在对焦区域选定后，电子设备可以通过马达控制镜头或镜片的移动使对焦区域的图像清晰度达到清晰度阈值，以实现对焦。

可以理解的是，在完成对焦后，对焦区域内的成像清晰度大于清晰度阈值。因此，如果成功对焦后采集图片，那么图片中包括清晰度大于该清晰度阈值的区域，如果在对焦完成前采集图片，那么图片中不包括清晰度大于该清晰度阈值的区域。为了便于描述，可以将对焦完成后采集的图片称为对焦图片，将对焦完成前采集的图片称为失焦图片，可以理解，对焦图片的美学质量评分比失焦图片的美学质量评分高。可选地，对焦图像也可以称为对焦图片或对焦照片，失焦图像也可以称为失焦图片或失焦照片，本申请对此不作限定。

景深可以理解为对焦完成后，焦点前后能够呈现的清晰图像范围。景深小，图片中看得清楚的范围小；深景大，图片中看得清楚的范围大。景深可以受光圈值的大小、焦距的长短、电子设备与待拍摄对象之间的拍摄距离的远近而变化。例如，光圈值小时景深大，可以适用于拍摄风景等；光圈值大时景深小，可以适用于拍摄人像等。又例如，在光圈值固定的情况下，焦距越长，景深越浅；焦距越短，景深越大。

可以理解的是，在对焦完成后，景深是可以通过景深计算公式得到的，景深计算公式可以是：（2×弥散圆直径×镜头焦距的平方×光圈值×对焦距离的平方）/（镜头焦距的4次方-弥散圆直径的平方×光圈值的平方×对焦距离的平方）。

电子设备可以通过自动对焦（auto focus，AF）、自动曝光（automatic exposure，AE）、自动白平衡（auto white balance，AWB）和3A（AF、AE和AWB），以实现部分拍摄参数的自动调节。

对焦图像与失焦图像相比，对焦图像中的轮廓边缘清晰（也即清晰度更高），因此，对焦图像的对比度梯度更大。基于上述原理，在一些方案中，自动对焦可以基于成像图像的对比度信息实现。示例性地，电子设备可以控制马达按照预设步数去移动镜头，在镜头被推动到某一个预设位置时，获取该位置处成像图像的对比度信息。电子设备可以统计镜头整个运动过程中的对比度信息，确定出成像图像的对比度梯度最大的镜头位置为目标位置，最后控制马达将镜头移动到该目标位置，以完成自动对焦。

示例性地，用于评价图片清晰度的函数可以称为清晰度评价函数，由于图片清晰度用于调节焦距，清晰度评价函数也可以称为调焦评价函数。其中，清晰度评价函数可以是熵函数、梯度函数等，本申请对此不作限定。

但是，基于清晰度评价函数实现自动对焦的耗时长。另外，弱光环境中常常会因为提高感光度而产生较多噪点，噪点将导致对焦准确率和效率都降低。

本申请实施例提供的方法可以缩短对焦耗时。为便于理解，示例性地，请参阅图1，图1是本申请实施例提供的一种对焦耗时的对比图。

本申请实施例中，对焦耗时可以理解为，将镜头指向待拍摄对象的时刻与待拍摄对象在成像图像上的清晰度大于清晰度阈值的时刻之间的时间间隔，成像图像的清晰度大于清晰度阈值时可以认为对焦完成。可选地，对焦耗时也可以称为对焦时长。

如图1中的（a）可以理解为采用其他方案在弱光环境中拍摄图片所需要的对焦耗时，如图1中的（b）可以理解为采用本方案在弱光环境中拍摄图片所需要的对焦耗时。如图1所示，对焦耗时T₁小于对焦耗时T₂，即采用本方案中拍摄图片所需要的对焦耗时更短。

2、图片的美学质量评价

本申请实施例中，图片评价维度可以包括图片质量评价以及图片美学评价，电子设备可以从质量和美学两个方向对图片进行评价，分别得到图片的质量评分和美学评分。

本申请实施例中，可以从质量维度对图片质量进行评价，该质量维度可以是否失焦、是否有噪点，是否有重影以及清晰度等维度。

本申请实施例中，可以从美学维度对图片美学进行评价，该美学维度可以是构图、颜色、内容主体等维度，比如图片的色彩是否丰富和谐、光影层次；图片中的主体是否完整，是否可以被识别；是否可以识别出图片中的主体的类别；是否可以分别出图片中的主体和背景等。

在一种可能的实现方式中，可以采用人工方式对图像进行质量评分和美学评分。在另一种可能的实现方式中，电子设备可以利用特征分类器或特征提取器从图片中提取特征，然后基于特征与质量或美学之间的关系对图片进行分类，进而得到质量评分或美学评分。在又一种可能的实现方式中，电子设备可以基于深度学习得到质量评分和美学评分、比如可以通过神经网络模型提取图片的全局特征和局部细节特征，然后将评估问题转换为分类问题、回归问题或排序问题以得到图片质量评分和图片美学评分。

可以理解的是，可以结合质量评价维度和美学评价维度两个方向得到图片的美学质量评分，也可以单独基于质量评价维度得到质量评分，单独基于美学评价维度得到美学评分，然后基于质量评分和美学评分得到最终的美学质量评分。本申请实施例中，图片的美学质量评分可以对质量评分和美学评分加权得到，具体加权系数可以根据实际情况设定，本申请对此不作限定，比如质量评分的加权系数可以是1，美学评分的加权系数可以是0.5。

为了得到更好看的图片，电子设备可以根据不同的拍摄场景预设拍摄参数，比如适合拍摄人像的人像参数、适合拍摄夜景的夜景参数、适合拍摄植物的参数等。但是，不同的用户的审美不同，预设的拍摄参数不一定适合各类用户；另外，随着时间推移，光学器件的磨损老化将不再适配预设的拍摄参数，导致基于预设拍摄参数采集的图片质量并不高。

本申请实施例提供的方法，电子设备可以根据用户的拍摄喜好调整拍摄参数，得到符合用户审美、质量高、美学价值高的图片。在支持多种方案（即多种可以调节拍摄参数的方案）时，电子设备可以根据用户的选择来确定拍摄参数根据哪一种方案得到。

为便于理解，可以将电子设备使用本申请时的拍摄模式称为个性化推荐模式，其他拍摄模式比如可以是人像模式、夜景模式、人工智能（artificial intelligence，AI）模式、运动模式等。

为便于理解，接下来结合用户界面图对本申请提供的方法进行介绍。

图2是本申请实施例提供的一种开启电子设备拍摄功能的用户界面示意图。

图3是本申请实施例提供的一种开启个性化推荐模式的用户界面示意图。

图4（a）-图4（b）是本申请实施例提供的一种从AI模式切换到个性化推荐模式的用户界面示意图。

图5是本申请实施例提供的一种从人像模式切换到个性化推荐模式的用户界面示意图。

如图2所示，电子设备可以显示用户界面201，用户界面201可以理解为电子设备的主屏幕界面，或者也可以称为主界面、第0屏等。示例性地，用户界面201可以包括状态栏2011、时间组件2012、天气组件2013以及应用软件区域2014，应用软件区域2014示例性地可以包括计算器、相册、日记本、录音机、浏览器、短信、相机以及联系人应用软件的图标。

用户可以通过触摸相机图标以启动电子设备的拍摄功能。如图2中的用户界面201所示，响应于作用在相机图标上的用户操作，例如点击操作，电子设备显示用户界面202。

示例性地，用户界面202可以理解为相机的默认界面。如图2所示，相机可以以拍照模式（即普通拍照模式）为默认模式。用户界面202可以包括个性化推荐模式控件2020、闪光灯控件2021、高动态范围图像（high dynamic range，HDR）控件2022、AI模式控件2023以及设置控件2024。还可以包括取景框2025、模式切换栏2026、已拍图片的回显控件2027、拍摄控件2028、摄像头切换控件2029。

示例性地，个性化推荐模式控件2020可以理解为电子设备开启或关闭个性化推荐模式的开关，例如，在电子设备未开启个性化推荐模式的情况下，用户可以点击个性化推荐模式控件2020让电子设备开启个性化推荐模式；在电子设备开启个性化推荐模式的情况下，用户可以点击个性化推荐模式控件2020让电子设备关闭个性化推荐模式。可以理解，在个性化推荐模式下，电子设备将基于本申请实施例提供的方法调整拍摄参数。为了便于描述，可以将基于本申请实施例提供的方法调整的拍摄参数称为个性化拍摄参数。

类似地，AI模式控件2023可以理解为电子设备开启或关闭AI模式的开关，例如，在电子设备未开启AI模式的情况下，用户可以点击AI模式控件2023让电子设备开启AI模式；在电子设备开启AI模式的情况下，用户可以点击AI模式控件2023让电子设备关闭AI模式。可以理解，在个性化推荐模式下，电子设备将基于AI模式设定的相关方法调整拍摄参数。为了便于描述，可以将基于AI模式设定的相关方法调整的拍摄参数称为AI拍摄参数。

取景框2025可以用于摄像头拍摄范围内采集到的图片进行实时预览显示，实时显示的图片可以称为预览图片或者预览图像。如图2所示，电子设备将摄像头指向待拍摄对象，取景框2025中实时显示采集到的图片。示例性地，用户可以点击取景框2025的任一位置以确定对焦区域，使得电子设备基于对焦区域进行对焦。

模式切换栏2026可以包括多个不同类型的模式控件，比如可以包括录像模式控件、专业模式控件、拍照模式控件以及人像模式控件，还可以包括更多控件，用于切换到其他拍摄模式，比如延时摄影模式、全景模式等。

如图2所示的个性化推荐模式控件2020、闪光灯控件2021、HDR控件2022、AI模式控件2023表示电子设备关闭个性化推荐模式，关闭闪光灯、关闭高动态范围图像功能以及关闭AI模式。

为了便于理解电子设备开启个性化推荐模式的过程以及变化，请参阅图3。

示例性地，电子设备显示用户界面301，如图3中的用户界面301所示，电子设备处于默认拍照模式，在默认拍照模式下，电子设备基于预设的拍摄参数（预设的固定拍摄参数）进行图片采集，因此，电子设备在取景框中显示使用预设的拍摄参数得到的预览图片A。

响应于作用在个性化推荐模式控件2020上的用户操作，电子设备开启个性化推荐模式，电子设备显示用户界面302。

示例性地，用户界面302可以包括提示框3020，用于输出切换后的拍摄模式特征，例如用户界面302中，在电子设备开启个性化推荐模式时，提示框3020显示“个性化拍摄参数”这一文本内容。

如用户界面302中的个性化推荐模式控件2020，电子设备开启个性化推荐模式。在个性化推荐模式下，电子设备基于个性化拍摄参数进行图片采集，因此，电子设备在取景框中显示使用个性化拍摄参数得到的预览图片B。

对比用户界面301和用户界面302可以看出，采用个性化拍摄参数得到的预览图片B与采用预设的拍摄参数得到的预览图片A不同，且预览图片B的质量相比预览图片A的质量更好（曝光更加合适）。

本申请实施例中，个性化推荐模式与其他拍摄模式并不冲突，以个性化推荐模式与AI模式之间的切换为例，请参阅图4（a）-图4（b）。

假设电子设备显示用户界面401，如用户界面401中的个性化推荐模式控件2020和AI模式控件2023所示，电子设备关闭个性化推荐模式和AI模式，处于默认拍照模式。上述情况下，电子设备基于预设的拍摄参数进行图片采集，因此，电子设备在取景框中显示使用预设的拍摄参数得到的预览图片C。

响应于作用在AI模式控件2023上的用户操作，电子设备开启AI模式，电子设备显示用户界面402。用户界面402中的AI模式控件2023表示电子设备处于AI模式。

在用户主动开启AI模式后，电子设备自动关闭个性化推荐模式。由于电子设备本身已经关闭个性化推荐模式，因此，个性化推荐模式控件2020保持关闭状态，如用户界面402中的个性化推荐模式控件2020所示。

示例性地，如用户界面402所示，电子设备开启AI模式时，提示框3020显示“AI拍摄参数”这一文本内容。

在AI模式下，电子设备基于AI拍摄参数进行图片采集，因此，电子设备在取景框中显示使用AI拍摄参数得到的预览图片D。对比用户界面401和用户界面402可以看出，采用预设的拍摄参数得到的预览图片C与采用AI拍摄参数得到的预览图片D不同。

如图4（b）中的用户界面403所示，在电子设备关闭个性化推荐模式，开启AI模式，取景框中显示的预览图片为预览图片D，响应于作用在个性化推荐模式控件2020上的用户操作，电子设备开启个性化推荐模式，显示用户界面404。

上述过程中（从用户界面403切换到用户界面404的过程中），电子设备的个性化推荐模式控件2020从关闭状态切换为打开状态，电子设备的AI模式控件2023从打开状态切换为关闭状态。其中，个性化推荐模式控件2020的状态变化由用户操作而触发，AI模式控件2023的状态变化由个性化推荐模式控件2020的状态变化触发。即电子设备开启个性化推荐模式后，默认（主动）关闭AI模式。

在个性化推荐模式下，电子设备基于个性化拍摄参数进行图片采集，因此，电子设备在取景框中显示使用个性化拍摄参数得到的预览图片E。对比用户界面403和用户界面404可以看出，采用个性化拍摄参数得到的预览图片E与采用AI拍摄参数得到的预览图片D不同。

又示例性地，以个性化推荐模式与人像模式之间的切换为例，请参阅图5。为便于描述，将可以将基于人像模式设定的相关方法调整的拍摄参数称为人像拍摄参数。

示例性地，电子设备显示用户界面501，即电子设备处于人像模式。人像模式下个性化推荐模式控件2020处于关闭状态。用户界面501中包括光圈控件5011以及人像参数调节控件5010。

光圈控件5011，用于调节光圈值，以控制拍摄的图像中背景的虚化程度。

人像参数调节控件5010，用于接收用户设定的人像拍摄参数。比如可以是用户选择的滤镜、也可以是用户设定的美颜参数等。可以理解的是，人像拍摄参数包括基于人像参数调节控件5010得到的参数，比如，如果用户未通过人像参数调节控件5010设定拍摄参数，那么人像拍摄参数为预设的、用于人像拍摄的固定拍摄参数；如果用户通过人像参数调节控件5010设定了拍摄参数，那么人像拍摄参数为用户设定的拍摄参数。

在人像模式下，电子设备基于人像拍摄参数进行图片采集，因此，电子设备在取景框中显示使用人像拍摄参数得到的预览图片F。响应于作用在用户界面501中个性化推荐模式控件2020上的用户操作，电子设备显示用户界面502。

上述过程中（从用户界面501切换到用户界面502的过程中），电子设备的个性化推荐模式控件2020从关闭状态切换为打开状态，电子设备的人像参数调节控件5010从打开状态切换为关闭状态。其中，个性化推荐模式控件2020的状态变化由用户操作而触发，人像参数调节控件5010的状态变化由个性化推荐模式控件2020的状态变化触发。即电子设备开启个性化推荐模式后，默认（主动）停用人像拍摄参数。

需要说明的是，用户界面502中个性化推荐模式控件2020处于开启状态，人像参数调节控件5010处于关闭状态，人像模式也被选定，虽然从界面表现上有冲突，即既处于人像模式，又处于个性化推荐模式。但是，由于电子设备内部使用个性化参数采集图片（而不是人像拍摄参数），应该理解为电子设备处于个性化推荐模式。或者可以理解为个性化推荐模式的优先级高于人像模式，其他拍摄模式与个性化推荐模式之间的关系可以类推，比如夜景模式。

由于个性化推荐模式中使用的拍摄参数得到的图片更加符合用户审美，且美学质量更高，在其他拍摄模式中设置个性化推荐模式开启入口，可以更加方便用户体验不同拍摄参数的拍摄效果，更快得到用户满意的图片，增加用户的拍照体验。

在个性化推荐模式下，电子设备基于个性化拍摄参数进行图片采集，因此，电子设备在取景框中显示使用个性化拍摄参数得到的预览图片G。对比用户界面501和用户界面502可以看出，采用个性化拍摄参数得到的预览图片G与采用人像拍摄参数得到的预览图片F不同，预览图像G中的背景虚化程度小于预览图片F的背景虚化程度，且清晰度更高。

可选地，在用户界面502的基础上，响应于作用在个性化推荐模式控件2020上的用户操作，电子设备可以关闭个性化推荐模式，电子设备可以切换到用户界面501所示的人像模式，使用历史设定的人像拍摄参数采集图片。

以上结合用户界面示意图从用户应用角度对本申请实施例提供的方法进行了介绍，接下来从内部数据处理角度对申请实施例提供的方法进行介绍。为便于理解，可以将本申请实施例提供的方法划分为模型训练方法和模型应用方法。

1、模型训练方法

本申请实施例提供的模型训练方法涉及计算机视觉的处理，具体可以应用于数据训练、机器学习、深度学习等数据处理方法，对样本数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最终得到训练好的神经网络模型。并且，本申请实施例中的模型训练过程可以划分为离线训练阶段和在线训练阶段。

本申请实施例中，离线训练阶段可以形象地理解为从无到有得到初始版本模型的阶段。示例性地，初始版本模型也可以称为离线模型、强化学习模型，为便于描述，后续统一称为离线模型。应理解，本申请实施例中的离线模型是离线训练阶段训练好的模型。

本申请实施例中，在线训练阶段可以形象地理解为用户使用过程中对离线模型进一步训练得到的、适配用户的模型的阶段。示例性地，在线训练阶段训练得到的模型可以称为在线模型、个性化推荐模型，为便于描述，后续统一称为个性化推荐模型。可以理解，用户使用过程是一个不确定的长时间过程，在此过程中，电子设备可以对个性化推荐模型进行不断更新迭代，比如可以从离线模型迭代到第一版个性化推荐模型，再从第一版个性化推荐模型迭代到第二版个性化推荐模型等，直到满足迭代次数或者个性化推荐模型的效果满足一定条件，可以停止个性化推荐模型的迭代。

可以理解的是，不同用户使用习惯和审美不同，不同用户使用的电子设备中产生的数据不同，那么不同用户的电子设备将得到不同的个性化推荐模型。还应理解，即使是同一个用户，使用不同电子设备的频率不同，场合不同等因素都将导致电子设备中产生的数据不同，那么该用户的不同电子设备也将得到不同的个性化推荐模型。因此，本申请实施例中，可以认为个性化推荐模型与电子设备之间存在一一对应关系，即不同的电子设备可以对应得到不同的个性化推荐模型。

2、模型应用方法

本申请实施例提供的模型应用方法可以运用上述模型训练方法训练好的模型进行图片采集，该模型应用方法也可以理解为上述图片采集方法。

示例性地，在拍摄图片时，电子设备可以将预览图片输入离线模型，以离线模型输出的拍摄参数对预览图片进行调节，以得到美学质量高的图片。又示例性地，在拍摄图片时，电子设备可以将预览图片输入个性化推荐模型，以个性化推荐模型输出的拍摄参数对预览图片进行调节，并且基于该拍摄参数采集图片，得到更加符合电子设备的用户的审美的高质量图片。

需要说明的是，本申请实施例提供的模型训练方法和模型应用方法是基于同一个构思产生的，也可以理解为一个系统中的两个部分，或一个整体流程的两个阶段：如模型训练阶段和模型应用阶段。

为了便于理解，示例性地，请参阅图6，图6是本申请实施例提供的一种系统架构图。

如图6所示的系统架构图，数据采集设备601用于采集样本数据。可以理解，样本数据用于训练模型，可以存入数据库602中。可选地，样本数据也可以称为训练数据。

训练设备603可以是任意能够训练模型的电子设备，比如可以是服务器。训练设备603包括离线训练模块604，可以基于数据库602中维护的样本数据训练得到目标模型，该目标模型可以理解为离线训练阶段训练好的模型，即离线模型。在该目标模型为离线模型的情况下，该离线模型可以是通过训练初始深度学习模型得到的。

在实际的应用中，数据库602中维护的样本数据不一定都来自于数据采集设备601的采集，也有可能是从其他设备接收得到的。另外，训练设备603也除了基于数据库602维护的样本数据进行目标模型的训练，也有可能从服务器或其他地方获取样本数据进行模型训练，也就是说，上述描述不应该作为对本申请实施例的限定。

训练设备603训练得到的目标模型可以应用于不同的系统或设备中，如应用于图6所示的执行设备605，执行设备605可以是本申请实施例提供的电子设备100，它的产品形态可以是手机终端、平板电脑以及相机等。因此，执行设备605也可以形象地理解为目标模型的应用设备。

如图6所示，执行设备605包括输入数据采集模块606，用于获取输入数据。可选地，输入数据采集模块606还可以用于对采集到的输入数据进行预处理，以适配目标模型的输入数据要求，比如格式要求，数据量要求等。

执行设备605还包括计算模块607，用于基于目标模型的规则，对输入数据采集模块606输出的数据执行计算等相关的处理过程，然后得到输出数据。

执行设备605对输入数据进行预处理，或者在执行设备605的计算模块607执行计算等相关的处理过程中，执行设备605可以调用数据存储系统608中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统608中。

在一些实施例中，训练设备603中还可以包括自更新模块609，可以基于样本数据训练得到新的目标模型。在样本数据可以通过执行设备605得到。示例性地，训练设备603可以通过通信连接与执行设备605进行数据传输，在训练得到新的目标模型过程中，自更新模块609可以获取数据存储系统608中维护的数据，将其作为样本数据进行训练。

可以理解的是，在得到新的目标模型后，执行设备605可以用新的目标模型替换掉旧的目标模型。新的目标模型可以理解为在线训练阶段训练好的个性化推荐模型。在目标模型为个性化推荐模型的情况下，该个性化推荐模型可以是通过训练历史目标模型（比如离线模型或旧版本个性化推荐模型）得到的。

可以理解的是，附图6仅是本申请实施例提供的一种系统架构的示意图，图6中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在附图6中，数据存储系统608相对执行设备605是外部存储器，在其它情况下，也可以将数据存储系统608置于执行设备605中。

为便于理解模型训练过程，接下来先介绍一些相关术语。

（a）深度图像。

本申请实施例中，深度图像可以理解为用于表征拍摄环境内不同位置与电子设备的图像传感器之间的距离的图像，也可以称为距离图像。示例性地，在深度图像中，可以用像素值的大小来表征拍摄环境内不同位置与电子设备的图像传感器之间的距离。可以将像素值转化为灰度，灰度越深，表示与图像电子设备的图像传感器之间的距离越近；反之，灰度越浅，表示与图像电子设备的图像传感器之间的距离越远。

可以理解的是，深度图像表征的是深度信息，不同像素点对应各自的深度值，其取值范围不固定。但是，将深度信息转化为灰度信息后，像素点的取值范围为0-255。

在一种可能的实现方式中，可以利用神经网络模型得到深度图像。示例性地，该神经网络模型的主干部分可以是深度残差网络（deep residual network，ResNet）。为便于理解，示例性地，请参阅图7，图7是本申请实施例提供的一种的生成深度图像的示意图。

示例性地，电子设备可以通过两个并列摄像头对同一待拍摄对象进行拍照，得到两张图像，上述两张图像可以分别称为左视图和右视图。如图7所示，将左视图和右视图输入神经网络模型，神经网络模型基于输入的左视图和右视图，经过相关值计算、多维度代价计算等运算得到视差图，进而得到深度图像。

（b）深度学习模型

深度学习的核心原理在于建立多层非线性变换，通过不断增加层数和节点数，使得模型可以捕捉复杂的输入，并且得到更准确的输出。

示例性地，深度学习模型可以是深度神经网络（deep neural networks，DNN）模型、卷积神经网络（convolutional neural network，CNN）模型、循环神经网络（recurrentneural networks，RNN）模型、强化学习（reinforcement learning，RL）模型等。

深度神经网络是一种前馈神经网络。它的网络结构一般由输入层、隐藏层和输出层三部分组成，每一层都有一定数量的神经元单元，神经元单元之间通过权重和偏置的计算输出特征。DNN模型可以被堆叠，由更多的隐藏层，可以用来捕捉输入特征的复杂关系，从而得到更准确的预测结果。

卷积神经网络是一种特殊的DNN模型，它使用卷积运算把多维输入数据抽象成一维特征，并通过增加更多的卷积层来捕捉更复杂的特征。典型的CNN模型由卷积层、池化层和全连接层三部分组成。卷积层使用多组滤波器从输入中捕捉特征，池化层缩减节点数量和参数量，以加快计算速度和减小过拟合可能，全连接层则可以用来决定最终的输出结果。

循环神经网络模型是一类用于处理序列数据的神经网络模型。RNN模型可以理解上下文信息，因此被广泛应用在自然语言处理领域，也可以用于识别时间序列的信息，如语音识别或视频分类。RNN模型一般由多个循环单元（recurrent unit，RU）组成，每一个RU都可以利用上一个RU的输出作为输入，最后的输出可以由多个RU的输出进行结合，以获取更准确的结果。

强化学习模型是一种基于行为学习的机器学习模型，它可以让模型在未知环境中学习行为，并通过反馈函数来逐步改进行为以达到最大化奖励。RL模型一般是由状态空间、动作空间、奖励函数和反馈函数四个部分组成。状态空间表示模型当前的状态，动作空间表示模型可以采取的动作，奖励函数定义模型在特定状态下可以得到的奖励，反馈函数用于根据当前的奖励逐步更新模型的参数以达到最优化。

接下来以时间先后顺序，依次介绍离线训练阶段、离线模型的应用阶段、在线训练阶段以及个性化推荐模型应用阶段。

1、离线训练阶段

本申请实施例中，在离线训练阶段，分别训练得到离线模型、美学评分模型、质量评分模型。

（a）美学评分模型的训练

本申请实施例中，美学评分模型的类别可以是神经网络模型。在训练之前，可以在多种拍摄环境中采集多种不同风格的多张图片，然后以人工的方式给每张图片进行美学评分，得到样本数据。可以理解，样本数据中，每张图片对应一个美学评分。然后，可以在如图6所示的训练设备603中，将样本数据输入待训练神经网络模型进行训练，得到训练好的美学评分模型。

在应用美学评分模型时，将图片输入美学评分模型即可得到该图片的美学评分。

（b）质量评分模型的训练

类似地，本申请实施例中，质量评分模型的类别可以是神经网络模型。在训练之前，可以在多种拍摄环境中采集多种不同风格的多张图片，然后以人工的方式给每张图片进行质量评分，得到样本数据。可以理解，样本数据中，每张图片对应一个质量评分。然后，可以在如图6所示的训练设备603中，将样本数据输入待训练神经网络模型进行训练，得到训练好的质量评分模型。

在应用质量评分模型时，将图片输入质量评分模型即可得到该图片的质量评分。

应理解，本申请实施例中，美学评分模型和质量评分模型是基于不同的神经网络模型的到的，是两个相互独立的模型。

（c）离线模型的训练

本申请实施例中，离线模型的类别可以是深度学习模型中的任一种，比如可以是CNN。也可以是强化学习模型。

示例性地，离线模型的训练可以包括以下步骤：

1）数据准备

在训练离线模型之前需要准备样本数据，示例性地，准备好的样本数据可以存入数据库（例如图6所示的数据库602）中，然后作为初始深度学习模型的输入，因此，样本数据也可以称为输入数据。

可以在多种环境中拍摄采集图片，将采集到的多张图片以及每张图片的拍摄参数作为样本数据，其中，该拍摄参数可以是光圈值、快门速度、感光度、曝光度、焦距以及景深。因理解，样本数据中，一张图片对应一组拍摄参数。为了便于理解，可以将用作离线模型训练的样本数据称为样本图片以及样本图片的拍摄参数。

在一些实施例中，采集样本数据的拍摄环境包括弱光环境。通过在弱光环境中采集样本数据进行模型训练得到离线模型后，电子设备利用该离线模型调整拍摄参数可以在弱光环境中快速对焦，即缩短对焦时长。

为便于理解，以一个拍摄环境为例介绍样本数据的采集过程，因理解，其他拍摄环境下的样本数据采集过程可以类推。示例性地，请参阅图8，图8是本申请实施例提供的一种样本数据采集的场景示意图。

如图8所示，用户使用电子设备对准拍摄环境中的待拍摄对象进行拍照。在拍摄过程中，如图8中的（a）所示，电子设备在时刻t₁对准待拍摄对象，此时，电子设备还没有调整到合适的拍摄参数，预览图片为失焦图片，且过曝。经过拍摄参数的不断调整（可以是电子设备自动调整，也可以是用户手动调整），预览图片不断清晰，色彩不断鲜艳，如图8中的（b）所示。示例性地，用户在时刻t₂点击拍摄控件进行拍照，完成图片采集。

容易理解，在时刻t₁至时刻t₂过程中，电子设备必然会经过一系列的拍摄参数调整（可能是毫秒级别的变化），因此，电子设备可以得到多张图片，且每张图片对应不同的拍摄参数。本申请实施例中，如图8所示的时刻t₁至时刻t₂过程得到的图片都可以作为样本数据对神经网络模型进行训练，经过不同拍摄环境中的图片采集可以得到足够的样本数据。

可选地，在准备样本数据过程中，可以在不同拍摄环境中分别采集图片，还可以基于采集到的图片进行人工调整得到新的图片，新的图片也可以作为样本数据。示例性地，请参阅图9（a）和图9（b），图9（a）是本申请实施例提供的一种样本数据的示意图，图9（b）是本申请实施例提供的一种获取样本数据的流程示意图。

如图9（b）所示的流程，结合图9（a）。示例性地，用户打开相机应用，对准待拍摄对象后进行拍照，得到并保存图像A、深度图像A以及拍摄参数，应理解，该拍摄参数为图像A的拍摄参数，可以人工对图像A进行美学质量评价，得到图像A的美学质量评分A。

在图像A的基础上，对图像A进行人工调整，得到图像B以及新的拍摄参数。可以对图像B重新进行人工美学质量评价，得到图像B的美学质量评分为美学质量评分B。可以理解，由于图像B基于图像A得到，本质上是基于同一拍摄环境得到的不同美学质量的图像，因此，图像B对应的深度图像与图像A对应的深度图像相同，即图像B对应深度图像A。经过上述操作，图像A和图像B都可以作为样本数据，对初始深度学习模型进行训练。

为了便于理解离线模型的训练过程，示例性的，请参阅图10，图10是本申请实施例提供的一种深度学习模型训练的架构图。

2）前向传播

如图10所示，将输入数据（也可以称为状态参数，或者状态数据）输入深度学习模型，经过前向传播得到输出数据。本申请实施例中，该输入数据包括样本图片，样本图片对应的深度图片以及样本图片的拍摄参数。样本图片的拍摄参数可以理解为电子设备采集该样本图片时使用的拍摄参数，该拍摄参数可以是光圈值、快门速度、感光度、曝光度、焦距以及景深。本申请实施例中，图片对应的深度图片可以理解为反映改图片的拍摄环境与电子设备的图像传感器之间的距离的图片。

本申请实施例中，深度学习模型在训练过程中的动作参数为拍摄参数的变化量，例如可以是光圈值的变化量、快门速度的变化量、感光度的变化量、曝光度的变化量、焦距的变化量以及景深的变化量，具体可以根据训练时设定的拍摄参数确定。

本申请实施例中，深度学习模型在训练过程中的输出数据为拍摄参数，应理解，输出数据中的拍摄参数相对于输入数据中的拍摄参数为新的拍摄参数。

3）计算美学质量评分

在得到新的拍摄参数后，获取将新的拍摄参数作用在原始样本图片（即输入数据中的样本图片）后得到新图片的美学质量评分。其中，美学质量评分包括美学评分和质量评分，具体可以通过基于图片的美学评分和质量评分的加权求和得到，该美学评分和质量评分可以是人工评定的。

可以理解，正是因为样本数据基于是同一拍摄环境的拍摄过程得到的（如前文图8的描述），拍摄过程中拍摄参数会发生变化；且在离线模型训练过程中，会将大量图片一起输入深度学习模型进行训练。因此，深度学习模型输出新的拍摄参数后，可以得到相当于将新的拍摄参数作用到原始图片后的新图片，从而得到新图片的美学质量评分。

本申请实施例中，图片的美学质量评分也可以称为回报参数，因此，本申请实施例中的模型训练方法也可以称为强化学习。

4）反向传播

基于美学质量评分，通过反向传播计算深度学习模型的模型参数的梯度。

5）更新神经网络模型参数

基于梯度以及美学质量评分，使用优化器更新深度学习模型的模型参数。

然后，如图10所示，基于当前动作进入下一动作，即重复进行前向传播、计算美学质量评分差值、反向传播以及更新神经网络模型参数等步骤，直到训练的轮数达到阈值或者输出的拍摄参数作用在原始图片后得到新图片的美学质量评分达到阈值，深度学习模型训练完成，训练完成的深度学习模型即可理解为离线模型。

2、离线模型的应用阶段

可以理解的是，经过离线训练阶段的训练，可以得到训练好的离线模型、美学评价模型以及质量评价模型。在一种可能的实现方式中，离线训练阶段的模型训练可以在如图6所示的离线训练模块604实现。在得到训练好的离线模型、美学评价模型以及质量评价模型之后，将它们部署在端侧进行应用，比如图6所示的执行设备605。

为便于理解，示例性地，请参阅图11，图11是本申请实施例提供的一种图片采集方法的流程示意图。如图11所示，该方法包括：

1100：打开相机应用。

1101：电子设备判断是否开启个性化推荐模式。

在步骤1101的判断结果为否的情况下，执行步骤1102：电子设备基于其他拍摄模式的方法设定拍摄参数。本步骤中，其他拍摄模式应该理解为除个性化推荐模式以外的其他拍摄模式，比如图4（a）所示的AI拍摄模式，电子设备在AI模式下，基于AI拍摄参数对预览图片进行调整。

在步骤1101的判断结果为是的情况下，电子设备执行本申请实施例提供的图片采集方法，包括：

1103：电子设备获取预览图片A。

本申请实施例中，从用户打开相机应用到用户点击拍摄控件进行拍照这一过程可以理解为预览模式。预览模式下，电子设备在取景框中实时显示预览图片。本步骤中，预览图片A可以理解为电子设备开启个性化推荐模式后的任一张预览图片。

1104：电子设备确定预览图片A的美学质量评分。

本步骤中，电子设备可以将预览图片A输入已经训练好的美学评价模型，得到预览图片A的美学评分；可以将预览图片B输入已经训练好的质量评价模型，得到预览图片A的质量评分。然后，基于美学评分和质量评分得到最终的美学质量评分，比如可以对美学评分和质量评分进行加权求和得到美学质量评分。

1105：电子设备判断预览图片A的美学质量评分是否大于或等于第一评分阈值。

本步骤中，第一评分阈值可以根据实际情况设定，本申请对此不作限定。示例性地，在美学质量评分为百分制的情况下，第一评分阈值可以是大于80的任一数值。

在步骤1105的判断结果为是的情况下，结束流程。本申请实施例中，结束流程可以理解为电子设备结束对预览图片A的调整，应理解，在电子设备的当前预览图片发生变化后，比如电子设备移动位置后从预览图片A变成预览图片B，电子设备可以继续获取预览图片B，基于预览图片B的美学质量评分进行拍摄参数调整。

在步骤1105的判断结果为否的情况下，执行步骤1106：将预览图片A以及对应的深度图片输入离线模型，得到拍摄参数。

本步骤中，上述离线模型应该理解为离线训练阶段训练好的模型。可以理解的是，基于离线模型得到的拍摄参数与预览图片A原本的拍摄参数不同。

1107：电子设备利用该拍摄参数对预览图片A进行调整，得到新的预览图片。

本步骤中，电子设备将拍照的参数设置为步骤1106中得到的拍摄参数，即利用步骤1106中得到的拍摄参数对预览图片A进行调整，得到新的预览图片。对于新的预览图片，电子设备可以执行如前文预览图片A一样的流程，即根据新的预览图片的美学质量评分进行拍摄参数调整，不断循环，使得取景框中的预览图片的美学质量越来越高。

在一种情况中，预览图片A本身的美学质量评分大于第一评分阈值，不需要拍摄参数调整，但是可能会因为用户移动电子设备或者拍摄环境的环境光突然增强或变弱，导致原本的预览图片A变化成新的预览图片。那么，电子设备可以继续基于新的预览图片的美学质量评分以及离线模型进行拍摄参数调整。

本实施例中，在拍摄参数调整后，电子设备可以基于调整后的拍摄参数采集图片，调整后的拍摄参数更加适配拍摄环境，可以采集到美学质量高的图片。

可以理解的是，深度图片主要用于反映拍摄环境内不同位置与电子设备的图像传感器之间的距离，基于光学成像的基本原理，加入上述距离信息可以提高电子设备采集图片时的对焦速度，节约对焦耗时。

3、在线训练阶段

可以理解的是，在用户的使用过程中，可以基于电子设备拍摄的图片对离线模型进行进一步训练，以得到个性化推荐模型。为便于理解，请参阅图12，图12是本申请实施例提供的一种端侧自学习的方法流程示意图。如图12所示，包括：

1201：用户打开相机应用拍照并保存图片。

1202：电子设备判断采集的图片的数量是否大于或等于数量阈值。

步骤1201可以理解为一个持续的过程，不同的用户习惯不同，有的用户可能几天内就可以拍摄出满足数量阈值的图片，有的用户可能需要一个月甚至更久才能拍摄出满足数量阈值的图片。其中，上述数量阈值可以根据实际情况设定，比如可以是100张、200张等，本申请对此不作限定。

在步骤1202的判断结果为是的情况下，执行步骤1203：将电子设备采集的、美学质量评分大于或等于第二评分阈值的图片作为样本数据。然后执行步骤1204：利用该样本数据对离线模型进行训练，得到个性化推荐模型。

本步骤中，电子设备将采集的、美学质量评分大于或等于第二评分阈值的图片作为样本数据，其中，第二评分阈值可以根据实际情况设定，可以与第一评分阈值相同，也可以不同，本申请对此不作限定。

在步骤1202的判断结果为否的情况下，电子设备重新执行步骤1202，可以理解的是，电子设备可以间隔一段时间后再判断采集的图片的数量是否大于或等于数量阈值，以节约功耗。

基于图12所示的方式得到样本数据后，可以在如图6所示的训练设备603中对离线模型进行训练，具体训练过程与图10所示的训练过程类似，这里不再赘述。可以理解，由于离线模型是从无到有的训练过程，因此，一般地，离线模型的训练可能需要的一个月，甚至半年。但是上述个性化推荐模型的训练可以理解为对离线模型的微调（fine-tune），相比于离线模型的训练，个性化推荐模型的训练时间短，可能半天或一天即可训练完成。

本申请通过先训练得到离线模型，然后再基于离线模型训练得到个性化模型的方式，对于用户来说，可以在较短时间内就获得适配自己审美的个性化推荐模型，效率高。如果直接采用用户拍摄的图片来从无到有地训练个性化推荐模型，用户要等待很长时间才能享受到个性化推荐服务，因为累积用户的样本数据和训练都将花费大量时间。

在得到个性化推荐模型后，电子设备可以使用个性化推荐模型替换掉原本的离线模型。示例性地，请参阅图13，图13是本申请实施例提供的一种端侧自更新的方法流程示意图。如图13所示，包括：

1301：用户打开相机应用。

1302：电子设备判断是否开启个性化推荐模式。

在步骤1302的判断结果为否的情况下，执行步骤1303：基于其他拍摄模式的方法设定拍摄参数。在步骤1302的判断结果为是的情况下，执行步骤1304：电子设备获取预览图片C。

1305：确定预览图片C的美学质量评分。

1306：判断预览图片C的美学质量评分是否大于或等于第一评分阈值。

以上步骤1301-步骤1306可以参阅前文图11的相关描述，这里不再赘述。本实施例中，预览图片C可以理解为与预览图片A不同的另外一张预览图片。

在步骤1306的判断结果为否的情况下，执行步骤1307：将预览图片C以及对应的深度图片输入个性化推荐模型，得到拍摄参数。

本实施例中，电子设备中包括离线模型和个性化推荐模型，在两个模型都存在的情况下，电子设备可以以预设概率调用个性化推荐模型进行拍摄参数调整。比如在拍照过程中，电子设备比如以1%、5%的概率不使用离线模型，而使用个性化推荐模型得到拍摄参数。

1308：利用该拍摄参数对预览图片C进行调整，得到新的预览图片。

1309：判断用户是否接受该新的预览图片，且该新的预览图片的美学质量评分大于或等于第一评分阈值。

在步骤1309的判断结果为是的情况下，执行步骤1310：电子设备将离线模型替换为个性化推荐模型。在步骤1309的判断结果为否的情况下，执行步骤1311：电子设备保留离线模型。

本申请实施例中，在使用个性化推荐模型得到的拍摄参数调整图片，图片的美学质量评分大于或等于第一评分阈值，且用户接受该图片的情况下，电子设备将离线模型替换为个性化推荐模型，后续将使用个性化推荐模型进行拍摄参数调整。反之，电子设备继续使用离线模型进行拍摄参数调整。

在继续使用离线模型进行拍摄参数调整的过程中，电子设备可以继续以预设概率调用个性化推荐模型进行拍摄参数调整，再基于拍摄参数对图片的作用结果以及用户反馈判定是否能够替换离线模型。电子设备还可以基于图12所示的方法，增加新的样本数据继续对已经得到的个性化推荐模型进行训练，以得到新的个性化推荐模型，并替换掉旧的个性化推荐模型。

本申请实施例中，用户接受新的预览图片可以从多个维度考量。比如用户点击拍摄控件将新的预览图片采集并保存下来，可以认为用户接受新的预览图片，即接受个性化推荐模型。

4、个性化推荐模型应用阶段

在离线模型被替换之后，电子设备将使用个性化推荐模型。由于个性化推荐模型是将用户采集的图片作为样本数据训练得到的，因此，电子设备应用个性化推荐模型调整拍摄参数后采集到的图片更加符合用户审美。

本申请实施例中，个性化推荐模型的应用于离线模型的应用类似，为便于理解，请参阅图14，图14是本申请实施例提供的另一种图片采集方法的流程示意图。如图14所示，该方法包括：

1400：打开相机应用。

1401：电子设备判断是否开启个性化推荐模式。

在步骤1401的判断结果为否的情况下，执行步骤1402：电子设备基于其他拍摄模式的方法设定拍摄参数。

在步骤1401的判断结果为是的情况下，电子设备执行本申请实施例提供的图片采集方法，包括：

1403：电子设备获取预览图片D。

本步骤中，预览图片D可以理解为电子设备开启个性化推荐模式后的任一张预览图片。

1404：电子设备确定预览图片D的美学质量评分。

1405：电子设备判断预览图片D的美学质量评分是否大于或等于第一评分阈值。

在步骤1405的判断结果为是的情况下，结束流程。

在步骤1405的判断结果为否的情况下，执行步骤1406：将预览图片D以及对应的深度图片输入个性化推荐模型，得到拍摄参数。

本步骤中，上述个性化推荐模型应该理解为在线训练阶段训练好的个性化推荐模型。

1407：电子设备利用该拍摄参数对预览图片D进行调整，得到新的预览图片。

本实施例中有关1400-1407的其他介绍可以参阅前文图11的描述，这里不再赘述。

本实施例中，在拍摄参数调整后，电子设备可以基于调整后的拍摄参数采集图片，调整后的拍摄参数更加适配拍摄环境，可以采集到美学质量高且符合用户审美的图片。

以上介绍了本申请实施例提供的方法，接下来对本申请实施例涉及的电子设备进行介绍。

请参阅图15，图15是本申请实施例提供的一种电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，传感器模块180，按键190，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中，传感器模块180可以包括陀螺仪传感器180A，距离传感器180B，接近光传感器180C、环境光传感器D以及触摸传感器E等。

可理解地，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或USB接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线（serial data line，SDA）和一根串行时钟线（derail clock line，SCL）。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口（camera serial interface，CSI），显示屏串行接口（displayserial interface，DSI）等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可理解地，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备（不限于扬声器170A，受话器170B等）输出声音信号，或通过显示屏194显示图片或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统（global system for mobile communications，GSM），通用分组无线服务（general packet radio service，GPRS），码分多址接入（codedivision multiple access，CDMA），宽带码分多址（wideband code division multipleaccess，WCDMA），时分码分多址（time-division code division multiple access，TD-SCDMA），长期演进（long term evolution，LTE），BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统（global positioning system ，GPS），全球导航卫星系统（global navigation satellite system，GLONASS），北斗卫星导航系统（beidounavigation satellite system，BDS），准天顶卫星系统（quasi-zenith satellitesystem，QZSS）和/或星基增强系统（satellite based augmentation systems，SBAS）。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图片，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

本申请实施例中，上述显示屏194可以用于显示以上图2、图3、图4（a）、图4（b）以及图5所示的用户界面。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图片或视频播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。

在一些实施例中，内部存储器121可以用于存储训练好的离线模型、美学评价模型以及质量评价模型。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

陀螺仪传感器180A可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180A确定电子设备100围绕三个轴（即，x，y和z轴）的角速度。陀螺仪传感器180A可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180A检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180A还可以用于导航，体感游戏场景。

距离传感器180B，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，电子设备100可以利用距离传感器180F确定待拍摄对象与图像传感器之前的距离，通过测距以实现快速对焦。

接近光传感器180C可以包括例如发光二极管（LED）和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180C检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180C也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180D用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180D也可用于拍照时自动调节白平衡。环境光传感器180D还可以与接近光传感器180C配合，检测电子设备100是否在口袋里，以防误触。

触摸传感器180E，也称“触控面板”。触摸传感器180E可以设置于显示屏194，由触摸传感器180E与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180E用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180E也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

在一些实施例中，触摸传感器180E可以用于响应用户操作，以打开或关闭个性化推荐模式；还可以用于响应用户操作进行拍照。

摄像头193用于捕获静态图片或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图片或视频信号。ISP将数字图片或视频信号输出到DSP加工处理。DSP将数字图片或视频信号转换成标准的RGB，YUV等格式的图片或视频信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

在一些实施例中，电子设备包括两个并排的摄像头，用于采集同一拍摄环境的左视图和右视图。处理器110用于基于左视图和右视图生成深度图像。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

在一些实施例中，处理器110可以调用内部存储器121存储的计算机指令，实现如图11、图12、图13以及图14所示的方法。

示例性地，处理器110可以调用内部存储器121存储的计算机指令，判断当前的拍摄模式，该拍摄模式比如可以是个性化推荐模式、AI模式、人像模式等。

又示例性地，处理器110可以调用内部存储器121存储的计算机指令，基于训练好的美学评价模型和质量评价模型得到图片的美学质量评分。

又示例性地，处理器110可以调用内部存储器121存储的计算机指令，在预览图像的美学质量评分小于或等于第一评价阈值的情况下，基于训练好的离线模型或个性化推荐模型得到拍摄参数，并基于该拍摄参数调整预览图像，得到新的预览图像。

又示例性地，处理器110可以调用内部存储器121存储的计算机指令，基于调整后的拍摄参数采集图片。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的安卓系统为例，示例性说明电子设备100的软件结构。

请参阅图16，图16是本申请实施例提供的一种电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，可以将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，系统运行库层，以及内核层。对上述各个层的描述如下：

首先，应用程序层可以包括一系列应用程序包。示例性地，应用程序层的应用程序包可以包括相机、图库、日历、通话、地图、导航、浏览器、蓝牙、音乐、视频以及短信息等应用程序。

示例性地，当上述浏览器、视频、音乐等应用程序在电子设备上运行时，可以显示动画。

其次，应用程序框架层可以为应用程序层中的应用程序提供应用编程接口（application programming interface，API）和编程框架。应用程序框架层可以包括一些预先定义的函数。

示例性地，应用程序框架层可以包括活动管理器（activity manager）、窗口管理器（window manager），内容提供器（content provider），视图系统（view system），电话管理器（telephony manager），资源管理器（resource manager），通知管理器（notificationmanager）等。其中：

活动管理器可以用于管理各个应用程序生命周期以及通常的导航回退功能。

窗口管理器可以用于管理窗口程序。示例性地，窗口管理器可以获取电子设备100的显示屏大小，锁定屏幕，截取屏幕以及判断是否有状态栏等。

内容提供器可以用来存放和获取数据，并使这些数据可以被应用程序访问，使得不同的应用程序之间可以存取或分享数据。示例性地，上述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签以及电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能，例如通话状态的管理（包括接通电话，挂断电话等）。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。示例性地，通知管理器可以被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

再者、系统运行库层可以包括系统库和安卓运行时（Android runtime）。其中：

安卓运行时包括核心库和虚拟机。安卓运行时负责安卓系统的调度和管理。其中，核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以理解为应用程序框架的支撑，是连接应用程序框架层与内核层的重要纽带。系统层可以包括多个功能模块，例如可以包括表面管理器（surface manager），媒体库（media libraries），三维图形处理库（例如OpenGL ES），2D图形引擎（例如：SGL）等。其中：

表面管理器可以用于对显示子系统进行管理，比如在电子设备100执行多个应用程序的情况下，负责管理显示与存取操作间的互动。表面管理器还可以用于为多个应用程序提供了2D和3D图层的融合。

媒体库可以支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如可以是MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成以及图层处理等。

2D图形引擎可以理解为2D绘图的绘图引擎。

最后，内核层可以理解为硬件和软件之间的抽象层。内核层可以包括安全性、内存管理、进程管理、电源管理、网路协议管理以及驱动管理等系统服务。示例性地，内核层可以包括显示驱动，摄像头驱动，音频驱动以及传感器驱动等。

在一些实施例中，上述视图系统可以包括view控件。示例性地，该视图系统中可以包括文本控件（TextView）、滚动控件（ListView）、图像显示控件（ImageView）以及button控件等。

在一些实施例中，上述系统运行库层可以包括图片采集模块，用于实现本申请实施例提供的图片采集方法。

示例性地，在一些实施例中，传感器驱动用于响应用户操作，生成事件以触发应用程序层中的相机应用程序进入预览模式。图片采集模块用于获取预览图像，以及判断预览图像的美学质量评分是否大于或等于第一评分阈值。图片采集模块还可以用于在预览图像的美学质量评分小于第一评分阈值的情况下，将预览图像输入训练好的离线模型或个性化推荐模型，得到拍摄参数；并基于该拍摄参数采集图片。

在另一些实施例中，上述图片采集模块也可以其他层，比如在应用程序框架层。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机代码，当计算机代码在计算机上运行时，使得计算机执行上述实施例的方法。

本申请还提供一种计算机程序产品，该计算机程序产品包括计算机代码或计算机程序，当该计算机代码或计算机程序在计算机上运行时，使得上述实施例中的方法被执行。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以上述权利要求的保护范围为准。

Claims (11)

1.一种图片采集方法，其特征在于，所述方法包括：

获取第一预览图片；所述第一预览图片为电子设备显示在取景框中的一张预览图片，所述取景框中显示的预览图片随着电子设备拍摄范围内的待拍摄对象的变化而变化；

将所述第一预览图片以及所述第一预览图片的深度数据输入第一模型，得到第一拍摄参数；所述第一模型是将第一样本数据输入初始模型后，通过前向传播计算得到美学质量评分，并基于所述美学质量评分和梯度值更新所述初始模型的参数得到的，所述梯度值为所述初始模型的模型参数的梯度值；所述第一样本数据包括用户使用电子设备过程中采集的多张第一样本图片、所述第一样本图片的拍摄参数以及所述第一样本图片的深度数据，所述深度数据用于表征待拍摄对象与电子设备的图像传感器之间的距离；

在接收到第一用户操作的情况下，使用所述第一拍摄参数进行图片采集，得到第一目标图片；所述第一用户操作用于触发电子设备采集图片。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一预览图片以及所述第一预览图片的深度数据输入第一模型，得到第一拍摄参数，包括：

在所述第一预览图片的美学质量评分小于或等于第一阈值的情况下，将所述第一预览图片以及所述第一预览图片的深度数据输入所述第一模型，得到所述第一拍摄参数。

3.根据权利要求1或2所述的方法，其特征在于，所述第一样本图片的美学质量评分大于或等于第二阈值。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一预览图片以及所述第一预览图片的深度数据输入第一模型，得到第一拍摄参数之前，所述方法还包括：

获取所述初始模型；所述初始模型是将第二样本数据输入待训练模型训练得到的，所述第二样本数据包括从多种拍摄环境中采集的多张第二样本图片、所述第二样本图片的拍摄参数以及所述第二样本图片的深度数据。

5.根据权利要求4所述的方法，其特征在于，采集所述第二样本数据的拍摄环境包括弱光环境，所述弱光环境中的光线强度小于或等于第三阈值。

6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：

在接收到第二用户操作的情况下，获取第二预览图片；所述第二预览图片为与所述第一预览图片不同的另一张预览图片，所述第二用户操作用于触发使用所述初始模型；

将所述第二预览图片以及所述第二预览图片的深度数据输入所述初始模型，得到第二拍摄参数；

在接收到第三用户操作的情况下，使用所述第二拍摄参数进行图片采集，得到第二目标图片；所述第三用户操作用于触发电子设备采集图片。

7.一种模型训练方法，其特征在于，所述方法包括：

获取第二样本数据，所述第二样本数据包括从多种拍摄环境中采集的多张第二样本图片、所述第二样本图片的拍摄参数以及所述第二样本图片的深度数据；

将所述第二样本数据输入待训练模型，计算得到美学质量评分；

基于所述美学质量评分更新所述待训练模型，得到初始模型。

8.根据权利要求7所述的方法，其特征在于，所述将所述第二样本数据输入待训练模型，计算得到美学质量评分，包括：

将所述第二样本数据输入待训练模型，调整输入的第二样本图片的拍摄参数，得到候选图片；

基于所述候选图片的美学质量评分，计算所述待训练模型的模型参数的梯度值；

基于所述梯度值以及所述候选图片的美学质量评分更新所述待训练模型，得到所述初始模型。

9.根据权利要求7或8所述的方法，其特征在于，采集所述第二样本数据的拍摄环境包括弱光环境，所述弱光环境中的光线强度小于或等于第三阈值。

10.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，使得如权利要求1-6中任一项所述的方法被执行，或者，使得如权利要求7-9中任一项所述的方法被执行。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得如权利要求1-6中任一项所述的方法被执行，或者，使得如权利要求7-9中任一项所述的方法被执行。

Images