CN115767263A - 拍摄模式识别方法及装置、设备、存储介质 - Google Patents

Abstract

本发明公开了一种拍摄模式识别方法及装置、设备、存储介质；所述方法包括：获取待拍摄场景的预览图像；基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；将预设图像的拍摄模式切换为目标拍摄模式。能够降低用户的学习成本，且提高识别模型的训练速度和识别准确度。

Description

拍摄模式识别方法及装置、设备、存储介质

技术领域

本申请实施例涉及图像处理技术，涉及但不限于一种拍摄模式识别方法及装置、设备、存储介质。

背景技术

伴随智能终端行业的飞速发展，智能终端中拍摄功能的应用也随之成为了用户的关注点。目前用户在使用智能终端对不同场景进行拍摄时，需要自行判断当前场景对应的拍摄模式，并手动切换至对应的拍摄模式，学习成本高，一旦用户选择错误或不了解拍摄功能，就会导致拍摄结果达不到所需的满意度。而这些情况的出现，是由于智能终端的拍摄自动化和智能化程度不高，难以实现对场景自动识别，自动切换拍摄模式导致的。

且相关技术中在实现对拍摄场景的识别时，场景识别模型的训练速度较慢，收敛速度较长，识别准确度也不够。

发明内容

有鉴于此，本申请实施例提供的拍摄模式识别方法及装置、设备、存储介质，能够降低用户的学习成本，且提高识别模型的训练速度和识别准确度。本申请实施例提供的拍摄模式识别方法及装置、设备、存储介质是这样实现的：

本申请实施例提供的拍摄模式识别方法，包括：

获取待拍摄场景的预览图像；

基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；

基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；

将预设图像的拍摄模式切换为目标拍摄模式。

在一些实施例中，所述基于预先训练的场景识别模型，确定与所述预览图像相匹配的目标场景类别，包括：

基于预设的划分规则，将预览图像划分为多个区域；基于预先训练的场景识别模型，分别对多个区域进行场景识别，得到各个区域分别对应的场景类别；将多个场景类别中重合最多的场景类别确定为目标场景类别。

在一些实施例中，所述将所述预设图像的拍摄模式切换为所述目标拍摄模式，包括：

判断目标拍摄模式是否与预设图像当前显示的拍摄模式相同；若否，将预设图像的拍摄模式切换为目标拍摄模式。

在一些实施例中，所述场景识别模型的预先训练过程包括：

基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型；利用改进的全连接层替换训练好的残差神经网络模型中的全连接层，得到深度迁移学习模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；基于获取到的第一样本数据集，通过迁移学习方法对深度迁移学习模型进行训练，得到训练好的所述场景识别模型，第一样本数据集中包括多个不同场景类别的样本图像。

在一些实施例中，在基于获取到的第一样本数据集对所述深度迁移学习模型进行训练之前，所述方法还包括：

获取第二样本数据集，第二样本数据集中包含多个不同场景类别的样本图像；对第二样本数据集进行数据增强处理，得到第一样本数据集，第一样本数据集的数量大于第二样本数据集的数量。

本申请实施例提供一种场景识别模型的训练方法，包括：

基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型；

利用改进的全连接层替换训练好的残差神经网络模型中的全连接层，得到深度迁移学习模型，改进的全连接层中的神经元数量与预设的拍摄模式的数量相同；

基于获取到的第一样本数据集，通过迁移学习方法对深度迁移学习模型进行训练，得到训练好的场景识别模型，第一样本数据集中包括多个不同场景类别的样本图像。

本申请实施例提供的拍摄模式识别装置，包括：

获取模块，用于获取待拍摄场景的预览图像；

第一处理模块，用于基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；

第二处理模块，用于基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；

切换模块，用于将预设图像的拍摄模式切换为目标拍摄模式。

在一些实施例中，所述第二处理模块，具体用于：

基于预设的划分规则，将预览图像划分为多个区域；基于预先训练的场景识别模型，分别对多个区域进行场景识别，得到各个区域分别对应的场景类别；将多个场景类别中重合最多的场景类别确定为目标场景类别。

在一些实施例中，所述切换模块，具体用于：

判断目标拍摄模式是否与预设图像当前显示的拍摄模式相同；若否，将预设图像的拍摄模式切换为目标拍摄模式。

在一些实施例中，所述装置还包括训练模块，所述训练模块用于基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型；利用改进的全连接层替换训练好的残差神经网络模型中的全连接层，得到深度迁移学习模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；基于获取到的第一样本数据集，通过迁移学习方法对深度迁移学习模型进行训练，得到训练好的场景识别模型，第一样本数据集中包括多个不同场景类别的样本图像。

在一些实施例中，所述训练模块，还用于获取第二样本数据集，第二样本数据集中包含多个不同场景类别的样本图像；对第二样本数据集进行数据增强处理，得到第一样本数据集，第一样本数据集的数量大于第二样本数据集的数量。

本申请实施例提供的计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

本申请实施例所提供的拍摄模式识别方法、装置、计算机设备和计算机可读存储介质，通过获取待拍摄场景的预览图像；基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；将预设图像的拍摄模式切换为目标拍摄模式。这样，一方面，能够在预览图像界面即匹配好预览图像对应的目标拍摄模式，而不需要用户手动选择，从而能够降低用户的学习成本，智能化程度高；另一方面，基于改进后得到的深度迁移学习模型(场景识别模型)对预览图像进行场景识别，能够利用迁移学习思想，加快模型学习特征的速度，进一步缩短模型收敛时间，且改进后的模型与实际场景更加符合，也能够提高场景识别模型的识别准确度，从而解决背景技术中所提出的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的一种拍摄模式识别方法的实现流程示意图；

图2为本申请实施例提供的另一拍摄模式识别方法的实现流程示意图；

图3为本申请实施例提供的模型训练方法的实现流程示意图；

图4为本申请实施例提供的模型训练方法的实现流程示意图；

图5为本申请实施例提供的数据增强处理方法的实现流程示意图；

图6为本申请实施例提供的模型训练方法的测试结果对比图；

图7为本申请实施例提供的拍摄模式识别装置的结构示意图；

图8为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

迁移学习：即将一个领域已经成熟的知识应用到其他的场景中。用神经网络的词语来表述，就是一层层网络中每个节点的权重从一个训练好的网络迁移到一个全新的网络里，而不是从头开始，为每个特定的任务训练一个神经网络。举例来说，假设已有训练好的深度神经网络，所述深度神经网络用于高精确度分辨猫和狗，那么后续若想要再次训练得到一个能够分辨不同品种的狗的图片的网络模型，基于迁移学习的思想，无需从头训练用于分辨直线，锐角的深度神经网络的前几层，而是利用前述已训练好的深度神经网络，提取初级特征，随后仅训练最后几层神经元，即可得到想要的能够分辨不同品种的狗的图片的网络模型，即为深度迁移学习模型。

随着科技的发展，智能终端越来越普及。绝大多数智能终端都内置有摄像头，并且随着智能终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。现在智能终端的操作简单，在日常生活中人们使用智能终端拍照已经成为一种常态。

但目前用户在使用智能终端对不同场景进行拍摄时，需要自行判断当前场景对应的拍摄模式，并手动切换至对应的拍摄模式，学习成本高，一旦用户选择错误或不了解拍摄功能，就会导致拍摄结果达不到所需的满意度。而这些情况的出现，是由于智能终端的拍摄自动化和智能化程度不高，难以实现对场景自动识别，自动切换拍摄模式导致的。

且相关技术中在实现对拍摄场景的识别时，场景识别模型的训练速度较慢，收敛速度较长，识别准确度也不够。

有鉴于此，本申请实施例提供一种拍摄模式识别方法，该方法应用于智能终端，该智能终端在实施的过程中可以为各种类型的具有拍摄功能和信息处理功能的终端设备。例如，所述智能终端可以包括个人计算机、笔记本电脑或掌上电脑等；该智能终端还可以为移动终端，例如所述移动终端可以包括手机、车载电脑、平板电脑等。该方法所实现的功能可以通过智能终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该智能终端至少包括处理器和存储介质。

图1为本申请实施例提供的拍摄模式识别方法的实现流程示意图，能够降低用户的学习成本，且提高识别模型的训练速度和识别准确度。如图1所示，该方法可以包括以下步骤101至步骤104：

步骤101，获取待拍摄场景的预览图像。

在本申请实施例中，预览图像中包括用户在按下拍照按钮前，电子设备的拍摄预览界面中显示的摄像头所捕获的待拍摄场景的画面。

在一些实施例中，该预览图像所处的拍摄预览界面中还可以显示拍摄按钮、多种拍摄模式的启动控件、闪光灯开关、前后摄像头切换按钮和/或定时拍照按钮等控件中的一种或多种。

步骤102，基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同。

需要说明的是，在本申请实施例中，场景识别模型为深度迁移学习模型。该场景识别模型能够在接收到预览图像之后，快速并准确的识别出与预览图像相匹配的目标场景类别。

其中，场景类别可以是根据设定的目标对象对拍摄对象进行分类得到的，例如可以为美食场景类别、风景场景类别、运动场景类别、建筑物场景类别、人像场景类别、夜景场景类别及正常场景类别等等。

进一步地，在一些实施例中，所述场景识别模型可以以残差神经网络为网络主干进行构建得到。残差神经网络为一种深度学习网络模型，包括输入层、卷积层、池化层、残差学习单元、全连接层和输出层。残差神经网络中的残差网络通过在网络的低层与高层之间添加直通的残差单元，能够解决网络层数很深时卷积网络出现的梯度消失或者爆炸问题；激活函数采用线性整流单元。随后，将残差神经网络模型中的全连接层替换为与实际应用相适应的全连接层，即改进的全连接层中的神经元数量与拍摄模式的数量相同，得到深度迁移学习模型(即场景识别模型)，再基于迁移学习方法对模型中的参数进行微调，从而得到训练好的场景识别模型。

可以理解地，不同型号或品牌的终端设备中预设的拍摄模式的数量可能不同，如一些终端设备1中预设的拍摄模式为人物模式、风景模式和正常模式，共3种模式；另一些终端设备2中预设的拍摄模式为人物模型、风景模式、美食模式和正常模式，共4种模式。

因此，在本申请实施例中，设定改进的全连接层中的神经元数量与拍摄模式的数量相同，则对于终端设备1而言，基于其训练的场景识别模型中的全连接层中的神经元数量为3；对于终端设备2而言，基于其训练的场景识别模型中的全连接层中的神经元数量为4。

需要说明的是，在本申请实施例中，对于该深度迁移学习模型的层数、卷积核和/或权重等网络参数的具体数值不作限定。

步骤103，基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式。

可以理解地，不同的场景类别对应的拍摄模式一般也不同，如场景类别为人物类别，则其对应的拍摄模型为人像模式。

进一步地，如表1所示，给出一种场景类别与拍摄模式的对应关系。

表1

步骤104，将预设图像的拍摄模式切换为目标拍摄模式。

在本申请实施例中，通过获取待拍摄场景的预览图像；基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；将预设图像的拍摄模式切换为目标拍摄模式。这样，一方面，能够在预览图像界面即匹配好预览图像对应的目标拍摄模式，而不需要用户手动选择，从而能够降低用户的学习成本，智能化程度高；另一方面，基于改进后得到的深度迁移学习模型(场景识别模型)对预览图像进行场景识别，能够利用迁移学习思想，加快网络学习特征的速度，进一步缩短网络收敛时间，且改进后的模型与实际场景更加符合，也能够提高场景识别模型的识别准确度。

本申请实施例再提供一种拍摄模式识别方法，图2为本申请实施例提供的拍摄模式识别方法的实现流程示意图，如图2所示，该方法可以包括以下步骤201至步骤208：

步骤201，获取待拍摄场景的预览图像；

步骤202，基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别。

需要说明的是，在本申请实施例中，所述场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同。

在基于场景识别模型对预览图像进行场景识别之前，还需要对场景识别模型进行训练。需要说明的是，对于场景识别模型的训练过程可以由服务器执行，也可以由移动终端执行，本申请实施例对此并不作限定。

在一些实施例中，为实现对场景识别模型的训练，可以通过执行如下步骤301至步骤303来实现：

步骤301，基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型。

在一些实施例中，残差神经网络为ReaNet18网络，所述残差神经网络通过提取特征对图像进行分类，网络在训练过程中自行学习这些特征，网络的每一层卷积层输出多个三维数组，将这些三维数组整体称为特征图，而特征图是由不同卷积核通过卷积运算得到的二维数据堆叠在一起组成的，每个数组对应于输入的过滤器，全连接层输出的通道对应于较浅层学习特征的高级组合。随着网络卷积层数的增加，相应的卷积层的感受野在不断增大，从开始阶段学习较小的低级特征，到终端设备的卷积层较大感受野时学习更高级的特征。

以图4为例进行说明，在一些实施例中，初始样本数据集为ImageNet数据集，通过ImageNet数据集对ReaNet18模型进行训练，得到训练完成的ReaNet18网络模型。

步骤302，利用改进的全连接层替换训练好的残差神经网络模型中的全连接层，得到深度迁移学习模型，改进的全连接层中的神经元数量与拍摄模式的数量相同。

继续以图4为例进行说明，所述训练完成的ReaNet18网络模型中包括卷积层、池化层、原有的全连接层和残差单元，将训练完成的ReaNet18网络模型中原有的全连接层替换为改进的全连接层，改进的全连接层中的神经元数量与拍摄模式的数量相同，从而得到深度迁移学习模型。这样，改进后的深度迁移学习模型与实际场景更加符合，能够提高场景识别模型的识别准确度。

步骤303，基于获取到的第一样本数据集，通过迁移学习方法对深度迁移学习模型进行训练，得到训练好的场景识别模型，第一样本数据集中包括多个不同场景类别的样本图像。

这里，基于迁移学习思想对深度迁移学习模型进行训练，能够加快模型学习特征的速度，进一步缩短模型收敛时间。

在一些实施例中，为获取第一样本数据集，可以通过执行如下步骤501至步骤502来实现：

步骤501，获取第二样本数据集，第二样本数据集中包含多个不同场景类别的样本图像。

在一些实施例中，第二样本数据集可以包括常见场景下广场、游乐场、户外、夜景、树林、沙滩、沙漠、海滨、湖、露营、街景、街道、运动场、婚礼、演出等样本图像。

步骤502，对第二样本数据集进行数据增强处理，得到第一样本数据集，第一样本数据集的数量大于第二样本数据集的数量。

在一些实施例中，为实现对第二样本数据的数据增强处理，获取更多的训练样本，提高模型的鲁棒性，可以将第二样本数据集中的样本图像在[-90°，90°]范围内进行随机旋转，在[1，2]范围内进行随机缩放，并对样本图像加入随机噪声操作，从而得到第一样本数据集。

需要说明的是，在本申请实施例中，在对场景识别模型进行训练时，上述所使用的各样本数据集中均包括各种场景类型的图像样本。

且在本申请实施例中，对于上述各样本数据集的获取方式也不做限定。例如，可以通过网络爬虫的方式从网络平台中下载各种类型的图片，并通过人工标记的方法对图片进行场景类别的划分标记，从而将标记完成的图片汇总为样本数据集。

或者，还可以通过获取终端设备中的图片库(或相册)中的图片，并通过人工标记的方法对图片进行场景类别的划分标记，从而将标记完成的图片汇总为样本数据集。当然，在一些实施例中，若采用从终端设备中的图片库(或相册)中获取图片之前，还可以向终端设备的使用者发送许可请求，如通过在终端设备上以对话框的形式显示询问信息，以询问使用者是否授予服务器访问相册的权限。

在一些实施例中，在对上述深度学习模型进行训练时，由于深度神经网络训练对硬件配置的要求更高，为了进行有效的实验，可以采用了GTX1060、6G显存的配置，MATLAB语言搭建MATLAB R2022a及CUDA环境，通过GPU进行训练以加快数据的运算，提高实验效率。综合考虑硬件设备的性能以及训练效果，实验设置小批量为32(即每批次训练采用32张数据)，动量参数设置为0.9，学习率分别设置为0.0001和0.001，并选择SGDM、RMSProp、Adam优化算法和改变学习率相结合的实验方法，构建出最优的组合方案，使得模型效率达到最高。

进一步地，在一些实施例中，在对深度迁移学习模型训练完成，得到场景识别模型后，还需要对场景识别模型进行模型评估，通过使用预测准确率、过拟合率以及模型训练时间综合评判模型在场景数据识别能力和泛化能力。

如表2所示，给出一种模型检测结果的示意。

表2模型检测结果

由表2可以看出，在本申请实施例或者，基于SGDM优化算法，以学习率为0.0001进行训练，且样本数据集经过图像数据扩充后，增加了数据的多样性，提高了模型的准确率。迁移学习的收敛速度比全新学习快，表明迁移学习缩短了网络收敛时间。

进一步地，为验证训练完成的场景识别模型的准确度，如表3所示，可以根据拍摄模式分别采集常见场景各场景类别数据200张，通过场景识别模型对输入图像进行预测，预测结果如图6所示。通过对测试场景的测试分析，模型测试结果基本与人工测试结果一致。图6(a)展示了输入场景为夜景，预测结果置信度为0.98为夜景类别。图6(b)为风景场景，预测结果置信度为0.92的风景类别，图6(c)为其他类别的图像输入，测试结果置信度为0.86的其他类别。

表3场景测试结果

步骤203，基于预设的划分规则，将预览图像划分为多个区域。

可以理解地，预览图像中可能会存在多种类型的目标对象，如预览图像中可能只包括人物，则可以直接确定与预览图像相匹配的场景类别为人物标签；预览图像中也可能同时包括人物和树木，则此时与预览图像相匹配的场景类别可能为人物标签或风景标签；又或者预览图像中同时包括人物、动物和树木，则此时与预览图像相匹配的场景类别可能为人物标签、动物标签或风景标签。因此，基于预先训练的场景识别模型对预览图像进行场景识别，得到的与预览图像对应的场景类别的数量可能为一个或多个。

在一些实施例中，为准确确定出预览图像对应的目标场景类别，可以选择对预览图像进行划分，得到多个划分区域。

这里，对于预设的划分规则并不做限定，例如，在一些实施例中，可以为基于面积大小划分，将预览图像划分为多个面积相同或不相同的区域。

步骤204，基于预先训练的场景识别模型，分别对多个区域进行场景识别，得到各个区域分别对应的场景类别。

可以理解地，一副预览图像中可能同时包含多种元素，如预览图像中同时包括人物、动物和风景，则在得到多个划分区域后，每一区域对应识别出的场景类别可能相同或不同。

步骤205，将多个场景类别中重合最多的场景类别确定为目标场景类别。

可以理解地，在实际拍摄时，一般会选择一种场景类别并确定其对应的拍摄模式，将该拍摄模式作为最终的目标拍摄模式，因此，若得到多个场景类别，还需从多个场景类别中确定出目标场景类别。在一些实施例中，可以将得到的多个场景类别中重合最多的场景类别确定为目标场景类别。如得到的多个场景类别分别为人像场景数量为3，风景场景数量为1，动物场景数量为2，则可以确定目标场景类别为人像场景。

步骤206，判断目标拍摄模式是否与预设图像当前显示的拍摄模式相同；若是，执行步骤207；否则，执行步骤208。

可以理解地，在实际拍摄时，终端设备的预览图像的当前所在界面上会显示一个拍摄模式，该当前显示的拍摄模式可能与目标拍摄模式相同，也可能与目标拍摄模式不同。如当前显示的拍摄模型可能为上一次拍摄时遗留的拍摄模式，为风景模式，而此次对预览图像识别后得到的目标拍摄模式为人像模式，则可知当前显示的拍摄模式与目标拍摄模式不同；如当前显示的拍摄模型可能为上一次拍摄时遗留的拍摄模式，为人像模式，而此次对预览图像识别后得到的目标拍摄模式同样为人像模式，则可知当前显示的拍摄模式与目标拍摄模式相同。

因此，若当前显示的拍摄模式与目标拍摄模式不同，则执行步骤208，将预设图像的拍摄模式切换为目标拍摄模式；若当前显示的拍摄模式与目标拍摄模式相同，则不对当前显示的拍摄模型进行调整。

步骤207，基于当前显示的拍摄模式进行拍摄。

步骤208，将预设图像的拍摄模式切换为目标拍摄模式。

应该理解的是，虽然上述所示流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述所示流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于前述的实施例，本申请实施例提供一种拍摄模式识别装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图7为本申请实施例提供的拍摄模式识别装置的结构示意图，如图7所示，所述装置700包括获取模块701、第一处理模块702、第二处理模块703和切换模块704，其中：

获取模块，用于获取待拍摄场景的预览图像；

第一处理模块，用于基于预先训练的场景识别模型，确定与预览图像相匹配的目标场景类别，场景识别模型为深度迁移学习模型，深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；

第二处理模块，用于基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；

切换模块，用于将预设图像的拍摄模式切换为目标拍摄模式。

在一些实施例中，所述第二处理模块，具体用于：

基于预设的划分规则，将预览图像划分为多个区域；基于预先训练的场景识别模型，分别对多个区域进行场景识别，得到各个区域分别对应的场景类别；将多个场景类别中重合最多的场景类别确定为目标场景类别。

在一些实施例中，所述切换模块，具体用于：

判断目标拍摄模式是否与预设图像当前显示的拍摄模式相同；若否，将预设图像的拍摄模式切换为目标拍摄模式。

在一些实施例中，所述装置还包括训练模块，所述训练模块用于基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型；利用改进的全连接层替换训练好的残差神经网络模型中的全连接层，得到深度迁移学习模型，改进的全连接层中的神经元数量与拍摄模式的数量相同；基于获取到的第一样本数据集，通过迁移学习方法对深度迁移学习模型进行训练，得到训练好的场景识别模型，第一样本数据集中包括多个不同场景类别的样本图像。

在一些实施例中，所述训练模块，还用于获取第二样本数据集，第二样本数据集中包含多个不同场景类别的样本图像；对第二样本数据集进行数据增强处理，得到第一样本数据集，第一样本数据集的数量大于第二样本数据集的数量。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中图7所示的拍摄模式识别装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

本申请实施例提供一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种拍摄模式识别方法。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例提供的方法中的步骤。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的拍摄模式识别装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该采样装置的各个程序模块，比如，图7所示的获取模块、第一处理模块、第二处理模块和切换模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的拍摄模式识别方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种拍摄模式识别方法，其特征在于，所述方法包括：

获取待拍摄场景的预览图像；

基于预先训练的场景识别模型，确定与所述预览图像相匹配的目标场景类别，所述场景识别模型为深度迁移学习模型，所述深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，所述改进的全连接层中的神经元数量与拍摄模式的数量相同；

基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；

将所述预设图像的拍摄模式切换为所述目标拍摄模式。

2.根据权利要求1所述的方法，其特征在于，所述基于预先训练的场景识别模型，确定与所述预览图像相匹配的目标场景类别，包括：

基于预设的划分规则，将所述预览图像划分为多个区域；

基于所述预先训练的场景识别模型，分别对所述多个区域进行场景识别，得到各个区域分别对应的场景类别；

将多个所述场景类别中重合最多的场景类别确定为所述目标场景类别。

3.根据权利要求1所述的方法，其特征在于，所述将所述预设图像的拍摄模式切换为所述目标拍摄模式，包括：

判断所述目标拍摄模式是否与所述预设图像当前显示的拍摄模式相同；

若否，将所述预设图像的拍摄模式切换为所述目标拍摄模式。

4.根据权利要求1所述的方法，其特征在于，所述场景识别模型的预先训练过程包括：

基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型；

利用所述改进的全连接层替换所述训练好的残差神经网络模型中的全连接层，得到所述深度迁移学习模型，所述改进的全连接层中的神经元数量与所述拍摄模式的数量相同；

基于获取到的第一样本数据集，通过迁移学习方法对所述深度迁移学习模型进行训练，得到训练好的所述场景识别模型，所述第一样本数据集中包括多个不同场景类别的样本图像。

5.根据权利要求4所述的方法，其特征在于，在基于获取到的第一样本数据集对所述深度迁移学习模型进行训练之前，所述方法还包括：

获取第二样本数据集，所述第二样本数据集中包含多个不同场景类别的样本图像；

对所述第二样本数据集进行数据增强处理，得到所述第一样本数据集，所述第一样本数据集的数量大于所述第二样本数据集的数量。

6.一种场景识别模型的训练方法，其特征在于，所述方法包括：

基于初始样本数据集对残差神经网络模型进行训练，得到训练好的残差神经网络模型；

利用改进的全连接层替换所述训练好的残差神经网络模型中的全连接层，得到深度迁移学习模型，所述改进的全连接层中的神经元数量与预设的拍摄模式的数量相同；

基于获取到的第一样本数据集，通过迁移学习方法对所述深度迁移学习模型进行训练，得到训练好的场景识别模型，所述第一样本数据集中包括多个不同场景类别的样本图像。

7.一种拍摄模式识别装置，其特征在于，包括：

获取模块，用于获取待拍摄场景的预览图像；

第一处理模块，用于基于预先训练的场景识别模型，确定与所述预览图像相匹配的目标场景类别，所述场景识别模型为深度迁移学习模型，所述深度迁移学习模型为通过改进的全连接层替换残差神经网络模型中的原始全连接层后得到的模型，所述改进的全连接层中的神经元数量与拍摄模式的数量相同；

第二处理模块，用于基于预设的场景类别与拍摄模式的对应关系，确定与目标场景类别对应的目标拍摄模式；

切换模块，用于将所述预设图像的拍摄模式切换为所述目标拍摄模式。

8.根据权利要求7所述的装置，其特征在于，所述第二处理模块，具体用于：

基于预设的划分规则，将所述预览图像划分为多个区域；

基于所述预先训练的场景识别模型，分别对所述多个区域进行场景识别，得到各个区域分别对应的场景类别；

将多个所述场景类别中重合最多的场景类别确定为所述目标场景类别。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images