CN109951635B - 拍照处理方法、装置、移动终端以及存储介质 - Google Patents

Abstract

本申请公开了一种拍照处理方法、装置、移动终端以及存储介质，涉及电子设备技术领域。所述方法包括：采集预览图像，将预览图像输入已训练的图像分类模型，获取已训练的图像分类模型输出的信息，当读取到信息包括预览图像中有遮挡物时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的目标图像，其中，目标图像为已训练的图像生成模型对预览图像进行修复后获得的不包括遮挡物的图像。本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质通过已训练的图像分类模型对预览图像进行遮挡检测，并根据检测结果将有遮挡的预览图像输入已训练的图像生成模型进行修复处理，从而获得不包括遮挡物的目标图像，提升拍摄效果。

Description

拍照处理方法、装置、移动终端以及存储介质

技术领域

本申请涉及电子设备技术领域，更具体地，涉及一种拍照处理方法、装置、移动终端以及存储介质。

背景技术

随着科学技术的发展，移动终端已经成为人们日常生活中最常用的电子产品之一。并且，用户经常会通过移动终端进行拍照，但是，移动终端在进行拍照时偶尔会有遮挡物干扰，例如，用户手指干扰，从而影响照片的整体质量。

发明内容

鉴于上述问题，本申请提出了一种拍照处理方法、装置、移动终端以及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种拍照处理方法，所述方法包括：采集预览图像，将所述预览图像输入已训练的图像分类模型；获取所述已训练的图像分类模型输出的信息；当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型；获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

第二方面，本申请实施例提供了一种拍照处理装置，所述装置包括：图像采集模块，用于采集预览图像，将所述预览图像输入已训练的图像分类模型；信息获取模块，用于获取所述已训练的图像分类模型输出的信息；图像输入模块，用于当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型；图像修复模块，用于获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

第三方面，本申请实施例提供了一种移动终端，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质，采集预览图像，将预览图像输入已训练的图像分类模型，获取已训练的图像分类模型输出的信息，当读取到信息包括预览图像中有遮挡物时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的目标图像，其中，目标图像为已训练的图像生成模型对预览图像进行修复后获得的不包括遮挡物的图像。本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质通过已训练的图像分类模型对预览图像进行遮挡检测，并根据检测结果将有遮挡的预览图像输入已训练的图像生成模型进行修复处理，从而获得不包括遮挡物的目标图像，提升拍摄效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请一个实施例提供的拍照处理方法的流程示意图；

图2示出了本申请实施例提供的移动终端的第一种界面示意图；

图3示出了本申请实施例提供的移动终端的第二种界面示意图；

图4示出了本申请又一个实施例提供的拍照处理方法的流程示意图；

图5示出了本申请实施例提供的移动终端的第三种界面示意图；

图6示出了本申请的图4所示的拍照处理方法的步骤S210的流程示意图；

图7示出了本申请实施例提供的拍照处理装置的模块框图；

图8示出了本申请实施例用于执行根据本申请实施例的拍照处理方法的移动终端的框图；

图9示出了本申请实施例的用于保存或者携带实现根据本申请实施例的拍照处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前，拍照功能已成为多数移动终端的标准配置，移动终端用户可随身携带移动终端并通过该移动终端记录身边的美好瞬间，另外，随着移动终端智能化的快速发展，移动终端用户对照片的质量要求也越来越高，例如，移动终端用户期望通过移动终端拍摄没有遮挡物的目标物体。但是，目前通过移动终端拍照时偶尔会有遮挡物干扰，例如，手指遮挡移动终端的拍摄镜头等，那么，在形成照片时，用户的手指会出现在照片的一角，从而影响照片的整体质量。为了解决上述问题，目前的技术可以通过用户运用软件进行后期编辑处理，达到移除遮挡物的效果，但是这种处理方式十分依赖照片的背景，如果背景颜色单一且有规律，那么用户可以通过修饰去除遮挡物，如果背景颜色复杂，那么用户需要运用选取、复制、移动背景等方式，覆盖被遮挡物遮挡的地方，这不仅需要用户付出大量的耐心，同时还对软件的要求极高，因此，处理效果不理想。

针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质，通过已训练的图像分类模型对预览图像进行遮挡检测，并根据检测结果将有遮挡的预览图像输入已训练的图像生成模型进行修复处理，从而获得不包括遮挡物的目标图像，以提升拍摄效果。其中，具体的拍照处理方法在后续的实施例中进行详细的说明。

实施例

请参阅图1，图1示出了本申请一个实施例提供的拍照处理方法的流程示意图。所述拍照处理方法用于通过已训练的图像分类模型对预览图像进行遮挡检测，并根据检测结果将有遮挡的预览图像输入已训练的图像生成模型进行修复处理，从而获得不包括遮挡物的目标图像，提升拍摄效果。在具体的实施例中，所述拍照处理方法应用于如图7所示的拍照处理装置200以及配置有所述拍照处理装置200的移动终端100(图8)。下面将以移动终端为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的移动终端可以为智能手机、平板电脑、穿戴式电子设备、车载设备、网关等包括摄像头的电子设备，在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述，所述拍照处理方法具体可以包括以下步骤：

步骤S101：采集预览图像，将所述预览图像输入已训练的图像分类模型。

在本实施例中，所述移动终端通过摄像头采集预览图像，其中，作为一种方式，可以通过移动终端的前置摄像头采集预览图像，例如，通过前置摄像头采集用户在自拍时的预览图像；可以通过移动终端的后置摄像头采集预览图像，例如，通过后置摄像头采集用户在他拍时的预览图像；也可以通过移动终端的可转动摄像头采集预览图像，可以理解的，通过移动终端的可转动摄像头，该移动终端可以通过转动可转动摄像头的方式采集自拍预览图像或他拍预览图像，在此不做限定。

进一步地，移动终端在采集到预览图像后，可以将该预览图像输入已训练的图像分类模型，其中，该已训练的图像分类模型是通过机器学习获得的，具体地，首先采集第一训练数据集，其中，第一训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的第一训练数据集按照预设的算法对第一神经网络进行训练建模，从而基于该第一训练数据集总结出规律，得到已训练的图像分类模型。在本实施例中，第一训练数据集例如可以是存在遮挡物的多个遮挡图像和注明该遮挡图像有遮挡物的多个第一标签信息。进一步地，还可以采集第二训练数据集，其中，第二训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的第二训练数据集按照预设的算法对第一神经网络进行训练建模，从而基于该第二训练数据集总结出规律，得到已训练的图像分类模型。在本实施例中，第二训练数据集例如可以是不存在遮挡物的多个非遮挡图像和注明该遮挡图像没有遮挡物的多个第二标签信息。

可以理解的，该已训练的图像分类模型可以预先训练完成后存储在移动终端本地。基于此，移动终端在采集到预览图像后，可以直接在本地调用该已训练的图像分类模型，例如，可以直接发送指令至图像分类模型，以指示该已训练的图像分类模型在目标存储区域读取该预览图像，或者移动终端可以直接将该预览图像输入存储在本地的已训练的图像分类模型，从而有效避免由于网络因素的影响降低预览图像输入已训练的图像分类模型的速度，以提升已训练的图像分类模型获取预览图像的速度，提升用户体验。

另外，该已训练的图像分类模型也可以预先训练完成后存储在与移动终端通信连接的服务器。基于此，移动终端在采集到预览图像后，可以通过网络发送指令至存储在服务器的已训练的图像分类模型，以指示该已训练的图像分类模型通过网络读取移动终端采集的预览图像，或者移动终端可以通过网络将预览图像发送至存储在服务器的已训练的图像分类模型，从而通过将已训练的图像分类模型存储在服务器的方式，减少对移动终端的存储空间的占用，降低对移动终端正常运行的影响。

其中，作为一种方式，该已训练的图像分类模型用于检测所述预览图像中是否有遮挡物，以及根据检测结果输出用于表征所述预览图像中没有遮挡物的第一标签信息或用于表征所述预览图像中有遮挡物的第二标签信息。也就是说，该已训练的图像分类模型可以用于对预览图像中是否有遮挡物进行检测，其中，该遮挡物可以包括用户的手指图像、手掌图像等，在此不做限定。作为一种可实施的方式，当已训练的图像分类模型没有检测到该预览图像中有遮挡物时，可以输出第一标签信息，其中，该第一标签信息用于表征该预览图像中没有遮挡物，例如，当已训练的图像分类模型没有检测到该预览图像中有遮挡物时，可以输出“非遮挡”标签信息；而当已训练的图像分类模型检测到该预览图像中有遮挡物时，可以输出第二标签信息，其中，该第二标签信息用于表征该预览图像中有遮挡物，例如，当已训练的图像分类模型检测到该预览图像中有遮挡物时，可以输出“遮挡”标签。因此，通过所述已训练的图像分类模型可以实现对预览图像是否有遮挡物的自动分类，提升预览图像的识别效率。

步骤S102：获取所述已训练的图像分类模型输出的信息。

在本实施例中，已训练图像分类模型基于读取的预览图像输出相应的信息，则所述移动终端获取该已训练的图像分类模型输出的信息。可以理解的，若该已训练的图像分类模型存储在移动终端本地，则该移动终端直接获取该已训练的图像分类模型输出的信息；若该已训练的图像分类模型存储在服务器，则该移动终端可以通过网络从服务器获取该已训练的图像分类模型输出的信息。作为一种可实施的方式，可以获取该已训练的图像分类模型输出的语音信息、文本信息、图片信息等，在此不做限定。

步骤S103：当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型。

作为一种方式，该已训练的图像分类模型输出的信息可以为xml文件，则移动终端可以对该xml文件中记载的内容进行读取分析，其中，当移动终端读取到该信息包括预览图像中有遮挡物时，例如，当移动终端读取到该信息包括用于表征预览图像中有遮挡物的第二标签信息时，则可以确定该预览图像中存在遮挡物。作为一种可实施的方式，移动终端可以通过相机系统读取已训练的图像分类模型输出的信息，并响应输出的信息。

在本实施例中，在确定该预览图像中有遮挡物时，可以将该预览图像输入已训练的图像生成模型GAN。其中，该已训练的图像生成模型是通过机器学习获得的，具体地，首先采集第三训练数据集，其中，第三训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的第三训练数据集按照预设的算法对第二神经网络进行训练建模，从而基于该第三训练数据集总结出规律，得到已训练的图像生成模型。在本实施例中，第三训练数据集例如可以是存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡物图像。

同样的，该已训练的图像生成模型可以预先训练完成后存储在移动终端本地。基于此，移动终端在确定预览图像中有遮挡物时，可以直接在本地调用该已训练的图像生成模型，例如，可以直接发送指令至图像生成模型，以指示该已训练的图像生成模型在目标存储区域读取该预览图像，或者移动终端可以直接将该预览图像输入存储在本地的已训练的图像生成模型，从而有效避免由于网络因素的影响降低预览图像输入已训练的图像生成模型的速度，以提升已训练的图像生成模型获取预览图像的速度，提升用户体验。

另外，该已训练的图像生成模型也可以预先训练完成后存储在与移动终端通信连接的服务器。基于此，移动终端在采集到预览图像后，可以通过网络发送指令至存储在服务器的已训练的图像生成模型，以指示该已训练的图像生成模型通过网络读取移动终端采集的预览图像，或者移动终端可以通过网络将预览图像发送至存储在服务器的已训练的图像生成模型，从而通过将已训练的图像生成模型存储在服务器的方式，减少对移动终端的存储空间的占用，降低对移动终端正常运行的影响。其中，在本实施例中，该已训练的图像生成模型用于对有遮挡物的预览图像进行修复处理，并输出修复处理后的图像，例如，输出非遮挡图像。

其中，作为一种方式，所述图像生成模型所对应的生成网络中每层的具体含义可以为：第1层InputLR表示输入有遮挡物的预览图像；第2层和第3层表示一个卷积层和ReLU(Rectified linear unit，修正线性单元，为深度学习激活函数的一种)激活函数层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第4层到第9层是一个残差网络功能块，使用了两组卷积层紧跟批量规范化层，以ReLU作为激活函数，最后是元素级相加层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第10到第33层是4个残差网络功能块，每个残差网络功能块同上；第34到第37层是两组反卷积单元，用于图像上采样。反卷积层操作的步长为0.5，卷积核大小为3*3，卷积核数量为64；第38层是一个卷积层，卷积操作步长为1，卷积核大小为3*3，卷积核数量为3，目的是生成3通道的RGB数据。该生成网络的最后一层对包括有遮挡物的预览图像进行修复后输出不包括遮挡物的图像。

步骤S104：获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

作为一种方式，该已训练的图像生成模型输出的信息为不包括遮挡物的目标图像，相应的，移动终端获取该已训练的图像生成模型输出的目标图像。作为一种可实施的方式，移动终端在确定该预览图像中包括有遮挡物时，可以将该包括有遮挡物的预览图像输入已训练的图像生成模型，从而通过已训练的图像生成模型对预览图像的遮挡物进行处理，输出不包括遮挡物的目标图像，从而实现获得不包括遮挡物的目标图像，提升目标图像的展示效果。进一步地，在获取目标图像后，可以将该目标图像输出到相册系统保存，也可以将该目标图像输出到移动终端的展示界面进行展示，在此不做限定。

例如，如图2所示，图2示出了本申请实施例提供的移动终端的第一种界面示意图。其中，在图2中，A用于表示预览图像，B用于表示遮挡物，因此，在图2所示的界面中，预览图像A中包括有遮挡物B，因此，当移动终端采集到预览图像A时，可以将该预览图像A输入已训练的图像分类模型进行预览图像A的分类，可以理解的，此时所述已训练的图像分类模型输出的信息包括预览图像A中有遮挡物B，则所述移动终端作为响应，将该预览图像A输入已训练的图像生成模型进行预览图像A的修复，可以理解的，经过所述已训练的图像生成模型的修复处理，所述移动终端可以获得不包括遮挡物B的目标图像C，如图3所示，其中，图3示出了本申请实施例提供的移动终端的第二种界面示意图。

本申请一个实施例提供的拍照处理方法，采集预览图像，将预览图像输入已训练的图像分类模型，获取已训练的图像分类模型输出的信息，当读取到信息包括预览图像中有遮挡物时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的目标图像，其中，目标图像为已训练的图像生成模型对预览图像进行修复后获得的不包括遮挡物的图像。本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质通过已训练的图像分类模型对预览图像进行遮挡检测，并根据检测结果将有遮挡的预览图像输入已训练的图像生成模型进行修复处理，从而获得不包括遮挡物的目标图像，提升拍摄效果。

请参阅图4，图4示出了本申请又一个实施例提供的拍照处理方法的流程示意图。所述方法应用于上述移动终端，下面将针对图4所示的流程进行详细的阐述，所述拍照处理方法具体可以包括以下步骤：

步骤S201：获取存在遮挡物的多个遮挡图像和注明所述遮挡图像有遮挡物的多个第一标签信息，其中，所述多个遮挡图像和所述多个第一标签信息一一对应。

在本实施例中，首先采集多个第一训练数据集，该多个第一训练数据集包括存在遮挡物的多个遮挡图像和注明该遮挡图像有遮挡物的多个第一标签信息，其中，多个遮挡图像和多个第一标签信息一一对应，即多个遮挡图像中的每个遮挡图像均对应多个第一标签信息中的一个第一标签信息，当然，该多个第一标签信息可以相同，也可以不相同，例如，该第一标签信息可以均为“遮挡”，也可以分别为“遮挡1”、“遮挡2”、“遮挡3”等，在此不做限定。

其中，多个存在遮挡物的遮挡图像可以由移动终端通过摄像头拍摄获得，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。另外，多个第一标签信息可以由用户在遮挡图像的基础上手动进行标注，可以由移动终端在遮挡图像的基础上自动进行标注等，在此不做限定，其中，该第一标签信息可以包括在遮挡图像中加入标注框形成带有标注框的标注图像，也可以包括以xml文件的形式标注遮挡图像。

步骤S202：基于所述多个遮挡图像和所述多个第一标签信息对第一预设神经网络进行训练，获得所述已训练的图像分类模型。

作为一种方式，在获取多个遮挡图像和多个第一标签信息后，将多个遮挡图像和多个第一标签信息作为第一训练数据集对第一预设神经网络进行训练，以获得已训练的图像分类模型。可以理解的，可以将一一对应的多个遮挡图像和多个第一标签信息成对输入第一预设神经网络，以进行训练，从而获得已训练的图像分类模型。

步骤S203：获取不存在遮挡物的多个非遮挡图像和注明所述非遮挡图像没有遮挡物的多个第二标签信息，其中，所述多个非遮挡图像和所述多个第二标签信息一一对应。

进一步地，采集多个第二训练数据集，该多个第二训练数据集包括不存在遮挡物的多个非遮挡图像和注明该非遮挡图像没有遮挡物的多个第二标签信息，其中，多个非遮挡图像和多个第二标签信息一一对应，即多个非遮挡图像中的每个非遮挡图像均对应多个第二标签信息中的一个标签信息，当然，该多个第二标签信息可以相同，也可以不相同，例如，该第二标签信息可以均为“非遮挡”，也可以分别为“非遮挡1”、“非遮挡2”、“非遮挡3”等，在此不做限定。

其中，多个不存在遮挡物的非遮挡图像可以由移动终端通过摄像头拍摄获得，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。另外，多个第二标签信息可以由用户在非遮挡图像的基础上手动进行标注，可以由移动终端在非遮挡图像的基础上自动进行标注等，在此不做限定，其中，该第二标签信息可以包括在非遮挡图像中加入标注框形成带有标注框的标注图像，也可以包括以xml文件的形式标注非遮挡图像。

其中，作为一种可实施方式，获取的多个遮挡图像和多个非遮挡图像也可以一一对应，即多个遮挡图像中的每个遮挡图像对应多个非遮挡图像中的一个非遮挡图像，且相对应的遮挡图像和非遮挡图像所采集的场景相同，即相对应的遮挡图像和非遮挡图像除遮挡图之外的图像内容相同。

步骤S204：基于所述多个非遮挡图像和所述多个第二标签信息对所述第一预设神经网络进行训练，获得所述已训练的图像分类模型。

作为一种方式，在获取多个非遮挡图像和多个第二标签信息后，将多个非遮挡图像和多个第二标签信息作为第二训练数据集对第一预设神经网络进行训练，以获得已训练的图像分类模型。可以理解的，可以将一一对应的多个非遮挡图像和多个第二标签信息成对输入第一预设神经网络，以进行训练，从而获得已训练的图像分类模型。另外，在获得已训练的图像分类模型后，还可以对该已训练的图像分类模型的准确性进行验证，并判断该已训练的图像分类模型基于输入数据的输出信息是否满足预设要求，当该已训练的图像分类模型基于输入数据的输出信息不满足预设要求时，可以重新采集第一训练数据集和第二训练数据集对第一预设神经网络进行训练，或者再获取多个第一训练数据集和多个第二训练数据集对已训练的图像分类模型进行校正，在此不做限定。

其中，步骤S201-步骤S202与步骤S203-步骤S204之前的先后顺序在此不做限定，即步骤S201-步骤S202可以设置于步骤S203-步骤S204之前，步骤S201-步骤S202可以设置于步骤S203-步骤S204之后，步骤S201-步骤S202也可以与步骤S203-步骤S204同时进行。

步骤S205：获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同。

在本实施例中，首先采集多个第三训练数据集，该多个第三训练数据集包括存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，多个遮挡图像和多个非遮挡图像一一对应，即多个遮挡图像中的每个遮挡图像均对应多个非遮挡图像中的一个非遮挡图像。

其中，多个存在遮挡物的遮挡图像可以由移动终端通过摄像头拍摄获得，例如，通过三脚架拍摄获得，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。另外，不存在遮挡物的非遮挡图像可以由移动终端通过摄像头拍摄获得，例如，通过三脚架拍摄获得，可以从移动终端本地保存中获得，也可以由移动终端从服务器获得等，在此不做限定。其中，在本实施例中，多个遮挡图像和多个非遮挡图像中相对应的遮挡图像和非遮挡图像除遮挡物之外的图像内容相同。

步骤S206：基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得所述已训练的图像生成模型。

作为一种方式，在获取多个遮挡图像和多个非遮挡图像后，将多个遮挡图像和多个非遮挡图像作为第三训练数据集对第二预设神经网络进行训练，以获得已训练的图像生成模型。可以理解的，可以将一一对应的多个遮挡图像和多个非遮挡图图像成对输入第二预设神经网络，以进行训练，从而获得已训练的图像生成模型。另外，在获得已训练的图像生成模型后，还可以对该已训练的图像生成模型的准确性进行验证，并判断该已训练的图像生成模型基于输入数据的输出信息是否满足预设要求，当该已训练的图像生成模型基于输入数据的输出信息不满足预设要求时，可以重新采集第三训练数据集对第二预设神经网络进行训练，或者再获取多个第三训练数据集对已训练的图像生成模型进行校正，在此不做限定。

其中，步骤S201-步骤S204与步骤S205-步骤S206之间的先后顺序在此不做限定，即步骤201-步骤S204可以设置于步骤S205-步骤S206之前，步骤S201-步骤S204也可以设置于步骤S205-步骤S206之后。

步骤S207：采集预览图像，将所述预览图像输入已训练的图像分类模型。

步骤S208：获取所述已训练的图像分类模型输出的信息。

其中，步骤S207-步骤S208的具体描述请参阅步骤S101-步骤S102，在此不再赘述。

步骤S209：当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的目标检测模型，所述目标检测模型用于在检测到所述预览图像中有遮挡物时，输出所述遮挡物在所述预览图像中的遮挡区域。

进一步地，移动终端在确定该图像分类模型输出的信息包括该预览图像中有遮挡物后，可以将该预览图像输入已训练的目标检测模型，其中，该已训练的目标检测模型是通过机器学习获得的，具体地，首先采集训练数据集，其中，训练数据集中的一类数据的属性或特征区别于另一类数据，然后通过将采集的训练数据集按照预设的算法对神经网络进行训练建模，从而基于该训练数据集总结出规律，得到已训练的目标检测模型。在本实施例中，训练数据集例如可以是存在遮挡物的多个原始图像和注明遮挡物在原始图像中的遮挡区域多个标签信息。

可以理解的，该已训练的目标检测模型可以预先训练完成后存储在移动终端本地。基于此，移动终端在确定该信息包括预览图像中有遮挡物后，可以直接在本地调用该已训练的目标检测模型，例如，可以直接发送指令至目标检测模型，以指示该已训练的目标检测模型在目标存储区域读取该预览图像，或者移动终端可以直接将该预览图像输入存储在本地的已训练的目标检测模型，从而有效避免由于网络因素的影响降低预览图像输入已训练的目标检测模型的速度，以提升已训练的目标检测模型获取预览图像的速度，提升用户体验。

另外，该已训练的目标检测模型也可以预先训练完成后存储在与移动终端通信连接的服务器。基于此，移动终端确定该信息包括预览图像中有遮挡物后，可以通过网络发送指令至存储在服务器的已训练的目标检测模型，以指示该已训练的目标检测模型通过网络读取移动终端采集的预览图像，或者移动终端可以通过网络将预览图像发送至存储在服务器的已训练的目标检测模型，从而通过将已训练的目标检测模型存储在服务器的方式，减少对移动终端的存储空间的占用，降低对移动终端正常运行的影响。

其中，作为一种方式，该已训练的目标检测模型用于在检测到该预览图像中有遮挡物时，输出遮挡物在预览图像中的遮挡区域。例如，输出该遮挡物在预览图像的图像坐标系中的坐标信息，输出该遮挡物在预览图像的位置图像等。如图5所示，图5示出了本申请实施例提供的移动终端的第三种界面示意图，其中，在图5中，A用于表示预览图像，B用于表示遮挡物，D用于表示该遮挡物B在预览图像A中的遮挡区域。作为一种方式，该遮挡区域D的大小至少等于该遮挡物B，也就是说，该遮挡区域D的大小可以与遮挡物B的大小相同，该遮挡区域D的大小也可以大于遮挡物B的大小，另外，该遮挡区域D的形状可以与遮挡物B的形状相同，也可以与遮挡物B的形状不同，且该遮挡区域D的形状可以为不规则多边形、可以为圆形、可以为椭圆形、可以为规则多边形等，可选地，图5所示的遮挡物B为手指，且该遮挡区域D为矩形。

步骤S210：获取所述遮挡区域，并判断所述遮挡区域是否小于预设区域。

在本实施例中，所述移动终端设置有预设区域，其中，该预设区域可以预先设置完成，也可以在进行判断时再进行设置，另外，该预设区域可以预先存储在移动终端本地，也可以预先存储在服务器，在此不做限定。作为一种方式，在获取到遮挡区域后，将该遮挡区域和预设区域进行比较，以判断该遮挡区域是否小于该预设区域。

请参阅图6，图6示出了本申请的图4所示的拍照处理方法的步骤S210的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S2101：获取所述遮挡区域的面积和所述预览图像的面积，并计算所述遮挡区域的面积和所述预览图像的面积的面积比。

作为一种实施方式，在确定该遮挡物在预览图像中的遮挡区域时，可以获取该遮挡区域的面积和预览图像的面积，然后再基于该遮挡区域的面积和预览图像的面积计算该遮挡区域和预览图像之间的面积比。如图5所示，则该遮挡区域D的面积可以通过该遮挡区域D的长和宽的乘积计算，该遮挡区域D的面积记为S1，该预览图像A的面积可以通过该预览图像A的长和宽的乘积计算，该预览图像A的面积记为S2，则可以计算该遮挡区域D的面积S1和所述预览图像A的面积S2的面积比S2/S1。另外，该预览图像A的面积S2可以是固定值，在此不做限定。

步骤S2102：判断所述面积比是否小于预设面积比。

在本实施例中，所述移动终端设置有预设面积比，其中，该预设面积比可以预先设置完成，也可以在进行判断时再进行设置，另外，该预设面积比可以预先存储在移动终端本地，也可以预先存储在服务器，在此不做限定。作为一种方式，在获取到遮挡区域的面积和预览图像的面积的面积比后，将该面积比与预设面积比进行比较，以判断该面积比是否小于该预设面积比，可以理解的，当该面积比的值小于该预设面积比的值时，可以确定该遮挡区域小于预设区域；当该面积比的值不小于预设面积比的值时，可以确定该遮挡区域不小于预设区域。

步骤S211：当所述遮挡区域小于所述预设区域时，将所述预览图像输入所述已训练的图像生成模型。

其中，当确定该遮挡区域小于该预设区域时，表征该遮挡物对应的遮挡区域在预览图像中所占的比例较小，将该遮挡区域进行修复处理后对于照片的整体质量影响较小，例如，遮挡区域进行修复处理后，该修复区域对应的图像像素值降低，但由于该遮挡区域较小，即对整个预览图像的像素值较低的影响较小，因此，作为一种方式，当确定该遮挡区域比小于该预设区域时，可以将该预览图像中输入已训练的图像生成模型，以获得不包括遮挡物的目标图像。

相反的，当确定该遮挡区域不小于该预设区域时，表征该遮挡物对应的遮挡区域在预览图像中所占的比例较大，将该遮挡区域进行修复处理后对于照片的整体质量影响较大，例如，遮挡区域进行修复处理后，该修复区域对应的图像像素值降低，但由于该遮挡区域较大，即对整个预览图像的像素值较低的影响较大，因此，作为一种方式，当确定该遮挡区域不小于该预设区域时，可以不将预览图像输入图像生成模型，并发出提示信息，其中，该提示信息用于提示用户重新采集图像，以获取质量更加的目标图像。

步骤S212：获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

其中，步骤S201的具体描述请参阅步骤S104，在此不再赘述。

本申请又一个实施例提供的拍照处理方法，获取存在遮挡物的多个遮挡图像和注明该遮挡图像有遮挡物的多个第一标签信息，其中，该多个遮挡图像和多个第一标签信息一一对应，基于多个遮挡图像和多个第一标签信息对第一预设神经网络进行训练，获得已训练的图像分类模型，获取不存在遮挡物的多个非遮挡图像和注明该非遮挡图像没有遮挡物的多个第二标签信息，其中，该多个非遮挡图像和多个第二标签信息一一对应，基于多个非遮挡图像和多个第二标签信息对第一预设神经网络进行训练，获得已训练的图像分类模型。获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，多个遮挡图像和多个非遮挡图像一一对应，且相应的遮挡图像和非遮挡图像除遮挡物之前的图像内容相同，基于该多个遮挡图像和多个非遮挡图像对第二预设神经网络进行训练，获得已训练的图像生成模型。采集预览图像，将该预览图像输入已训练的图像分类模型，获取已训练的图像分类模型输出的信息，当读取到该信息包括预览图像中有遮挡物时，将该预览图像输入已训练的目标检测模型，该目标检测模型用于在检测到预览图像中有遮挡物时，输出遮挡物在预览图像中的遮挡区域，获取该遮挡区域，并判断该遮挡区域是否小于预设区域，当该遮挡区域小于该预设区域时，将预览图像输入已训练的图像生成模型，获取该已训练的图像生成模型对预览图像进行修复后获得的不包括遮挡物的图像。相较于图1所示的拍照处理方法，本实施例还预先训练并创建图像分类模型和图像生成模型，同时，本实施例还在读取到预览图像中有遮挡物时，通过目标检测模型检测遮挡物的遮挡区域，并在确定遮挡区域小于预设区域时对预览图像进行修复处理，保证目标图像的展示效果。

请参阅图7，图7示出了本申请实施例提供的拍照处理装置200的模块框图。该拍照处理装置200应用于上述移动终端。下面将针对图7所示的框图进行阐述，所述拍照处理装置200包括：图像采集模块210、信息获取模块220、图像输入模块230以及图像修复模块240，其中：

图像采集模块210，用于采集预览图像，将所述预览图像输入已训练的图像分类模型。

信息获取模块220，用于获取所述已训练的图像分类模型输出的信息。

图像输入模块230，用于当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型。进一步地，所述图像输入模块230包括：图像输入子模块、遮挡区域获取子模块以及预览图像输入子模块，其中：

图像输入子模块，用于当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的目标检测模型，所述目标检测模型用于在检测到所述预览图像中有遮挡物时，输出所述遮挡物在所述预览图像中的遮挡区域。

遮挡区域获取子模块，用于获取所述遮挡区域，并判断所述遮挡区域是否小于预设区域。进一步地，所述遮挡区域获取子模块包括：面积获取单元和面积判断单元，其中：

面积获取单元，用于获取所述遮挡区域的面积和所述预览图像的面积，并计算所述遮挡区域的面积和所述预览图像的面积的面积比。

面积判断单元，用于判断所述面积比是否小于预设面积比。

预览图像输入子模块，用于当所述遮挡区域小于所述预设区域时，将所述预览图像输入所述已训练的图像生成模型。

图像修复模块240，用于获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

进一步地，所述拍照处理装置200还包括：第一标签获取模块、第一网络训练模块、第二标签获取模块、第二网络训练模块、遮挡图像获取模块以及第三网络训练模块，其中：

第一标签获取模块，用于获取存在遮挡物的多个遮挡图像和注明所述遮挡图像有遮挡物的多个第一标签信息，其中，所述多个遮挡图像和所述多个第一标签信息一一对应。

第一网络训练模块，用于基于所述多个遮挡图像和所述多个第一标签信息对第一预设神经网络进行训练，获得所述已训练的图像分类模型。

第二标签获取模块，用于获取不存在遮挡物的多个非遮挡图像和注明所述非遮挡图像没有遮挡物的多个第二标签信息，其中，所述多个非遮挡图像和所述多个第二标签信息一一对应。

第二网络训练模块，用于基于所述多个非遮挡图像和所述多个第二标签信息对所述第一预设神经网络进行训练，获得所述已训练的图像分类模型。

遮挡图像获取模块，用于获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同。

第三网络训练模块，用于基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得所述已训练的图像生成模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图8，其示出了本申请实施例提供的一种移动终端100的结构框图。该移动终端100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的移动终端100可以包括一个或多个如下部件：处理器110、存储器120、屏幕130、摄像头140以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

屏幕130用于显示由用户输入的信息、提供给用户的信息以及所述移动终端100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，该屏幕130可以为液晶显示器(Liquid Crystal Display，LCD)，也可以为有机发光二极管(Organic Light-Emitting Diode，OLED)，在此不做限定。

摄像头140可以固定设置于移动终端100，可以滑动设置于移动终端100，也可以转动设置于移动终端100，在此不做限定。

请参阅图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质，采集预览图像，将预览图像输入已训练的图像分类模型，获取已训练的图像分类模型输出的信息，当读取到信息包括预览图像中有遮挡物时，将预览图像输入已训练的图像生成模型，获取已训练的图像生成模型输出的目标图像，其中，目标图像为已训练的图像生成模型对预览图像进行修复后获得的不包括遮挡物的图像。本申请实施例提供的拍照处理方法、装置、移动终端以及存储介质通过已训练的图像分类模型对预览图像进行遮挡检测，并根据检测结果将有遮挡的预览图像输入已训练的图像生成模型进行修复处理，从而获得不包括遮挡物的目标图像，提升拍摄效果。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种拍照处理方法，其特征在于，所述方法包括：

获取存在遮挡物的多个遮挡图像和注明所述遮挡图像有遮挡物的多个第一标签信息，其中，所述多个遮挡图像和所述多个第一标签信息一一对应；

获取不存在遮挡物的多个非遮挡图像和注明所述非遮挡图像没有遮挡物的多个第二标签信息，其中，所述多个非遮挡图像和所述多个第二标签信息一一对应；

基于所述多个遮挡图像和所述多个第一标签信息，以及所述多个非遮挡图像和所述多个第二标签信息对第一预设神经网络进行训练，获得已训练的图像分类模型；

获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同；

基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得已训练的图像生成模型；

采集预览图像，将所述预览图像输入所述已训练的图像分类模型；

获取所述已训练的图像分类模型输出的信息；

当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型；

获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

2.根据权利要求1所述的方法，其特征在于，所述已训练的图像分类模型用于检测所述预览图像中是否有遮挡物，以及根据检测结果输出用于表征所述预览图像有遮挡物的第一标签信息或输出用于表征所述预览图像没有遮挡物的第二标签信息。

3.根据权利要求1所述的方法，其特征在于，所述当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型，包括：

当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的目标检测模型，所述目标检测模型用于在检测到所述预览图像中有遮挡物时，输出所述遮挡物在所述预览图像中的遮挡区域；

获取所述遮挡区域，并判断所述遮挡区域是否小于预设区域；

当所述遮挡区域小于所述预设区域时，将所述预览图像输入所述已训练的图像生成模型。

4.根据权利要求3所述的方法，其特征在于，所述判断所述遮挡区域是否小于预设区域，包括：

获取所述遮挡区域的面积和所述预览图像的面积，并计算所述遮挡区域的面积和所述预览图像的面积的面积比；

判断所述面积比是否小于预设面积比。

5.一种拍照处理装置，其特征在于，所述装置包括：

第一标签获取模块，用于获取存在遮挡物的多个遮挡图像和注明所述遮挡图像有遮挡物的多个第一标签信息，其中，所述多个遮挡图像和所述多个第一标签信息一一对应；

第二标签获取模块，用于获取不存在遮挡物的多个非遮挡图像和注明所述非遮挡图像没有遮挡物的多个第二标签信息，其中，所述多个非遮挡图像和所述多个第二标签信息一一对应；

第一网络训练模块，用于基于所述多个遮挡图像和所述多个第一标签信息，以及所述多个非遮挡图像和所述多个第二标签信息对第一预设神经网络进行训练，获得已训练的图像分类模型；

遮挡图像获取模块，用于获取存在遮挡物的多个遮挡图像和不存在遮挡物的多个非遮挡图像，其中，所述多个遮挡图像和所述多个非遮挡图像一一对应，且相对应的遮挡图像和非遮挡图像除所述遮挡物之外的图像内容相同；

第三网络训练模块，用于基于所述多个遮挡图像和所述多个非遮挡图像对第二预设神经网络进行训练，获得已训练的图像生成模型；

图像采集模块，用于采集预览图像，将所述预览图像输入已训练的图像分类模型；

信息获取模块，用于获取所述已训练的图像分类模型输出的信息；

图像输入模块，用于当读取到所述信息包括所述预览图像中有遮挡物时，将所述预览图像输入已训练的图像生成模型；

图像修复模块，用于获取所述已训练的图像生成模型输出的目标图像，其中，所述目标图像为所述已训练的图像生成模型对所述预览图像进行修复后获得的不包括所述遮挡物的图像。

6.一种移动终端，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-4任一项所述的方法。

7.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-4任一项所述的方法。

Images