CN112804451B - 利用多个摄像头进行拍照的方法和系统以及移动装置 - Google Patents

Abstract

提供了一种利用多个摄像头进行拍照的方法和系统以及移动装置。所述方法包括：响应于拍照请求，启动第一摄像头以获取第一图像；显示第一图像并接收针对特定对象的选择；启动第二摄像头以获取包括特定对象的第二图像；以第一方法获取从第二图像中分割出来的包括特定对象的第三图像，并且接收第一用户反馈；根据第一用户反馈，将第三图像与第一图像进行融合以获得第四图像并将其显示给用户，或者以第二方法获取从第二图像中分割出来的包括特定对象的第五图像，将第五图像与第一图像进行融合以获得第六图像并将其显示给用户。通过采用本公开，能够实现在获得令用户满意的照片与快速地处理图像之间的平衡，从而提升用户利用移动装置进行拍照的体验。

Description

利用多个摄像头进行拍照的方法和系统以及移动装置

技术领域

本公开总体上涉及拍摄图像技术领域，具体涉及一种利用多个摄像头进行拍照的方法和系统以及移动装置。

背景技术

由于多摄像头技术的快速发展，目前已经衍生出了几种不同的多摄硬件和算法配置解决方案，不同的厂商可能有不同的多摄配置，根据不同的应用需求和侧重点，目前多摄手机通常有以下几种不同的组合形式：彩色相机+彩色相机(RGB+RGB)，主要用于计算景深、实现背景虚化和重对焦；彩色相机+黑白相机(RGB+Mono)，主要用于提升暗光/夜景影像拍摄质量；广角镜头+长焦镜头(Wide+Tele)，主要用于光学变焦；彩色相机+深度相机(RGB+Depth)，主要用于三维重建。

另外，随着智能手机的普及，利用智能手机进行摄影拍照在人们的生活中变得越来越重要，手机制造商期望开发进一步完善其智能手机的拍照技术。同时，用户对个性化摄影的需求不断增长，为了获得更令人满意的照片，人们通常通过Photoshop或其他专业工具来编辑照片。然而，Photoshop或其他专业工具对于非专业人士来说过于复杂并且处理时间较长，并且其它的非专业软件工具处理照片的效果常常也无法令人满意，例如，用户无法在拍摄时选择和调整局部不规则的对象。

因此，期望开发出能够满足针对图像处理与融合的用户需求的技术。

发明内容

为了解决上述问题，本公开提出一种利用多个摄像头进行拍照的方法和系统以及移动装置。

根据本公开的实施例，提供一种利用多个摄像头进行拍照的方法，所述方法包括：响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；显示第一图像并接收针对第一图像上的特定对象的选择；启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；以第一方法获取从第二图像中分割出来的包括所述特定对象的第三图像，将第三图像显示给用户并接收针对第三图像的第一用户反馈；根据第一用户反馈，将第三图像与第一图像进行图像融合以获得第四图像，并将第四图像显示给用户，或者，以第二方法获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户。

可选地，在以第二方法获取第五图像的步骤中，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像；所述方法还可包括：在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述图像分割单元。

可选地，所述图像分割单元可对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓，并沿所述轮廓对第二图像进行图像分割以获得第五图像。

可选地，第一用户反馈可指示对第二图像的分割是否满意，第二用户反馈可指示对第六图像是否满意。

可选地，所述图像分割单元可设置在服务器上，所述图像分割单元可包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型。

可选地，所述方法还可包括：在启动所述多个摄像头中的第二摄像头之后，对所述特定对象进行放大、对所述特定对象进行缩小或者对所述特定对象进行正脸识别以获取第二图像。

可选地，所述方法还可包括：对第三图像或第五图像进行图像处理，所述图像处理包括超分辨率和图像增强。

可选地，所述图像融合可包括对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化或者对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。

可选地，所述第一方法可以是基于边缘检测的图像分割方法，所述第二方法可以是基于深度学习的图像分割方法。

根据本公开的实施例，提供一种移动装置，所述移动装置包括：多个摄像头；处理器，被配置为：响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；显示第一图像并接收针对第一图像上的特定对象的选择；启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；以第一方法获取从第二图像中分割出来的包括所述特定对象的第三图像，将第三图像显示给用户并且接收针对第三图像的第一用户反馈；根据第一用户反馈，将第三图像与第一图像进行图像融合以获得第四图像，并将第四图像显示给用户，或者，以第二方法获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户。

可选地，所述处理器还可被配置为：响应于第一用户反馈指示对第三图像不满意，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像；在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述图像分割单元。

可选地，所述图像分割单元可对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓并沿所述轮廓对第二图像进行图像分割以获得第五图像。

可选地，所述处理器还可被配置为：在启动所述多个摄像头中的第二摄像头之后，控制第二摄像头对所述特定对象进行放大、对所述特定对象进行缩小或者对所述特定对象进行正脸识别以获取第二图像。

可选地，所述图像分割单元可设置在服务器上，所述图像分割单元可包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型。

可选地，所述处理器还可被配置为：对第三图像或第五图像进行图像处理，所述图像处理包括超分辨率和图像增强。

可选地，所述处理器还可被配置为：对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化或者对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。

可选地，第一用户反馈可指示对第二图像的分割是否满意，第二用户反馈可指示对第五图像是否满意。

可选地，所述第一方法可以是基于边缘检测的图像分割方法，所述第二方法可以是基于深度学习的图像分割方法。

根据本公开的实施例，提供一种利用多个摄像头进行拍照的系统，所述系统包括：服务器，包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用所述图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型；以及移动装置，包括多个摄像头以及处理器，所述处理器被配置为：响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；显示第一图像并接收针对第一图像上的特定对象的选择；启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；以第一方法获取从第二图像中分割出来的包括所述特定对象的第三图像，将第三图像显示给用户并且接收针对第三图像的第一用户反馈；根据第一用户反馈，将第三图像与第一图像进行融合以获得第四图像，并将第四图像显示给用户，或者，将第二图像发送给所述服务器，从所述服务器获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户。

可选地，所述处理器还可被配置为：在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述服务器。

可选地，所述图像分割模块可对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓并沿所述轮廓对第二图像进行图像分割以获得第五图像。

可选地，第一用户反馈可指示对第二图像的分割是否满意，第二用户反馈可指示对第六图像是否满意。

可选地，所述处理器还可被配置为：在启动所述多个摄像头中的第二摄像头之后，控制第二摄像头对所述特定对象进行放大、对所述特定对象进行缩小或者对所述特定对象进行正脸识别以获取第二图像。

可选地，所述处理器还可被配置为：对第三图像或第五图像进行图像处理，所述图像处理包括超分辨率和图像增强。

可选地，所述处理器还可被配置为：对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化或者对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。

可选地，所述第一方法可以是基于边缘检测的图像分割方法，所述图像分割模型可以是基于深度学习的图像分割模型。

通过采用本公开，能够实现在获得令用户满意的照片与快速地处理图像之间的平衡，从而提升用户利用移动装置进行拍照的体验。

附图说明

从下面结合附图对本公开的实施例的详细描述中，本公开的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1是根据本公开的实施例的利用多个摄像头进行拍照的方法的流程图；

图2是示出针对复杂场景进行图像分割的示意图；

图3示出了根据本公开的实施例的服务器的结构框图；

图4示出了根据本公开的实施例的利用多个摄像头进行拍照的方法的示意图；

图5示出了根据本公开的另一实施例的利用多个摄像头进行拍照的方法的示意图；

图6示出了根据本公开的另一实施例的利用多个摄像头进行拍照的方法的示意图。

具体实施方式

根据需要，在此公开本公开的具体实施例；然而，应当理解的是，所公开的实施例仅为本公开的示例，其可以以各种可替代形式实施。附图无需按比例绘制；可夸大或最小化一些特征以示出特定组件的细节。因此，此处所公开的具体结构和功能细节不应被解释为限制，而仅仅作为用于教导本领域技术人员以多种形式利用本公开的代表性基础。

具有多个摄像头的移动装置(包括但不限于智能手机、平板电脑、膝上型计算机、可穿戴装置(例如，智能手表)等)可利用多个摄像头对对象(包括但不限于人、物体等)进行拍摄。然而，如何利用多个摄像头拍摄得到令用户满意的照片是移动装置的制造商需要改进的方面。

下面将参照附图描述根据本公开的实施例的利用多个摄像头进行拍照的方法及系统。

图1是根据本公开的实施例的利用多个摄像头进行拍照的方法100的流程图。

如图1所示，在步骤S101，响应于拍照请求，启动多个摄像头中的第一摄像头(例如，智能手机的广角镜头和长焦镜头中的广角镜头或者膝上型电脑的多个摄像头中的一个摄像头)以获取第一图像。

在步骤S102，显示第一图像并接收针对第一图像上的特定对象的选择。在一个示例中，在智能手机的显示屏幕上显示经由多个摄像头中的第一摄像头拍摄得到的第一图像，并且用户可通过触摸或通过按键来点选第一图像上的特定对象。在另一示例中，在智能手表的显示屏幕上显示经由多个摄像头中的第一摄像头拍摄得到的第一图像，并且用户可通过触摸或通过按键利用矩形框将第一图像上的特定对象圈起来。

在步骤S103，启动多个摄像头中的第二摄像头以获取包括所选择的特定对象的第二图像。例如，在移动装置具备广角镜头和长焦镜头的情况下，可利用广角镜头拍摄得到拍摄范围较大的第一图像，随后在选择了该第一图像上的特定对象之后，可利用长焦镜头拍摄包括该特定对象的聚焦图像。另外，在启动多个摄像头中的第二摄像头之后，可以根据用户的选择(例如，对所选择的特定对象进行放大、对所选择的特定对象进行缩小或对所选择的特定对象进行正脸识别)来获取包括该特定对象的第二图像，关于这一点将参照图4至图6进行详细描述。

在步骤S104，以第一方法获取从第二图像中分割出来的包括所选择的特定对象的第三图像，将第三图像显示给用户并接收针对第三图像的第一用户反馈。在示例中，第一方法可以是基于边缘检测的图像分割方法，其基本思想为：首先确定图像中的边缘像素，然后将这些像素连接在一起以形成所需的区域边界。基于边缘检测的图像分割算法包括roberts算法、prewitt算法、sobel算法、LoG算法、canny算法等，其优点在于精确的边缘定位以及速度快，缺点是无法保证边缘的连续性和闭合性以及在高细节区域产生折边从而很难形成大区域。因此，基于边缘检测的图像分割方法适合于噪声相对较小的图像，但不适用于复杂图像。

在步骤S105，确定第一用户反馈是否指示对第三图像满意。如果在步骤S105确定第一用户反馈指示对第三图像满意，则方法100进行到步骤S106，否则方法100进行到步骤S107。在步骤S106，将以第一方法获取从第二图像中分割出来的包括所选择的特定对象的第三图像与利用第一摄像头获取的第一图像进行图像融合以获得第四图像，并且将第四图像显示给用户。具体地，可利用第三图像覆盖在第一图像中的特定对象，从而将第三图像融合到第一图像中。将第三图像与第一图像进行图像融合可包括对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化。在一个示例中，可经由安装有多个摄像头的设备的屏幕显示融合得到的第四图像。在另一示例中，也可经由与多个摄像头所在的设备通信的另一设备显示融合得到的第四图像。另外，在将第三图像与第一图像进行融合之前，也可对第三图像进行另外的图像处理，例如，可对第三图像进行超分辨率或图像增强处理。在图像的生成、传输或变换的过程中，因受光源、成像系统以及通道带宽和噪声等诸多因素的影响，可能会出现对比度偏低、动态范围不足、清晰度下降以及包含明显噪声等降质现象。因此，需要进行图像增强以改善图像质量，处理的结果更适合于人的视觉特性或机器识别系统。超分辨率(Super-Resolution)是指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。

如果在步骤S105确定第一用户反馈指示对第三图像不满意，则在步骤S107以第二方法获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户。在示例中，第二方法可以是基于深度学习的图像分割方法，其基本思想是：首先将图像输入预先训练的神经网络中以获得相应的特征图，然后根据这些特征图对这些图像进行分类，最后剪切这些图像。基于深度学习的图像分割方法的代表性算法包括FCNs算法、R-CNN算法、Fast R-CNN算法、Faster R-CNN算法、Mask R-CNN算法等。基于深度学习的图像分割方法的优点在于精度高并且可以实现像素级分割，其缺点在于需要更多的计算能力并且需要大量的数据来训练图像分割模型。另外，以第二方法对第二图像进行图像分割可以由服务器来执行。类似地，可利用第五图像覆盖在第一图像中的特定对象，从而将第五图像融合到第一图像中。将第五图像与第一图像进行图像融合可包括对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。在一个示例中，可经由安装有多个摄像头的设备的屏幕显示融合得到的第六图像。在另一示例中，也可经由与多个摄像头所在的设备通信的另一设备显示融合得到的第六图像。另外，在将第五图像与第一图像进行融合之前，也可对第五图像进行另外的图像处理，例如，可对第五图像进行超分辨率或图像增强处理。

随后，可在步骤S108接收第二用户反馈，并将第二用户反馈发送给图像分割单元。如上所述，第一用户反馈指示对第三图像是否满意，例如，第一用户反馈可指示对第二图像的分割是否满意，具体地，用户可针对第三图像反馈例如对第二图像的分割是否准确地体现出特定对象的轮廓，在用户认为对第二图像的分割正确的情况下，用户可反馈对第三图像满意。另外，第二用户反馈指示对第六图像是否满意。在一个示例中，可通过在移动装置的显示屏幕上提供用于输入反馈意见的界面来接收第一用户反馈和/或第二用户反馈。在另一示例中，可以通过语音接口来实现接收第一用户反馈和/或第二用户反馈。在示例中，可将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像；在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述图像分割单元。图像分割单元对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓并沿所述轮廓对第二图像进行图像分割以获得第五图像。并且，在示例中，图像分割单元可设置在服务器上，所述图像分割单元可包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型。通过根据第二用户反馈来训练图像分割模型，可更准确地识别和分割图像，从而提升用户对融合后的图像的满意度。

此外，本领域技术人员应理解的是，尽管上述示例中仅给出了利用两个摄像头进行拍摄图像的情况，但是本公开同样适用利用三个或更多个摄像头进行拍摄图像的情况。相应地，本公开同样适用于用户在通过多个摄像头中的第一摄像头获取的第一图像上选择两个或更多个对象的情形。

并且，还应理解的是，图1所示的方法100可由移动装置的处理器来执行，具体地，所述移动装置可包括：多个摄像头；处理器，被配置为：响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；显示第一图像并接收针对第一图像上的特定对象的选择；启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；以第一方法获取从第二图像中分割出来的包含所述特定对象的第三图像，将第三图像显示给用户并且接收针对第三图像的第一用户反馈；响应于第一用户反馈指示对第三图像满意，将第三图像与第一图像进行图像融合以获得第四图像，并将第四图像显示给用户；响应于第一用户反馈指示对第三图像不满意，以第二方法获取从第二图像中分割出来的包含所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户。所述处理器还可被配置为：响应于第一用户反馈指示对第三图像不满意，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像；在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述图像分割单元。

所述移动装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述方法的装置。这里，所述移动装置并非必须是单个的移动装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。移动装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。在所述移动装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。此外，所述移动装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。移动装置的所有组件可经由总线和/或网络而彼此连接。

图2是示出针对复杂场景进行图像分割的示意图。

如图2所示，在利用一个摄像头获取包括低靠背椅子、高靠背椅子、一个桌子、两个台灯、墙壁、地面等对象的图像之后，用户将该图像中的高靠背椅子用矩形框圈起来以选择其作为特定对象。并且可利用另一摄像头获取包括高靠背椅子的第二图像(图2中未示出)。在示例中，可利用移动装置本地运行的例如基于边缘检测的图像分割方法对包括高靠背椅子的第二图像进行图像分割以获得图2中的第二个图像(对应于图1的方法100中的第三图像)，此时，用户可针对获得的第二个图像进行反馈，在该示例中，由于获得的第二个图像将桌子、地面以及墙壁的一部分包括在了图像中，从而导致用户对分割出来的图像不满意。

响应于针对获得的第二个图像的用户反馈指示不满意的结果，可将包括高靠背椅子的第二图像发送至设置在服务器上的图像分割单元，该图像分割单元执行基于深度学习的图像分割方法并获得了图2中的第三个图像(即，仅包括高靠背椅子主体的图像)。

图3示出了根据本公开的实施例的服务器300的结构框图。

如上所述，对第二图像进行的图像分割可以由服务器(例如，云端服务器)来执行。如图3所示，服务器300可包括图像信息数据存储模块301、图像分割模块302和图像分割模型训练模块303。图像信息数据存储模块301可用于存储图像数据，图像分割模块302可用于利用图像分割模型对图像进行分割，图像分割模型训练模块303可用于训练所述图像分割模型。

在对第二图像的分割由服务器来执行的情况下，利用多个摄像头进行拍照的系统可包括服务器以及移动装置，所述移动装置可包括多个摄像头以及处理器，所述处理器可被配置为：响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；显示第一图像并接收针对第一图像上的特定对象的选择；启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；以第一方法获取从第二图像中分割出来的包含所述特定对象的第三图像，将第三图像显示给用户并且接收针对第三图像的第一用户反馈；响应于第一用户反馈指示对第三图像满意，将第三图像与第一图像进行融合以获得第四图像，并将第四图像显示给用户；响应于第一用户反馈指示对第三图像不满意，将第二图像发送给所述服务器，从所述服务器获取从第二图像中分割出来的包含所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户。并且，所述处理器还可被配置为：在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述服务器。并且如前所述的利用多个摄像头进行拍照的方法均可由移动装置的处理器或服务器300来执行。例如，在示例中，图像分割模块302可对第二图像进行识别，根据第二图像的识别结果提取第二图像上的特定对象的轮廓并沿所述轮廓对第二图像进行图像分割以获得第五图像。

图4示出了根据本公开的实施例的利用多个摄像头进行拍照的过程的示意图。

首先，响应于拍照请求，启动第一摄像头(即，摄像头1)拍摄第一图像(例如，图4中示出的全景图像)。

随后，用户在移动装置的屏幕上显示的第一图像上选择了特定对象(例如，图4中的月亮)，此时启动第二摄像头(即，摄像头2)捕获包含所选择的特定对象的图像，可在屏幕上显示“放大”、“缩小”、“正脸识别”等用户选项，并且可包括进一步的用户选项(例如，图4所示的示例中放大的倍数为3倍)。在图4所示的示例中，用户选择了“放大”，此时第二摄像头可根据用户的选择拍摄一个包括放大的该特定对象的第二图像。在获得第二图像之后，可首先以第一方法(包括但不限于基于边缘检测的图像分割方法)获取从第二图像中分割出来的包括特定对象的第三图像，将第三图像显示给用户并接收针对第三图像的第一用户反馈，如果第一用户反馈指示用户对第三图像满意，则将第三图像与第一图像融合并将融合后的图像显示给用户。如果第一用户反馈指示用户对第三图像不满意，则可以以第二方法(包括但不限于基于深度学习的图像分割方法)获取从第二图像中分割出来的包括特定对象的第五图像(例如，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像，所述图像分割单元设置在服务器上并且包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型)。并且，在将第五图像与第一图像进行图像融合以获得第六图像(即，图4中下方示出的三个移动装置所显示的图像)之后，可将第六图像显示给用户并接收第二用户反馈，并且将第二用户反馈发送给图像分割单元。例如，如图4所示，在完成拍摄之后，在移动装置的屏幕上可以显示与用户的反馈相关的选项，与用户的反馈相关的选项可包括例如“识别正确”、“满意度”、“需要改进的地方”等，在输入用户的反馈之后，可点击“发送”从而将用户的反馈信息发送至以第二方法对第二图像执行图像分割的计算装置(例如，云端服务器)。

图5示出了根据本公开的另一实施例的利用多个摄像头进行拍照的过程的示意图。

首先，响应于拍照请求，启动第一摄像头(即，摄像头1)拍摄第一图像(例如，图5中示出的全景图像)。

随后，用户在移动装置的屏幕上显示的第一图像上选择了特定对象(例如，图5中的树)，此时启动第二摄像头(即，摄像头2)捕获包括选择的该特定对象的图像，可在屏幕上显示“放大”、“缩小”、“正脸识别”等用户选项，并且可包括进一步的用户选项(例如，图5所示的示例中缩小的倍数为1/2倍)。在图5所示的示例中，用户选择了“缩小”，此时第二摄像头可根据用户的选择拍摄一个包括缩小的特定对象的第二图像。在获得第二图像之后，可首先以第一方法(包括但不限于基于边缘检测的图像分割方法)获取从第二图像中分割出来的包括特定对象的第三图像，将第三图像显示给用户并接收针对第三图像的第一用户反馈，如果第一用户反馈指示用户对第三图像满意，则将第三图像与第一图像融合并将融合后的图像显示给用户。如果第一用户反馈指示用户对第三图像不满意，则可以以第二方法(包括但不限于基于深度学习的图像分割方法)获取从第二图像中分割出来的包括特定对象的第五图像(例如，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像，所述图像分割单元设置在服务器上并且包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型)。并且，在将第五图像与第一图像进行图像融合以获得第六图像(即，图5中右下方示出的移动装置所显示的图像)之后，可将第六图像显示给用户并接收第二用户反馈，并且将第二用户反馈发送给图像分割单元。例如，如图5所示，在完成拍摄之后，在移动装置的屏幕上可以显示与用户的反馈相关的选项，与用户的反馈相关的选项可包括例如“识别正确”、“满意度”、“需要改进的地方”等，在输入用户的反馈之后，可点击“发送”从而将用户的反馈信息发送至以第二方法对第二图像执行图像分割的计算装置(例如，云端服务器)。

图6示出了根据本公开的另一实施例的利用多个摄像头进行拍照的过程的示意图。

首先，响应于拍照请求，启动第一摄像头(即，摄像头1)拍摄第一图像(例如，图6中示出的全景图像)。

随后，用户在移动装置的屏幕上显示的第一图像上选择了特定对象(例如，图6中的未拍摄到正脸的孩子)，此时启动第二摄像头(即，摄像头2)捕获选择的特定对象的图像，可在屏幕上显示“放大”、“缩小”、“正脸识别”等用户选项，并且可包括进一步的用户选项(例如，“识别到正脸后自动拍摄”)。在图6所示的示例中，用户选择了“正脸识别”，此时第二摄像头可根据用户的选择拍摄一个包括所选择的孩子的正脸的第二图像。在获得第二图像之后，可首先以第一方法(包括但不限于基于边缘检测的图像分割方法)获取从第二图像中分割出来的包括特定对象的第三图像，将第三图像显示给用户并接收针对第三图像的第一用户反馈，如果第一用户反馈指示用户对第三图像满意，则将第三图像与第一图像融合并将融合后的图像显示给用户。如果第一用户反馈指示用户对第三图像不满意，则可以以第二方法(包括但不限于基于深度学习的图像分割方法)获取从第二图像中分割出来的包括特定对象的第五图像(例如，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像，所述图像分割单元设置在服务器上并且包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型)。并且，在将第五图像与第一图像进行图像融合以获得第六图像(即，图6中下方示出的三个移动装置所显示的图像)之后，可将第六图像显示给用户并接收第二用户反馈，并且将第二用户反馈发送给图像分割单元。例如，如图6所示，在完成拍摄之后，在移动装置的屏幕上可以显示与用户的反馈相关的选项，与用户的反馈相关的选项可包括例如“识别正确”、“满意度”、“需要改进的地方”等，在输入用户的反馈之后，可点击“发送”从而将用户的反馈信息发送至以第二方法对第二图像执行图像分割的计算装置(例如，云端服务器)。

通过采用本公开，能够实现在获得令用户满意的照片与快速地处理图像之间的平衡，从而提升用户利用移动装置进行拍照的体验。

虽然以上描述了示例性实施例，但是并不意在这些实施例描述了本公开的所有可能形式。更确切地，说明书中使用的词语为描述性词语而非限制性词语，并且应理解，可在不脱离本公开的精神和范围的情况下作出各种改变。此外，可组合各种实现的实施例的特征以形成本公开的进一步的实施例。

Claims (23)

1.一种利用多个摄像头进行拍照的方法，包括：

响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；

显示第一图像并接收针对第一图像上的特定对象的选择；

启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；

以第一方法获取从第二图像中分割出来的包括所述特定对象的第三图像，将第三图像显示给用户并接收针对第三图像的第一用户反馈；

如果第一用户反馈指示对第三图像满意，则将第三图像与第一图像进行图像融合以获得第四图像，并将第四图像显示给用户，如果第一用户反馈指示对第三图像不满意，则以第二方法获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户，其中，所述第一方法为基于边缘检测的图像分割方法，所述第二方法为基于深度学习的图像分割方法。

2.如权利要求1所述的方法，其中，在以第二方法获取第五图像的步骤中，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像；

所述方法还包括：在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述图像分割单元。

3.如权利要求2所述的方法，其中，所述图像分割单元对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓，并沿所述轮廓对第二图像进行图像分割以获得第五图像。

4.如权利要求2所述的方法，其中，第一用户反馈指示对第二图像的分割是否满意，第二用户反馈指示对第六图像是否满意。

5.如权利要求3所述的方法，其中，所述图像分割单元设置在服务器上，所述图像分割单元包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型。

6.如权利要求1所述的方法，所述方法还包括：在启动所述多个摄像头中的第二摄像头之后，对所述特定对象进行放大、对所述特定对象进行缩小或者对所述特定对象进行正脸识别以获取第二图像。

7.如权利要求1所述的方法，所述方法还包括：对第三图像或第五图像进行图像处理，所述图像处理包括超分辨率和图像增强。

8.如权利要求1所述的方法，其中，所述图像融合包括对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化或者对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。

9.一种移动装置，包括：

多个摄像头；

处理器，被配置为：

响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；

显示第一图像并接收针对第一图像上的特定对象的选择；

启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；

以第一方法获取从第二图像中分割出来的包括所述特定对象的第三图像，将第三图像显示给用户并且接收针对第三图像的第一用户反馈；

如果第一用户反馈指示对第三图像满意，则将第三图像与第一图像进行图像融合以获得第四图像，并将第四图像显示给用户，如果第一用户反馈指示对第三图像不满意，则以第二方法获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户，其中，所述第一方法为基于边缘检测的图像分割方法，所述第二方法为基于深度学习的图像分割方法。

10.如权利要求9所述的移动装置，其中，所述处理器还被配置为：

响应于第一用户反馈指示对第三图像不满意，将第二图像发送给图像分割单元并从所述图像分割单元接收第五图像；

在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述图像分割单元。

11.如权利要求10所述的移动装置，其中，所述图像分割单元对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓并沿所述轮廓对第二图像进行图像分割以获得第五图像。

12.如权利要求9所述的移动装置，其中，所述处理器还被配置为：在启动所述多个摄像头中的第二摄像头之后，控制第二摄像头对所述特定对象进行放大、对所述特定对象进行缩小或者对所述特定对象进行正脸识别以获取第二图像。

13.如权利要求12所述的移动装置，其中，所述图像分割单元设置在服务器上，所述图像分割单元包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型。

14.如权利要求9所述的移动装置，其中，所述处理器还被配置为：对第三图像或第五图像进行图像处理，所述图像处理包括超分辨率和图像增强。

15.如权利要求9所述的移动装置，其中，所述处理器还被配置为：对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化或者对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。

16.如权利要求9所述的移动装置，其中，第一用户反馈指示对第二图像的分割是否满意，第二用户反馈指示对第五图像是否满意。

17.一种利用多个摄像头进行拍照的系统，包括：

服务器，包括图像信息数据存储模块、图像分割模块和图像分割模型训练模块，所述图像信息数据存储模块用于存储图像数据，所述图像分割模块用于利用所述图像分割模型对图像进行分割，所述图像分割模型训练模块用于训练所述图像分割模型；以及

移动装置，包括多个摄像头以及处理器，所述处理器被配置为：

响应于拍照请求，启动所述多个摄像头中的第一摄像头以获取第一图像；

显示第一图像并接收针对第一图像上的特定对象的选择；

启动所述多个摄像头中的第二摄像头以获取包括所述特定对象的第二图像；

以第一方法获取从第二图像中分割出来的包括所述特定对象的第三图像，将第三图像显示给用户并且接收针对第三图像的第一用户反馈；

如果第一用户反馈指示对第三图像满意，则将第三图像与第一图像进行融合以获得第四图像，并将第四图像显示给用户，如果第一用户反馈指示对第三图像不满意，则将第二图像发送给所述服务器，从所述服务器获取从第二图像中分割出来的包括所述特定对象的第五图像，将第五图像与第一图像进行图像融合以获得第六图像，并将第六图像显示给用户，其中，所述第一方法为基于边缘检测的图像分割方法，所述图像分割模型为基于深度学习的图像分割模型。

18.如权利要求17所述的系统，其中，所述处理器还被配置为：

在将第六图像显示给用户后，接收第二用户反馈，并将第二用户反馈发送给所述服务器。

19.如权利要求18所述的系统，其中，所述图像分割模块对第二图像进行识别，根据第二图像的识别结果提取第二图像上的所述特定对象的轮廓并沿所述轮廓对第二图像进行图像分割以获得第五图像。

20.如权利要求18所述的系统，其中，第一用户反馈指示对第二图像的分割是否满意，第二用户反馈指示对第六图像是否满意。

21.如权利要求17所述的系统，其中，所述处理器还被配置为：在启动所述多个摄像头中的第二摄像头之后，控制第二摄像头对所述特定对象进行放大、对所述特定对象进行缩小或者对所述特定对象进行正脸识别以获取第二图像。

22.如权利要求17所述的系统，其中，所述处理器还被配置为：对第三图像或第五图像进行图像处理，所述图像处理包括超分辨率和图像增强。

23.如权利要求17所述的系统，其中，所述处理器还被配置为：对第三图像以及第一图像的未被第三图像覆盖的部分进行图像平滑和图像锐化或者对第五图像以及第一图像的未被第五图像覆盖的部分进行图像平滑和图像锐化。

Images