CN114466133A - 拍照方法及装置 - Google Patents

Abstract

本申请提供一种拍照方法及装置，涉及拍照领域。该方法包括：终端设备启动运行拍照应用程序后，获取待拍摄场景对应的预览图像，并在拍摄界面进行显示；同时，终端设备通过传感器采集待拍摄场景的场景信息。终端设备向云端发送获取到的预览图像和场景信息。云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，并将构图辅助线发送给终端设备。终端设备接收到构图辅助线后，将构图辅助线与正在显示的预览图像一同显示在拍摄界面。终端设备接收到用户的拍照操作后，响应于用户的拍照操作，获取待拍摄场景对应的照片。用户使用终端设备进行拍照时，构图辅助线可以引导用户按照构图辅助线指示的构图方式完成构图。

Description

拍照方法及装置

本申请要求下列优先权：2021年4月26日提交中国专利局、申请号为202110454641.4、发明名称为“拍照方法及装置”的中国专利申请的优先权；2021年5月14日提交中国专利局、申请号为202110524940.0、发明名称为“图像处理方法及相关设备”的中国专利申请的优先权；2021年5月14日提交中国专利局、申请号为202110524967.X、发明名称为“拍照方法及相关设备”的中国专利申请的优先权。上述申请的全部内容引用结合在本申请中。

技术领域

本申请实施例涉及拍照领域，尤其涉及一种拍照方法及装置。

背景技术

随着手机拍照技术的飞速发展，使用手机拍照已经成为了人类生活中不可或缺的一部分。用户在使用手机进行拍照时，对构图方式的调整会影响到最终拍摄到的照片质量。例如，好的构图可以让拍出的照片更加出色，而错误的构图会导致拍摄出的照片达不到预期效果。更甚至，在拍照时进行较好的构图往往可以化腐朽为神奇，弥补用户拍照经验不足的缺点。

目前，手机在相机启动运行时，相机的拍摄界面中可以显示参考线，如：九宫格网格线。用户使用手机进行拍照时，可以参考拍摄界面中显示的九宫格网格线对手机的拍摄位置、角度等进行调整，从而完成三分法构图、对角线构图、对称构图等多种不同方式的构图。

但是，上述通过在拍摄界面中显示参考线辅助用户完成构图的方式，参考线的引导作用有限，最终构图好坏与用户的拍摄经验和手法强相关，一些没有丰富拍摄经验的用户可能并不懂得如何根据参考线对手机的拍摄位置、角度等进行调整以完成不同方式的构图。

发明内容

本申请实施例提供一种拍照方法及装置，可以在用户使用终端设备进行拍照时，结合当前的拍摄场景在终端设备提供的拍摄界面中显示构图辅助线，对用户进行构图引导。

第一方面，本申请实施例提供一种拍照方法，所述方法应用于端云协同系统。端云协同系统包括终端设备和云端。终端设备通过无线网络与云端连接。所述方法包括：

终端设备响应于用户的操作，获取并显示待拍摄场景对应的预览图像；终端设备采集待拍摄场景的场景信息。终端设备向云端发送获取到的预览图像和场景信息。云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，并将构图辅助线发送给终端设备。终端设备接收到构图辅助线后，将构图辅助线与所述预览图像显示在拍摄界面。终端设备响应于用户的拍照操作，获取待拍摄场景对应的照片。

其中，构图辅助线也可以被称为参考线、构图参考线、构图线等，在此对构图辅助线的名称并不作限制。

该拍照方法能够在用户使用终端设备进行拍照时，结合当前的拍摄场景在终端设备提供的拍摄界面中显示构图辅助线，对用户进行构图引导。其中，构图辅助线可以为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对终端设备的拍摄位置、角度等进行调整以完成构图，从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。

也即，该拍照方法可以使得用户在使用终端设备进行拍照时，能够根据云端推荐的构图辅助线，更轻松地知道通过哪种构图方式进行构图，不需要自己判断构图方式，也不要复杂的构图操作。

另外，云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线时，场景信息可以辅助云端快速识别预览图像中包含的元素，提高云端生成构图辅助线的效率，降低延时。

示例性地，传感器至少包括位置传感器、气压传感器，温度传感器，环境光传感器。场景信息至少包括待拍摄场景对应的位置信息、气压信息、温度信息、光强信息。

可选地，终端设备可以按照第一帧率获取待拍摄场景对应的预览图像，并在拍摄界面进行显示。同时，终端设备按照第一频率，通过传感器采集待拍摄场景的场景信息。

在一种可能的设计中，终端设备可以按照第二频率向云端发送获取到的预览图像和场景信息。其中，第二频率的数值(或称为大小)小于或等于第一帧率的数值和第一频率的数值中的最小值。第一帧率和第一频率的大小可以相同或不同。

在另外一种可能的设计中，终端设备向云端发送场景信息的频率，小于或等于终端设备向云端发送预览图像的频率。例如，终端设备按照第三频率向云端发送获取到的预览图像、按照第四频率向云端发送获取到的场景信息，第三频率大于第四频率。

一种实施方式中，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，包括：云端根据预览图像和场景信息，识别预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例。云端根据预览图像中包含的元素，以及不同元素的位置和所占比例，按照预设的匹配规则确定与待拍摄场景匹配的构图方式对应的构图辅助线。

其中，匹配规则包括至少一种类型的待拍摄场景与构图辅助线之间的对应关系，不同类型的待拍摄场景中包含的元素、以及不同元素的位置和所占比例不同。

上述匹配规则可以是人为定义的规则。

示例性地，预览图像中包含的元素可以是天空、海水、草地、人物等。元素的位置是指预览图像中元素所在区域的像素点坐标，元素所占的比例是指预览图像中元素所在区域的像素点数量占整个预览图像的像素点数量的比值。

可选地，所述云端根据预览图像和场景信息，识别预览图像中包含的元素，包括：云端采用第一方法对预览图像进行分割，然后基于分割结果、结合场景信息识别预览图像中包含的元素。

其中，场景信息用于辅助云端基于分割结果快速识别预览图像中包含的元素。

例如，当场景信息包括的位置信息为海边时，可以表示预览图像中可能含有海水，能够辅助云端基于分割结果快速识别出预览图像中是否包含海水。

示例性地，第一方法可以是基于边缘检测的方法、基于小波变换的方法、基于深度学习的方法等。考虑到性能要求高，精度要求较低，第一方法可以尽量选用传统分割方法或者模型较小的方法。例如，云端可以采用深度学习分割网络U-NET对预览图像进行分割。

另一种实施方式中，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，包括：云端对预览图像进行显著性检测，提取预览图像的显著性结果；云端将预览图像的显著性结果和场景信息输入训练好的人工智能AI网络，得到AI网络输出的预览图像对应的多种构图方式的概率分布；云端根据AI网络输出的预览图像对应的多种构图方式的概率分布，确定与待拍摄场景匹配的构图方式对应的构图辅助线。

对某种类型的待拍摄场景而言，AI网络输出的概率分布中，不适合该类型的待拍摄场景的构图方式的概率为0或接近于0。

一些实施例中，云端向终端设备返回的构图辅助线可以为预览图像中的多个像素点坐标组成的坐标数据集合。

另外一些实施例中，云端也可以向终端设备返回一张包含构图辅助线的图像，该图像中，构图辅助线所在区域的像素点的像素值可以为0，除构图辅助线之外的区域的像素点的像素值可以为P，P为大于0、小于或等于255的整数。可选地，除构图辅助线之外的区域的像素点的像素值可以均为255。

一些实施例中，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线之前，所述方法还包括：云端对预览图像进行矫正，得到矫正后的预览图像。所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，包括：云端根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。

示例性地，云端包括线条检测网络和图像矫正模块；所述云端对预览图像进行矫正，得到矫正后的预览图像，包括：云端将预览图像输入线条检测网络，通过线条检测网络检测预览图像中包含的线条；云端通过图像矫正模块根据预览图像中包含的线条，确定对预览图像进行矫正所需的变换矩阵，并采用变换矩阵对预览图像进行矫正，得到矫正后的预览图像。

可选地，线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；所述线条检测网络检测预览图像中包含的线条，包括：将预览图像输入主干网络后，主干网络提取预览图像中的特征，输出预览图像对应的共享卷积特征图至连接点预测模块；连接点预测模块根据共享卷积特征图输出预览图像对应的候选连接点，并传输给线段采样模块；线段采样模块根据候选连接点预测出预览图像包含的线条。

可选地，变换矩阵至少包括旋转矩阵、单应性矩阵。

云端对预览图像进行矫正，可以使得云端根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线时，能够更加准确地识别到预览图像中包含的元素、以及不同元素的位置和所占比例，进而使生成的辅助线更加符合待拍摄场景对应的构图方式。

可选地，所述方法还包括：终端设备响应于用户关闭构图辅助线的显示功能的操作，不显示构图辅助线。

对于一些具有丰富拍摄经验的用户而言，可能更期待在拍照时按照自己的意愿去构图，不希望受到构图辅助线的干扰，那么通过这种方式可以进一步考虑更多用户的需求，提升用户的体验。

可选地，所述终端设备向云端发送获取到的预览图像，包括：终端设备通过预设的卷积神经网络提取获取到的预览图像的图像特征；终端设备向云端发送获取到的预览图像的图像特征。

相对于直接向云端发送预览图像的方式而言，终端设备只向云端发送预览图像的图像特征，用于云端生成适合待拍摄场景的构图方式对应的构图辅助线，可以更好的保护用户隐私，防止用户隐私泄露。

可选地，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线之后，所述方法还包括：云端获取预览图像中包含的元素的轮廓线；云端根据构图辅助线、以及预览图像中包含的元素的轮廓线，生成适合待拍摄场景的拍摄轮廓线，并将拍摄轮廓线发送给终端设备；终端设备接收到拍摄轮廓线后，将拍摄轮廓线、构图辅助线与正在显示的预览图像一同显示在拍摄界面。

与上述构图辅助线的实现方式类似，云端向终端设备返回的拍摄轮廓线也可以是预览图像中的多个像素点坐标组成的坐标数据集合(与构图辅助线的坐标数据集合不同)。或者，云端也可以向终端设备返回一张包含构图辅助线和拍摄轮廓线的图像，该图像中，构图辅助线所在区域的像素点的像素值可以为0；拍摄轮廓线所在区域的像素点的像素值也可以为0。除构图辅助线和拍摄轮廓线之外的区域的像素点的像素值均可以为P，P为大于0、小于或等于255的整数。又或者，构图辅助线所在区域的像素点的像素值与拍摄轮廓线所在区域的像素点的像素值可以不同。

用户使用终端设备进行拍照前，参考拍摄界面中显示的构图辅助线，对终端设备的拍摄位置、角度等进行调整时，还可以进一步参考拍摄界面显示的拍摄轮廓线，将预览画面中的元素移动至拍摄轮廓线所指示的位置。通过这种方式，可以更进一步地简化用户进行构图的操作，提升用户体验。

可选地，所述方法还包括：终端设备向云端发送待拍摄场景对应的照片；云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片，并将所述至少一张构图优化后的照片发送给终端设备；终端设备显示所述照片、以及所述至少一张构图优化后的照片；终端设备响应于用户对第一照片的保存操作，保存第一照片，第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。

云端通过对终端设备拍摄的照片(可称为初始照片)进行进一步的构图优化，并返回给终端设备构图优化后的照片，可以提高构图成功率，构图优化后的照片不会出现旋转、透视等畸变，能够为用户提供更好的照片选择。另外，终端设备同时显示用户拍摄的初始照片和构图优化后的照片，可以考虑到用户的需求，使得用户既可以选择自己拍摄的照片，也可以选择云端推荐的构图优化后的照片。

示例性地，云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络。所述云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片，包括：云端将所述照片输入线条检测网络，通过线条检测网络检测所述照片中包含的线条；云端通过图像矫正模块根据所述照片中包含的线条，确定对所述照片进行矫正所需的变换矩阵，并采用变换矩阵对所述照片进行矫正，得到矫正后的照片；云端通过显著性检测模块对所述矫正后的照片进行显著性检测，得到所述矫正后的照片的显著性结果；云端将所述矫正后的照片、以及显著性结果输入美学评分网络，得到美学评分网络输出的多张候选裁切图、以及每张所述候选裁切图对应的评分；云端确定多张候选裁切图中评分最高的至少一张候选裁切图为构图优化后的照片。

一些实施例中，终端设备在向云端发送待拍摄场景对应的初始照片之前，可以先检测初始照片是否为人像照片，如果初始照片是人像照片，则终端设备可以直接保存人像照片，不向云端发送初始照片，以更好的保护用户隐私，防止用户隐私泄露。

可选地，所述方法还包括：终端设备向云端发送所述第一照片；云端根据第一照片，获取用户的美学偏好。

在一些实施例中，终端设备向所述云端发送所述第一照片，包括：终端设备通过预设的卷积神经网络提取第一照片的图像特征；终端设备向云端发送第一照片的图像特征。

在一些实施例中，终端设备向所述云端发送所述第一照片，包括：终端设备向所述云端发送所述第一照片的标识信息。云端根据所述第一照片获取用户的美学偏好，包括：云端根据所述第一照片的标识信息获取存储在云端的第一照片，并根据所述第一照片获取用户的美学偏好。

一些实施例中，云端根据所述第一照片获取用户的美学偏好，包括：云端根据所述第一照片获取对应的场景信息，并根据所述第一照片和场景信息获取用户的美学偏好。

终端设备将用户的拍照构图选择结果上传至云端，云端对构图优化网络进行迁移训练，得到用户私人定制的构图优化网络。这种端云协同的拍照构图私人定制方法，可以依靠云端的强算力，有效降低终端设备的硬件要求，持续推荐更加符合用户习惯的拍照构图，减少用户学习成本，提升用户拍照体验。

第二方面，本申请实施例提供一种端云协同系统，包括终端设备和云端；终端设备通过无线网络与云端连接。终端设备与云端配合实现如第一方面及第一方面中的任意一种实现方式中所述的方法。

上述第二方面所具备的有益效果，可参考第一方面中所述，在此不再赘述。

第三方面，本申请实施例提供一种拍照方法，所述方法应用于终端设备，终端设备通过无线网络与云端连接。所述方法包括：

终端设备响应于用户的操作，获取并显示待拍摄场景对应的预览图像；同时，终端设备采集待拍摄场景的场景信息。终端设备向云端发送获取到的预览图像和场景信息。终端设备接收来自云端的构图辅助线，构图辅助线用于指示适合待拍摄场景的构图方式。终端设备将构图辅助线与正在显示的预览图像显示在拍摄界面。终端设备响应于用户的拍照操作，获取待拍摄场景对应的照片。

示例性地，当用户需要使用终端设备进行拍照时，可以先启动终端设备的拍照应用程序。例如，用户可以点击或触摸终端设备上的相机的图标，终端设备可以响应于用户对相机的图标的点击或触摸操作，启动运行相机(或者，用户还可以通过语音助手启动相机，不作限制)。

示例性地，终端设备通过拍照应用程序提供的拍摄界面还可以包括一个拍照按键，该拍照按键的实质可以为拍摄界面中显示的一个功能控件。用户在完成构图之后，可以点击或触摸拍照按键，终端设备可以响应于用户对拍照按键的点击或触摸操作进行拍照，从而获取到待拍摄场景对应的照片。

示例性地，传感器至少包括位置传感器、气压传感器，温度传感器，环境光传感器。场景信息至少包括待拍摄场景对应的位置信息、气压信息、温度信息、光强信息。

可选地，终端设备可以按照第一帧率获取待拍摄场景对应的预览图像，并在拍摄界面进行显示。同时，终端设备按照第一频率，通过传感器采集待拍摄场景的场景信息。

在一种可能的设计中，终端设备可以按照第二频率向云端发送获取到的预览图像和场景信息。其中，第二频率的数值(或称为大小)小于或等于第一帧率的数值和第一频率的数值中的最小值。第一帧率和第一频率的大小可以相同或不同。

在另外一种可能的设计中，终端设备向云端发送场景信息的频率，小于或等于终端设备向云端发送预览图像的频率。例如，终端设备按照第三频率(30次/秒)向云端发送获取到的预览图像、按照第四频率(10次/秒)向云端发送获取到的场景信息，第三频率大于第四频率。在用户使用终端设备进行拍照时，终端设备在拍摄界面中显示构图辅助线，可以对用户进行构图引导。具体地，构图辅助线可以为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对终端设备的拍摄位置、角度等进行调整以完成构图，从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。用户基于构图辅助线可以更轻松地知道通过哪种构图方式进行构图，不需要自己判断构图方式，也不要复杂的构图操作。

可选地，终端设备将构图辅助线与正在显示的预览图像一同显示在拍摄界面的同时，还可以在拍摄界面中显示文字提示，提示用户按照构图辅助线引导的方式完成构图。

示例性地，该文字提示也可以是由云端在生成构图辅助线时，一并生成的。云端可以将构图辅助线和文字提示一并发送给终端设备。待拍摄场景不同或者构图辅助线不同时，文字提示可能不同。

可选地，终端设备没有接收到来自云端的构图辅助线时，可以不显示构图辅助线。或者，终端设备可以显示普通的九宫格辅助线。

可选地，所述方法还包括：终端设备响应于用户关闭构图辅助线的显示功能的操作，不显示构图辅助线。

示例性地，终端设备可以为用户提供用于关闭构图辅助线的显示功能的功能控件或物理按键，用户关闭构图辅助线的显示功能的操作可以是指用户点击或触摸前述功能控件或物理按键的操作。终端设备可以响应于用户点击或触摸前述功能控件或物理按键的操作，不显示构图辅助线。

对于一些具有丰富拍摄经验的用户而言，可能更期待在拍照时按照自己的意愿去构图，不希望受到构图辅助线的干扰。终端设备响应于用户关闭构图辅助线的显示功能的操作，不显示构图辅助线，可以进一步考虑更多用户的需求，提升用户的体验。

可选地，终端设备可以只在构图辅助线显示功能开启时，将预览图像发送到云端以获取云端根据预览图像返回的构图辅助线。当关闭构图辅助线显示之后，终端设备在每次进行拍照时，拍摄界面中都不会显示构图辅助线。直至用户再次开启构图辅助线显示时，终端设备才会在拍摄界面中显示构图辅助线。

可选地，所述终端设备向云端发送获取到的预览图像，包括：终端设备通过预设的卷积神经网络提取获取到的预览图像的图像特征；终端设备向云端发送获取到的预览图像的图像特征。

相对于直接向云端发送预览图像的方式而言，终端设备只向云端发送预览图像的图像特征，用于云端生成适合待拍摄场景的构图方式对应的构图辅助线，可以更好的保护用户隐私，防止用户隐私泄露。

可选地，所述方法还包括：终端设备接收来自云端的拍摄轮廓线；终端设备将拍摄轮廓线、构图辅助线与正在显示的预览图像一同显示在拍摄界面。

用户使用终端设备进行拍照前，参考拍摄界面中显示的构图辅助线，对终端设备的拍摄位置、角度等进行调整时，还可以进一步参考拍摄界面显示的拍摄轮廓线，将预览画面中的元素移动至拍摄轮廓线所指示的位置。通过这种方式，可以更进一步地简化用户进行构图的操作，提升用户体验。

可选地，所述方法还包括：终端设备向云端发送待拍摄场景对应的照片；终端设备接收来自云端的所述照片对应的至少一张构图优化后的照片；终端设备显示所述照片、以及所述至少一张构图优化后的照片；终端设备响应于用户对第一照片的保存操作，保存第一照片，第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。

其中，终端设备显示的构图优化后的照片，构图成功率更高。构图优化后的照片不会出现旋转、透视等畸变，能够为用户提供更好的照片选择。

终端设备同时显示用户拍摄的初始照片和构图优化后的照片，可以考虑到用户的需求，使得用户既可以选择自己拍摄的照片，也可以选择云端推荐的构图优化后的照片。

一些实施例中，终端设备在向云端发送待拍摄场景对应的初始照片之前，可以先检测初始照片是否为人像照片，如果初始照片是人像照片，则终端设备可以直接保存人像照片，不向云端发送初始照片，以更好的保护用户隐私，防止用户隐私泄露。

第四方面，本申请实施例提供一种终端设备，终端设备可以包括拍照装置，该装置可以用于实现上述第三方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，相机模块，显示模块，传感器模块，发送模块，接收模块等。

其中，相机模块，用于启动运行拍照应用程序后，获取待拍摄场景对应的预览图像；显示模块，用于在拍摄界面显示所述相机模块获取的预览图像；传感器模块，用于采集所述待拍摄场景的场景信息；发送模块，用于向云端发送所述相机模块获取到的预览图像、以及所述传感器模块获取到的场景信息；接收模块，用于接收来自所述云端的构图辅助线，所述构图辅助线用于指示适合所述待拍摄场景的构图方式；所述显示模块，还用于将所述构图辅助线与正在显示的预览图像一同显示在所述拍摄界面；所述相机模块，还用于接收到用户的拍照操作后，响应于用户的拍照操作，获取所述待拍摄场景对应的照片。

可选地，发送模块向云端发送场景信息的频率小于向云端发送预览图像的频率。

可选地，显示模块，还用于响应于用户关闭构图辅助线的显示功能的操作，不显示构图辅助线。

可选地，发送模块，具体用于通过预设的卷积神经网络提取获取到的预览图像的图像特征；向云端发送获取到的预览图像的图像特征。或者，通过预设的卷积神经网络提取获取到的预览图像的图像特征的功能，也可以由单独的一个特征提取模块完成，如：该装置还包括特征提取模块。

可选地，接收模块，还用于接收来自云端的拍摄轮廓线；显示模块，还用于将拍摄轮廓线、构图辅助线与正在显示的预览图像一同显示在拍摄界面。

可选地，发送模块，还用于向云端发送待拍摄场景对应的照片；接收模块，还用于接收来自云端的所述照片对应的至少一张构图优化后的照片；显示模块，还用于显示所述照片、以及所述至少一张构图优化后的照片，并响应于用户对第一照片的保存操作，保存第一照片，第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。

第五方面，本申请实施例提供一种电子设备，包括：处理器，用于存储所述处理器可执行指令的存储器；所述处理器被配置为执行所述指令时，使得所述电子设备实现如第三方面及第三方面中的任意一种实现方式中所述的方法。

该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、超级移动个人计算机、上网本、个人数字助理等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被电子设备执行时，使得电子设备实现如第三方面及第三方面中的任意一种实现方式中所述的方法。

第七方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现前述第三方面及第三方面中的任意一种实现方式中所述的方法。

上述第四方面至第七方面所具备的有益效果，可参考第三方面及第三方面中的任意一种实现方式中所述，在此不再赘述。

第八方面，本申请实施例还提供一种拍照方法，所述方法应用于云端，云端通过无线网络与终端设备连接；所述方法包括：

云端接收来自终端设备的待拍摄场景对应的预览图像和场景信息。云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。云端向终端设备发送构图辅助线。

其中，构图辅助线也可以被称为参考线、构图参考线、构图线等，在此对构图辅助线的名称并不作限制。

云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线后，向终端设备发送构图辅助线，可以使得用户使用终端设备进行拍照时，构图辅助线可以对用户进行构图引导，为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对终端设备的拍摄位置、角度等进行调整以完成构图。从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。

另外，云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线时，场景信息可以辅助云端快速识别预览图像中包含的元素，提高云端生成构图辅助线的效率，降低延时。

一种实施方式中，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，包括：云端根据预览图像和场景信息，识别预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例。云端根据预览图像中包含的元素，以及不同元素的位置和所占比例，按照预设的匹配规则确定与待拍摄场景匹配的构图方式对应的构图辅助线。

其中，匹配规则包括至少一种类型的待拍摄场景与构图辅助线之间的对应关系，不同类型的待拍摄场景中包含的元素、以及不同元素的位置和所占比例不同。

上述匹配规则可以是人为定义的规则。

示例性地，预览图像中包含的元素可以是天空、海水、草地、人物等。元素的位置是指预览图像中元素所在区域的像素点坐标，元素所占的比例是指预览图像中元素所在区域的像素点数量占整个预览图像的像素点数量的比值。

可选地，所述云端根据预览图像和场景信息，识别预览图像中包含的元素，包括：云端采用第一方法对预览图像进行分割，然后基于分割结果、结合场景信息识别预览图像中包含的元素。

其中，场景信息用于辅助云端基于分割结果快速识别预览图像中包含的元素。

例如，当场景信息包括的位置信息为海边时，可以表示预览图像中可能含有海水，能够辅助云端基于分割结果快速识别出预览图像中是否包含海水。

示例性地，第一方法可以是基于边缘检测的方法、基于小波变换的方法、基于深度学习的方法等。考虑到性能要求高，精度要求较低，第一方法可以尽量选用传统分割方法或者模型较小的方法。例如，云端可以采用深度学习分割网络U-NET对预览图像进行分割。

另一种实施方式中，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，包括：云端对预览图像进行显著性检测，提取预览图像的显著性结果；云端将预览图像的显著性结果和场景信息输入训练好的人工智能AI网络，得到AI网络输出的预览图像对应的多种构图方式的概率分布；云端根据AI网络输出的预览图像对应的多种构图方式的概率分布，确定与待拍摄场景匹配的构图方式对应的构图辅助线。

对某种类型的待拍摄场景而言，AI网络输出的概率分布中，不适合该类型的待拍摄场景的构图方式的概率为0或接近于0。

一些实施例中，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线之前，所述方法还包括：云端对预览图像进行矫正，得到矫正后的预览图像。所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，包括：云端根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。

示例性地，云端包括线条检测网络和图像矫正模块；所述云端对预览图像进行矫正，得到矫正后的预览图像，包括：云端将预览图像输入线条检测网络，通过线条检测网络检测预览图像中包含的线条；云端通过图像矫正模块根据预览图像中包含的线条，确定对预览图像进行矫正所需的变换矩阵，并采用变换矩阵对预览图像进行矫正，得到矫正后的预览图像。

可选地，线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；所述线条检测网络检测预览图像中包含的线条，包括：将预览图像输入主干网络后，主干网络提取预览图像中的特征，输出预览图像对应的共享卷积特征图至连接点预测模块；连接点预测模块根据共享卷积特征图输出预览图像对应的候选连接点，并传输给线段采样模块；线段采样模块根据候选连接点预测出预览图像包含的线条。

可选地，变换矩阵至少包括旋转矩阵、单应性矩阵。

云端对预览图像进行矫正，可以使得云端根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线时，能够更加准确地识别到预览图像中包含的元素、以及不同元素的位置和所占比例，进而使生成的辅助线更加符合待拍摄场景对应的构图方式。

可选地，所述云端根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线之后，所述方法还包括：云端获取预览图像中包含的元素的轮廓线；云端根据构图辅助线、以及预览图像中包含的元素的轮廓线，生成适合待拍摄场景的拍摄轮廓线。云端向终端设备发送拍摄轮廓线。

云端向终端设备发送的拍摄轮廓线，可以使得用户使用终端设备进行拍照时，参考拍摄界面中显示的构图辅助线，对终端设备的拍摄位置、角度等进行调整的同时，还可以进一步参考拍摄界面显示的拍摄轮廓线，将预览画面中的元素移动至拍摄轮廓线所指示的位置。从而更进一步地简化用户进行构图的操作，提升用户体验。

可选地，所述方法还包括：云端接收来自终端设备的待拍摄场景对应的照片。云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片。云端向终端设备发送所述至少一张构图优化后的照片。

云端通过对终端设备拍摄的照片(可称为初始照片)进行进一步的构图优化，并返回给终端设备构图优化后的照片，可以提高构图成功率，构图优化后的照片不会出现旋转、透视等畸变，能够为用户提供更好的照片选择。

示例性地，云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络。所述云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片，包括：云端将所述照片输入线条检测网络，通过线条检测网络检测所述照片中包含的线条；云端通过图像矫正模块根据所述照片中包含的线条，确定对所述照片进行矫正所需的变换矩阵，并采用变换矩阵对所述照片进行矫正，得到矫正后的照片；云端通过显著性检测模块对所述矫正后的照片进行显著性检测，得到所述矫正后的照片的显著性结果；云端将所述矫正后的照片、以及显著性结果输入美学评分网络，得到美学评分网络输出的多张候选裁切图、以及每张所述候选裁切图对应的评分；云端确定多张候选裁切图中评分最高的至少一张候选裁切图为构图优化后的照片。

一些实施例中，云端接收到的来自终端设备的初始照片为非人像照片，如：可以是一些风景/风光照片。

第九方面，本申请实施例提供一种云端服务器，该装置可以用于实现上述第八方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，接收模块，构图模块，发送模块等。

其中，接收模块，用于接收来自终端设备的待拍摄场景对应的预览图像和场景信息；构图模块，用于根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线；发送模块，用于向所述终端设备发送所述构图辅助线。

一种实施方式中，构图模块，具体用于根据预览图像和场景信息，识别预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例；根据预览图像中包含的元素，以及不同元素的位置和所占比例，按照预设的匹配规则确定与待拍摄场景匹配的构图方式对应的构图辅助线。

其中，匹配规则包括至少一种类型的待拍摄场景与构图辅助线之间的对应关系，不同类型的待拍摄场景中包含的元素、以及不同元素的位置和所占比例不同。

上述匹配规则可以是人为定义的规则。

示例性地，预览图像中包含的元素可以是天空、海水、草地、人物等。元素的位置是指预览图像中元素所在区域的像素点坐标，元素所占的比例是指预览图像中元素所在区域的像素点数量占整个预览图像的像素点数量的比值。

可选地，构图模块，具体用于采用第一方法对预览图像进行分割，然后基于分割结果、结合场景信息识别预览图像中包含的元素。

其中，场景信息用于辅助构图模块基于分割结果快速识别预览图像中包含的元素。

例如，当场景信息包括的位置信息为海边时，可以表示预览图像中可能含有海水，能够辅助构图模块基于分割结果快速识别出预览图像中是否包含海水。

示例性地，第一方法可以是基于边缘检测的方法、基于小波变换的方法、基于深度学习的方法等。考虑到性能要求高，精度要求较低，第一方法可以尽量选用传统分割方法或者模型较小的方法。例如，构图模块可以采用深度学习分割网络U-NET对预览图像进行分割。

另一种实施方式中，构图模块，具体用于对预览图像进行显著性检测，提取预览图像的显著性结果；将预览图像的显著性结果和场景信息输入训练好的人工智能AI网络，得到AI网络输出的预览图像对应的多种构图方式的概率分布；根据AI网络输出的预览图像对应的多种构图方式的概率分布，确定与待拍摄场景匹配的构图方式对应的构图辅助线。

对某种类型的待拍摄场景而言，AI网络输出的概率分布中，不适合该类型的待拍摄场景的构图方式的概率为0或接近于0。

一些实施例中，构图模块，具体用于对预览图像进行矫正，得到矫正后的预览图像；根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。

示例性地，云端包括线条检测网络和图像矫正模块；构图模块，具体用于将预览图像输入线条检测网络，通过线条检测网络检测预览图像中包含的线条；通过图像矫正模块根据预览图像中包含的线条，确定对预览图像进行矫正所需的变换矩阵，并采用变换矩阵对预览图像进行矫正，得到矫正后的预览图像。

可选地，线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；构图模块，具体用于将预览图像输入主干网络，主干网络提取预览图像中的特征，输出预览图像对应的共享卷积特征图至连接点预测模块；连接点预测模块根据共享卷积特征图输出预览图像对应的候选连接点，并传输给线段采样模块；线段采样模块根据候选连接点预测出预览图像包含的线条。

可选地，变换矩阵至少包括旋转矩阵、单应性矩阵。

可选地，构图模块，还用于获取预览图像中包含的元素的轮廓线；根据构图辅助线、以及预览图像中包含的元素的轮廓线，生成适合待拍摄场景的拍摄轮廓线。发送模块，还用于向终端设备发送拍摄轮廓线。

可选地，所述装置还包括：构图优化模块；接收模块，还用于接收来自终端设备的待拍摄场景对应的照片。构图优化模块，用于对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片。发送模块，还用于向终端设备发送所述至少一张构图优化后的照片。

示例性地，云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络。构图优化模块，具体用于将所述照片输入线条检测网络，通过线条检测网络检测所述照片中包含的线条；通过图像矫正模块根据所述照片中包含的线条，确定对所述照片进行矫正所需的变换矩阵，并采用变换矩阵对所述照片进行矫正，得到矫正后的照片；通过显著性检测模块对所述矫正后的照片进行显著性检测，得到所述矫正后的照片的显著性结果；将所述矫正后的照片、以及显著性结果输入美学评分网络，得到美学评分网络输出的多张候选裁切图、以及每张所述候选裁切图对应的评分；确定多张候选裁切图中评分最高的至少一张候选裁切图为构图优化后的照片。

一些实施例中，接收模块接收到的来自终端设备的初始照片为非人像照片，如：可以是一些风景/风光照片。

第十方面，本申请实施例提供一种电子设备，包括：处理器，用于存储所述处理器可执行指令的存储器；所述处理器被配置为执行所述指令时，使得所述电子设备实现如第八方面及第八方面中的任意一种实现方式中所述的方法。

该电子设备可以是云端服务器、服务器集群、云平台等。

第十一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被电子设备执行时，使得电子设备实现如第八方面及第八方面中的任意一种实现方式中所述的方法。

第十二方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现前述第八方面及第八方面中的任意一种实现方式中所述的方法。

上述第九方面至第十二方面所具备的有益效果，可参考第八方面及第八方面中的任意一种实现方式中所述，在此不再赘述。

第十三方面，本申请实施例提供一种拍照方法，应用于端云协同系统。端云协同系统包括终端设备和云端，终端设备通过无线网络与云端连接。所述方法包括：

终端设备获取待编辑照片和待编辑照片对应的场景信息；终端设备向云端发送所述待编辑照片和场景信息。云端根据待编辑照片和场景信息，对待编辑照片进行构图优化，得到待编辑照片对应的至少一张构图优化后的照片，并将所述至少一张构图优化后的照片发送给终端设备。终端设备显示待编辑照片、以及所述至少一张构图优化后的照片。针对终端设备显示的上述照片，用户对构图满意的第一照片进行保存操作。终端设备响应于用户的操作，选择第一照片。终端设备向云端发送第一照片。云端根据第一照片获取用户的美学偏好。其中，第一照片包括初始照片、以及所述至少一张构图优化后的照片中的一张或多张。

一些实施例中，云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络；所述云端对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片，包括：云端将所述待编辑图像输入所述线条检测网络，通过所述线条检测网络检测所述待编辑图像中包含的线条；云端通过所述图像矫正模块根据所述待编辑图像中包含的线条，确定对所述预览图像进行矫正所需的变换矩阵，并采用所述变换矩阵对所述待编辑图像进行矫正，得到矫正后的待编辑图像。

一些实施例中，所述线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；所述线条检测网络检测所述待编辑图像中包含的线条，包括：将所述待编辑图像输入主干网络后，所述主干网络提取所述待编辑图像中的特征，输出所述待编辑图像对应的共享卷积特征图至所述连接点预测模块；所述连接点预测模块根据所述共享卷积特征图输出所述待编辑图像对应的候选连接点，并传输给所述线段采样模块；所述线段采样模块根据所述候选连接点预测出所述待编辑图像包含的线条。

本实施例中，终端设备将用户拍摄的照片或已有照片上传至云端，云端基于美学评分网络向终端设备返回构图优化后的照片，终端设备再将用户的拍照构图选择结果上传至云端，云端对美学评分网络进行迁移训练，获取用户的美学偏好。这种端云协同的拍照构图私人定制方法，可以依靠云端的强算力，有效降低终端设备硬件要求，持续推荐更加符合用户习惯的拍照构图，减少用户学习成本，提升用户拍照构图体验。

第十四方面，本申请实施例提供一种拍照方法，所述方法应用于终端设备，终端设备通过无线网络与云端连接。所述方法包括：终端设备响应于用户的操作，获取待编辑照片和待编辑照片对应的场景信息。终端设备向所述云端发送待编辑照片和场景信息，待编辑照片和场景信息用于所述云端对待编辑照片进行构图优化，得到待编辑照片对应的至少一张构图优化后的照片。终端设备接收所述云端发送的所述至少一张构图优化后的照片。所述终端设备显示所述待编辑照片、以及所述至少一张构图优化后的照片。所述终端设备响应于用户的选择操作，选择所述第一照片，所述第一照片包括待编辑照片、以及所述至少一张构图优化后的照片中的一张或多张。所述终端设备向所述云端发送所述保存的第一照片，第一照片用于所述云端获取用户的美学偏好。

一些实施例中，终端设备向所述云端发送所述第一照片，包括：终端设备通过预设的卷积神经网络提取所述第一照片的图像特征；所述终端设备向所述云端发送所述第一照片的图像特征。

一些实施例中，终端设备向所述云端发送所述第一照片，包括：所述终端设备向所述云端发送所述第一照片的标识信息。

第十五方面，本申请实施例提供一种终端设备，终端设备可以包括拍照装置，该装置可以用于实现上述第十四方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，相机模块，发送模块，接收模块，显示模块，处理模块等。

其中，相机模块，用于响应于用户的操作，获取待编辑照片和所述待编辑照片对应的场景信息。发送模块，用于向所述云端发送所述待编辑照片和场景信息，所述待编辑照片和场景信息用于所述云端对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片。接收模块，用于接收所述云端发送的所述至少一张构图优化后的照片。显示模块，用于显示所述待编辑照片、以及所述至少一张构图优化后的照片。处理模块，用于响应于用户对第一照片的选择操作，选择所述第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。所述发送模块，还用于向所述云端发送所述保存的第一照片，所述第一照片用于所述云端获取用户的美学偏好。

第十六方面，本申请实施例提供一种电子设备，包括：处理器，用于存储所述处理器可执行指令的存储器；所述处理器被配置为执行所述指令时，使得所述电子设备实现如第十四方面及第十四方面中的任意一种实现方式中所述的方法。

该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、超级移动个人计算机、上网本、个人数字助理等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备。

第十七方面，本申请实施例还提供一种拍照方法，方法应用于云端，云端通过无线网络与终端设备连接。所述方法包括：所述云端接收来自所述终端设备的待编辑照片和场景信息。所述云端根据所述待编辑照片和场景信息，对所述待编辑照片进行构图优化，得到待编辑照片对应的至少一张构图优化后的照片，并将所述至少一张构图优化后的照片发送给所述终端设备。云端接收来自所述终端设备的第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。所述云端根据所述第一照片，获取用户的美学偏好。

第十八方面，本申请实施例提供一种电子设备，该装置可以用于实现上述第十七方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，接收模块，处理模块，发送模块等。

其中，接收模块，用于接收来自所述终端设备的待编辑照片和场景信息。处理模块，用于根据所述待编辑照片和场景信息，对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片。发送模块，用于将所述至少一张构图优化后的照片发送给所述终端设备。所述接收模块，还用于接收来自所述终端设备的第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。所述处理模块，还用于所述云端根据所述第一照片，获取用户的美学偏好。

第十九方面，本申请实施例提供一种电子设备，包括：处理器，用于存储所述处理器可执行指令的存储器；所述处理器被配置为执行所述指令时，使得所述电子设备实现如第十七方面及第十七方面中的任意一种实现方式中所述的方法。

该电子设备可以是云端服务器、服务器集群、云平台等。

第二十方面，本申请实施例提供一种端云协同系统，包括如第十五方面及第十五方面中的任意一种实现方式中所述的终端设备和如第十七方面及第十七方面中的任意一种实现方式中所述的云端；或者，包括如第十六方面及第十六方面中的任意一种实现方式中所述的终端设备和如第十八方面及第十八方面中的任意一种实现方式中所述的云端。

第二十一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被电子设备执行时，使得电子设备实现如第十四方面及第十四方面中的任意一种实现方式中所述的方法；或者，使得电子设备实现如第十七方面及第十七方面中的任意一种实现方式中所述的方法。

第二十二方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现前述第十四方面及第十四方面中的任意一种实现方式中所述的方法；或者，得电子设备实现如第十七方面及第十七方面中的任意一种实现方式中所述的方法。

上述第十三方面至第二十二方面所具备的有益效果，可以参考前述第一方面至第十二方面及其任意一种实现方式中所述，在此不再赘述。

第二十三方面，本申请实施例提供一种拍照方法，应用于端云协同系统。端云协同系统包括终端设备和云端，终端设备通过无线网络与云端连接。所述方法包括：

终端设备响应于用户的编辑操作，对待编辑照片进行编辑，获取编辑后的照片。终端设备向所述云端发送待编辑照片和编辑后的照片。云端根据待编辑照片和编辑后的照片，获取用户的美学偏好，并根据用户定制的拍照风格优化网络获取基础画质优化参数。云端向并将基础画质优化参数发送给终端设备。终端设备接收到基础画质优化参数后，更新本地的基础画质参数。

本实施例中，终端设备将用户编辑前后的照片上传到云端，对云端部署的拍照风格优化网络进行训练，迁移得到用户定制的拍照风格优化网络，并同步更新终端设备侧的基础画质算法。这种端云协同的拍照风格私人定制方法，可以依靠云端的强算力，有效降低终端设备硬件要求，利用云端对基础画质算法的建模及更新，持续推荐更加符合用户习惯的拍照风格，提升用户拍照体验。第二十四方面，本申请实施例提供一种拍照方法，所述方法应用于终端设备，终端设备通过无线网络与云端连接。所述方法包括：

所述终端设备响应于用户的编辑操作，获取初始照片和编辑后的第一照片。所述终端设备向所述云端发送所述初始照片和第一照片。所述云端根据所述初始照片和第一照片，获取用户定制的拍照风格优化网络，并根据用户定制的拍照风格优化网络获取基础画质优化参数。所述云端向并将所述基础画质优化参数发送给所述终端设备。所述终端设备根据所述基础画质优化参数更新本地的基础画质参数。

第二十五方面，本申请实施例提供一种终端设备，终端设备可以包括拍照装置，该装置可以用于实现上述第二十四方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，相机模块，发送模块，接收模块，存储模块等。

其中，相机模块，用于响应于用户的操作，获取初始照片和编辑后的第一照片。发送模块，用于向云端发送初始照片和第一照片。接收模块，用于接收来自云端的基础画质优化参数。存储模块，用于根据基础画质优化参数更新本地的基础画质参数。

第二十六方面，本申请实施例提供一种电子设备，包括：处理器，用于存储所述处理器可执行指令的存储器；所述处理器被配置为执行所述指令时，使得所述电子设备实现如第二十四方面及第二十四方面中的任意一种实现方式中所述的方法。

该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、超级移动个人计算机、上网本、个人数字助理等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备。

第二十七方面，本申请实施例还提供一种拍照方法，所述方法应用于云端，云端通过无线网络与终端设备连接；所述方法包括：

所述云端接收来自终端设备的初始照片和编辑后的第一照片。所述云端根据所述初始照片和第一照片，获取用户定制的拍照风格优化网络，并根据用户定制的拍照风格优化网络获取基础画质优化参数。所述云端将所述基础画质优化参数发送给所述终端设备。

第二十八方面，本申请实施例提供一种电子设备，该装置可以用于实现上述第二十七方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，接收模块，处理模块，发送模块等。

第二十九方面，本申请实施例提供一种电子设备，包括：处理器，用于存储所述处理器可执行指令的存储器；所述处理器被配置为执行所述指令时，使得所述电子设备实现如第二十七方面及第二十七方面中的任意一种实现方式中所述的方法。

该电子设备可以是云端服务器、服务器集群、云平台等。

第三十方面，本申请实施例提供一种端云协同系统，包括如第二十五方面及第二十五方面中的任意一种实现方式中所述的终端设备和如第二十八方面及第二十八方面中的任意一种实现方式中所述的云端；或者，包括如第二十六方面及第二十六方面中的任意一种实现方式中所述的终端设备和如第二十九方面及第二十九方面中的任意一种实现方式中所述的云端。

第三十一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被电子设备执行时，使得电子设备实现如第二十四方面及第二十四方面中的任意一种实现方式中所述的方法；或者，使得电子设备实现如第二十七方面及第二十七方面中的任意一种实现方式中所述的方法。

第三十二方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现前述第二十四方面及第二十四方面中的任意一种实现方式中所述的方法；或者，使得电子设备实现如第二十七方面及第二十七方面中的任意一种实现方式中所述的方法。

上述第二十三方面至第三十二方面所具备的有益效果，可以参考前述第一方面至第十二方面及其任意一种实现方式中所述，在此不再赘述。

应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。

附图说明

图1示出了一种手机拍摄界面的示意图；

图2示出了本申请实施例提供的端云协同系统的结构示意图；

图2A示出了本申请实施例中云端对预览图像进行矫正的流程示意图；

图2B示出了本申请实施例提供的线条检测网络的结构示意图；

图2C示出了本申请实施例提供的图像矫正的效果示意图；

图2D示出了本申请实施例提供的图像矫正的另一效果示意图；

图3示出了本申请实施例提供的终端设备的结构示意图；

图4示出了本申请实施例提供的拍照方法的流程示意图；

图5示出了本申请实施例提供的一种拍摄场景的示意图；

图6示出了本申请实施例提供的拍摄界面的示意图；

图7示出了本申请实施例提供的拍摄界面的另一示意图；

图8示出了本申请实施例提供的一种拍照操作的示意图；

图9示出了本申请实施例提供的拍摄界面的又一示意图；

图10示出了本申请实施例提供的设置界面的示意图；

图11示出了本申请实施例提供的拍摄界面的又一示意图；

图12示出了本申请实施例提供的拍摄界面的又一示意图；

图13示出了本申请实施例提供的拍摄界面的又一示意图；

图14示出了本申请实施例提供的拍照方法的另一流程示意图；

图15示出了本申请实施例中云端对初始照片进行构图优化的流程示意图；

图16示出了本申请实施例提供的回归原理示意图；

图17示出了本申请实施例提供的构图优化的示意图；

图18示出了本申请实施例提供的照片显示界面的示意图；

图19示出了本申请实施例提供的拍照装置的结构示意图；

图20示出了本申请实施例提供的电子设备的另一结构示意图；

图21示出了本申请实施例提供的电子设备的又一结构示意图；

图22示出了本申请实施例提供的拍照方法的另一流程示意图；

图23示出了本申请实施例提供的拍照方法的另一流程示意图；

图24示出了本申请实施例提供的照片编辑界面的示意图；

图25示出了本申请实施例提供的拍照方法的另一流程示意图；

图26A示出了本申请实施例提供的照片编辑界面的另一示意图之一；

图26B示出了本申请实施例提供的照片编辑界面的另一示意图之二；

图26C示出了本申请实施例提供的照片编辑界面的另一示意图之三；

图27A示出了本申请实施例提供的照片编辑界面的又一示意图之一；

图27B示出了本申请实施例提供的照片编辑界面的又一示意图之二；

图27C示出了本申请实施例提供的照片编辑界面的又一示意图之三；

图28示出了本申请实施例提供的拍照装置的另一结构示意图；

图29示出了本申请实施例提供的电子设备的另一结构示意图；

图30示出了本申请实施例提供的拍照装置的另一结构示意图；

图31示出了本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。字符“/”一般表示前后关联对象是一种“或”的关系。“和/或”用于描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

随着手机拍照技术的飞速发展，使用手机拍照已经成为了人类生活中不可或缺的一部分。当用户启动手机的相机进行拍照时，手机可以采集待拍摄场景对应的预览图像，并将预览图像显示在相机的拍摄界面中，以使得用户可以看到待拍摄场景的预览画面(即预览图像在拍摄界面中显示出的画面)。用户可以根据拍摄界面中显示的预览画面对感光度、光圈等拍摄参数、以及构图方式进行调整。对构图方式进行调整可以是指对预览画面中的各元素(如：人物、建筑、动物等)在预览画面中的位置和比例进行调整。在完成感光度、光圈等拍摄参数、以及构图方式的调整后，用户可以点击相机的拍照按钮，手机可以响应于用户对拍照按钮的点击操作，按照预览画面的感光度、光圈等拍摄参数，以及预览画面的构图方式，对待拍摄场景进行拍照，得到待拍摄场景对应的照片。

其中，用户在使用手机进行拍照时，对构图方式的调整会影响到最终拍摄到的照片质量。例如，好的构图可以让拍出的照片更加出色，而错误的构图会导致拍摄出的照片达不到预期效果。更甚至，在拍照时进行较好的构图往往可以化腐朽为神奇，弥补用户拍照经验不足的缺点。

目前，为了能够在用户使用手机进行拍照时辅助用户完成较好的构图，手机在相机启动运行时，可以在相机的拍摄界面中显示预设的参考线，供用户根据参考线完成构图。例如，图1示出了一种手机拍摄界面的示意图。如图1所示，手机在相机启动运行时，相机的拍摄界面中显示的参考线为九宫格网格线101。用户使用手机进行拍照时，可以参考拍摄界面中显示的九宫格网格线101对手机的拍摄位置、角度等进行调整，从而完成三分法构图、对角线构图、对称构图等多种不同方式的构图。

以三分法构图为例，可以看到图1中所示的九宫格网格线101以“井”字型排列，将预览画面分为九等份，其中，横竖两条线的四个交叉点一般可以认为是人的视觉兴趣点。用户在构图时可以对手机的拍摄位置、角度等进行调整，使得预览画面中的拍摄主体处于交叉点附近(或者，也可以使拍摄主体处于两条竖线附近)，从而完成三分法构图。

但是，上述通过在拍摄界面中显示预设的参考线辅助用户完成构图的方式中，参考线的引导作用有限，最终构图好坏与用户的拍摄经验和手法强相关，一些没有丰富拍摄经验的用户可能并不懂得如何根据参考线对手机的拍摄位置、角度等进行调整以完成不同方式的构图。

例如，当拍摄场景中包括天空和大海，且天空和大海具有明显的分界线时，可能更适合对称构图，具有一定拍摄经验的用户能够对手机的拍摄位置、角度等进行调整，使得天空和大海的分界线处于九宫格网格线中的两条横线的中间位置以实现对称构图。但对于没有丰富拍摄经验的用户而言，并不了解如何结合拍摄场景完成构图。

也即，目前手机通过在拍摄界面中显示预设的参考线辅助用户完成构图的方式，最终的构图效果是因人而异的，并不能帮助更多用户完成较好的构图。

在此背景技术下，本申请实施例提供了一种拍照方法，能够在用户使用具有拍照功能的终端设备进行拍照时，结合当前的拍摄场景在终端设备提供的拍摄界面中显示构图辅助线，对用户进行构图引导。其中，构图辅助线可以为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对手机的拍摄位置、角度等进行调整以完成构图，从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。

该方法可以应用于由终端设备和云端组成的端云协同系统。其中，端云协同的“端”指终端设备，“云”指云端，云端也可称为云服务器、远程服务器或云平台。

示例性地，图2示出了本申请实施例提供的端云协同系统的结构示意图，如图2所示，该端云协同系统可以包括：终端设备210和云端220，终端设备210可以通过无线网络与云端220连接。终端设备210具有拍照功能。

可选地，终端设备210可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备，本申请实施例对终端设备210的具体类型不作限制。

应当理解，当终端设备210为云台相机、无人机等拍摄设备时，终端设备210还会包括一个可以提供拍摄界面的显示设备，用于显示构图辅助线。例如，云台相机的显示设备可以是手机，航拍无人机的显示设备可以是遥控设备等。

可选地，云端220可以是计算机、服务器、或者多个服务器组成的服务器集群等，本申请对云端220的实现架构不作限制。另外，终端设备210的具体形态可以参考前述实施例中所述，不再赘述。

基于图2所示的端云协同系统，本申请实施例提供的拍照方法可以如下：

终端设备210在进行拍照时(如启动拍照应用程序后)，按照第一帧率获取待拍摄场景对应的预览图像，并在拍摄界面进行显示。同时，终端设备210按照第一频率，通过传感器采集待拍摄场景的场景信息。在前述过程中，终端设备210按照第二频率向云端220发送获取到的预览图像和场景信息。云端220每一次接收到预览图像和场景信息后，根据本次接收到的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线，并将构图辅助线发送给终端设备210。终端设备210接收到构图辅助线后，将构图辅助线与正在显示的预览图像一同显示在拍摄界面。用户可以参考拍摄界面中显示的构图辅助线，对终端设备210的拍摄位置、角度等进行调整以完成构图。完成构图后，用户可以对终端设备210执行拍照操作，以触发终端设备210进行拍照。

其中，第二频率的大小小于或等于第一帧率和第一频率中的最小值。第一帧率和第一频率的大小可以相同或不同，本申请对第一帧率和第一频率的大小均不作限制。

示例性地，在一种可能的设计中，第一帧率可以是30帧每秒(frames per second，FPS)。第一帧率和第一频率的大小相同时，第一频率可以为30次/秒。第一帧率和第一频率的大小不同时，第一频率可以为10次/秒、15次/秒、35次/秒等，第一频率可以小于第一帧率，也可以大于第一帧率。第二频率可以参考第一频率，不再举例说明。

一些实施例中，终端设备210上可以配置有位置传感器、气压传感器，温度传感器，环境光传感器等传感器。与终端设备210配置的传感器相对应，终端设备210通过传感器采集的待拍摄场景的场景信息可以包括：待拍摄场景对应的位置信息、气压信息、温度信息、光强信息等。本申请实施例对终端设备210中拍摄的传感器的数量和类型、以及终端设备210通过传感器采集的待拍摄场景的场景信息均不作限制。

针对每一次接收到的预览图像和场景信息，云端220根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线的过程如下：

一些实施例中，云端220预设有根据预览图像中包含的元素、以及不同元素的位置和所占比例，生成适合待拍摄场景的构图方式对应的构图辅助线的匹配规则。该匹配规则可以是根据摄影规则人为定义的。例如，可以人为定义哪些拍摄场景适合哪种构图方式，并为该拍摄场景设置该构图方式对应的构图辅助线，然后将前述匹配规则配置到云端中。针对每一次接收到的预览图像和场景信息，云端220首先可以根据预览图像和场景信息，识别出预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例。然后，云端220可以根据预览图像中包含的元素，以及不同元素的位置和所占比例，在前述预设的匹配规则中，确定出适合待拍摄场景的构图方式对应的构图辅助线。

示例性地，预览图像中包含的元素可以是天空、海水、草地、人物等。元素的位置是指预览图像中元素所在区域的像素点坐标，元素所占的比例是指预览图像中元素所在区域的像素点数量占整个预览图像的像素点数量的比值。

可选地，本申请实施例中，云端220根据预览图像和场景信息，识别预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例的步骤，可以包括：云端220采用第一方法对预览图像进行分割，然后基于分割结果、结合场景信息识别预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例的步骤。其中，场景信息可以用于辅助云端220基于分割结果快速识别预览图像中包含的元素。例如，当场景信息包括的位置信息为海边时，可以表示预览图像中可能含有海水，能够辅助云端220基于分割结果快速识别出预览图像中是否包含海水。类似地，气压信息、光线信息等均可以用于辅助云端220基于分割结果快速识别预览图像中包含的元素，不再一一举例。

示例性地，上述第一方法可以是基于边缘检测的方法、基于小波变换的方法、基于深度学习的方法等。本申请实施例中，考虑到性能要求高，精度要求较低，第一方法可以尽量选用传统分割方法或者模型较小的方法，例如，云端220可以采用深度学习分割网络U-NET对预览图像进行分割。但需要说明，本申请对第一方法的具体类型并不作限制。

示例性地，云端220预设的根据预览图像中包含的元素、以及不同元素的位置和所占比例，生成适合待拍摄场景的构图方式对应的构图辅助线的匹配规则，可以包含下述a)至e)中的一种或多种。云端220可以结合下述a)至e)中的一种或多种，根据预览图像中包含的元素，以及不同元素的位置和所占比例，确定出适合待拍摄场景的构图方式对应的构图辅助线。

a)如果识别得到预览图像中包含天空、海水、草地、山脉等元素的其中两种，且两种元素之间有明显的分界线，比如海平面、天际线等，则确定适合待拍摄场景的构图方式为对称构图，并结合待拍摄场景生成对称构图方式对应的构图辅助线。

b)如果识别得到预览图像中包含天空、海水、草地、山脉等元素的其中三种，且相邻的两种元素之间有明显的分界线，比如海平面、天际线等，则确定适合待拍摄场景的构图方式为三分构图，并结合待拍摄场景生成三分构图方式对应的构图辅助线。

c)如果识别得到预览图像中包含明显的主体，比如需要特写的人物、动物、树木、船只等，则云端可以确定适合待拍摄场景的构图方式为黄金分割构图或中心构图，并结合待拍摄场景(如：以主体为目标)生成黄金分割构图方式或中心构图方式对应的构图辅助线。

d)如果识别得到预览图像中包含明显的弯曲道路、桥梁、铁轨等，则确定适合待拍摄场景的构图方式为引导线构图，并结合待拍摄场景(如：沿着弯曲道路、桥梁、铁轨等)生成引导线构图方式对应的构图辅助线。

e)如果识别得到预览图像中包含天空和建筑，则根据预览图像中天空和建筑分别所占的比例确定适合待拍摄场景的构图方式为二八分构图、三七分构图、五五分构图等，并结合待拍摄场景生成前述二八分构图、三七分构图、五五分构图等构图方式对应的构图辅助线。

可以看到，上述匹配规则中，根据预览图像中包含的元素、以及不同元素的位置和所占比例，可以将预览图像对应的待拍摄场景划分为不同的类型，针对每种类型的待拍摄场景，可以人为定义适合该待拍摄场景的构图方式对应的构图辅助线。

应当理解，上述a)至e)所述的匹配规则均仅为示例性说明，本申请实施例对拍摄场景和构图方式之间的匹配规则并不作限制。例如，云端220还可以包括更多适用于不同拍摄场景的构图方式。

另外，还需要说明的是，云端220根据预览图像生成的适合待拍摄场景的构图方式对应的构图辅助线，其本质可以是预览图像中的多个像素点坐标组成的坐标数据集合，坐标数据集合中的多个像素点坐标对应的像素点连接起来即为构图辅助线。

可选地，本申请实施例中，在进行人为定义匹配规则时，对任意一种类型的待拍摄场景，若认为适合该种待拍摄场景的构图方式只有一种，则可以在匹配规则中为这种类型的待拍摄场景设置这一种符合的构图方式。若认为适合该种待拍摄场景的构图方式可以包括多种，则可以在匹配规则中将多种构图方式均设置为适合这种类型的待拍摄场景的构图方式。也即，上述人为定义的匹配规则中，每种类型的待拍摄场景可以对应一种构图方式，也可以对应多种构图方式，本申请也不作限制。

对于任意一种类型的待拍摄场景而言，当匹配规则中该种类型的待拍摄场景对应的构图方式包括一种时，云端220在获取到该种类型的待拍摄场景对应的预览图像后，会直接根据匹配规则生成这一种构图方式对应的构图辅助线。

当匹配规则中该种类型的待拍摄场景对应的构图方式包括多种时，一些实施方式中，云端220在获取到该种类型的待拍摄场景对应的预览图像后，会根据匹配规则从符合该待拍摄场景的多种构图方式中随机选择一种构图方式，并生成这种构图方式对应的构图辅助线，发送给终端设备210。

另外一些实施方式中，在进行人为定义匹配规则时，若认为适合某种待拍摄场景的构图方式包括多种，则在匹配规则中将多种构图方式均设置为适合这种类型的待拍摄场景的构图方式的同时，还可以人为按照摄影经验、或者已有的摄影案例等为多种构图方式分别一一设置对应的概率，不同的构图方式对应的概率不同。云端220从符合待拍摄场景的多种构图方式中选择一种构图方式时，会根据多种构图方式分别对应的概率，选择对应的概率最大的一种构图方式，并生成这种构图方式对应的构图辅助线，发送给终端设备210。

例如，对于某种类型的待拍摄场景而言，若适合构图方式1、构图方式2、构图方式3三种构图方式，但已有的一些同样类型的拍摄场景的图片中，构图方式1的占比为二分之一，构图方式2的占比为八分之三，构图方式3的占比为八分之一，则人为定义匹配规则时，可以将这三种构图方式均设置为适合该种类型的待拍摄场景的构图方式，但同时会根据这三种构图方式的占比分别设置构图方式1的概率为二分之一、构图方式2的概率为八分之三，构图方式3的概率为八分之一。云端从符合该种类型的待拍摄场景的构图方式1、构图方式2、构图方式3中选择一种构图方式时，会选择概率为二分之一的构图方式1。

另外一些实施例中，云端220预设有训练好的人工智能(artificialintelligence，AI)网络。该AI网络具有根据预览图像的显著性结果和场景信息，生成适合待拍摄场景的构图方式的功能。针对每一次接收到的预览图像和场景信息，云端220首先可以对预览图像进行显著性检测，提取预览图像的显著性结果；然后可以将预览图像的显著性结果和场景信息输入该AI网络。该AI网络可以输出预览图像对应的多种构图方式的概率分布(概率分布可以参考前述实施例中所述的不同构图方式对应的概率)。通过该概率分布可以得知，哪种构图方式更适合预览图像对应的待拍摄场景。云端220可以根据AI网络输出的预览图像对应的多种构图方式的概率分布，从多种构图方式中选择概率最大的一种构图方式，并生成该种构图方式对应的构图辅助线。

可以理解的，对某种类型的待拍摄场景而言，AI网络输出的概率分布中，不适合该类型的待拍摄场景的构图方式的概率为0或接近于0。

示例性地，上述AI网络可以通过采集对多种拍摄场景进行拍摄得到的大量样本图像、以及每张样本图像对应的拍摄场景的场景信息，然后使用样本图像和场景信息对神经网络进行训练得到。例如，首先可以获取对多种拍摄场景进行拍摄得到的大量样本图像、以及每张样本图像对应的拍摄场景的场景信息(场景信息具体参见前述实施例)，并对每张样本图像进行显著性检测，生成每张样本图像的显著性结果。同时，人为标记每张样本图像分别对应的构图方式。然后，将每张样本图像的显著性结果、以及对应的拍摄场景的场景信息作为输入，样本图像上标记的构图方式作为输出对神经网络进行训练，得到AI网络。训练好的AI网络可以学习到样本图像对应的拍摄场景的场景信息、样本图像中包含的元素、以及不同元素的位置和所占比例，与样本图像的构图方式的映射关系。从而，AI网络具有根据预览图像的显著性结果和场景信息，生成适合待拍摄场景的构图方式对应的功能。

上述基于匹配规则或AI网络的两种实现方式中，当符合待拍摄场景的构图方式包括多种时，云端220均会从多种构图方式中选择一种构图方式，并生成这种构图方式对应的构图辅助线，发送给终端设备210。

可选地，还有一些实施例中，当符合待拍摄场景的构图方式包括多种时，云端220也可以从符合待拍摄场景的多种构图方式中选择至少两种构图方式(如选择概率最大的两种构图方式)，并生成前述至少两种构图方式对应的构图辅助线，发送给终端设备210。终端设备210在接收到前述至少两种构图方式对应的构图辅助线后，可以在拍摄界面主要显示其中一种构图方式对应的构图辅助线，同时，将其他构图方式对应的构图辅助线，以分屏的方式、或者小窗口显示的方式、又或者标识控件的方式显示在拍摄界面中，以使得用户可以主动进行切换操作，触发终端设备210将拍摄界面主要显示的构图辅助线，在前述至少两种构图方式对应的构图辅助线中进行切换，如可以从构图辅助线1切换至构图辅助线2。本申请对终端设备210显示多种构图辅助线的具体方式不作限制。

应当理解，针对终端设备210每一次向云端220发送的预览图像和场景信息，终端设备210都可以对应接收到一次构图辅助线。终端设备210从第二次接收到构图辅助线开始，对于每一次接收到的构图辅助线，终端设备210将本次接收到的构图辅助线在拍摄界面显示，实际上可以理解为对拍摄界面中显示的上一次接收到的构图辅助线进行了更新。

假设终端设备210将某一次接收到的构图辅助线与正在显示的预览图像一同显示在拍摄界面时，当前正在显示的预览图像为终端设备210在t时刻所获取的，则该构图辅助线是云端220根据终端设备210在(t-dt)时刻所发送的预览图像和场景信息所生成的。其中，t大于0，dt大于0，dt表示从终端设备210向云端220发送预览图像和场景信息，至云端220向终端210返回构图辅助线的整个处理过程的时延。

本申请实施例提供的拍照方法中，终端设备210显示的构图辅助线可以为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对终端设备210的拍摄位置、角度等进行调整以完成构图，从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。通过该拍照方法可以使用户更轻松地知道通过哪种构图方式进行构图，不需要自己判断构图方式，也不要复杂的构图操作。

可选地，本申请实施例中，云端220每一次接收到预览图像和场景信息后，在根据本次接收到的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线之前，还可以先对预览图像进行矫正。云端220可以根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。

示例性地，图2A示出了本申请实施例中云端对预览图像进行矫正的流程示意图。如图2A所示，云端220可以包括：线条检测网络和图像矫正模块。

云端220对预览图像的矫正流程可以包括：云端220将预览图像输入线条检测网络，通过线条检测网络检测预览图像中包含的水平线、竖直线、建筑物的轮廓线等线条。线条检测网络检测得到预览图像中包含的线条后，图像矫正模块根据预览图像中包含的线条确定对预览图像进行矫正所需的变换矩阵，并采用该变换矩阵对预览图像进行矫正，得到矫正后的预览图像。

可选地，线条检测网络可以为端到端训练的AI网络模型。例如，图2B示出了本申请实施例提供的线条检测网络的结构示意图。如图2B所示，线条检测网络可以包括：主干网络(backbone)、连接点预测模块(junction proposal module)、线段采样模块(linesampling module)、以及线段校正模块(line verification module)。

将预览图像输入主干网络后，主干网络可以提取预览图像中的特征，输出预览图像对应的共享卷积特征图至连接点预测模块。连接点预测模块可以根据共享卷积特征图输出预览图像对应的候选连接点，并传输给线段采样模块。线段采样模块可以根据候选连接点预测出预览图像包含的线条(或称为线段)。线段校正模块可以对预测出的线条进行分类，最终输出检测到的预览图像中包含的线条。

可选地，图像矫正模块根据预览图像中包含的线条确定出的对预览图像进行矫正所需的变换矩阵，可以包括但不限于旋转(rotation)矩阵、单应性矩阵(homographymatrix)。

例如，当检测到预览图像中包含的水平线和/或竖直线倾斜时，图像矫正模块可以确定变换矩阵为旋转(rotation)矩阵，并使用旋转(rotation)矩阵对预览图像进行变换调整。如，图2C示出了本申请实施例提供的图像矫正的效果示意图。对于图2C中的(a)所示的预览图像，线条检测网络可以检测到其包含的水平线(如：天空和海水的交界线)向右倾斜，图像矫正模块可以确定对图2C中的(a)所示的预览图像进行矫正所需的旋转矩阵，并使用该旋转矩阵对预览图像进行变换调整。对图2C中的(a)所示的预览图像进行矫正后得到的矫正后的预览图像可以如图2C中的(b)所示。

又例如，当检测到预览图像中包含的建筑存在透视问题时，图像矫正模块可以确定变换矩阵为单应性矩阵(homography matrix)，并使用单应矩阵对预览图像进行变换调整。如，图2D示出了本申请实施例提供的图像矫正的另一效果示意图。对于图2D中的(a)所示的预览图像，线条检测网络可以检测到其包含的建筑存在透视问题，图像矫正模块可以确定对图2D中的(a)所示的预览图像进行矫正所需的单应性矩阵，并使用该单应性矩阵对预览图像进行变换调整。对图2D中的(a)所示的预览图像进行矫正后得到的矫正后的预览图像可以如图2D中的(b)所示。

本申请实施例中，云端220对预览图像进行矫正，可以使得云端220根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线时，能够更加准确地识别到预览图像中包含的元素、以及不同元素的位置和所占比例，进而使生成的辅助线更加符合待拍摄场景对应的构图方式。

需要说明的是，上述图2中示例性给出了一个终端设备210。但应当理解，该端云协同系统中的终端设备210可以包括一个或多个，多个终端设备210可以相同，也可以不相同或部分相同，在此均不作限制。本申请实施例提供的拍照方法是针对每个终端设备210与云端220之间进行交互实现拍照的过程。

另外，本申请实施例中所述的构图辅助线也可以被称为参考线、构图参考线、构图线等，在此对构图辅助线的名称并不作限制。

下面以上述图2所示的端云协同系统中的终端设备210为手机为例，结合用户使用手机进行拍照的场景，对本申请实施例提供的拍照方法进行示例性说明。

需要说明的是，本申请实施例虽然是以终端设备210为手机为例进行说明，但应当理解，本申请实施例提供的拍照方法同样适用于上述其他具有拍照功能的终端设备，本申请对该终端设备210的具体类型并不作限制。

示例性地，以终端设备为手机为例，图3示出了本申请实施例提供的终端设备的结构示意图。如图3所示，手机可以包括处理器310，外部存储器接口320，内部存储器321，通用串行总线(universal serial bus，USB)接口330，充电管理模块340，电源管理模块341，电池342，天线1，天线2，移动通信模块350，无线通信模块360，音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，传感器模块380，按键390，马达391，指示器392，摄像头393，显示屏394，以及用户标识模块(subscriber identification module，SIM)卡接口395等。

处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成读取指令和执行指令的控制。

处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。

在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM接口，和/或USB接口等。

外部存储器接口320可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机的存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令，从而执行手机的各种功能应用以及数据处理。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如图像数据，电话本等)等。此外，内部存储器321可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

充电管理模块340用于从充电器接收充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为手机供电。电源管理模块341用于连接电池342，充电管理模块340，以及处理器310。电源管理模块341也可接收电池342的输入为手机供电。

手机的无线通信功能可以通过天线1，天线2，移动通信模块350，无线通信模块360，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。手机在进行拍照时，可以通过无线通信功能，向云端220发送获取到的预览图像和场景信息，并接收云端220根据预览图像和场景信息发送的构图辅助线。

手机可以通过音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

传感器模块380可以包括压力传感器380A，陀螺仪传感器380B，气压传感器380C，磁传感器380D，加速度传感器380E，距离传感器380F，接近光传感器380G，指纹传感器380H，温度传感器380J，触摸传感器380K，环境光传感器380L，骨传导传感器380M等。图3中仅示例性给出了传感器模块380包括的部分传感器，例如，传感器模块380还包括位置传感器(如GPS)。手机在拍照时，可以通过传感器模块380中的传感器，采集待拍摄场景的场景信息，如：气压信息、温度信息、位置信息(如GPS坐标)、光强信息等。

摄像头393可以包括多种类型。例如，摄像头393可以包括具有不同焦段的长焦摄像头，广角摄像头或超广角摄像头等。其中，长焦摄像头的视场角小，适用于拍摄远处小范围内的景物；广角摄像头的视场角较大；超广角摄像头的视场角大于广角摄像头，可以用于拍摄全景等大范围的画面。在一些实施例中，视场角较小的长焦摄像头可转动，从而可以拍摄不同范围内的景物。

手机可以通过摄像头393捕获待拍摄场景的原始图像(也称为RAW图或数字底片)。例如，摄像头393至少包括镜头(lens)和传感器(sensor)。在拍摄照片或者拍摄视频时，打开快门，光线可以通过摄像头393的镜头被传递到sensor上。sensor可以将通过镜头的光信号转换为电信号，再对电信号进行模数(analogue-to-digital，A/D)转换，输出对应的数字信号。该数字信号即为RAW图。之后，手机可以通过处理器(如：ISP、DSP等)对RAW图进行后续的ISP处理、以及YUV域处理等，将RAW图转化为可用于显示的图像，如：JPEG图像或高效率图像文件格式(high efficiency image file format，HEIF)图像。JPEG图像或HEIF图像可以被传输给手机的显示屏进行显示，和/或，传输给手机的存储器进行存储。从而，手机可以实现拍摄的功能。

在一种可能的设计中，sensor的感光元件可以是电荷耦合器件(charge coupleddevice，CCD)，sensor还包括A/D转换器。在另外一种可能的设计中，sensor的感光元件可以是互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)。

示例性地，ISP处理可以包括：坏点矫正(bad pixel correction，DPC)、RAW域降噪、黑电平矫正(black level correction，BLC)、镜头亮度矫正(lens shadingcorrection，LSC)、自动白平衡(auto white balance，AWB)、去马赛克(demosica)颜色插值、色彩校正(color correction matrix，CCM)、动态范围压缩(dynamic rangecompression，DRC)、伽玛(gamma)、3D查找表(look up table，LUT)、YUV域降噪、锐化(sharpen)、增强细节(detail enhance)等。YUV域处理可以包括：高动态范围图像(high-dynamic range，HDR)的多帧配准、融合、降噪，以及提升清晰度的超分辨率(superresolution，SR)算法、美肤算法、畸变校正算法、虚化算法等。

显示屏394用于显示图像，视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机可以包括1个或N个显示屏394，N为大于1的正整数。例如，显示屏394可以用于显示拍摄界面，照片播放界面等。本申请实施例中，拍摄界面可以包括预览图像、云端220发送给手机的构图辅助线。

手机通过GPU，显示屏394，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏394和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

可以理解的是，图3所示的结构并不构成对手机的具体限定。在一些实施例中，手机也可以包括比图3所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置等。又或者，图3所示的一些部件可以以硬件，软件或软件和硬件的组合实现。

另外，当终端设备210是其他平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA等移动终端，或者，数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备时，这些其他终端设备的具体结构也可以参考图3所示。示例性地，其他终端设备可以是在图3给出的结构的基础上增加或减少了组件，在此不再一一赘述。

还应当理解的是，终端设备210(如手机)中可以运行有一个或多个拍照应用程序，以便通过运行拍照应用程序，实现拍摄的功能。例如，该拍照应用程序可以包括系统级应用：相机。又如，该拍照应用程序还可以包括其他安装在终端设备中的能够用于拍摄的应用程序。

示例性地，图4示出了本申请实施例提供的拍照方法的流程示意图。如图4所示，本申请实施例提供的拍照方法可以包括：S401-S407。

S401、手机在启动运行拍照应用程序后，按照第一帧率获取待拍摄场景对应的预览图像，并在拍摄界面进行显示；同时，按照第一频率，通过传感器采集待拍摄场景的场景信息。

示例性地，当用户需要使用手机进行拍照时，可以先启动手机的拍照应用程序。例如，用户可以点击或触摸手机上的相机的图标，手机可以响应于用户对相机的图标的点击或触摸操作，启动运行相机(或者，用户还可以通过语音助手启动相机，不作限制)。

在启动运行拍照应用程序后，手机可以通过相机模块(如前述摄像头)采集待拍摄场景对应的RAW图。然后，手机的处理器可以对RAW图进行简单的ISP处理，得到待拍摄场景对应的YUV图。该YUV图即为待拍摄场景对应的预览图像。

或者，另外一些实施例中，在得到YUV图后，手机中的处理器还可以将YUV图转换为RGB格式的RGB图，此时，该RGB图可以作为待拍摄场景对应的预览图像。

手机在启动运行拍照应用程序后，会显示拍照应用程序提供的拍摄界面，该拍摄界面能够用于显示拍照时的预览图像，以使得用户可以看到待拍摄场景的预览画面。预览图像的刷新帧率为第一帧率，具体请参见前述实施例。

手机在获取并显示预览图像的同时，可以按照第一频率，通过传感器采集待拍摄场景的场景信息。第一频率、以及通过传感器采集待拍摄场景的场景信息的具体过程，也请参见前述实施例中所述，不再赘述。

S402、手机按照第二频率向云端发送预览图像和场景信息。

本申请实施例中，手机是在执行S401的过程中，同步执行S402的。

相应地，云端接收手机发送(或称为上传)的预览图像和场景信息。

可选地，手机向云端发送的预览图像可以为上述S401的示例性说明中提到的YUV图或者RGB图，在此不作限制。

针对每一次接收到的预览图像和场景信息，云端可以执行S403-S405所述的步骤。

S403、云端对预览图像进行矫正，得到矫正后的预览图像。

云端对预览图像进行矫正的具体实现已在前述实施例中详细说明，不再赘述。

S404、云端根据矫正后的预览图像，生成适合待拍摄场景的构图方式对应的构图辅助线。

云端根据矫正后的预览图像，生成适合待拍摄场景的构图方式对应的构图辅助线的过程，也请参见前述实施例中所述。

S405、云端向手机返回构图辅助线。

相应地，手机接收云端返回的构图辅助线。

一些实施例中，云端向手机返回的构图辅助线可以如前述实施例中所述，为预览图像中的多个像素点坐标组成的坐标数据集合。

另外一些实施例中，云端也可以向手机返回一张包含构图辅助线的图像，该图像中，构图辅助线所在区域的像素点的像素值可以为0，除构图辅助线之外的区域的像素点的像素值可以为P，P为大于0、小于或等于255的整数。从而，云端可以实现向手机返回构图辅助线。可选地，除构图辅助线之外的区域的像素点的像素值可以均为255。需要说明的是，本申请对构图辅助线所在区域以及除构图辅助线之外的区域的像素点的像素值均不作限制，如：构图辅助线所在区域的像素点的像素值也可以是0至255中的其他值，构图辅助线所在区域的像素点的像素值与除构图辅助线之外的区域的像素点的像素值不同即可。

S406、手机将构图辅助线与正在显示的预览图像显示在拍摄界面。

用户使用手机进行拍照前，可以参考拍摄界面中显示的构图辅助线，对手机的拍摄位置、角度等进行调整，从而完成适合待拍摄场景的构图。

举例说明，图5示出了本申请实施例提供的一种拍摄场景的示意图，图6示出了本申请实施例提供的拍摄界面的示意图。如图5所示，假设待拍摄场景包含天空和大海，且天空和大海之间具有明确的分界线。则手机在启动运行拍照应用程序后，可以获取图5所示的拍摄场景对应的预览图像发送给云端，该预览图像可以是YUV图或RGB图。根据前述S404中所述可知，云端能够根据该预览图像(矫正后的预览图像)确定出适合图5所示的待拍摄场景的构图方式为对称构图，并结合图5所示的待拍摄场景生成对称构图方式对应的构图辅助线。

之后，云端可以将该构图辅助线返回给手机。当手机接收到云端返回的构图辅助线后，可以将构图辅助线与正在显示的预览图像一同显示在拍摄界面。请参考图6所示，拍摄界面至少包括：正在显示的预览图像呈现出的预览画面、构图辅助线601。其中，预览画面即为待拍摄场景对应的预览画面，包含了天空和大海，且天空和大海之间具有明确的分界线。构图辅助线601即为云端结合图5所示的待拍摄场景生成的对称构图方式对应的构图辅助线，能够向用户指示适合待拍摄场景的构图方式为对称构图。用户使用手机进行拍照前，可以参考图6所示的拍摄界面中显示的预览画面对拍摄画面进行预览，以及参考图6所示的拍摄界面中显示的构图辅助线601对手机的拍摄位置、角度等进行调整，从而在预览时完成适合待拍摄场景的对称构图。

例如，用户从图6所示的拍摄界面可以看到，预览画面中天空和大海的分界线偏高。所以，用户可以将手机向上移动和/或向后旋转一定角度，使得天空和大海的分界线与构图辅助线601接近或重合，从而完成对称构图。示例性地，图7示出了本申请实施例提供的拍摄界面的另一示意图，完成对称构图后的预览画面可以如图7中所示。

可选地，一些实施例中，手机将构图辅助线与正在显示的预览图像一同显示在拍摄界面的同时，还可以在拍摄界面中显示文字提示，提示用户按照构图辅助线引导的方式完成构图。例如，对于上述图5所示的待拍摄场景，图6所示的拍摄界面中还可以显示文字提示：“请将天空和大海的分界线移动至与构图辅助线重合”。示例性地，该文字提示也可以是由云端在生成构图辅助线时，一并生成的。云端可以将构图辅助线和文字提示一并发送给手机。需要说明的是，本申请实施例对文字提示在拍摄界面中的位置、以及文字提示的具体内容不作限制。例如，待拍摄场景不同或者构图辅助线不同时，文字提示可能不同。

用户在完成构图后，可以进行拍照操作，触发手机拍照，如：该拍照方法还包括S407。

S407、手机响应于用户的拍照操作，进行拍照。

示例性地，图8示出了本申请实施例提供的一种拍照操作的示意图。如图8所示，本申请实施例中，手机通过拍照应用程序提供的拍摄界面还可以包括一个拍照按键602(在前述图6和图7中未标出)，该拍照按键602的实质可以为拍摄界面中显示的一个功能控件。用户在完成如图7所示的构图之后，可以点击或触摸拍照按键602，手机可以响应于用户对拍照按键602的点击或触摸操作进行拍照，从而获取到待拍摄场景对应的照片。具体获取原理可以参考前述实施例中所述的手机实现拍摄功能的过程，不再赘述。

可选地，其他一些实施方式中，上述拍照按键602的功能也可以通过手机上的其他物理按键实现，在此不作限制。

由上所述，本申请实施例提供的该拍照方法能够在用户使用手机进行拍照时，结合当前的拍摄场景在手机提供的拍摄界面中显示构图辅助线，对用户进行构图引导。其中，构图辅助线可以为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对手机的拍摄位置、角度等进行调整以完成构图，从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。也即，本申请实施例可以使得用户在使用手机进行拍照时，能够根据云端推荐的构图辅助线，更轻松地知道通过哪种构图方式进行构图，不需要自己判断构图方式，也不要复杂的构图操作。

可选地，也有一些实施例中，上述S402中手机也可以不向云端发送完整的预览图像，而是只向云端发送预览图像的图像特征。例如，手机中可以预设有卷积神经网络(convolutional neural network，CNN)，手机在获取到预览图像后，可以通过CNN对预览图像进行特征提取，得到预览图像的图像特征。然后，手机可以向云端发送预览图像的图像特征。相应地，云端可以根据预览图像的图像特征和场景信息，识别出预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例，不再赘述。

相对于手机直接向云端发送预览图像的方式而言，手机只向云端发送预览图像的图像特征，用于云端生成适合待拍摄场景的构图方式对应的构图辅助线，可以更好的保护用户隐私，防止用户隐私泄露。

可选地，本申请实施例中，对于云端根据预览图像中包含的元素，以及不同元素的位置和所占比例，结合预设的匹配规则中，确定适合待拍摄场景的构图方式对应的构图辅助线的方式，当云端无法根据预设的匹配规则，确定出适合待拍摄场景的构图方式对应的构图辅助线时(也即，匹配规则中不包含预览图像对应的拍摄场景时)，云端也可以不生成构图辅助线。相应地，手机也不会显示构图辅助线。或者，手机可以显示普通的九宫格辅助线。

一些实施例中，手机还具有开启和关闭构图辅助线显示的功能。例如，图9示出了本申请实施例提供的拍摄界面的又一示意图。如图9所示，手机的拍摄界面中还可以包括一个设置按键901，该设置按键901的实质也可以为拍摄界面中显示的一个功能控件。当用户点击或触摸设置按键901时，手机可以响应于用户对设置按键901的点击或触摸操作，将显示界面由拍摄界面切换至手机的拍照应用程序的设置界面。示例性地，图10示出了本申请实施例提供的设置界面的示意图。如图10所示，设置界面中至少包括：“构图辅助线”的文字标识，在文字标识一侧还设有一个构图辅助功能开关1001(实质为功能控件)。构图辅助功能开关1001由一个滑动区域和滑块(如图中黑色填充的区域即为滑块)组成。当用户需要开启构图辅助线的显示功能时，可以点击或触摸滑块，使得滑块移动至右侧(如图10中所示的位置)。手机可以响应于用户将滑块移动至右侧的操作，控制开启构图辅助线显示。当用户需要关闭构图辅助线的显示功能时，可以点击或触摸滑块，使得滑块移动至左侧。手机可以响应于用户将滑块移动至左侧的操作，控制关闭构图辅助线显示。

可以理解的，上述图9和图10所示的开启和关闭构图辅助线显示的功能中，手机可以只在构图辅助线显示功能开启时，将预览图像发送到云端以获取云端根据预览图像返回的构图辅助线。当关闭构图辅助线显示之后，手机在每次进行拍照时，拍摄界面中都不会显示构图辅助线。直至用户再次开启构图辅助线显示时，手机才会在拍摄界面中显示构图辅助线。

可选地，为提高用户的使用体验，另外一些实施例中，手机还可以在拍摄界面为用户提供用于关闭构图辅助线显示的功能按键。例如，图11示出了本申请实施例提供的拍摄界面的又一示意图。如图11所示，除预览画面、构图辅助线、以及按照按键外，手机提供的拍摄界面中还可以包括文字提示：“构图辅助线”1101，“构图辅助线”1101之后还包括一个功能控件：“X”1102。“构图辅助线”1101用于提示用户拍摄界面中显示的虚线为构图辅助线。功能控件“X”1102能够用于实现关闭构图辅助线显示的功能。如：当用户不喜欢或不需要构图辅助线进行构图引导时，用户可以点击或触摸功能控件“X”1102。手机可以响应于用户对功能控件“X”1102的点击或触摸操作，不再显示构图辅助线。对于一些具有丰富拍摄经验的用户而言，可能更期待在拍照时按照自己的意愿去构图，不希望受到构图辅助线的干扰，那么通过这种方式可以进一步考虑更多用户的需求，提升用户的体验。

需要说明的是，虽然上述图11所示的拍摄界面中示例性地将“构图辅助线”1101和功能控件“X”1102显示在构图辅助线(图11中所示的虚线)的下方，但本申请对“构图辅助线”1101和功能控件“X”1102的显示区域均不作限制。例如，功能控件“X”1102还可以显示在构图辅助线上方、预览画面的右上角、拍摄界面中预览画面的一侧等。

可选地，另外一些实施例中，也可以不显示“构图辅助线”1101，只显示功能控件“X”1102。

或者，还有一些实施例中，用于实现关闭构图辅助线显示的功能的功能控件，在拍摄界面中也可以以其他形式的标识进行展现。例如，图12示出了本申请实施例提供的拍摄界面的又一示意图。如图12所示，除预览画面、构图辅助线、以及按照按键的功能控件外，手机提供的拍摄界面中还可以包括一个功能控件：“构图辅助”1201。当用户需要关闭构图辅助线的显示功能时，可以点击或触摸功能控件“构图辅助”1201。手机可以响应于用户对功能控件“构图辅助”1201的点击或触摸操作，控制关闭构图辅助线显示。可选地，当用户再次点击或触摸功能控件“构图辅助”1201时，手机还可以响应于用户对功能控件“构图辅助”1201的点击或触摸操作，控制开启构图辅助线显示。

又或者，还有一些实施例中，用于实现开启和关闭构图辅助线显示的功能的功能控件也可以是以其他物理按键(区别于拍摄界面中的虚拟按键)的形式实现。例如，可以对手机的拍照应用程序进行配置，使得手机上的某个物理按键(如：“音量+”或“音量-”)具有实现开启和关闭构图辅助线显示的功能。在手机启动运行拍照应用程序、显示预览画面和构图辅助线时，用户可以按压该物理按键，手机可以响应于用户对该物理按键的按压操作，不再显示构图辅助线或者开启显示构图辅助线。

应当理解，上述关于开启和关闭构图辅助线显示的功能的实现形式均为示例性说明，本申请在此不作限制。

可选地，本申请一些实施例中，云端根据预览图像和场景信息生成适合待拍摄场景的构图方式对应的构图辅助线时，同时还可以根据预览图像生成适合待拍摄场景的拍摄轮廓线。例如，云端根据预览图像中包含的元素、以及不同元素的位置和所占比例，生成适合待拍摄场景的构图方式对应的构图辅助线后，还可以进一步勾勒出预览图像中的元素(如：建筑、山体、道路等)的轮廓线，并根据适合待拍摄场景的构图方式对应的构图辅助线，将元素的轮廓线移动至能够满足该构图辅助线对应的构图方式的位置，得到拍摄轮廓线。换言之，拍摄轮廓线是根据构图辅助线和预览图像中的元素的轮廓线生成的。然后，云端可以同时向手机发送构图辅助线和拍摄轮廓线，手机可以在拍摄界面显示预览图像、构图辅助线、以及拍摄轮廓线。用户使用手机进行拍照前，参考拍摄界面中显示的构图辅助线，对手机的拍摄位置、角度等进行调整时，还可以进一步参考拍摄界面显示的拍摄轮廓线，将预览画面中的元素移动至拍摄轮廓线所指示的位置。

例如，图13示出了本申请实施例提供的拍摄界面的又一示意图。假设待拍摄场景包含铁塔及其附近的风景时，按照前述实施例所述的方式，手机在拍摄界面显示的构图辅助线为图13中所示的三分构图对应的构图辅助线1301(图13中所示的两条竖线)，拍摄轮廓线可以为根据铁塔的轮廓线所生成的轮廓线1302。用户使用手机进行拍照前对拍摄画面进行预览时，可以参考图13所示的拍摄界面中显示的构图辅助线1301，将铁塔移动至两条竖线中的其中一条上(如：右侧竖线)，同时，参考拍摄轮廓线1302，将铁塔移动至拍摄轮廓线1302所在的区域内。通过这种方式，可以更进一步地简化用户进行构图的操作，提升用户体验。

可选地，与上述构图辅助线的实现方式类似，云端向手机返回的拍摄轮廓线也可以是预览图像中的多个像素点坐标组成的坐标数据集合(与构图辅助线的坐标数据集合不同)。

或者，云端也可以向手机返回一张包含构图辅助线和拍摄轮廓线的图像，该图像中，构图辅助线所在区域的像素点的像素值可以为0；拍摄轮廓线所在区域的像素点的像素值也可以为0。除构图辅助线和拍摄轮廓线之外的区域的像素点的像素值均可以为P，P为大于0、小于或等于255的整数。可选地，除构图辅助线之外的区域的像素点的像素值可以均为255。

需要说明的是，本申请对拍摄轮廓线所在区域的像素点的像素值也不作限制，拍摄轮廓线所在区域的像素点的像素值与除构图辅助线和拍摄轮廓线之外的区域的像素点的像素值不同即可，而拍摄轮廓线所在区域的像素点的像素值与构图辅助线所在区域的像素点的像素值可以相同，也可以不同。

可选地，本申请实施例提供的拍照方法中，手机响应于用户操作进行拍照，获取到待拍摄场景对应的照片之后，还可以将照片上传到云端。云端可以对照片进行构图优化，并将构图优化后的照片返回给手机进行显示，供用户选择是否保存。

例如，图14示出了本申请实施例提供的拍照方法的另一流程示意图。如图14所示，本申请实施例提供的拍照方法在前述图4所示的基础上，还可以包括S1401-S1404。

S1401、手机向云端发送对待拍摄场景进行拍照获得的初始照片。

可以理解的，通过前述图4所示的方法中的S407步骤，手机可以得到待拍摄场景对应的照片，该照片可以称为初始照片。

相应地，云端接收来自手机上传的初始照片。

S1402、云端对初始照片进行构图优化，得到至少一张构图优化后的照片。

S1403、云端向手机返回至少一张构图优化后的照片。

相应地，手机接收来自云端的构图优化后的照片。

S1404、手机显示初始照片和至少一张构图优化后的照片。

例如，手机在接收到构图优化后的照片后，可以显示构图优化后的照片、以及用户拍摄的初始照片，供用户选择其中的一张或多张进行保存。

下面对图14中所示的构图优化过程进行更具体的示例性说明。

示例性地，图15示出了本申请实施例中云端对初始照片进行构图优化的流程示意图。如图15所示，云端至少可以包括：线条检测网络、图像矫正模块、显著性检测模块、美学评分网络。

手机将拍照获得的待拍摄场景对应的初始照片传到云端后，云端可以通过线条检测网络检测初始照片中包含的水平线、竖直线、建筑物的轮廓线等线条。线条检测网络检测得到初始照片中包含的线条后，图像矫正模块可以根据初始照片中包含的线条确定对初始照片进行矫正所需的变换矩阵，并采用该变换矩阵对初始照片进行矫正，得到矫正后的照片。图像矫正模块对初始照片进行矫正得到矫正后的照片后，显著性检测模块可以对矫正后的照片进行显著性检测，得到照片中的显著性结果。显著性检测模块得到矫正后的照片中的显著性结果后，云端可以根据美学评分网络以及前述矫正后的照片的显著性结果，对矫正后的照片进行裁切，得到多张候选裁切图，并对多张候选裁切图进行评分。然后，云端可以将多张候选裁切图中评分高的至少一张候选裁切图(如：评分排列最高的一张或两张)作为构图优化后的照片发送给手机。

示例性地，此处所述的线条检测网络、以及图像矫正模块可以与前述图2A中所示的线条检测网络、以及图像矫正模块相同。线条检测网络的具体组成可以参考前述图2B所示。

例如，云端通过线条检测网络检测初始照片中包含的水平线、竖直线、建筑物的轮廓线等线条的过程可以包括：将初始照片输入主干网络后，主干网络提取初始照片中的特征，输出初始照片对应的共享卷积特征图至连接点预测模块。连接点预测模块根据共享卷积特征图输出初始照片对应的候选连接点，并传输给线段采样模块。线段采样模块根据候选连接点预测出初始照片包含的线条(或称为线段)。线段校正模块对预测出的线条进行分类，最终输出检测到的初始照片中包含的线条。

图像矫正模块根据初始照片中包含的线条确定对初始照片进行矫正的效果，可以参考前述图2C和图2D所示的对预览图像进行矫正的效果，矫正原理相同，不再赘述。

示例性地，显著性检测模块可以采用Mask RCNN分割方法分割出矫正后的照片中的人体、动物、建筑等关注点作为显著性结果。

可选地，对于没有明显显著性的照片，如：照片中不包含人体、动物、建筑等可以作为显著性结果的关注点时，显著性检测模块可以分割出矫正后的照片中与美学构图相关的元素作为显著性结果，如，与美学构图相关的元素可以是分界线、道路、桥梁等。

需要说明的是，本申请实施例中，哪些元素可以作为显著性结果、以及哪些元素可以是与美学构图相关的元素，可以是人为定义的。也即，本申请实施例中，显著性检测模块可以根据人为定义的显著性元素，分割照片中的显著性结果，在此不作限制。

示例性地，美学评分网络至少可以包括：训练好的目标检测(single shotmultiBox detector，)SSD网络、回归模型。

云端可以将矫正后的照片、以及矫正后的照片的显著性结果输入SSD网络，通过SSD网络计算当矫正后的照片按照预设的多个裁切框(可以称为第一裁切框)分别进行裁切时每个裁切框对应的评分。其中，预设的裁切框数量不作限制，可以人为定义或配置。然后，云端可以根据SSD网络输出的多个裁切框分别对应的评分，对预设的多个裁切框进行排序，确定出评分最高的裁切框。之后，云端可以将矫正后的照片、矫正后的照片的显著性结果、以及通过SSD网络得到的前述评分最高的裁切框输入回归模型进行回归，得到多个最终裁切框(可以称为第二裁切框)以及对应的评分。云端根据多个最终裁切框对矫正后的照片进行裁切即可得到多张候选裁切图，每张候选裁切图对应的评分即为最终裁切框对应的评分。

例如，图16示出了本申请实施例提供的回归原理示意图。如图16所示，假设矫正后的照片的大小为m1*n1(即，包含m1*n1个像素点，如图16中每个小方格可以看作一个像素点)。通过SSD网络得到的评分最高的裁切框为图16中粗实线所示的矩形框。该矩形框的左上角像素点a的坐标为(x1，y1)，右下角像素点b的坐标为(x2，y2)。将像素点a与矫正后的照片的左上角的像素点连接时，可以将连线作为对角线，在矫正后的照片中划分出一个矩形区域(以下称为第一区域)，也即，第一区域的左上角为矫正后的照片的左上角，右下角为像素点a。将像素点b与矫正后的照片的右下角的像素点连接时，也可以将连线作为对角线，在矫正后的照片中划分出一个矩形区域(以下称为第二区域)，也即，第二区域的左上角为像素点b，右下角为矫正后的照片的右下角。回归模型在对评分最高的裁切框进行回归时，可以将裁切框的左上角限制在前述第一区域内、右下角限制在前述第二区域内进行回归，例如，回归得到的其他的最终裁切框可以如图16中的多个虚线框所示。示例性地，第一区域和第二区域的大小相同，为m2*n2。可以理解，m2小于m1，n2小于n1，且m1、m2、n1、n2均为正整数。

可选地，可以采用一些公开的数据集训练获取上述SSD网络，如：对比照片组成数据集(comparative photo composition dataset，CPC)。CPC数据集中包括多张照片(或称为图片)，每张照片标注有采用不同的裁切方式时对应的美学打分。在训练SSD网络时，可以先利用Mask RCNN对CPC数据集中的照片进行分割，得到每张照片对应的显著性结果。然后，将每张照片和对应的显著性结果输入SSD网络进行训练，使得训练好的SSD网络能够给不同尺度的裁切框进行打分。

对于上述矫正后的图片对应的多张候选裁切图，云端可以将多张候选裁切图中评分高的至少一张候选裁切图(如：评分排列最高的一张或两张)作为构图优化后的照片发送给手机。手机在接收到来自云端的构图优化照片后，可以显示初始照片和构图优化后的照片，供用户选择是否保存。如，用户可以选择第一照片进行保存，第一照片可以是初始照片、以及构图优化后的照片中的一张或多张。

举例说明，图17示出了本申请实施例提供的构图优化的示意图。假设手机拍照获得的待拍摄场景对应的初始照片如图17中的(a)所示，则云端对初始照片进行图像矫正后的照片可以如图17中的(b)所示。云端对如图17中的(b)所示的照片进行显著性检测得到的显著性结果可以如图17中的(c)所示，包含骑马的人、灯塔。之后，云端可以将如图17中的(b)所示的照片、以及如图17中的(c)所示的显著性结果输入美学评分网络，得到美学评分网络输出的多张候选裁切图，并从多张候选裁切图中选择评分最高的两张作为构图优化后的照片。示例性地，构图优化后的照片可以如图17中的(d)和(e)所示。

图18示出了本申请实施例提供的照片显示界面的示意图。可选地，手机在用户进行拍照操作后，可以将图17中的(a)所示的初始照片通过如图18所示的照片显示界面进行显示，供用户查看拍照效果。例如，该照片显示界面可以为手机的图库的播放界面。另外，请继续参考图18所示，手机还可以将接收到的如图17中的(d)和(e)所示的两张构图优化后的照片显示在初始照片的下方。其中，初始照片的上方还包括一个选择功能控件“A”1801，两张构图优化后的照片的上方分别包括选择功能控件“B1”1802和选择功能控件“B2”1803。照片显示界面中还包括确定按键1804(图18中所示的对号)和取消按键1805(图18中所示的叉号)，确定按键1804和取消按键1805均为功能控件，功能不同。

当用户对功能控件“A”1801、功能控件“B1”1802、以及功能控件“B2”1803中的某一个或某几个功能控件进行点击或触摸时，手机可以响应于用户对相应功能控件的点击或触摸操作，选中对应的照片。然后，当用户再点击或触摸下方的确定按键1804时，手机可以响应于用户对确定按键1804的点击或触摸操作，将前述选中的照片进行保存。例如，当用户想要保存功能控件“B2”1803对应的照片时，可以点击选择功能控件“B2”1803，选中该照片，然后，点击下方的确定按键1804，从而保存该照片。

可选地，当用户对每张照片均不满意，想要重新拍照时，可以点击或触摸下方的取消按键1805。手机可以响应于用户对取消按键1805的点击或触摸操作，重新切换至拍摄界面供用户进行拍照。这时，图18所示的手机界面中显示的照片均不会被保存，或者，手机可以只保存初始照片。

本申请实施例中，云端通过对手机拍摄的初始照片进行进一步的构图优化，并返回给手机构图优化后的照片，可以提高构图成功率，构图优化后的照片不会出现旋转、透视等畸变，能够为用户提供更好的照片选择。另外，手机同时显示用户拍摄的初始照片和构图优化后的照片，可以考虑到用户的需求，使得用户既可以选择自己拍摄的照片，也可以选择云端推荐的构图优化后的照片。

可选地，一些实施例中，手机在执行S1401之前，可以先检测初始照片是否为人像照片，如果初始照片是人像照片，则手机可以不执行S1401的步骤，直接保存人像照片。也即，手机不向云端发送初始照片，云端不对初始照片进行后续的构图优化。如果初始照片不是人像照片，则手机可以按照图14所示的流程，继续执行S1401的步骤，向云端发送初始照片，云端对初始照片进行后续的构图优化。

手机检测到初始照片是人像照片时，不向云端发送初始照片对其进行构图优化，可以更好的保护用户隐私，防止用户隐私泄露。

可选地，图22示出了本申请实施例提供的拍照方法的另一流程示意图。如图22所示，本申请实施例提供的拍照方法在前述图14所示的基础上，还可以包括步骤S2201至S2203。

S2201、手机响应于用户的选择操作，选择第一照片。

所述第一照片包括初始照片、以及至少一张构图优化后的照片中的一张或多张。

如前文所述，并且如图18所示，手机同时显示用户拍摄的初始照片和至少一张构图优化后的照片，用户选择对构图满意的照片进行保存。可以理解，用户既可以选择自己拍摄的照片，也可以选择云端推荐的构图优化后的照片。可选地，用户可以选择初始照片和至少一张构图优化后的照片中的一张照片进行保存，也可以选择多张照片进行保存。上述保存的一张或多张照片，即为第一照片。

S2202、手机向云端发送所述第一照片。

相应地，云端接收手机发来的所述第一照片。

S2203、云端可以根据第一照片，获取用户的美学偏好。

下面对获取用户的美学偏好进行更具体地示例性说明。

为了获取用户的美学偏好，云端可以根据第一照片训练云端的美学评分网络。如前文所述，美学评分网络至少可以包括目标检测(single shot multiBox detector，SSD)网络、回归模型。

在一个示例中，手机将用户选择的第一照片上传到云端之后，云端通过显著性检测模块检测第一照片的显著性，生成每张第一照片的显著性结果。然后，云端可以将每张第一照片的显著性结果作为输入，第一照片的构图方式作为输出对美学评分网络进行训练。训练好的美学评分网络可以学习到第一照片中包含的元素、以及不同元素的位置和所占比例，与第一照片的构图方式的映射关系。从而使云端获取用户的美学偏好，生成适合待拍摄场景的构图方式。示例性地，云端对美学评分网络进行训练，可以是云端对SSD网络进行训练，即，云端将每张第一照片对应的显著性结果输入SSD网络进行训练，使得训练好的SSD网络能够给不同尺度的裁切框进行打分，可以针对待拍摄场景的构图方式给出排序。

在另一个示例中，手机将用户选择的第一照片上传到云端之后，云端通过显著性检测模块检测第一照片的显著性，生成每张第一照片的显著性结果。然后，云端可以将每张第一照片的显著性结果、对应拍摄场景的场景信息作为输入，第一照片的构图方式作为输出对美学评分网络进行训练。训练好的美学评分网络可以学习到第一照片对应的拍摄场景的场景信息、第一照片中包含的元素、以及不同元素的位置和所占比例，与第一照片的构图方式的映射关系。从而使云端获取用户的美学偏好，生成适合待拍摄场景的构图方式。示例性地，云端对美学评分网络进行训练，可以是云端对SSD网络进行训练，即，云端将每张第一照片对应的显著性结果输入SSD网络进行训练，使得训练好的SSD网络能够给不同尺度的裁切框进行打分，可以针对待拍摄场景的构图方式给出排序。可以理解，第一照片对应拍摄场景的场景信息，可以是在步骤S401中已经由手机上传到云端的场景信息，云端可以根据第一照片与上述场景信息的对应关系，获取存储在云端的与所述第一照片对应的场景信息。可选地，手机向云端发送第一照片时，可以将对应拍摄场景的场景信息一并发送到云端。云端完成美学评分网络的训练后，可以将训练好的美学评分网络迁移到与该用户对应的云端存储空间中，从而获取用户的美学偏好。可选地，当云端已经存储了与用户美学偏好相应的用户定制的美学评分网络时，云端可以将训练好的美学评分网络替换已有的用户定制的美学评分网络。

在上述实施例中，终端设备将用户的拍照构图选择结果上传至云端，云端对美学评分网络进行训练，获取用户的美学偏好。通过端云协同的拍照构图私人定制方法，可以依靠云端的强算力，有效降低终端设备硬件要求，持续推荐更加符合用户习惯的拍照构图，减少用户的学习成本，提升用户拍照构图体验。

可选地，在一些实施例中，手机也可以不向云端发送完整的第一照片，而是向云端发送第一照片的图像特征。例如，手机中可以预设有卷积神经网络(convolutional neuralnetwork，CNN)，手机在获取到第一照片后，可以通过CNN对第一照片进行特征提取，得到第一照片的图像特征。然后，手机可以向云端发送第一照片的图像特征。相应地，云端可以根据第一照片的图像特征和场景信息，识别出第一照片中包含的元素，并记录第一照片中不同元素的位置和所占比例，不再赘述。

相对于手机直接向云端发送第一照片的方式，手机只向云端发送第一照片的图像特征，用于云端获取用户的美学偏好，可以更好的保护用户隐私，防止用户隐私泄露。

在另一些实施例中，手机可以向云端发送第一照片的标识信息。第一照片的标识信息可以是第一照片的文件名，也可以是系统为第一照片分配的唯一标识符。所述标识信息还可以是基于第一照片计算的照片哈希值。所述哈希值是云端针对前述待拍摄场景对应的照片、至少一张构图优化后的照片计算的哈希值，可以用于唯一地标记照片。可以理解，计算哈希值可以采用本领域已有的哈希值算法，此处不再赘述。云端接收到手机发来地第一照片的标识信息后，可以根据第一照片的标识信息查询存储在云端的对应的第一照片，以便云端根据该对应的第一照片获取用户的美学偏好。

相对于手机直接向云端发送第一照片的方式，手机向云端发送第一照片的标识信息，用于云端获取用户的美学偏好，可以更好的保护用户隐私，防止用户隐私泄露，且可以减少手机与云端的通信数据量，提高手机传输数据的效率。

最后，还需要说明的是，以上实施例中是以手机按照第二频率向云端发送获取到的预览图像和场景信息为例进行说明的。但应当理解，本申请一些实现场景中，手机向云端发送场景信息的频率也可以与向云端发送预览图像的频率不同。例如，手机可以按照第三频率向云端发送获取到的预览图像、按照第四频率向云端发送获取到的场景信息，第三频率可以小于或大于第四频率，在此不作限制。

图23示出了本申请实施例提供的拍照方法的另一流程示意图。如图23所示，本申请实施例提供的拍照方法包括步骤S2301-S2308。

S2301、手机获取待编辑照片和待编辑照片对应的场景信息。

在一些实施例中，待编辑照片可以是手机拍照获取的照片，待编辑照片对应的场景信息可以是手机在拍照时采集得到的场景信息。用户使用手机进行拍照后，手机可以在编辑界面显示拍摄照片的缩略图，以便用户浏览和/或编辑拍摄照片。上述拍照获取待编辑照片以及对应的场景信息，可以参照前文所述的拍照过程和采集场景信息过程，此处不再赘述。

在另一些实施例中，待编辑照片可以是用户在手机的相册APP中浏览并选择感兴趣的照片，待编辑照片对应的场景信息可以是拍摄待编辑照片时手机采集的对应于拍摄场景的场景信息。用户选择上述照片后，手机可以在编辑界面显示该照片的缩略图。上述待编辑照片和场景信息存储在手机中。其中，场景信息可以与待编辑照片一同保存，也可以与待编辑照片分开保存。在一个示例中，场景信息可以存储在待编辑照片的电子文件中，例如RAW、JPG或IMG等格式的图像文件，本申请对此不作限制。在选择待编辑照片后，手机从该待编辑照片中提取场景信息。可以理解，手机也可以将包括场景信息的待编辑照片发送给云端，由云端从待编辑照片中提取场景信息。在另一个示例中，场景信息可以存储在待编辑照片对应的照片属性文件中，例如可扩展标记语言(Extensible Markup Language，XML)格式文件。手机向云端发送场景信息时，可以将照片属性文件发送给云端。可以理解，手机还可以采取其它已有的方式存储场景信息，本申请对此不作限制。

S2302、手机向云端发送待编辑照片和待编辑照片对应的场景信息。

可以理解，通过前述步骤S2301，手机可以获取待编辑照片和待编辑照片对应的场景信息，并将该待编辑照片和待编辑照片对应的场景信息发送到云端。

相应地，云端接收来自手机上传的待编辑照片和对应的场景信息。

可选地，手机可以响应于用户的编辑操作，向云端发送待编辑照片和待编辑照片对应的场景信息。用户针对待编辑照片进行编辑操作，可以在手机的照片编辑界面中进行。示例性地，图24示出了本申请实施例提供的照片编辑界面的一种示意图。如图24所示，该照片编辑界面显示待编辑照片的预览图，待编辑照片的预览图的下方可以显示文字提示2401、构图优化功能控件2402和2403。其中，文字提示2401可以显示例如构图优化的字样，构图优化功能控件2402和2403分别用于取消操作和确认操作。当用户对构图优化控件2403点击或触摸时，手机可以响应于用户的点击或触摸操作，启动构图优化功能，向云端发送待编辑照片和待编辑照片对应的场景信息。相应地，用户对构图优化功能控件2402点击或触摸时，手机可以不启用构图优化功能。可以理解，上述编辑界面、文字提示以及功能控件还可以采用其它已有的显示风格或排列方式，本申请对此不作限制。

S2303、云端对待编辑照片进行构图优化，得到至少一张构图优化后的照片。

示例性地，与图15所示的流程相似，云端至少可以包括：线条检测网络、图像矫正模块、显著性检测模块、美学评分网络。其中，云端采用线条检测网络、图像矫正模块和显著性检测模块对待编辑照片进行的处理过程，可以参照前文所述的内容进行，此处不再赘述。云端可以将矫正后的待编辑照片、矫正后的照片的显著性结果以及场景信息输入美学评分网络，以获得一张或多张候选裁切图作为构图优化后的照片。

示例性地，美学评分网络至少可以包括：训练好的SSD网络、回归模型。

云端可以将矫正后的照片、矫正后的照片的显著性结果以及场景信息输入SSD网络，通过SSD网络计算当矫正后的照片按照预设的多个裁切框(可以称为第一裁切框)分别进行裁切时每个裁切框对应的评分。其中，预设的裁切框数量不作限制，可以人为定义或配置。然后，云端可以根据SSD网络输出的多个裁切框分别对应的评分，对预设的多个裁切框进行排序，确定出评分最高的裁切框。之后，云端可以将矫正后的照片、矫正后的照片的显著性结果、以及通过SSD网络得到的前述评分最高的裁切框输入回归模型进行回归，得到多个最终裁切框(可以称为第二裁切框)以及对应的评分。云端根据多个最终裁切框对矫正后的照片进行裁切即可得到多张候选裁切图，每张候选裁切图对应的评分即为最终裁切框对应的评分。可选地，回归模型可以采用如前文所述的回归模型，此处不再赘述。

可选地，可以采用一些公开的数据集训练获取上述SSD网络，如：对比照片组成数据集(comparative photo composition dataset，CPC)。CPC数据集中包括多张照片(或称为图片)，每张照片标注有采用不同的裁切方式时对应的美学打分。在训练SSD网络时，可以先利用Mask RCNN对CPC数据集中的照片进行分割，得到每张照片对应的显著性结果。然后，将每张照片、照片对应的显著性结果以及场景信息输入SSD网络进行训练，使得训练好的SSD网络能够给不同尺度的裁切框进行打分。

示例性地，云端的美学评分网络可以是通用美学评分网络，即该美学评分网络可以供任何用户使用。可选地，云端的美学评分网络也可以是与上传待编辑照片的用户的对应的用户定制美学评分网络，该用户定制美学评分网络可以存储在与该用户对应的云端存储空间中。在一些实施例中，当云端仅存储有通用美学评分网络时，例如用户首次使用构图优化功能，则云端采用通用美学评分网络对待编辑照片进行构图优化，得到至少一张构图优化后的照片。在另一些实施例中，当云端存储有用户定制美学评分网络时，则云端采用该用户定制美学评分网络对待编辑照片进行构图优化，得到至少一张构图优化后的照片。

S2304、云端向手机返回至少一张构图优化后的照片。

相应地，手机接收来自云端的至少一张构图优化后的照片。

S2305、手机显示初始照片和至少一张构图优化后的照片。

例如，手机在接收到构图优化后的照片后，可以显示构图优化后的照片、以及用户拍摄的初始照片，供用户选择其中的一张或多张进行保存。

S2306、手机响应于用户的保存操作，保存第一照片。

所述第一照片包括初始照片、以及至少一张构图优化后的照片中的一张或多张。

S2307、手机向云端发送所述保存的第一照片。

相应地，云端接收手机上传的第一照片。

S2308、云端可以根据保存的第一照片，获取用户的美学偏好。

上述步骤S2304至S2308分别与前述步骤S1403、S1404、S2201至S2203的过程相同，此处不再赘述。需要说明的是，在步骤S2308中，在云端已经存储有用户的美学偏好的情况下，云端获取用户的美学偏好之后，可以更新已有的用户的美学偏好。本实施例中，终端设备将用户拍摄的照片或已有照片上传至云端，云端基于美学评分网络向终端设备返回构图优化后的照片，终端设备再将用户的拍照构图选择结果上传至云端，云端对美学评分网络进行训练，获取用户的美学偏好。这种端云协同的拍照构图私人定制方法，可以依靠云端的强算力，有效降低终端设备硬件要求，持续推荐更加符合用户习惯的拍照构图，减少用户学习成本，提升用户拍照构图体验。

在一些实施例中，终端设备在向云端发送第一照片之前，可以先检测第一照片是否为人像照片，如果第一照片是人像照片，则终端设备可以直接保存人像照片，不向云端发送第一照片，以更好的保护用户隐私，防止用户隐私泄露。

可选地，在一些实施例中，手机也可以不向云端发送完整的第一照片，而是只向云端发送第一照片的图像特征。上述过程可以参照前述的手机向云端发送第一照片的图像特征的过程，此处不再赘述。相对于手机直接向云端发送第一照片的方式而言，手机只向云端发送第一照片的图像特征，用于云端获取用户的美学偏好，可以更好的保护用户隐私，防止用户隐私泄露。

在另一些实施例中，手机可以向云端发送第一照片的标识信息。上述过程可以参照前述的手机向云端发送第一照片的标识信息的过程，此处不再赘述。相对于手机直接向云端发送第一照片的方式，手机向云端发送第一照片的标识信息，用于云端获取用户的美学偏好，可以更好的保护用户隐私，防止用户隐私泄露，且可以减少手机与云端的通信数据量，提高手机传输数据的效率。

图25示出了本申请实施例提供的拍照方法的另一流程示意图。如图25所示，本申请实施例提供的拍照方法包括步骤S2501-S2507。

S2501、手机获取待编辑照片。

在一些实施例中，待编辑照片可以是手机拍照获取的照片。用户使用手机进行拍照后，手机可以在编辑界面显示拍摄照片的缩略图，以便用户浏览和/或编辑拍摄照片。上述拍照获取待编辑照片，可以参照前文所述的拍照过程，此处不再赘述。

在另一些实施例中，待编辑照片可以是用户在手机的相册APP中浏览照片的缩略图，然后感兴趣的一幅照片作为待编辑照片。待编辑照片可以存储在手机中，也可以是存储在云端或服务器上。用户选择上述照片后，手机可以在编辑界面显示该照片的缩略图。

S2502、手机响应于用户对待编辑照片的编辑操作，获取编辑后的照片。

用户的编辑操作可以在手机的照片编辑界面中进行。在一些实施例中，手机响应于用户对待编辑照片的编辑操作，可以根据本地保存的基础画质算法获取中间照片。用户可以进一步对中间照片进行手动编辑，调整或设置照片参数，从而获得符合用户美学偏好的编辑后的照片。基础画质算法可以包括美颜算法、照片风格算法、滤镜算法、曝光算法、降噪算法等。通过基础画质算法，手机可以提供多种功能，例如磨皮、瘦脸、大眼，也包括瘦鼻、长鼻、下巴、额头，还包括开眼角、嘴型、微笑嘴角等功能。在一个示例中，当针对待编辑照片应用美颜算法时，可以对照片中的肖像进行自动美颜，例如增白肖像的皮肤，对皮肤进行磨皮等。在另一个示例中，当针对待编辑照片应用自动曝光算法时，可以对照片进行自动曝光，例如调整照片的亮度、对比度等参数，从而更好更清晰地呈现照片的内容。在其它一些示例中，当针对待编辑照片应用滤镜算法时，可以对照片施加例如老照片、电影风格、黑白等滤镜效果。

可以理解，对待编辑照片应用基础画质算法，是对照片的全部区域(即整张照片)或局部区域的照片参数进行调整或设置。照片参数可以包括亮度、对比度、饱和度、锐度、清晰度、噪点、高亮(或称“亮部”或“高光”)、阴影(或称“暗部”)或者色调等参数。照片参数可以存储在照片文件中，也可以存储在照片文件对应的照片属性文件中。所述照片属性文件可以参照前文描述，此处不再赘述。每个基础画质算法包括对应的基础画质算法参数，该基础画质算法参数用于确定上述照片参数应用在照片上的程度或强度。基于相应的基础画质算法参数，可以实现照片的例如美颜、照片风格、滤镜、曝光、降噪等编辑操作。

为了更好地说明上述编辑过程，下面结合附图进一步说明。图26A至图26C示出了本申请实施例提供的一种照片编辑界面的另一种示意图。如图26A所示，该照片编辑界面显示待编辑照片的预览图，预览图的下方可以显示功能控件，例如美颜控件2601、滤镜控件2602、一键优化控件2603、更多控件2604等。在图26A中，待编辑照片例如为人像，其面部存在一些皱纹和斑点。用户可以点击美颜控件2601对待编辑照片进行美颜。如图26B所示，手机对待编辑照片进行美颜，并将美颜后的中间照片的预览图显示在照片编辑界面。可以理解，美颜算法针对待编辑照片应用了的一组照片参数集合，例如亮度、对比度、色调、消除杂色、去除斑纹等。预览图的下方显示美颜强度控制按钮2605，当手机自动完成美颜时，控制按钮2605处于参数值为5的中间位置。如前所述，该过程体现了基础画质算法参数对待编辑照片的影响。由于用户的美学偏好存在不同，用户可能认为美颜程度太弱或者太强，则用户可以通过进一步调整控制按钮2605，以减弱或增强美颜的程度。例如，在图26B中，中间照片仍然存在皱纹(斑点已经被美颜去除)。用户可以向右拖动控制按钮2605，例如调整到如图26C所示的参数值7，从而消除了人像照片中的皱纹和斑点。编辑后的照片的预览图显示在编辑界面中。

可选地，图27A至图27C示出了本申请实施例提供的照片编辑界面的又一种示意图。如图27A所示，该照片编辑界面显示待编辑照片的预览图，预览图的下方可以显示功能控件，例如美颜控件2701、滤镜控件2702、一键优化控件2703、更多控件2704等。在图27A中，待编辑照片例如为风景，照片的亮度较暗，对比度也偏弱。用户可以点击一键优化控件2703对待编辑照片进行优化。如图27B所示，手机对待编辑照片进行优化，并将优化后的中间照片预览图显示在照片编辑界面。该优化过程应用了一组照片参数集合，例如亮度、对比度、饱和度、锐度等。预览图的下方分别显示亮度控件2705、对比度控件2706、饱和度控件2707和锐度控件2708。用户可以通过上述控件调整或设置对应的亮度、对比度、饱和度和锐度值。以亮度控件2601为例，用户向左拖动控件时，亮度值减小，照片亮度降低；用户向右拖动控件时，亮度值增大，照片亮度提高。在手机自动完成优化的情况下，上述控件均处于参数值为0的中间位置。用户根据美学偏好对中间照片进行调整。例如，在图27B中，中间照片仍然偏暗，对比度也较弱。用户可以拖动上述控件调整或设置相应参数对照片进行编辑。如图27C所示，用户将亮度值调整为1，对比度值调整为2，饱和度值保持不变，锐度值调整为1，得到编辑后的照片。编辑后的照片的预览图显示在照片编辑界面中。

在其它一些实施例中，在手机根据本地保存的基础画质算法获取中间照片之后，如果用户对该中间照片满意，可以不对该中间照片进行编辑，手机将该中间照片作为编辑后的照片。换句话说，如果中间照片符合用户的审美偏好，手机可以将该中间照片作为训练云端的拍照风格优化网络的输入数据，以便获取用户的美学偏好。

可以理解，在上述实施例中，编辑界面、功能控件还可以采用其它已有的显示风格或排列方式，以实现对照片的相应调整，本申请对此不作限制。

S2503、手机向云端发送待编辑照片和编辑后的照片。

相应地，云端接收来自手机上传的待编辑照片和编辑后的照片。

S2504、云端根据待编辑照片和编辑后的照片，获取用户的美学偏好。

S2505、云端根据用户的美学偏好获取基础画质优化参数。

S2506、云端向手机返回基础画质优化参数。

相应地，手机接收来自云端的基础画质优化参数。

S2507、手机根据基础画质优化参数更新本地的基础画质算法。

示例性地，手机接收到云端发送的基础画质优化参数之后，可以替换手机本地存储的基础画质参数，即，手机通过基础画质优化参数更新本地的基础画质算法。在完成基础画质算法更新之后，当手机通过基础画质算法处理照片时，可以获取更加符合用户习惯的拍照风格的照片，提升用户拍照体验。

下面对图25中所示的获取用户的美学偏好进行更具体地示例性说明。

示例性地，云端可以对基础画质算法进行建模，得到基础画质算法参数与成像效果的关系函数(模型)。基础画质算法参数可以基于现有的基础画质算法初步确定。在一个示例中，对于自动曝光算法，基础画质算法参数可以基于现有的平均亮度法初步确定，云端可以建立自动曝光算法参数与亮度成像效果的关系函数。在另一个示例中，对于降噪算法，基础画质算法参数可以基于现有的高斯去噪法初步确定，云端可以建立降噪算法参数与降噪成像效果的关系函数。在又一个示例中，针对美颜算法，例如基于双边滤波法对肤色区域做平滑处理，然后针对肤色调节色调，云端可以建立美颜算法参数与美颜成像效果的关系函数。可以理解，基础画质算法还包括饱和度算法、色调调整算法等，本申请对此不作限制。

为了获得用户的美学偏好，云端可以根据待编辑照片和编辑后的照片，对美学评分网络进行训练。具体地，云端可以对前述的基础画质算法参数与成像效果的关系函数进行训练，并将训练好的关系函数迁移到与用户对应的云端存储空间中，以获取用户的美学偏好。示例性地，云端对关系函数进行训练，可以将待编辑照片作为输入，编辑后的照片作为输出对关系函数进行训练。基于训练好的关系函数，云端可以获得优化的基础画质算法参数(也称“基础画质优化参数”)，例如优化的自动曝光算法参数、降噪算法参数、美颜算法参数等。需要说明的是，在云端已经存储有用户的美学偏好的情况下，云端可以更新已有的用户美学偏好，即，云端将训练好的关系函数替换之前的关系函数。

本实施例中，终端设备将用户编辑前后的照片上传到云端，对云端部署的拍照风格优化网络进行训练，迁移得到用户定制的拍照风格优化网络，并同步更新终端设备的基础画质算法。这种端云协同的拍照风格私人定制方法，可以依靠云端的强算力，有效降低终端设备硬件要求，利用云端对基础画质算法的建模及更新，持续推荐更加符合用户习惯的拍照风格，提升用户拍照体验。

可选地，在一些实施例中，上述步骤S2502中手机也可以不向云端发送完整的待编辑照片和编辑后的照片，而是只向云端发送待编辑照片和编辑后的照片的图像特征。例如，手机中可以预设有CNN网络，手机在获取到待编辑照片和编辑后的照片后，可以通过CNN网络分别对待编辑照片和编辑后的照片进行特征提取，得到待编辑照片和编辑后的照片的图像特征。然后，手机可以向云端发送待编辑照片和编辑后的照片的图像特征。相应地，云端可以根据待编辑照片和编辑后的照片的图像特征，对美学评分网络进行训练，不再赘述。

相对于手机直接向云端发送待编辑照片和编辑后的照片的方式而言，手机只向云端发送待编辑照片和编辑后的照片的图像特征，用于云端获取用户定制的拍照风格优化网络，可以更好的保护用户隐私，防止用户隐私泄露。

对应于前述实施例中所述的拍照方法，本申请实施例还提供一种端云协同系统。该端云协同系统可以包括：终端设备和云端。终端设备通过无线网络与云端连接。终端设备与云端配合实现如前述实施例中所述的拍照方法。

该端云协同系统具体可以参考前述实施例中的图2中所示，此处不再赘述。其中，终端设备具有拍照功能。

本申请实施例还提供一种终端设备，该终端设备可以包括拍照装置。该拍照装置可以用于实现前述实施例中所述的拍照方法中终端设备所执行的功能。该拍照装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

例如，图19示出了本申请实施例提供的拍照装置的结构示意图。如图19所示，该拍照装置可以包括：相机模块1901，显示模块1902，传感器模块1903，发送模块1904，接收模块1905等。

其中，相机模块1901，用于响应于用户操作，获取待拍摄场景对应的预览图像；显示模块1902，用于在拍摄界面显示所述相机模块1901获取的预览图像；传感器模块1903，用于采集所述待拍摄场景的场景信息；发送模块1904，用于向云端发送所述相机模块1901获取到的预览图像、以及所述传感器模块1903获取到的场景信息；接收模块1905，用于接收来自所述云端的构图辅助线，所述构图辅助线用于指示适合所述待拍摄场景的构图方式；所述显示模块1902，还用于将所述构图辅助线与预览图像显示在所述拍摄界面；所述相机模块1901，还用于接收到用户的拍照操作后，响应于用户的拍照操作，获取所述待拍摄场景对应的照片。

可选地，发送模块1904向云端发送场景信息的频率小于向云端发送预览图像的频率。

可选地，显示模块1902，还用于响应于用户关闭构图辅助线的显示功能的操作，不显示构图辅助线。

可选地，发送模块1904，具体用于通过预设的卷积神经网络提取获取到的预览图像的图像特征；向云端发送获取到的预览图像的图像特征。

或者，通过预设的卷积神经网络提取获取到的预览图像的图像特征的功能，也可以由单独的一个特征提取模块(图中未示出)完成，如：该装置还包括特征提取模块。

可选地，接收模块1905，还用于接收来自云端的拍摄轮廓线；显示模块1902，还用于将拍摄轮廓线、构图辅助线与正在显示的预览图像一同显示在拍摄界面。

可选地，发送模块1904，还用于向云端发送待拍摄场景对应的照片；接收模块1905，还用于接收来自云端的所述照片对应的至少一张构图优化后的照片；显示模块1902，还用于显示所述照片、以及所述至少一张构图优化后的照片，并响应于用户对第一照片的保存操作，保存第一照片，第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。可选地，发送模块1904，还用于向云端发送第一照片，所述第一照片用于所述云端获取用户的美学偏好。

可选地，发送模块1904，还用于向云端发送第一照片的图像特征。

本申请实施例还提供一种云端服务器，该云端服务器可以用于实现前述实施例中所述的拍照方法中云端所执行的功能。该拍照装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

例如，图20示出了本申请实施例提供的电子设备的另一结构示意图。如图20所示，该电子设备可以包括：接收模块2001，构图模块2002，发送模块2003等。

其中，接收模块2001，用于接收来自终端设备的待拍摄场景对应的预览图像和场景信息；构图模块2002，用于根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线；发送模块2003，用于向所述终端设备发送所述构图辅助线。

一种实施方式中，构图模块2002，具体用于根据预览图像和场景信息，识别预览图像中包含的元素，并记录预览图像中不同元素的位置和所占比例；根据预览图像中包含的元素，以及不同元素的位置和所占比例，按照预设的匹配规则确定与待拍摄场景匹配的构图方式对应的构图辅助线。

其中，匹配规则包括至少一种类型的待拍摄场景与构图辅助线之间的对应关系，不同类型的待拍摄场景中包含的元素、以及不同元素的位置和所占比例不同。

上述匹配规则可以是人为定义的规则。

示例性地，预览图像中包含的元素可以是天空、海水、草地、人物等。元素的位置是指预览图像中元素所在区域的像素点坐标，元素所占的比例是指预览图像中元素所在区域的像素点数量占整个预览图像的像素点数量的比值。

可选地，构图模块2002，具体用于采用第一方法对预览图像进行分割，然后基于分割结果、结合场景信息识别预览图像中包含的元素。

其中，场景信息用于辅助构图模块2002基于分割结果快速识别预览图像中包含的元素。

例如，当场景信息包括的位置信息为海边时，可以表示预览图像中可能含有海水，能够辅助构图模块2002基于分割结果快速识别出预览图像中是否包含海水。

示例性地，第一方法可以是基于边缘检测的方法、基于小波变换的方法、基于深度学习的方法等。考虑到性能要求高，精度要求较低，第一方法可以尽量选用传统分割方法或者模型较小的方法。例如，构图模块2002可以采用深度学习分割网络U-NET对预览图像进行分割。

另一种实施方式中，构图模块2002，具体用于对预览图像进行显著性检测，提取预览图像的显著性结果；将预览图像的显著性结果和场景信息输入训练好的人工智能AI网络，得到AI网络输出的预览图像对应的多种构图方式的概率分布；根据AI网络输出的预览图像对应的多种构图方式的概率分布，确定与待拍摄场景匹配的构图方式对应的构图辅助线。

对某种类型的待拍摄场景而言，AI网络输出的概率分布中，不适合该类型的待拍摄场景的构图方式的概率为0或接近于0。

一些实施例中，构图模块2002，具体用于对预览图像进行矫正，得到矫正后的预览图像；根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。

示例性地，云端包括线条检测网络和图像矫正模块(具体可以参见前述图2A中所示)；构图模块2002，具体用于将预览图像输入线条检测网络，通过线条检测网络检测预览图像中包含的线条；通过图像矫正模块根据预览图像中包含的线条，确定对预览图像进行矫正所需的变换矩阵，并采用变换矩阵对预览图像进行矫正，得到矫正后的预览图像。

可选地，线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块(具体可以参见前述图2B中所示)。构图模块2002，具体用于将预览图像输入主干网络，主干网络提取预览图像中的特征，输出预览图像对应的共享卷积特征图至连接点预测模块；连接点预测模块根据共享卷积特征图输出预览图像对应的候选连接点，并传输给线段采样模块；线段采样模块根据候选连接点预测出预览图像包含的线条。

可选地，变换矩阵至少包括旋转矩阵、单应性矩阵。

可选地，构图模块2002，还用于获取预览图像中包含的元素的轮廓线；根据构图辅助线、以及预览图像中包含的元素的轮廓线，生成适合待拍摄场景的拍摄轮廓线。发送模块2003，还用于向终端设备发送拍摄轮廓线。

可选地，图21示出了本申请实施例提供的电子设备的又一结构示意图。如图21所示，该电子设备还可以包括：构图优化模块2004。

接收模块2001，还用于接收来自终端设备的待拍摄场景对应的照片。构图优化模块2004，用于对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片。发送模块2003，还用于向终端设备发送所述至少一张构图优化后的照片。

示例性地，云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络(具体请参见前述图15中所示)。构图优化模块2004，具体用于将所述照片输入线条检测网络，通过线条检测网络检测所述照片中包含的线条；通过图像矫正模块根据所述照片中包含的线条，确定对所述照片进行矫正所需的变换矩阵，并采用变换矩阵对所述照片进行矫正，得到矫正后的照片；通过显著性检测模块对所述矫正后的照片进行显著性检测，得到所述矫正后的照片的显著性结果；将所述矫正后的照片、以及显著性结果输入美学评分网络，得到美学评分网络输出的多张候选裁切图、以及每张所述候选裁切图对应的评分；确定多张候选裁切图中评分最高的至少一张候选裁切图为构图优化后的照片。

一些实施例中，接收模块2001接收到的来自终端设备的初始照片为非人像照片，如：可以是一些风景/风光照片。

本申请实施例还提供一种终端设备，该终端设备可以包括拍照装置。该拍照装置可以用于实现前述实施例中所述的拍照方法中终端设备所执行的功能。该拍照装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

例如，图28示出了本申请实施例提供的拍照装置的结构示意图。如图28所示，该拍照装置可以包括：相机模块2801，发送模块2802，接收模块2803，显示模块2804，处理模块2805等。

其中，相机模块2801，用于获取待编辑照片和所述待编辑照片对应的场景信息。发送模块2802，用于向所述云端发送所述待编辑照片和场景信息，所述待编辑照片和场景信息用于所述云端对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片。接收模块2803，用于从云端接收至少一张构图优化后的照片。显示模块2804，用于显示所述待编辑照片、以及所述至少一张构图优化后的照片。处理模块2805，用于响应于用户对第一照片的选择操作，选择第一照片。第一照片包括所述待编辑照片、以及所述至少一张构图优化后的照片中的一张或多张。发送模块2802，还用于向云端发送第一照片，所述第一照片用于所述云端获取用户的美学偏好。

可选地，处理模块2805，还用于通过预设的卷积神经网络提取第一照片的图像特征。发送模块2802，还用于向所述云端发送所述第一照片的图像特征。

可选地，发送模块2802，还用于向所述云端发送所述第一照片的标识信息。

本申请实施例还提供一种云端服务器，该云端服务器可以用于实现前述实施例中所述的拍照方法中云端所执行的功能。该拍照装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

例如，图29示出了本申请实施例提供的电子设备的另一结构示意图。如图29所示，该拍照装置可以包括：接收模块2901，处理模块2902，发送模块2903等。

其中，接收模块2901，用于接收来自终端设备的待编辑照片和场景信息。处理模块2902，用于根据所述待编辑照片和场景信息，对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片。发送模块2903，用于将所述至少一张构图优化后的照片发送给所述终端设备。所述接收模块2901，还用于接收来自终端设备的第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。所处理模块2902，还用于根据所述第一照片，获取用户的美学偏好。

可选地，云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络；处理模块2902，还用于将所述待编辑图像输入所述线条检测网络，通过所述线条检测网络检测所述待编辑图像中包含的线条。处理模块2902，还用于通过所述图像矫正模块根据所述待编辑图像中包含的线条，确定对所述预览图像进行矫正所需的变换矩阵，并采用所述变换矩阵对所述待编辑图像进行矫正，得到矫正后的待编辑图像。

可选地，所述线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块。所述线条检测网络检测所述待编辑图像中包含的线条，包括：将所述待编辑图像输入主干网络后，所述主干网络提取所述待编辑图像中的特征，输出所述待编辑图像对应的共享卷积特征图至所述连接点预测模块；所述连接点预测模块根据所述共享卷积特征图输出所述待编辑图像对应的候选连接点，并传输给所述线段采样模块；所述线段采样模块根据所述候选连接点预测出所述待编辑图像包含的线条。

可选地，处理模块2902，还用于根据所述第一照片的标识信息获取存储在云端的对应所述标识信息的第一照片，并根据所述对应所述标识信息的照片获取用户的美学偏好。

本申请实施例还提供一种终端设备，该终端设备可以包括拍照装置。该拍照装置可以用于实现前述实施例中所述的拍照方法中终端设备所执行的功能。该拍照装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

例如，图30示出了本申请实施例提供的拍照装置的结构示意图。如图30所示，该拍照装置可以包括：相机模块3001，处理模块3002，发送模块3003，接收模块3004等。

其中，相机模块3001，用于获取待编辑照片。处理模块3002，用于响应于用户的编辑操作，对待编辑照片进行编辑，获取编辑后的照片。发送模块3003，用于向云端发送所述待编辑照片和编辑后的照片，所述待编辑照片和编辑后的照片用于所述云端获取用户的美学偏好，并根据用户的美学偏好获取基础画质优化参数。接收模块3004，用于从云端接收基础画质优化参数。处理模块3002，还用于根据所述基础画质优化参数更新本地的基础画质算法。

可选地，处理模块3002，还用于根据终端设备本地的基础画质算法处理所述待编辑照片，获取中间照片；并用于对所述中间照片进行编辑，获取编辑后的照片。

可选地，处理模块3002，还用于通过预设的卷积神经网络提取所述待编辑照片的图像特征和编辑后的照片的图像特征。发送模块3003，还用于向所述云端发送所述待编辑照片和编辑后的照片的图像特征。

本申请实施例还提供一种云端服务器，该云端服务器可以用于实现前述实施例中所述的拍照方法中云端服务器所执行的功能。该拍照装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

例如，图31示出了本申请实施例提供的电子设备的另一结构示意图。如图31所示，该电子设备可以包括：接收模块3101，处理模块3102，发送模块3103等。

其中，接收模块3101，用于接收来自终端设备的待编辑照片和编辑后的照片。处理模块3102，用于根据所述待编辑照片和编辑后的照片，获取用户的美学偏好，并根据用户的美学偏好获取基础画质优化参数。发送模块3103，用于将所述基础画质优化参数发送给所述终端设备。

可选地，处理模块3102，还用于对基础画质算法进行建模，得到基础画质算法参数与成像效果的关系函数。处理模块3102，还用于根据所述待编辑照片和编辑后的照片训练所述关系函数，获取用户的美学偏好。

应理解以上装置(云端的拍照装置或终端设备的拍照装置)中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元以软件通过处理元件调用的形式实现，部分单元以硬件的形式实现。

例如，各个单元可以为单独设立的处理元件，也可以集成在装置的某一个芯片中实现，此外，也可以以程序的形式存储于存储器中，由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件又可以称为处理器，可以是一种具有信号的处理能力的集成电路。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。

在一个例子中，以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specific integrated circuit，ASIC)，或，一个或多个数字信号处理器(digital signal process，DSP)，或，一个或者多个现场可编辑逻辑门阵列(field programmable gate array，FPGA)，或这些集成电路形式中至少两种的组合。

再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如CPU或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在一种实现中，以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如，该装置可以包括处理元件和存储元件，处理元件调用存储元件存储的程序，以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件，即片内存储元件。

在另一种实现中，用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件，即片外存储元件。此时，处理元件从片外存储元件调用或加载程序于片内存储元件上，以调用并执行以上方法实施例所述的方法。

例如，本申请实施例还可以提供一种装置，如：电子设备，可以包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如前述实施例所述的拍照方法中终端设备执行的步骤。该存储器可以位于该电子设备之内，也可以位于该电子设备之外。且该处理器包括一个或多个。

该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备。

又例如，本申请实施例还可以提供一种装置，如：电子设备，可以包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如前述实施例所述的拍照方法中云端执行的步骤。该存储器可以位于该电子设备之内，也可以位于该电子设备之外。且该处理器包括一个或多个。

该电子设备可以是计算机、服务器、或者多个服务器组成的服务器集群等。

在又一种实现中，该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件，这里的处理元件可以为集成电路，例如：一个或多个ASIC，或，一个或多个DSP，或，一个或者多个FPGA，或者这些类集成电路的组合。这些集成电路可以集成在一起，构成芯片。

例如，本申请实施例还提供一种芯片，该芯片可以应用于电子设备。芯片包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；处理器通过接口电路从电子设备的存储器接收并执行计算机指令，以实现如前述实施例所述的拍照方法中终端设备执行的步骤。

又例如，本申请实施例还提供一种芯片，该芯片可以应用于电子设备。芯片包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；处理器通过接口电路从电子设备的存储器接收并执行计算机指令，以实现如前述实施例所述的拍照方法中云端执行的步骤。

可选地，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当计算机可读代码在电子设备中运行时，使得电子设备实现如前述实施例所述的拍照方法中终端设备执行的步骤。

可选地，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当计算机可读代码在电子设备中运行时，使得电子设备实现如前述实施例所述的拍照方法中云端执行的步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。

基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，如：程序。该软件产品存储在一个程序产品，如计算机可读存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

例如，本申请实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如前述实施例所述的拍照方法中终端设备执行的步骤。

又例如，本申请实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如前述实施例所述的拍照方法中云端执行的步骤。

可选地，本申请还有一些实施例中，前述实施例中所述的云端执行的所有功能，也可以全部集成在终端设备中完成。

例如，本申请实施例还可以提供一种拍照方法，该拍照方法可以应用于终端设备。该方法可以包括：终端设备启动运行拍照应用程序后，获取待拍摄场景对应的预览图像，并在拍摄界面进行显示；同时，终端设备通过传感器采集待拍摄场景的场景信息。终端设备根据预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。终端设备将构图辅助线与正在显示的预览图像一同显示在拍摄界面。终端设备接收到用户的拍照操作后，响应于用户的拍照操作，获取待拍摄场景对应的照片。

该拍照方法也能够在用户使用终端设备进行拍照时，通过构图辅助线对用户进行构图引导。用户在使用终端设备进行拍照时，能够根据云端推荐的构图辅助线，更轻松地知道通过哪种构图方式进行构图，不需要自己判断构图方式，也不要复杂的构图操作。如：构图辅助线可以为用户指示适合待拍摄场景的构图方式，引导用户按照构图辅助线指示的构图方式对终端设备的拍摄位置、角度等进行调整以完成构图，从而可以使得没有丰富拍摄经验的用户在进行拍照时也能够完成较好的构图，用户的体验可以更好。

类似地，终端设备根据预览图像和场景信息生成适合待拍摄场景的构图方式对应的构图辅助线之前，也可以先对预览图像进行矫正，得到矫正后的预览图像。然后，终端设备具体可以根据矫正后的预览图像和场景信息，生成适合待拍摄场景的构图方式对应的构图辅助线。

可选地，终端设备还可以获取预览图像中包含的元素的轮廓线；并根据构图辅助线、以及预览图像中包含的元素的轮廓线，生成适合待拍摄场景的拍摄轮廓线。然后，终端设备可以将拍摄轮廓线、构图辅助线与正在显示的预览图像一同显示在拍摄界面。

可选地，终端设备接收到用户的拍照操作后，响应于用户的拍照操作，获取待拍摄场景对应的照片之后，还可以在本地对照片进行构图优化，并显示所述照片、以及所述构图优化后的照片。

需要说明的是，当前述实施例中所述的云端执行的所有功能，被全部集成在终端设备中完成时，这些功能在终端设备中的具体实现原理与在云端中实现的原理可以相同。

例如，终端设备根据预览图像和场景信息生成适合待拍摄场景的构图方式对应的构图辅助线的基本原理，与前述实施例中云端根据预览图像和场景信息生成适合待拍摄场景的构图方式对应的构图辅助线的基本原理相同。终端设备生成拍摄轮廓线的原理与云端生成拍摄轮廓线的原理相同。终端设备进行构图优化的原理与云端进行构图优化的原理相同等。在此不再一一赘述。

另外，当前述实施例中所述的云端执行的所有功能，被全部集成在终端设备中完成时，也可以达到与前述实施例相同或相近的技术效果。其区别仅仅在于，本实施例中，终端设备的计算能力需要支持实现云端执行的所有功能。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (49)

1.一种拍照方法，其特征在于，所述方法应用于端云协同系统，所述端云协同系统包括终端设备和云端；所述终端设备通过无线网络与所述云端连接；所述方法包括：

所述终端设备响应于用户的操作，获取并显示待拍摄场景对应的预览图像；

所述终端设备采集所述待拍摄场景的场景信息；

所述终端设备向所述云端发送获取到的预览图像和场景信息；

所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线，并将所述构图辅助线发送给所述终端设备；

所述终端设备接收到所述构图辅助线后，将所述构图辅助线与所述预览图像显示在所述拍摄界面；

所述终端设备响应于用户的拍照操作，获取所述待拍摄场景对应的照片。

2.根据权利要求1所述的方法，其特征在于，所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线，包括：

所述云端根据所述预览图像和所述场景信息，识别所述预览图像中包含的元素，并记录所述预览图像中不同元素的位置和所占比例；

所述云端根据所述预览图像中包含的元素，以及不同元素的位置和所占比例，按照预设的匹配规则确定与所述待拍摄场景匹配的构图方式对应的构图辅助线；

其中，所述匹配规则包括至少一种类型的待拍摄场景与构图辅助线之间的对应关系，不同类型的待拍摄场景中包含的元素、以及不同元素的位置和所占比例不同。

3.根据权利要求2所述的方法，其特征在于，所述云端根据所述预览图像和所述场景信息，识别所述预览图像中包含的元素，包括：

所述云端采用第一方法对所述预览图像进行分割，然后基于分割结果、结合所述场景信息识别所述预览图像中包含的元素；

其中，所述场景信息用于辅助所述云端基于所述分割结果快速识别所述预览图像中包含的元素。

4.根据权利要求1所述的方法，其特征在于，所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线，包括：

所述云端对所述预览图像进行显著性检测，提取所述预览图像的显著性结果；

所述云端将所述预览图像的显著性结果和所述场景信息输入训练好的人工智能AI网络，得到所述AI网络输出的所述预览图像对应的多种构图方式的概率分布；

所述云端根据所述AI网络输出的所述预览图像对应的多种构图方式的概率分布，确定与所述待拍摄场景匹配的构图方式对应的构图辅助线。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

所述终端设备向所述云端发送所述待拍摄场景对应的照片；

所述云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片，并将所述至少一张构图优化后的照片发送给所述终端设备；

所述终端设备显示所述照片、以及所述至少一张构图优化后的照片；

所述终端设备响应于用户的保存操作，保存第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。

6.根据权利要求5所述的方法，其特征在于，所述云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络；所述云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片，包括：

所述云端将所述照片输入所述线条检测网络，通过所述线条检测网络检测所述照片中包含的线条；

所述云端通过所述图像矫正模块根据所述照片中包含的线条，确定对所述照片进行矫正所需的变换矩阵，并采用所述变换矩阵对所述照片进行矫正，得到矫正后的照片；

所述云端通过所述显著性检测模块对所述矫正后的照片进行显著性检测，得到所述矫正后的照片的显著性结果；

所述云端将所述矫正后的照片、以及所述显著性结果输入所述美学评分网络，得到所述美学评分网络输出的多张候选裁切图、以及每张所述候选裁切图对应的评分；

所述云端确定多张所述候选裁切图中评分最高的至少一张候选裁切图为所述构图优化后的照片。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

所述终端设备向所述云端发送所述第一照片；

所述云端根据所述第一照片获取用户的美学偏好。

8.根据权利要求7所述的方法，其特征在于，所述终端设备向所述云端发送所述第一照片，包括：

所述终端设备通过预设的卷积神经网络提取所述第一照片的图像特征；

所述终端设备向所述云端发送所述第一照片的图像特征。

9.根据权利要求7所述的方法，其特征在于，

所述终端设备向所述云端发送所述第一照片，包括：所述终端设备向所述云端发送所述第一照片的标识信息；

所述云端根据所述第一照片获取用户的美学偏好，包括：所述云端根据所述第一照片的标识信息获取存储在云端的第一照片，并根据所述第一照片获取用户的美学偏好。

10.根据权利要求7-9任一项所述的方法，其特征在于，所述方法还包括：

所述云端根据所述第一照片获取用户的美学偏好，包括：

所述云端根据所述第一照片获取对应的场景信息，并根据所述第一照片和场景信息获取用户的美学偏好。

11.一种拍照方法，其特征在于，所述方法应用于终端设备，所述终端设备通过无线网络与云端连接；所述方法包括：

所述终端设备响应于用户的操作，获取并显示待拍摄场景对应的预览图像；

所述终端设备采集所述待拍摄场景的场景信息；

所述终端设备向所述云端发送获取到的预览图像和场景信息；

所述终端设备接收来自所述云端的构图辅助线，所述构图辅助线用于指示适合所述待拍摄场景的构图方式；

所述终端设备将所述构图辅助线与正在显示的预览图像显示在所述拍摄界面；

所述终端设备响应于用户的拍照操作，获取所述待拍摄场景对应的照片。

12.根据权利要求10所述的方法，其特征在于，所述终端设备向所述云端发送场景信息的频率，小于所述终端设备向所述云端发送预览图像的频率。

13.根据权利要求11或12所述的方法，其特征在于，所述终端设备通过传感器采集所述待拍摄场景的场景信息，所述传感器至少包括位置传感器、气压传感器，温度传感器，环境光传感器；

所述场景信息至少包括所述待拍摄场景对应的位置信息、气压信息、温度信息、光强信息。

14.根据权利要求11-13任一项所述的方法，其特征在于，所述方法还包括：

所述终端设备响应于用户关闭所述构图辅助线的显示功能的操作，不显示所述构图辅助线。

15.根据权利要求11-14任一项所述的方法，其特征在于，所述终端设备向所述云端发送获取到的预览图像，包括：

所述终端设备通过预设的卷积神经网络提取获取到的预览图像的图像特征；

所述终端设备向所述云端发送获取到的预览图像的图像特征。

16.根据权利要求11-15任一项所述的方法，其特征在于，所述方法还包括：

所述终端设备接收来自所述云端的拍摄轮廓线；

所述终端设备将所述拍摄轮廓线、所述构图辅助线与所述预览图像显示在所述拍摄界面。

17.根据权利要求11-15任一项所述的方法，其特征在于，所述方法还包括：

所述终端设备向所述云端发送所述待拍摄场景对应的照片；

所述终端设备接收来自所述云端的所述照片对应的至少一张构图优化后的照片；

所述终端设备显示所述照片、以及所述至少一张构图优化后的照片；

所述终端设备响应于用户对第一照片的保存操作，保存所述第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张。

18.根据权利要求17所述的方法，其特征在于，所述方法还包括：

所述终端设备向所述云端发送所述第一照片，所述第一照片用于所述云端获取用户的美学偏好。

19.根据权利要求18所述的方法，其特征在于，所述终端设备向所述云端发送所述第一照片，包括：

所述终端设备通过预设的卷积神经网络提取所述第一照片的图像特征；

所述终端设备向所述云端发送所述第一照片的图像特征。

20.一种拍照方法，其特征在于，所述方法应用于云端，所述云端通过无线网络与终端设备连接；所述方法包括：

所述云端接收来自所述终端设备的待拍摄场景对应的预览图像和场景信息；

所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线；

所述云端向所述终端设备发送所述构图辅助线。

21.根据权利要求20所述的方法，其特征在于，所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线之前，所述方法还包括：

所述云端对所述预览图像进行矫正，得到矫正后的预览图像；

所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线，包括：

所述云端根据所述矫正后的预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线。

22.根据权利要求21所述的方法，其特征在于，所述云端包括线条检测网络和图像矫正模块；所述云端对所述预览图像进行矫正，得到矫正后的预览图像，包括：

所述云端将所述预览图像输入所述线条检测网络，通过所述线条检测网络检测所述预览图像中包含的线条；

所述云端通过所述图像矫正模块根据所述预览图像中包含的线条，确定对所述预览图像进行矫正所需的变换矩阵，并采用所述变换矩阵对所述预览图像进行矫正，得到矫正后的预览图像。

23.根据权利要求22所述的方法，其特征在于，所述线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；

所述线条检测网络检测所述预览图像中包含的线条，包括：

将所述预览图像输入主干网络后，所述主干网络提取所述预览图像中的特征，输出所述预览图像对应的共享卷积特征图至所述连接点预测模块；

所述连接点预测模块根据所述共享卷积特征图输出所述预览图像对应的候选连接点，并传输给所述线段采样模块；

所述线段采样模块根据所述候选连接点预测出所述预览图像包含的线条。

24.根据权利要求22或23所述的方法，其特征在于，所述变换矩阵至少包括旋转矩阵、单应性矩阵。

25.根据权利要求20-24任一项所述的方法，其特征在于，所述云端根据所述预览图像和所述场景信息，生成适合所述待拍摄场景的构图方式对应的构图辅助线之后，所述方法还包括：

所述云端获取所述预览图像中包含的元素的轮廓线；

所述云端根据所述构图辅助线、以及所述预览图像中包含的元素的轮廓线，生成适合所述待拍摄场景的拍摄轮廓线；

所述云端向所述终端设备发送所述拍摄轮廓线。

26.根据权利要求20-25任一项所述的方法，其特征在于，所述方法还包括：

所述云端接收来自所述终端设备的所述待拍摄场景对应的照片；

所述云端对所述照片进行构图优化，得到所述照片对应的至少一张构图优化后的照片；

所述云端向所述终端设备发送所述至少一张构图优化后的照片。

27.根据权利要求26所述的方法，其特征在于，所述方法还包括：

所述云端接收终端设备发送的第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张；

所述云端根据所述第一照片，获取用户的美学偏好。

28.一种拍照方法，其特征在于，所述方法应用于端云协同系统，所述端云协同系统包括终端设备和云端；所述终端设备通过无线网络与所述云端连接；所述方法包括：

所述终端设备获取待编辑照片和待编辑照片对应的场景信息；

所述终端设备向所述云端发送所述待编辑照片和场景信息；

所述云端根据所述待编辑照片和场景信息，对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片，并将所述至少一张构图优化后的照片发送给所述终端设备；

所述终端设备显示所述待编辑照片、以及所述至少一张构图优化后的照片；

所述终端设备响应于用户的操作，选择第一照片，所述第一照片包括所述待编辑照片、以及所述至少一张构图优化后的照片中的一张或多张；

所述终端设备向所述云端发送所述第一照片；

所述云端根据所述第一照片获取用户的美学偏好。

29.根据权利要求28所述的方法，其特征在于，所述云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络；所述云端对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片，包括：

所述云端将所述待编辑图像输入所述线条检测网络，通过所述线条检测网络检测所述待编辑图像中包含的线条；

所述云端通过所述图像矫正模块根据所述待编辑图像中包含的线条，确定对所述预览图像进行矫正所需的变换矩阵，并采用所述变换矩阵对所述待编辑图像进行矫正，得到矫正后的待编辑图像。

30.根据权利要求29所述的方法，其特征在于，所述线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；

所述线条检测网络检测所述待编辑图像中包含的线条，包括：

将所述待编辑图像输入主干网络后，所述主干网络提取所述待编辑图像中的特征，输出所述待编辑图像对应的共享卷积特征图至所述连接点预测模块；

所述连接点预测模块根据所述共享卷积特征图输出所述待编辑图像对应的候选连接点，并传输给所述线段采样模块；

所述线段采样模块根据所述候选连接点预测出所述待编辑图像包含的线条。

31.一种拍照方法，其特征在于，所述方法应用于终端设备，所述终端设备通过无线网络与云端连接；所述方法包括：

所述终端设备响应于用户的操作，获取待编辑照片和所述待编辑照片对应的场景信息；

所述终端设备向所述云端发送所述待编辑照片和场景信息，所述待编辑照片和场景信息用于所述云端对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片；

所述终端设备接收所述云端发送的所述至少一张构图优化后的照片；

所述终端设备显示所述待编辑照片、以及所述至少一张构图优化后的照片；

所述终端设备响应于用户的选择操作，选择第一照片，所述第一照片包括所述待编辑照片、以及所述至少一张构图优化后的照片中的一张或多张；

所述终端设备向所述云端发送所述第一照片，所述第一照片用于所述云端获取用户的美学偏好。

32.根据权利要求31所述的方法，其特征在于，所述终端设备向所述云端发送所述第一照片，包括：

所述终端设备通过预设的卷积神经网络提取所述第一照片的图像特征；

所述终端设备向所述云端发送所述第一照片的图像特征。

33.根据权利要求31或32所述的方法，其特征在于，

所述终端设备向所述云端发送所述第一照片，包括：所述终端设备向所述云端发送所述第一照片的标识信息。

34.根据权利要求31-33任一项所述的方法，其特征在于，

所述场景信息是所述待编辑照片在拍摄时通过传感器采集的，所述传感器至少包括位置传感器、气压传感器，温度传感器，环境光传感器；

所述场景信息至少包括所述待拍摄场景对应的位置信息、气压信息、温度信息、光强信息。

35.一种拍照方法，所述方法应用于云端，所述云端通过无线网络与终端设备连接；所述方法包括：

所述云端接收来自所述终端设备的待编辑照片和场景信息；

所述云端根据所述待编辑照片和场景信息，对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片，并将所述至少一张构图优化后的照片发送给所述终端设备；

所述云端接收来自所述终端设备的第一照片，所述第一照片包括所述照片、以及所述至少一张构图优化后的照片中的一张或多张；

所述云端根据所述第一照片，获取用户的美学偏好。

36.根据权利要求35所述的方法，其特征在于，所述云端包括线条检测网络、图像矫正模块、显著性检测模块、以及美学评分网络；所述云端对所述待编辑照片进行构图优化，得到所述待编辑照片对应的至少一张构图优化后的照片，包括：

所述云端将所述待编辑图像输入所述线条检测网络，通过所述线条检测网络检测所述待编辑图像中包含的线条；

所述云端通过所述图像矫正模块根据所述待编辑图像中包含的线条，确定对所述预览图像进行矫正所需的变换矩阵，并采用所述变换矩阵对所述待编辑图像进行矫正，得到矫正后的待编辑图像。

37.根据权利要求36所述的方法，其特征在于，所述线条检测网络包括：主干网络、连接点预测模块、线段采样模块、以及线段校正模块；

所述线条检测网络检测所述待编辑图像中包含的线条，包括：

将所述待编辑图像输入主干网络后，所述主干网络提取所述待编辑图像中的特征，输出所述待编辑图像对应的共享卷积特征图至所述连接点预测模块；

所述连接点预测模块根据所述共享卷积特征图输出所述待编辑图像对应的候选连接点，并传输给所述线段采样模块；

所述线段采样模块根据所述候选连接点预测出所述待编辑图像包含的线条。

38.根据权利要求35-37任一项所述的方法，其特征在于，所述云端根据所述第一照片获取用户的美学偏好，包括：

所述云端根据所述第一照片的标识信息获取存储在云端的对应所述标识信息的照片，并根据所述对应所述标识信息的照片获取用户的美学偏好。

39.一种拍照方法，其特征在于，所述方法应用于端云协同系统，所述端云协同系统包括终端设备和云端；所述终端设备通过无线网络与所述云端连接；所述方法包括：

所述终端设备获取待编辑照片；

所述终端设备响应于用户的编辑操作，对待编辑照片进行编辑，获取编辑后的照片；

所述终端设备向所述云端发送所述待编辑照片和编辑后的照片；

所述云端根据所述待编辑照片和编辑后的照片，获取用户的美学偏好，并根据用户的美学偏好获取基础画质优化参数；

所述云端将所述基础画质优化参数发送给所述终端设备；

所述终端设备根据所述基础画质优化参数更新本地的基础画质算法。

40.根据权利要求39所述的方法，其特征在于，在所述终端设备响应于用户的编辑操作，对待编辑照片进行编辑，获取编辑后的照片，包括：

所述终端设备根据本地的基础画质算法处理所述待编辑照片，获取中间照片；

所述终端对所述中间照片进行编辑，获取编辑后的照片。

41.根据权利要求39或40所述的方法，其特征在于，所述终端设备向所述云端发送所述待编辑照片和编辑后的照片，包括：

所述终端设备通过预设的卷积神经网络提取所述待编辑照片的图像特征和编辑后的照片的图像特征；

所述终端设备向所述云端发送所述待编辑照片和编辑后的照片的图像特征。

42.一种拍照方法，其特征在于，所述方法应用于终端设备，所述终端设备通过无线网络与云端连接；所述方法包括：

所述终端设备获取待编辑照片；

所述终端设备响应于用户的编辑操作，对待编辑照片进行编辑，获取编辑后的照片；

所述终端设备向所述云端发送所述待编辑照片和编辑后的照片，所述待编辑照片和编辑后的照片用于所述云端获取用户的美学偏好，并根据用户的美学偏好获取基础画质优化参数；

所述终端设备接收来自所述云端的所述基础画质优化参数；

所述终端设备根据所述基础画质优化参数更新本地的基础画质算法。

43.根据权利要求42所述的方法，其特征在于，在所述终端设备响应于用户的编辑操作，对待编辑照片进行编辑，获取编辑后的照片，包括：

所述终端设备根据本地的基础画质算法处理所述待编辑照片，获取中间照片；

所述终端对所述中间照片进行编辑，获取编辑后的照片。

44.根据权利要求42或43所述的方法，其特征在于，所述终端设备向所述云端发送所述待编辑照片和编辑后的照片，包括：

所述终端设备通过预设的卷积神经网络提取所述待编辑照片的图像特征和编辑后的照片的图像特征；

所述终端设备向所述云端发送所述待编辑照片和编辑后的照片的图像特征。

45.根据权利要求42-44任一项所述的方法，其特征在于，所述基础画质算法包括美颜算法、滤镜算法、曝光算法或者降噪算法。

46.一种拍照方法，所述方法应用于云端，所述云端通过无线网络与终端设备连接；所述方法包括：

所述云端接收来自终端设备的待编辑照片和编辑后的照片；

所述云端根据所述待编辑照片和编辑后的照片，获取用户的美学偏好，并根据用户的美学偏好获取基础画质优化参数；

所述云端将所述基础画质优化参数发送给所述终端设备。

47.根据权利要求46所述的方法，其特征在于，所述云端根据所述待编辑照片和编辑后的照片，获取用户的美学偏好，包括：

所述云端对基础画质算法进行建模，得到基础画质算法参数与成像效果的关系函数；

所述云端根据所述待编辑照片和编辑后的照片训练所述关系函数，获取用户的美学偏好。

48.一种电子设备，其特征在于，包括：处理器，用于存储所述处理器可执行指令的存储器；

所述处理器被配置为执行所述指令时，使得所述电子设备实现如权利要求11-19任一项所述的方法；或者，如权利要求20-27任一项所述的方法；或者，如权利要求31-34任一项所述的方法；或者，如权利要求35-38任一项所述的方法；或者，如权利要求42-45任一项所述的方法；或者，如权利要求46或47所述的方法。

49.一种计算机可读存储介质，其上存储有计算机程序指令；其特征在于，

当所述计算机程序指令被电子设备执行时，使得电子设备实现如权利要求11-19任一项所述的方法，或者，如权利要求20-27任一项所述的方法；或者，如权利要求31-34任一项所述的方法；或者，如权利要求35-38任一项所述的方法；或者，如权利要求42-45任一项所述的方法；或者，如权利要求46或47所述的方法。

Images