CN114827445B - 图像处理方法及相关装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及相关装置。在该方法中，电子设备可以借助云服务器的处理能力，为用户提供模板图像，引导用户在人像摄影时进行构图，并对用户拍摄的图像进行构图优化。上述模板图像可以为拍照过程中被拍摄者的姿态以及被拍摄者在图像中所处的位置提供参考，实现从图像整体美感的角度引导用户构图，提高人像摄影的姿态感和美感。通过该方法，用户无需花费大量精力学习各种构图技巧，也可以拍摄出好看的人物图像。

Description

图像处理方法及相关装置

技术领域

本申请涉及终端技术领域，尤其涉及图像处理方法及相关装置。

背景技术

随着手机等电子设备的发展，手机的拍照功能越来越强大，用户利用手机就可以拍摄出 精美的照片。但一张具有美感的照片离不开好的构图。拍摄同样的景物，善于构图的用户拍 出的照片往往比不善于构图的用户拍出的照片更好看。

目前，电子设备为了在拍照时引导用户进行构图，通常会在拍照的预览界面显示电子设 备移动提示。上述电子设备移动提示可包括移动方向和移动距离。当电子设备根据上述移动 方向和移动距离进行移动，呈现在预览界面中的图像即为电子设备推荐构图下的图像。上述 构图引导方式仅通过引导用户移动电子设备来调整预览界面中图像上各物体的位置分布，应 用场景受限，且构图效果往往不够理想。例如，在人像摄影的应用场景中，上述构图引导方 式只能在较小程度上改变人像在图像中所处的位置，不能从图像整体美感(如人体姿态、人 体在图像中的位置)的角度引导用户进行人像摄影的构图，这样的构图引导方式难以满足实 际应用的需求。

发明内容

本申请提供了一种图像处理方法及相关装置，电子设备可以借助云服务器的处理能力， 为用户提供模板图像，引导用户在人像摄影时进行构图，并对用户拍摄的图像进行构图优化。 上述模板图像可以为拍照过程中被拍摄者的姿态以及被拍摄者在图像中所处的位置提供参考， 实现从图像整体美感的角度引导用户构图，提高人像摄影的姿态感和美感。

第一方面，本申请提供一种图像处理方法，该方法可应用于图像处理系统。该图像处理 系统可包括电子设备和云服务器。在该方法中，电子设备可以显示预览界面。预览界面可以 包括预览框。预览框可以用于显示摄像头实时采集的图像。电子设备可以对显示在预览框中 的图像进行人物检测。在预览框中显示第一图像时，第一图像不包含人物，电子设备接收到 拍摄操作，保存第一图像。在预览框中显示第二图像时，第二图像包含人物，电子设备可以 将第二图像发送给云服务器。云服务器可以根据第二图像从模板图库中确定至少一张模板图 像，并将至少一张模板图像发送给电子设备。上述至少一张模板图像为模板图库中与第二图 像在以下一个或多个特征上相似度最高的图像：拍摄场景、拍摄景别、人物姿态、人物数量、 人物性别和人物年龄。电子设备可以在预览界面还显示上述至少一张模板图像。

由上述方法可知，电子设备可以借助云服务器的处理能力为用户推荐模板图像，引导用 户在进行人像摄影时进行构图。这有效地降低了对电子设备硬件的要求。上述模板图像可以 为拍照过程中被拍摄者的姿态以及被拍摄者在图像中所处的位置提供参考，实现从图像整体 美感的角度引导用户构图。用户无需花费大量精力学习各种构图技巧，也可以拍出好看的人 物图像。

上述模板图库中的模板图像是构图效果好、具有美感的图像。即模板图像可用于指示用 户在特定拍摄场景下对被拍摄者进行拍照时最具美感的构图方式。上述模板图像可以是通过 收集专业摄影师拍摄的图像得到的，也可以是由用户上传的。云服务器可以更新模板图库中 的模板图像，使得模板图像满足实际应用中的需求。

结合第一方面，在一些实施例中，在预览框中显示第三图像时，第三图像包含人物，电 子设备接收到拍摄操作，保存第三图像，并将第三图像发送给云服务器。云服务器可以利用 具有第一尺寸的第一裁剪框遍历第三图像的所有区域，对第三图像进行裁剪，得到多张具有 第一尺寸的第一裁剪图像。云服务器可以利用美学评分模型从多张第一裁剪图像中选出第二 裁剪图像。该第二裁剪图像是上述多张第一裁剪图像中美学评分最高的。美学评分模型可以 通过多组第一训练样本训练得到。一组第一训练样本包括一张人物图像、一张对人物图像进 行显著性检测得到的显著性图像、多张对人物图像进行裁剪得到的裁剪图像。上述多张裁剪 图像对应有各自的美学分数。上述显著性图像可以用于指示人物图像中人物所在的区域。裁 剪图像包含显著性图像指示的人物所在的区域且对应的美学分数越高，美学评分模型对这一 张裁剪图像的美学评分越高。云服务器可以从第三图像上确定出至少一张第三裁剪图像，并 将至少一张第三裁剪图像发送给电子设备。第三裁剪图像的区域包含第二裁剪图像的区域。 电子设备可以显示上述至少一张第三裁剪图像。

可以看出，电子设备可以通过后期处理的方式对拍摄得到的图像进行构图优化，以进一 步提高图像的美感。这样，用户可以不用再花费时间和精力自己对拍摄得到的图像进行编辑 处理。

在一些实施例中，云服务器从上述第三图像上确定出至少一张第三裁剪图像的方法可以 为：云服务器可以根据上述第二裁剪图像对上述第三图像进行裁剪，得到多张第四裁剪图像。 这多张第四裁剪图像的区域包含上述第二裁剪图像的区域。云服务器可以利用上述美学评分 模型从上述多张第四裁剪图像中选出至少一张第三裁剪图像。上述至少一张第三裁剪图像是 上述多张第四裁剪图像中美学评分最高的。

上述第二裁剪图像是云服务器利用固定尺寸的裁剪框对第三图像进行裁剪得到的。云服 务器在第二裁剪图像的基础上利用上述裁剪方法对第三图像进行再次裁剪，可以减少裁剪框 的尺寸固定对确定构图最优的图像的影响，从全局的角度确定图三图像中构图最优的裁剪图 像。并且，云服务器先利用一个或多个预设尺寸的裁剪框对第三图像进行裁剪，可以先确定 包含有人像所在区域且构图效果较好的裁剪图像。在该裁剪图像的基础上再对第三图像进行 裁剪，云服务器可以不用利用每一种尺寸的裁剪框对图像的所有区域进行遍历。这可以节省 云服务器的计算资源，提高获得构图最优的图像的效率。

在一些实施例中，云服务器根据上述第二裁剪图像对上述第三图像进行裁剪，得到多张 第四裁剪图像的方法可以为：云服务器可以根据第二裁剪图像确定出第三图像的第一区域和 第二区域。该第一区域为第三图像的第一顶点与第一位置点所构成的矩形区域。该第一位置 点为第二裁剪图像的第二顶点在第三图像中对应的点。该第二区域为第三图像的第三顶点与 第二位置点所构成的矩形区域。该第二位置点为第二裁剪图像的第四顶点在第三图像中对应 的点。第一顶点与第三顶点位于第三图像的一条对角线上。第二顶点与第四顶点位于第二裁 剪图像的一条对角线上。云服务器可以遍历第一区域和第二区域，以第一区域中的一点与第 二区域中的一点所构成的矩形区域对第三图像进行裁剪，得到上述多张第四裁剪图像。

在一些实施例中，云服务器利用上述第一裁剪框对上述第三图像进行裁剪之前，还可以 对上述第三图像进行旋转校正、透视校正和边缘杂物去除。上述旋转校正可用于减少上述第 三图像的水平偏移或竖直偏移。上述透视校正可用于减少上述第三图像的透视畸变。上述边 缘杂物去除用于去除上述第三图像各边缘附近的杂物。

在一些实施例中，电子设备可以接收用户选择上述第三裁剪图像中一张或多张的操作， 保存被选择的第三裁剪图像。根据上述被保存的第三裁剪图像，云服务器可以更新上述美学 评分模型，使得美学评分模型可以结合不同用户的偏好对裁剪图像进行打分。其中，电子设 备可以将上述被保存的第三裁剪图像，或者是被保存的第三裁剪图像的标识号发送给云服务 器。云服务器可以调整发送给电子设备的所有第三裁剪图像的美学分数。第三裁剪图像是被 电子设备保存的且在美学分数调整前美学评分模型对该第三裁剪图像的美学评分越高，则第 三裁剪图像经过调整后的美学评分越高。云服务器可以利用经过美学评分经过调整的第三裁 剪图像再次训练美学评分模型。云服务器可以将上述经过更新的美学评分模型与电子设备关 联。当接收到电子设备发送的第三图像，云服务器可以利用与该电子设备关联的美学评分模 型对第三图像的裁剪图像进行美学评分。

由上述方法可知，云服务器在构图优化时可以结合不同用户对不同构图方式的偏好，为 用户提供更符合其偏好的构图优化图像，提高用户的构图体验。

结合第一方面，在一些实施例中，云服务器根据上述第二图像从模板图库中确定至少一 张模板图像的方法可以为：云服务器可以根据拍摄场景、拍摄景别、人物姿态、人物数量、 人物性别和人物年龄对应的权重和特征值，计算模板图库中模板图像的加权和。拍摄场景、 拍摄景别、人物姿态、人物数量、人物性别和人物年龄中任一个特征的特征值可以由第二图 像的这一个特征与模板图像的这一个特征是否相似确定。例如，第二图像的拍摄场景与一张 模板图像的拍摄场景相同，则这一张模板图像的拍摄场景对应的特征值可以为1。第二图像 的拍摄场景与一张模板图像的拍摄景别不同，这这一张模板图像的拍摄景别对应的特征值可 以为0。云服务器可以根据加权和从模板图库中得到模板库子集。模板库子集中的模板图像 的加权和高于第一阈值。云服务器可以从模板库子集中选择至少一张模板图像。

在一些实施例中，云服务器从模板库子集中选择至少一张模板图像的方法可以为：云服 务器可以利用相似度度量模型确定模板库子集中的模板图像与第一图像的相似度排序，并选 择相似度排序在前的至少一张模板图像。上述相似度度量模型可以通过多组第二训练样本训 练得到。一组第二训练样本包括一张锚定图像、一张与锚定图像相似的正样本图像、一张与 锚定图像不相似的负样本图像。锚定图像可以是包含有人物的图像。相似度度量模型确定出 的正样本图像、负样本图像与锚定图像的相似度排序为正样本的相似度排在负样本图像的相 似度的前面。

结合上述拍摄场景、拍摄景别、人物姿态、人物数量、人物性别和人物年龄，云服务器 选择的至少一张模板图像与上述第二图像的相似度较高，用户参考上述至少一张模板图像进 行构图时所需要的参与度就越少。这利于降低用户根据模板图像的引导进行构图的难度，用 户可以更加轻松地拍摄出构图效果好的人物图像。

在一些实施例中，电子设备向云服务器发送上述第二图像时，还可以将电子设备采集上 述第二图像时所处的位置信息发送给云服务器。云服务器可以从模板图库中搜索在该位置信 息下，且与第二图像相似度最高的模板图像。

第二方面，本申请提供一种电子设备，该电子设备可包括摄像头、通信模块、一个或多 个存储器、一个或多个处理器。上述一个或多个处理器与上述摄像头、上述通信模块以及上 述一个或多个存储器耦合，上述一个或多个存储器用于存储计算机程序代码，上述计算机程 序代码包括计算机指令，当上述一个或多个处理器执行上述计算机指令时，使得上述电子设 备执行上述第一方面中任一种可能的实现方法。

第三方面，本申请提供一种云服务器，该云服务器可以包括通信模块、一个或多个存储 器、一个或多个处理器；上述一个或多个处理器与上述通信模块、上述一个或多个存储器耦 合，上述一个或多个存储器用于存储计算机程序代码，上述计算机程序代码包括计算机指令， 当上述一个或多个处理器执行上述计算机指令时，使得上述云服务器执行上述第一方面中任 一种可能的实现方法。

第四方面，本申请提供一种计算机存储介质，包括指令，当上述指令在电子设备上运行 时，使得上述电子设备执行上述第一方面中任一种可能的实现方法。

第五方面，本申请实施例提供一种芯片，该芯片应用于电子设备，该芯片包括一个或多 个处理器，该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能 的实现方法。

第六方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品 在设备上运行时，使得上述电子设备执行上述第一方面中任一种可能的实现方法。

可以理解地，上述第二方面提供的电子设备、第三方面提供的云服务器、第四方面提供 的计算机存储介质、第五方面提供的芯片、第六方面提供的计算机程序产品均用于执行本申 请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处 不再赘述。

附图说明

图1是本申请实施例提供的一种通信系统的架构示意图；

图2是本申请实施例提供的一种电子设备的结构示意图；

图3A～图3F是本申请实施例提供的一些电子设备拍照的场景示意图；

图4A和图4B是本申请实施例提供的对图像进行旋转校正的示意图；

图4C和图4D是本申请实施例提供的对图像进行透视校正的示意图；

图5是本申请实施例提供的人体关键点的示意图；

图6A和图6B是本申请实施例提供的对图像进行裁剪的示意图；

图7是本申请实施例提供的一种拍照方法的流程图；

图8是本申请实施例提供的一种图像处理系统的架构示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请 实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例 的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或 者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者 隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含 义是两个或两个以上。

下面介绍本申请实施例涉及的一种通信系统10。

请参照图1，图1示出了申请实施例涉及的一种通信系统10的架构示意图。该通信系统 10可以包括电子设备100和云服务器200。其中，电子设备100可以是手机、平板电脑、桌 面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及个人数字助理(personal digitalassistant，PDA)、 增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等。本申请实施例 对该电子设备100的具体类型不作限定。

电子设备100可以通过2G网络、3G网络、4G网络、5G网络、无线局域网(wirelesslocal area network，WLAN)等连接上云服务器200。其中，电子设备100可以向云服务器200发 送图像数据、图像数据的环境信息(例如地理位置信息、拍摄设备拍摄姿态信息等等)。云服 务器200可以向电子设备100发送模板图像、构图优化图像等等。

云服务器200可以与多个电子设备100建立连接，可以独立处理多个电子设备100请求 的处理任务。其中，云服务器200可以通过电子设备上用户登录的账户(例如，华为账户) 对电子设备进行区分。

图2示例性示出了本申请实施例提供的一种电子设备100的结构示意图。

如图2所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121， 通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141， 电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191， 指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B， 气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器 180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传 导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申 请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件， 或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组 合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)， 图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号 处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或 多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数 据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复 存取，减少了处理器110的等待时间，因而提高了系统的效率。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用 于电子设备100与外围设备之间传输数据。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可 以是有线充电器。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储 器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模 块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单 个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解 决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波 进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调 制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号 调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解 调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递 给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音 信号，或通过显示屏194显示图像或视频

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)， 全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation， FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等 无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器 件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后 的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其 进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信 模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶 显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)， 有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施 例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递 到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理， 转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对 拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感 光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成 电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加 工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例 中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字 信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变 换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编 解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组 (moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例 如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可 以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备 100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功 能。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。 处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用 以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存 储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存 储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转 换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。在另一些实施 例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。 在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音 信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通 过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪 传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备 100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子 设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C 测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的 开合。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当 电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态，应用 于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些 实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。

环境光传感器180L用于感知环境光亮度。

指纹传感器180H用于采集指纹。

温度传感器180J用于检测温度。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸 传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触 摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触 摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电 子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号 输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反 馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反 馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。 不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈 效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息， 未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡 接口，N为大于1的正整数。电子设备100通过SIM卡和网络交互，实现通话以及数据通信 等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在 电子设备100中，不能和电子设备100分离。

本申请提供一种图像处理方法，可以结合电子设备100和云服务器200的处理能力，引 导用户在人像摄影时进行构图，并对用户拍摄的图像进行构图优化。具体的，电子设备100 可以在预览界面显示通过摄像头采集的预览图像。电子设备100可以将该预览图像发送至云 服务器200。云服务器200可以分析预览图像中的拍摄场景、拍摄景别、被拍摄者的姿态、 被拍摄者的身份信息和被拍摄者的数量等信息，从已有的模板图库中确定与预览图像最相似 的一张或多张模板图像。云服务器200可以将上述一张或多张模板图像发送给电子设备100。 电子设备100可以在预览界面显示上述一张或多张模板图像。上述模板图像可用于指示用户 在当前拍摄场景下对被拍摄者进行拍照时最具美感的构图方式。当完成拍摄，电子设备100 可以将拍摄得到的拍摄图像发送至云服务器200。云服务器200可以按照不同的裁剪方法对 拍摄图像进行裁剪，并从经过裁剪得到图像中确定出构图效果最优的一张或多张构图优化图 像。云服务器200可以将上述一张或多张构图优化图像发送给电子设备100。电子设备100 可以显示上述一张或多张构图优化图像以供用户选择。

由上述方法可以看出，电子设备100可以从图像整体美感的角度引导用户构图，提高人 像摄影的姿态感和美感。并且，通过后期处理的方式对拍摄图像进行构图优化可以进一步提 高图像的美感。这样，用户无需花费大量精力学习各种构图技巧，也可以拍摄出好看的人物 图像。

需要进行说明的是，预览图像与模板图像相似可以表示以下一项或多项内容相似或相同： 拍摄场景(如草地)、拍摄景别(如近景拍摄)、被拍摄者的姿态(如站立姿态)、被拍摄者的 身份信息(如性别、年龄)、被拍摄者的数量。

上述模板图库可包括大量模板图像。这些模板图像可以是具有不同拍摄场景、不同拍摄 景别、不同的人物姿态、不同的人物身份信息、不同的人物数量的人物图像。上述不同拍摄 场景可以例如是水边、草地、沙滩、道路、阶梯、栏杆、长凳、操场、背景墙、树林、夕阳朝阳、窗台、胡同、铁路、长廊、餐桌咖啡馆、图书馆、落叶地面、麦田稻田、雪地等等。 上述不同拍摄景别可以例如是特写、近景、中景、全景、远景。上述不同的人物姿态可以例 如是站立、坐姿、躺姿、半蹲等等。上述不同的人物身份信息可以包括不同性别的人物(如 男性、女性)、不同年龄的人物(如儿童、青年人、中年人、老年人)。本申请实施例对上述 拍摄场景的具体类别、拍摄景别的具体类别以及人物姿态的具体类别不作限定。

模板图库中的模板图像是构图效果好、具有美感的图像。即模板图像可用于指示用户在 特定拍摄场景下对被拍摄者进行拍照时最具美感的构图方式。在人像摄影的过程中，被拍摄 者可以参考模板图像中人物的姿态以及该人物在模板图像中的位置进行拍摄。这样，用户可 以不用自己考虑构图技巧，结合上述模板图像即可拍摄出好看的人物图像。

其中，上述模板图像可以是通过收集专业摄影师拍摄的图像得到的，也可以是由用户上 传的。云服务器200可以更新模板图库中的模板图像，使得模板图像满足实际应用中的需求。 本申请实施例对模板图像的来源不作限定。

为了便于理解上述图像处理方法，这里对本申请涉及的构图的概念进行说明。

在进行人像摄影时的构图可以包括确定人物的姿态以及人物与背景中各物体在拍摄图像 中的相对位置。在构图效果好的人物图像中，人物位于图像中最优的位置，具有某一姿态的 人物与背景中的各物体形成统一和谐的整体。

上述确定人物与背景中各物体在拍摄图像中的相对位置，使得图像具有美感的方法可以 包括：中心构图法、三分线构图法、水平线构图法、对称式构图法等等。上述中心构图法是 指将拍摄主体(如人物)放置于拍摄图像的中心。上述三分线构图法是指将拍摄主体放置于 拍摄图像的三分线上。上述水平线构图法是指保持拍摄主体在图像中处于水平或竖直的状态。 上述对称式构图法是指将拍摄主体放置于拍摄图像的对称位置处，使得拍摄图像呈现对称样 式。

下面结合应用场景，介绍本申请实施例提供的图像处理方法。

在一些应用场景中，用户在使用电子设备100拍照时，可以选择电子设备100的相机应 用中的不同拍照模式进行拍照。当用户通过电子设备100拍摄人像时，用户可以选择相机应 用中的“智能人像模式”进行拍摄。在“智能人像模式”下，电子设备100可以借助云服务 器200的处理能力，为用户推荐模板图像来引导用户构图，并对用户拍摄得到的拍摄图像进 行构图优化，为用户提供构图优化图像。

(1)图3A～图3D示例性示出了电子设备100为用户推荐模板图像来引导用户构图的场 景。

如图3A所示，电子设备100可以显示用户界面210。用户界面210显示了一个放置有应 用图标的页面，该页面可包括多个应用图标(例如，时钟应用图标、日历应用图标、图库应 用图标、备忘录应用图标、文件管理应用图标、电子邮件应用图标、音乐应用图标、计算器 应用图标等等)。上述多个应用图标下方还可显示有页面指示符，以表明当前显示的页面与其 他页面的位置关系。页面指示符的下方有多个托盘图标(例如，相机应用图标211、联系人 应用图标、拨号应用图标、信息应用图标)。托盘图标在页面切换时保持显示。本申请实施例 对用户界面210上显示的内容不作限定。

响应于作用在相机应用图标211上的用户操作，例如触摸操作，电子设备100可以显示 如图3B所示的拍摄界面220。

如图3B所示，拍摄界面220可包括预览区域、相机模式选项201、图库快捷控件222、快门控件223、摄像头翻转控件224。

预览区域221可用于显示预览图像。该预览图像为电子设备100通过摄像头实时采集的 图像。电子设备可以实时刷新预览区域221中的显示内容，以便于用户预览摄像头当前采集 的图像。

相机模式选项201中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项 可以包括：大光圈模式选项201A、智能人像模式选项201B、拍照模式选项201C、录像模式 选项201D和更多选项201E。这一个或多个拍摄模式选项在界面上可以表现为文字信息，例 如“大光圈”、“智能人像”、“拍照”、“录像”、“更多”。不限于此，这一个或多个摄像选项在 界面上还可以表现为图标或者其他形式的交互元素(interactive element，IE)。当检测到作用 于拍摄模式选项上的用户操作，电子设备100可以开启用户选择的拍摄模式。特别的，当检 测到作用于更多选项201E的用户操作，电子设备100可以进一步显示更多的其他拍摄模式选 项，如慢动作拍摄模式选项等等，可以向用户展示更丰富的摄像功能。不限于图3B所示， 相机模式选项201中还可以包含更多或更少的拍摄模式选项。用户可以通过在相机模式选项 201中向左/右滑动来浏览其他拍摄模式选项。

图库快捷控件222可用于开启图库应用程序。响应于作用在图库快捷控件222上的用户 操作，例如触摸操作，电子设备100可以开启图库应用程序。这样，用户可以便捷地查看拍 摄的照片和视频，而无需先退出相机应用程序，再开启图库应用程序。图库应用程序是智能 手机、平板电脑等电子设备上的一款图片管理的应用程序，又可以称为“相册”，本实施例对 该应用程序的名称不做限制。图库应用程序可以支持用户对存储于电子设备100上的图片进 行各种操作，例如浏览、编辑、删除、选择等操作。

快门控件223可用于监听触发拍照的用户操作。电子设备100可以检测到作用于快门控 件223的用户操作，响应于该操作，电子设备100可以将预览区域221中的预览图像保存为 图库应用程序中的图片。另外，电子设备100还可以在图库快捷控件222中显示所保存的图 像的缩略图。也即是说，用户可以点击快门控件223来触发拍照。其中，快门控件223可以 是按钮或者其他形式的控件。

摄像头翻转控件224可用于监听触发翻转摄像头的用户操作。电子设备100可以检测到 作用于摄像头翻转控件224的用户操作，例如触摸操作，响应于该操作，电子设备100可以 翻转用于拍摄的摄像头，例如将后置摄像头切换为前置摄像头，或者将前置摄像头切换为后 置摄像头。

拍摄界面220中还可以包含更多或更少的控件，本申请实施例对此不作限定。

响应于作用在智能人像模式选项201B的用户操作，例如触摸操作，电子设备100可以 开启智能人像模式。

在智能人像模式下，电子设备100可以显示如图3C所示的拍摄界面220。

如图3C所示，用户界面220可以包括预览区域221、快门控件223、第一模板图像225、 第二模板图像226、第三模板图像227、第四模板图像228以及隐藏控件229。其中：

预览区域221和快门控件223可以参考前述实施例的介绍。

第一模板图像225、第二模板图像226、第三模板图像227、第四模板图像228为云服务 器200从模板图库中确定出的与预览区域221中的预览图像相似的模板图像。

隐藏控件229可用于电子设备100隐藏第一模板图像225、第二模板图像226、第三模板 图像227、第四模板图像228。响应于作用在隐藏控件229的用户操作，电子设备100可以隐 藏模板图像，并在模板图像的显示区域显示图3B所示的相机模式选项201。其中，与图3B 所示的相机模式选项201不同的是，电子设备100在检测到作用在隐藏控件229上的用户操 作后显示的相机模式选项201中，智能人像模式选项201B处于选中状态。

如图3D所示，预览区域221中预览图像的拍摄场景包括铁路、具有尖顶的房屋、树木。 拍摄景别为全景。被拍摄者的姿态为站立姿态。被拍摄者的身份信息为年轻女性。被拍摄者 的人数为一个人。

第一模板图像225的拍摄场景包括铁路、具有尖顶的房屋、树木。拍摄景别为全景。被 拍摄者的姿态为站立姿态。被拍摄者的身份信息为年轻女性。被拍摄者的人数为一个人。

第二模板图像226的拍摄场景包括铁路。拍摄景别为全景。被拍摄者的姿态为站立姿态。 被拍摄者的身份信息为年轻女性。被拍摄者的人数为一个人。

第三模板图像227的拍摄场景包括铁路。拍摄景别为全景。被拍摄者的姿态为站立姿态。 被拍摄者的身份信息为年轻女性。被拍摄者的人数为一个人。

第四模板图像228的拍摄场景包括铁路。拍摄景别为近景。被拍摄者的姿态为坐姿。被 拍摄者的身份信息为年轻女性。被拍摄者的人数为一个人。

可以看出，依据拍摄场景、拍摄景别、被拍摄者的姿态、被拍摄者的身份信息以及被拍 摄者的人数来判断相似度，预览图像与第一模板图像225、第二模板图像226、第三模板图像 227、第四模板图像228的相似度从高到低逐渐变化。也即是说，电子设备100可以根据模板 图像的相似度的高低来确定模板图像在用户界面上的显示顺序。电子设备100可以将相似度 高的模板图像显示在相似度低的模板图像的前面。

其中，模板图像与预览图像的相似度越高，参考该模板图像进行构图时所需要的用户参 与度就越少。例如，参考第一模板图像225进行构图仅需要被拍摄者调整站立的姿态，用户 可以无需通过调整手机姿态来改变被拍摄者在预览图像中的位置以及预览图像的拍摄景别。 这降低了用户根据电子设备100的引导进行构图的难度，使得用户可以更加轻松地拍摄出构 图效果好的人物图像。

如图3C所示，第一模板图像225上可显示有删除控件225A。删除控件225A可用于删除第一模板图像225。响应于作用在删除控件225A的用户操作，电子设备100可以将第一模板图像225从用户界面220上删除，并将第二模板图像226、第三模板图像227、第四模板图像228的在用户界面220上的显示位置将顺次向前移动。

第二模板图像226上可显示有删除控件226A。第三模板图像227上可显示有删除控件 227A。第四模板图像228上可显示有删除控件228A。上述删除控件226A、删除控件227A和删除控件228A的作用可以参考删除控件225A的介绍。

不限于在用户界面220同时显示四张模板图像，电子设备100还可以在用户界面220显 示更多或更少的模板图像。例如，电子设备100接收到来自云服务器200的四张模板图像： 第一模板图像225、第二模板图像226、第三模板图像227、第四模板图像228。电子设备100 可以在用户界面同时显示两张模板图像，例如第一模板图像225、第二模板图像226。响应于 作用在模板图像显示区域上向左或向右滑动的用户操作，电子设备100可以显示上述四张模 板图像中第一模板图像225、第二模板图像226之外的模板图像。例如，电子设备100可以 同时显示第二模板图像226、第三模板图像227。即用户可以通过在模板图像显示区域上向左 或向右滑动，来查看更多的模板图像。

本申请实施例对云服务器200发送给电子设备100的模板图像的数量不作限定。

云服务器200确定模板图库中与预览图像相似的模板图像的方法将在后续实施例中具体 介绍，这里先不展开说明。

在一些实施例中，电子设备100为用户推荐模板图像的过程中，电子设备100需要将预 览图像发送给云服务器200。那么，在上述“智能人像模式”下，电子设备100可以实时监 测自己的网络连接状态。当监测到电子设备100未连接网络，电子设备100可以提示用户在 “智能人像模式”下拍照需要联网，请先连接网络。本申请实施例对电子设备100提示用户 电子设备100未连接网络的方法不作限定。

在一些实施例中，在上述“智能人像模式”下，电子设备100可以实时监测预览图像中 是否包含人像。当监测到预览图像中不包含人像，电子设备100可以提示用户当前未检测到 人像。当监测到预览图像中包含人像，电子设备100可以将包含人像的预览图像发送给云服 务器200。

也即是说，当预览图像中包含人像时，电子设备100可以为用户推荐与预览图像相似的 模板图像。当预览图像中不包含人像时，电子设备100可以不为用户推荐模板图像。

(2)图3E和图3F示例性示出了电子设备100为用户提供构图优化图像的场景。

响应于作用在图3C所示快门控件223的用户操作，电子设备100可以将预览区域221 中的预览图像保存为图库应用程序中的图片。该图片即为前述实施例中的拍摄图像。并且， 电子设备100可以借助云服务器200的处理能力为用户提供上述拍摄图像的构图优化图像。

具体的，电子设备100可以显示如图3E所示的用户界面220。用户界面220可包括构图 优化提示框231。构图优化提示框231可用于询问用户是否对拍摄图像进行构图优化。示例 性的，构图优化提示框231中可包括文字提示“是否进行构图优化”。构图优化提示框231中 还可包括确定控件231A和取消控件231B。确定控件231A可用于指示电子设备100进行构图优化。取消控件231B可用于指示电子设备100取消构图优化。

用户界面220中的其它控件可以参考前述图3C所示实施例的介绍，这里不再赘述.

响应于作用在确定控件231A的用户操作，电子设备100可以显示如图3F所示的用户界 面230。用户界面230可包括拍摄图像232、第一构图优化图像233、第二构图优化图像234、 第三构图优化图像235、分享控件236、编辑控件237和保存控件238。其中：

拍摄图像232即为电子设备100检测到作用在快门控件223上的用户操作时显示在预览 区域221中的图像。电子设备100可以将拍摄图像发送给云服务器200。云服务器200可以 按照不同的裁剪方法对拍摄图像232进行裁剪，并对经过裁剪得到的图像进行美学评分，从 中确定出美学评分结果排序在前(即构图效果最优)的一张或多张构图优化图像。云服务器 200可以将这一张或多张构图优化图像发送给电子设备100。

示例性的，第一构图优化图像233、第二构图优化图像234、第三构图优化图像235为云 服务器200确定出美学评分结果排序在前的三张构图优化图像。

其中，第一构图优化图像233、第二构图优化图像234和第三构图优化图像235的美学 评分结果按从高到低的顺序变化。也即是说，电子设备100可以根据美学评分结果的高低来 确定构图优化图像在用户界面上的显示顺序。电子设备100可以将美学评分结果高的构图优 化图像显示在美学评分结果低的构图优化图像的前面。

如图3F所示，第一构图优化图像233上可包括标识符233B。该标识符233B可用于指示 包含有该标识符233B的图像(如第一构图优化图像233)为美学评分结果最高的构图优化图 像。

第一构图优化图像233上还可包括复选框233A。该复选框233A可用于选中或者取消选 中第一构图优化图像233。

第二构图优化图像234上可包括复选框234A。该复选框234A可用于选中或者取消选中 第二构图优化图像234。

第三构图优化图像235上可包括复选框235A。该复选框235A可用于选中或者取消选中 第三构图优化图像235。

分享控件236可用于分享被选中的构图优化图像。

编辑控件237可用于编辑被选中的构图优化图像。

保存控件238可用于保存被选中的构图优化图像。例如，响应于作用在复选框233A和 复选框235A的用户操作，第一构图优化图像233和第三构图优化图像235被选中。电子设备100可以保存第一构图优化图像233和第三构图优化图像235。

用户界面230还可以包含更多或更少的内容，本申请实施例对此不作限定。

不限于三张构图优化图像，云服务器200还可以向电子设备100发送更多或更少美学评 分结果排序在前的构图优化图像。

云服务器200对拍摄图像进行裁剪以及美学评分的实现方法将在后续实施例中具体介绍， 这里先不展开说明。

图3A～图3F只是对本申请实施例的示例性说明，不应构成限定。

在一些实施例中，云服务器200还可以在对拍摄图像进行裁剪之前，对拍摄图像进行旋 转校正、透视校正和边缘杂物去除等图像处理，以提高构图优化图像的美感。

图4A和图4B示例性示出了云服务器200对拍摄图像进行旋转校正的示意图。

拍摄图像受电子设备100在拍摄时的姿态影响，拍摄图像所呈现的画面可能是倾斜的。 如图4A所示的拍摄图像，海平线401在拍摄图像中不是水平的。云服务器200可以对该拍 摄图像进行线条检测，来检测拍摄图像中的线条。进一步的，云服务器200可以根据线条检 测结果对该拍摄图像进行水平校正。图4A所示的拍摄图像经过水平校正后得到的图像可以 如图4B所示。在图4B中，海平线402在拍摄图像中时水平的。

图4C和图4D示例性示出了云服务器200对拍摄图像进行透视校正的示意图。

拍摄图像受电子设备100在拍摄时的姿态影响，拍摄图像可能存在一定程度的透视畸变。 云服务器200可以对拍摄图像进行线条检测，并根据拍摄图像中的线条来判断拍摄图像是否 存在透视畸变。如图4C所示的拍摄图像是存在透视畸变的图像。在图4C中，离电子设备100 的摄像头越近的物体看起来越大。离电子设备100的摄像头越远的物体看起来越小。被拍摄 的房屋的在图像中呈现的边框应该是矩形。由于存在透视畸变，被拍摄的房屋在图像中呈现 的边框为图4C所示梯形的边框403。云服务器200可以对该图像进行透视校正，以纠正拍摄 图像中物体的形变。经过透视校正的图像如图4D所示。由图4D可以看出，经过透视校正的 图像可以相当于是从被拍摄的房屋的正前方拍摄得到的。

上述旋转校正、透视校正和边缘杂物去除的实现方法将在后续实施例中具体介绍，这里 先不展开说明。

在一些实施例中，当接收到对拍摄图像进行构图优化的用户操作，例如作用在图3E所示 确定控件231A的用户操作，电子设备100可以监测自己的网络连接状态。当监测到电子设 备100未连接网络，电子设备100可以提示用户构图优化的操作需要联网，请先连接网络。 本申请实施例对电子设备100提示用户电子设备100未连接网络的方法不作限定。

在一些实施例中，电子设备100可以对图库应用程序中任意一张包含人像的图像进行构 图优化。示例性的，电子设备100可以将图库应用程序中被选中的包含人像的图像发送给云 服务器200。云服务器200可以利用不同的裁剪方法对该图像进行裁剪，并对经过采集得到 的图像进行美学评分。云服务器200可以将美学评分结果排序在前(即构图效果最优)的一 张或多张构图优化图像发送给电子设备100。进而，电子设备100可以将这一张或多张构图 优化图像提供给用户。

由于本申请涉及神经网络的应用，为了便于理解，下面对本申请实施例可能涉及的神经 网络的相关术语进行介绍。

1、神经网络

神经网络可以是由神经单元组成的，神经单元可以是指以x_s和截距1为输入的运算单元， 该运算单元的输出可以参考下述公式(1)：

其中，s＝1、2、……、n，n为大于1的自然数，W_s为x_s的权重，b为神经单元的偏置。 f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神 经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。 激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的 网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前 一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组 成的区域。

2、损失函数

在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值， 所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更 新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为神经 网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一 些，不断的调整，直到神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接 近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方 程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的 训练就变成了尽可能缩小这个loss的过程。

3、反向传播算法

卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初 始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前 向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨 率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动， 旨在得到最优的超分辨率模型的参数，例如权重矩阵。

下面介绍本申请实施例中云服务器200确定模板图库中与预览图像相似的模板图像的实 现方法。

云服务器200可以通过场景识别、关键点检测、人脸识别以及景别识别从模板图库中确 定出模板库子集。模板库子集中包含的模板图像为拍摄场景、人物性别、年龄和姿态、人物 数量以及拍摄景别中一项或多项与预览图像相似的图像。进一步的，云服务器200可以通过 相似度度量算法从上述模板库子集中确定出相似度排序在前的一张或多张模板图像。

这里对上述场景识别、关键点检测、人脸识别、景别识别、模板库子集确定以及相似度 度量的方法进行介绍。

1、场景识别

云服务器200可以利用场景识别模型来确定图像的拍摄场景。该场景识别模型可以是神 经网络模型。例如，场景识别模型具体可以是Resnet网络等分类网络。

用于训练该场景识别模型的训练数据可包括不同拍摄场景(如水边、草地、沙滩、道路 等等)的图像。经过训练的场景识别模型可以识别出不同拍摄场景的图像的特征，从而确定 图像的拍摄场景。

本申请实施例对场景识别模型的网络类型不作限定。场景识别模型的训练方法可以参考 现有技术中训练神经网络模型的方法，本申请对此不再赘述。

2、关键点检测

如图5所示，人体可包括多个关键点：头部点、颈部点、左肩点、右肩点、右肘点、左肘点、右手点、左手点、右髋点、左髋点、左右髋中间点、右膝点、左膝点、右脚点、左脚 点。不限于上述关键点，本申请实施例中还可以包括其他关键点，此处不做具体限定。

通过连接检测到的关键点，云服务器200可以估计人体姿态。

在一种可能的实现方式中，云服务器200可以利用关键点检测模型来检测图像中人体的 关键点。该关键点检测模型可以为卷积神经网络模型。其中，利用该关键点检测模型，云服 务器200可以对图像进行特征提取，确定图像中人体的关键点以及各关键点之间的联系。进 一步的，云服务器200可以区别属于不同人体的关键点，并将属于同一个人体的关键点连接 起来，形成一个人的整体骨架。根据上述由关键点确定出的人体骨架，云服务器200可以估 计人体姿态，例如站立、坐立、躺姿等姿态。上述云服务器200区别属于不同人体的关键点 并将属于同一个人体的关键点连接起来的方法可以是偶匹配算法、匈牙利算法等方法，本申 请实施例对此不作限定。

不限于通过上述关键点检测模型确定的人体关键点来估计图像中的人体姿态，云服务器 200还可以通过其它人体姿态检测算法来估计人体姿态。

3、人脸识别

云服务器200可通过人脸识别确定图像中人脸的数量(即人物数量)、每张人脸的性别和 年龄。

在一种可能的实现方式中，云服务器200可以利用人脸识别模型进行人脸识别。该人脸 识别模型可以为卷积神经网络模型。用于训练该人脸识别模型的训练数据可以包括不同年龄 男性的人脸图像、不同年龄女性的人脸图像以及包含不同人脸数量的人脸图像。经过训练的 人脸识别模型可以确定出输入至人脸识别模型的图像中人脸的特征，从而确定出人脸的数量 以及每张人脸的性别和年龄。本申请实施例对上述人脸识别模型的训练数据和训练方法不作 限定。

云服务器200还可以通过其它方式进行人脸识别，本申请对此不作限定。

不限于通过人脸识别来确定图像中的人物数量、人物性别和年龄，云服务器200还可以 识别图像中人物的其他特征，例如穿着、发型等等。

4、景别识别

在一种可能的实现方式中，云服务器200可以利用景别识别模型确定图像中的景别。该 景别识别模型可以是神经网络模型。例如，景别识别模型具体可以是Resnet网络等分类网络。

用于训练该景别识别模型的训练数据可以包括特写的人物图像、近景的人物图像、中景 的人物图像、全景的人物图像和远景的人物图像。训练好的景别识别模型可以根据不同景别 的图像的特征，确定图像中的景别。本申请实施例对景别识别模型的训练数据和训练方法均 不作限定。

不限于通过上述神经网络模型的方法确定图像中的景别，云服务器200还可以通过其它 方法进行景别识别。

5、模板库子集确定

基于上述场景识别、关键点检测、人脸识别和景别识别的结果，云服务器200可以从模 板图库中确定模板库子集。

在一种可能的实现方式中，云服务器200可以利用加权平均的方法将模板图库中的模板 图像与预览图像进行匹配。匹配成功的模板图像可以组成模板库子集。示例性的，在确定一 张模板图像是否与预览图像匹配时，拍摄场景的权重为0.6，人物数量的权重为0.1，人物年 龄的权重为0.06，人物性别的权重为0.04，人体姿态的权重为0.1，拍摄景别的权重为0.1。 若模板图像中上述任一个特征与预览图像匹配，则该特征对应的特征值为1。否则，该特征 对应的特征值为0。

云服务器200可以根据上述特征的权重以及特征值计算模板图库中每一张模板图像的特 征匹配度。例如，图3D所示的预览图像与第一模板图像225具有相同的拍摄场景、相同的 人物数量、相同的人物年龄、相同的人物性别、相同的人体姿态以及相同的拍摄景别。第一 模板图像225的特征匹配度y1＝0.6*1+0.1*1+0.06*1+0.04*1+0.1*1+0.1*1，即为1。图3D所示 的预览图像与第四模板图像228具有相同的拍摄场景、相同的人物数量、相同的人物年龄、 相同的人物性别、不同的人体姿态以及不同的拍摄景别。第四模板图像228的特征匹配度 y2＝0.6*1+0.1*1+0.06*1+0.04*1+0.1*0+0.1*0，即为0.8。

云服务器200可以比较各模板图像的特征匹配度与第一阈值的大小，筛选出匹配成功的 模板图像。上述匹配成功的模板图像可以是特征匹配度大于上述第一阈值的图像。例如，第 一阈值为0.7。若模板图像的特征匹配度大于0.7，则云服务器200可以将该模板图像归纳至 模板库子集中。

上述拍摄场景的权重，人体姿态的权重、人物数量的权重、人物性别的权重、人物年龄 的权重、拍摄景别的权重以及第一阈值的取值仅为示例性说明。本申请实施例对上述参数的 具体取值不作限定。

6、相似度度量

当得到上述模板库子集，云服务器200可以进一步比较模板库子集中各模板图像与预览 图像的相似度，并将相似度排序在前的一张或多张模板图像发送给电子设备100。

在一种可能的实现方式中，云服务器200可以利用相似度度量模型来确定模板图像与预 览图像的相似度。该相似度度量模型可以为神经网络模型。例如，Deep Ranking网络模型等 等。

用于训练上述相似度度量模型的训练数据可包括多个三元组样本。一个三元组样本可包 括一张锚定图像、一张与锚定图像相似的正样本图像以及一张与锚定图像不相似的负样本图 像。上述锚定图像可以为包含有人像的人物图像。经过训练的相似度度量模型可以确定出正 样本图像与锚定图像之间的相似度高于负样本图像与锚定图像之间的相似度。即利用训练好 的相似度度量模型可以得到正样本图像和负样本图像在与锚定图像的相似程度上的排序。上 述相似度度量模型的训练方法可以参考现有技术中基于三元组构建损失函数的神经网络模型 的训练方法，本申请对此不作赘述。

云服务器200可以将预览图像与模板库子集中的两张模板图像输入上述相似度度量模型， 得到这两张模板图像在相似度上的排序。遍历模板库子集中的模板图像，云服务器200可以 得到模板库子集中所有模板图像在相似度上的排序。其中，相似度排序在前的模板图像的比 相似度排序在后的模板图像与预览图片更相似。

当得到模板库子集中所有模板图像在相似度上的排序，云服务器200可以将相似度排序 在前的一张或多张模板图像发送给电子设备100(如图3C所示的第一模板图像225～第四模 板图像228)。

本申请实施例对云服务器200进行上述场景识别、关键点检测、人脸识别以及景别识别 的顺序不作限定。其中，根据接收到的预览图像，云服务器200可以同时进行场景识别、关 键点检测、人脸识别以及景别识别。

在一些实施例中，电子设备100可以每隔预设时间(如10秒)向云服务器200发送一次 预览图像，并接收来自云服务器200发送的模板图像。这样，电子设备100可以每隔预设时 间更新用户界面上显示的模板图像，以免显示在预览区域中预览图像的内容发生较大变化而 导致当前显示在用户界面上的模板图像与预览图像差距较大。也即是说，用户在拍照过程中 改变拍摄的内容时，电子设备100可以及时更新模板图像，使得当前显示在用户界面的模板 图像与预览图像是最相似的，从而提高用户的构图体验。本申请实施例对上述预设时间的长 度不作限定。

在上述方法中，电子设备100可以借助云服务器200的处理能力确定与预览图像相似的 模板图像。这有效地降低了对电子设备100硬件的要求。另外，结合拍摄场景、人物性别、 年龄和姿态、人物数量以及拍摄景别等特征的识别，云服务器200可以确定出与预览图像相 似度较高的模板图像。这些模板图像可以从图像整体美感的角度引导用户构图，提高人像摄 像的姿态感和美感。并且，由于模板图像与预览图像相似，用户参考这些模板图像进行构图 时所需要的参与度较少，有利于降低用户根据模板图像的引导进行构图的难度，用户可以更 加轻松地拍摄出构图效果好的人物图像。

下面介绍本申请实施例中云服务器200对拍摄图像进行构图优化的实现方法。

云服务器200可以对拍摄图像进行旋转校正、透视校正、边缘杂物去除的图像处理。对 经过上述图像处理的图像，云服务器200可以进行显著性检测，确定该图像中的显著性区域。 该显著性区域即为该图像中人像所在的区域。云服务器还可以利用不同的裁剪方法对经过上 述图像处理得到的图像进行裁剪。进一步的，云服务器200可以结合上述显著性区域对裁剪 得到的多张图像进行美学评分，从中确定出美学评分排序在前的一张或多张构图优化图像。

这里对上述旋转校正、透视校正、边缘杂物去除、显著性检测以及美学评分的方法进行 介绍。

1、旋转校正

在一种可能的实现方式中，云服务器200可以利用线条检测模型对图像进行线条检测。 该线条检测模型可以包括特征提取模块、连接点预测模块、线段采样模块和线段校正模型。 上述特征区域模块可以用于提取图像中的特征。其中，被提取出来的特征可以用于表示图像 中关于边缘(如人像轮廓的边缘、房屋轮廓的边缘)、角点、颜色的信息。上述特征提取模块 提取的特征可以为作为上述连接点预测模块以及上述线段校正模块的输入。上述连接点预测 模块可以根据上述提取的特征确定候选连接点。该候选连接点在图像坐标系中的坐标可以作 为上述线段采样模块的输入。上述线段采样模块可以根据上述候选连接点预测出线段。线段 校正模块的输入还可以包括上述线段采样模块预测出的线段。线段校正模块可用于对上述预 测出的线段进行分类，以确定图像中可用于反映该图像是否存在旋转偏移的主线段。例如， 在前述图4A所示的图像中，用于反映该图像是否存在旋转偏移的主线段为海平线401。

上述线条检测模型中的每一个模块都可以是一个单独的神经网络模型。用于训练线条检 测模型的训练数据可以包括存在旋转偏移的图像和不存在旋转偏移的图像。训练线条检测模 型的方法可以参考现有技术中训练神经网络模型的方法，本申请对此不作赘述。

进一步的，云服务器200可以确定出上述主线段的旋转偏移夹角。该主线段的旋转偏移 夹角为主线段与水平线之间的夹角和主线段与竖直线之间的夹角中较小的夹角。主线段的旋 转偏移夹角大于0可以说明该图像存在旋转偏移。旋转偏移夹角的大小及为该图像旋转偏移 的角度。

云服务器200可以结合该图像在拍摄时电子设备100的陀螺仪传感器采集的数据确定电 子设备100在拍摄该图像时的姿态。若电子设备100在拍摄该图像时的姿态与水平线之间的 夹角或竖直线之间的夹角中较小的夹角小于预设角度(如5°)，云服务器200可以根据上述 主线段的旋转偏移夹角对该图像进行旋转校正。若电子设备100在拍摄该图像时的姿态与水 平线之间的夹角或竖直线之间的夹角中较小的夹角大于预设角度，云服务器200可以不对该 图像进行旋转校正。电子设备100在拍摄该图像时的姿态与水平线之间的夹角或竖直线之间 的夹角中较小的夹角大于预设角度可以表示用户主动将电子设备100倾斜一定角度来拍摄该 图像。即该图像中主线段的旋转偏移夹角是用户所期望的。本申请实施例对上述预设角度的 大小不作限定。

2、透视校正

云服务器200可以根据对图像进行线条检测的结果来判断拍摄图像是否存在透视畸变。 其中，线条检测的方法可以参考上述对图像进行旋转校正中利用线条检测模型进行线条检测 的方法。进一步的，云服务器200可以利用单应矩阵对图像进行透视校正。

如前述图4C所示，在拍摄场景中存在房屋时，云服务器200可以根据线条检测的结果 确定该房屋在图像中呈现的边框为梯形的边框403。云服务器200可以确定该图像存在透视 畸变。云服务器20利用单应矩阵对图像进行透视校正的过程可以为将上述梯形的边框403调 整为矩形的边框的过程。

在一种可能的实现方式中，云服务器200可以利用神经网络模型确定上述用于透视校正 的单应矩阵。该神经网络模型的训练过程即为调整单应矩阵中的值使得如图4C所示梯形的 边框403变换为矩形的边框的过程。云服务器200还可以通过其它方法来确定上述单应矩阵， 本申请对此不作限定。

当得到单应矩阵，云服务器200可以将图像中各像素点在图像坐标系中的坐标与单应矩 阵相乘，得到经过透视校正的图像。

3、边缘杂物去除

在一种可能的实现方式中，云服务器200可以利用目标检测模型对图像进行目标检测。 该目标检测模型可以为神经网络模型。例如，单发多框检测(single shot multiboxdetector， SSD)模型、YOLO目标检测模型等等。

用于训练该目标检测模型的训练数据可包括包含杂物的图像。上述杂物可以例如是树木、 电线杆、垃圾桶、车辆等等。本申请对上述杂物的类型不作限定。经过训练的目标检测模型 可以从图像中识别出上述杂物。训练该目标检测模型的方法可以参考现有技术中训练神经网 络模型的方法，本申请对此不作赘述。

云服务器200可以将需要进行边缘杂物去除的图像输入上述目标检测模型，确定出该图 像中杂物所在的区域。

云服务器200可以判断检测到的杂物的中心点与图像边缘的最小距离是否小于预设距离。 若杂物的中心点与图像边缘的最小距离小于预设距离，云服务器200可以对该图像进行裁剪， 将该杂物从图像中去除。本申请实施例对上述预设距离的大小不作限定。

示例性的，杂物的中心点与图像上边缘、图像下边缘、图像左边缘、图像右边缘的距离 中最小距离为该杂物的中心点与图像上边缘的距离。该最小距离小于上述预设距离。云服务 器200可以对该图像的上边缘进行裁剪，将包括该杂物的区域从图像中去除。

在得到拍摄图像的过程中，拍摄图像所呈现的内容会受到电子设备100在拍摄时姿态的 影响。例如，拍摄图像会出现上述旋转偏移、透视畸变等问题。另外，若用户在拍摄人像时 不注意取景，则拍摄图像中可能会包含垃圾桶、电线杆等杂物。这些问题均会降低拍摄图像 的美感。云服务器200对拍摄图像进行上述旋转校正、透视校正以及边缘杂物去除可以减少 拍摄图像中出现的旋转偏移、透视畸变以及杂物干扰的问题，提高拍摄图像的美感。这样， 用户可以不用担心由于自己不懂构图技巧，在拍摄时电子设备100的姿态不合适而影响拍摄 图像的美感。

4、显著性检测

在一种可能的实现方式中，云服务器200可以利用显著性模型对图像进行显著性检测。 该显著性模型可以是卷积神经网络模型。例如，Mask R-CNN模型。

用于训练该显著性模型的训练数据可以包括包含有人像的图像。经过训练的显著性模型 可以从图像中确定出人像所在的区域。训练该显著性模型的方法可以参考现有技术中训练卷 积神经网络模型的方法，本申请对此不作赘述。

不限于通过上述显著性模型进行显著性检测的方法，云服务器200还可以通过其他方法 从图像中确定出人像所在的区域。

5、美学评分

云服务器200可以按照不同的裁剪方法对图像进行裁剪，并利用美学评分模型对裁剪得 到的裁剪图像进行美学评分。其中，上述被裁剪的图像可以是经过上述旋转校正、透视校正 以及边缘杂物去除的拍摄图像。上述美学评分模型可以是神经网络模型。例如SSD模型等。

用于训练该美学评分模型的训练数据可以包括多组裁剪图像样本。一组裁剪图像样本可 包括一张包含人像的图像、对这一张包含人像的图像进行显著性检测得到的显著性图像、对 这一张包含人像的图像按照不同裁剪方法进行裁剪得到的多张裁剪图像。其中，上述显著性 图像可用于指示上述一张包含人像的图像中人像所在的区域。上述多张裁剪图像标记有美学 分数。美学分数越高的裁剪图像的美感越高。上述多张裁剪图像的美学分数可以是人工标记 得到的。上述一组裁剪图像样本中一张包含人像的图像、对这一张包含人像的图像按照不同 裁剪方法进行裁剪得到的多张裁剪图像可以是公开数据集中的数据。例如比较图片构图 (comparative photo composition，CPC)数据集、基于网格锚点的图像裁剪数据集(grid anchor based image cropping，GAICD)等等。

其中，美学评分模型对裁剪图像进行打分时可以以上述显著性图像为约束条件。裁剪图 像包含上述显著性图像指示的人物所在的区域且对应的美学分数越高，美学评分模型对该裁 剪图像的打分越高。也即是说，包含人像所在区域的图像的裁剪图像的打分较高。不包含人 像所在区域的图像的裁剪图像打分较低。

云服务器200可以利用预设尺寸的裁剪框对图像进行一次裁剪，并利用美学评分模型从 上述一次裁剪得到的裁剪图像中确定打分最高的裁剪图像。进一步的，云服务器200可以以 上述一次裁剪中打分最高的裁剪图像为基础，对原图像进行二次裁剪。其中，上述二次裁剪 对裁剪框的尺寸不作限定。二次裁剪得到的裁剪图像的内容均包含上述一次裁剪中打分最高 的裁剪图像的内容。

图6A和图6B分别示例性示出了云服务器200对图像A进行一次裁剪和二次裁剪的方法 示意图。

如图6A所示，云服务器200可以将预设尺寸的裁剪框在图像A中滑动，以从图像A中获得裁剪图像。当裁剪框滑动至图像A中区域601所在的位置时，云服务器200可以得到裁剪图像611。当裁剪框滑动至图像A中区域602所在的位置时，云服务器200可以得到裁剪 图像612。当裁剪框滑动至图像A中区域603所在的位置时，云服务器200可以得到裁剪图 像613。云服务器200可以遍历图像A的所有区域，利用图6A所示的裁剪框对图像A进行 裁剪，得到多张裁剪图像。

不限于一个预设尺寸的裁剪框，云服务器200可以利用多个不同预设尺寸的裁剪框，按 照上述方法对图像A进行裁剪。本申请实施例对各裁剪框的预设尺寸的大小不作限定。

进一步的，云服务器200可以利用美学评分模型对这多张裁剪图像打分，得到其中打分 最高的一张裁剪图像。例如，裁剪图像613为经过图6A所示一次裁剪得到的多张裁剪图像 中打分最高的裁剪图像。云服务器200可以以裁剪图像613为基础，对图像A进行二次裁剪。

如图6B所示，云服务器200可以对图像A进行二次裁剪，使得裁剪得到的裁剪图像均 包含裁剪图像613所在的区域。具体的，由一个矩形中处于一条对角线上的两个顶点，例如 左上顶点和右下顶点，可以确定这一个矩形的尺寸。云服务器200可以利用裁剪图像613左 上顶点在图像A中的像素点631和裁剪图像右下顶点在图像A中的像素点632，确定图像A中的第一区域621和第二区域622。其中，第一区域621为以图像A的左上顶点的像素点为 左上顶点，以像素点631为右下顶点的矩形区域。该矩形区域的长和宽可分别为d1和d2。 第二区域622为以图像A的右下顶点的像素点为右下顶点，以像素点632为左上顶点的矩形 区域。该矩形区域的长和宽可分别为d3和d4。

云服务器200可以从第一区域621和第二区域622中各选取一个像素点，分别作为矩形 裁剪框的左上顶点和右下顶点。云服务器200可以利用由第一区域621和第二区域622中的 像素点确定的裁剪框对图像A进行裁剪。经过裁剪得到的图像是包含裁剪图像631所在区域 的图像。

云服务器200可以遍历第一区域621和第二区域622中的像素点，得到多个尺寸不同的 裁剪框。利用这多个不同尺寸的裁剪框对图像A进行裁剪，云服务器200可以得到图像A中 所有包含裁剪图像631所在区域的裁剪图像。

云服务器200可以利用美学评分模型对经过图6B所示二次裁剪得到的多张裁剪图像打 分。云服务器200可以将打分排序在前的一张或多张裁剪图像作为构图优化图像发送给电子 设备100。

在一些实施例中，上述第一区域621还可以是尺寸小于图6B所示尺寸的区域。具体的， 第一区域621可以是以图像A的左上顶点的像素点为左上顶点，长小于d1和/或宽小于d2的 区域。上述第二区域还可以是尺寸小于图6B所示尺寸的区域。具体的，第二区域622可以 是以图像A的右下顶点的像素点为右下顶点，长小于d3和/或宽小于d4的区域。

可选的，云服务器200可以利用裁剪图像631的右上顶点和左下顶点在图像A中的像素 点来确定上述第一区域和上述第二区域。

由上述方法可知，云服务器200可以在上述一次裁剪的过程中，利用预设尺寸的裁剪框 对图像进行裁剪。一次裁剪得到的打分最高的图像是在特定裁剪框下，包含有人像所在区域 的构图效果最好的图像。但在预设尺寸的裁剪框以外，可能存在其他尺寸的裁剪框使得对图 像进行裁剪得到的裁剪图像具有更好的构图效果。云服务器200对图像进行上述二次裁剪， 可以减少裁剪框的尺寸固定对确定构图优化图像的影响。不限于预设尺寸的裁剪框，云服务 器200可以从各种不同尺寸的裁剪框裁剪得到的裁剪图像中选择美学评分模型打分最高的裁 剪图像。

并且，云服务器200先利用一个或多个预设尺寸的裁剪框对图像进行一次裁剪，可以先 确定包含有人像所在区域且构图效果较好的裁剪图像。在该裁剪图像的基础上再进行上述二 次裁剪，云服务器200可以不用利用每一种尺寸的裁剪框对图像的所有区域进行遍历。这可 以节省云服务器200的计算资源，提高获得构图优化图像的效率。

在一些实施例中，云服务器200可以利用用户选择的构图优化图像来更新上述美学评分 模型。即美学评分模型可以结合不同用户的偏好对裁剪图像进行打分。

具体的，如图3F所示，用户可以选择一张或多张构图优化图像进行保存。电子设备100 可以将被保存的一张或多张构图优化图像(或者是这些构图优化图像的标识号)发送给云服 务器200。云服务器200可以调整发送给电子设备100的多张构图优化图像的美学分数。在 一种可能的实现方式中，这多张构图优化图像中任一张构图优化图像经过调整的美学分数可 以由两部分组成：一部分由美学分数经过调整前美学评分网络对这一张构图优化图像的打分 确定，另一部分由这一张构图优化图像是否被用户选择保存来确定。其中，一张构图优化图 像可具有用户偏好打分。例如，若一张构图优化图像被用户选择保存，则这一张构图优化图 像的用户偏好打分为10分。否则，这一张构图优化图像的用户偏好打分为0分。美学分数经 过调整前美学评分网络对这一张构图优化图像的打分中的第一比例，与这一张构图优化图像 的用户偏好打分中的第二比例之和为这一张构图优化图像经过调整后的美学分数。上述第一 比例和第二比例之和为1。本申请实施例对上述用户偏好打分、第一比例和第二比例的具体 取值不作限定。

可以看出，美学分数经过上述调整，被用户选择保存的构图优化图像的美学分数会高于 未被用户选择保存的构图优化图像的美学分数。

进一步的，云服务器200可以利用与上述构图优化图像对应的拍摄图像(或者经过旋转 校正、透视校正和边缘杂物去除的拍摄图像)、对该拍摄图像进行显著性检测得到的显著性图 像以及上述美学分数经过调整的构图优化图像训练美学评分模型。美学评分模型对裁剪图像 进行打分时可以以上述显著性图像为约束条件。裁剪图像包含上述显著性图像指示的人物所 在的区域且对应的上述经过调整的美学分数越高，美学评分模型对该裁剪图像的打分越高。

云服务器200利用更新的美学评分模型对拍摄图像进行构图优化时，为用户提供的构图 优化图像在考虑通用的构图效果美感的基础上，还考虑了用户个人对不同构图方式的偏好。 例如，云服务器200利用更新的美学评分模型对图3F所示的拍摄图像232进行构图优化时， 美学评分模型对第一构图优化图像233的打分可能高于第三构图优化图像235的打分，对第 三构图优化图像235的打分可能高于第二构图优化图像234。即电子设备100可以按照第一 构图优化图像233、第三构图优化图像235、第二构图优化图像234的先后顺序来显示构图优 化图像。

在上述方法中，云服务器200可以存储与各电子设备对应的美学评分模型。当为电子设 备100发送的拍摄图像进行构图优化时，云服务器200可以利用与电子设备100对应的美学 评分模型完成构图优化。其中，云服务器200通过电子设备上用户登录的账户(例如，华为 账户)对电子设备进行区分。

本申请实施例对云服务器200利用用户选择的构图优化图像更新上述美学评分模型的方 法不作限定。

由上述方法可知，云服务器200在构图优化时可以结合不同用户对不同构图方式的偏好， 为用户提供更符合其偏好的构图优化图像，提高用户的构图体验。

图7示例性示出了本申请实施例提供的一种拍照方法的流程图。

如图7所示，该方法可包括步骤S101～S110。其中，步骤S101～S105为电子设备100借 助云服务器200的处理能力为用户推荐模板图像，引导用户构图的过程。步骤S106～S110为 电子设备100借助云服务器200的处理能力对拍摄图像进行构图优化，为用户提供构图效果 更好的图像的过程。

S101、电子设备100开启相机应用程序中的智能人像模式。

电子设备100可以响应于作用在如图3A所示的相机应用图标211的用户操作，开启相 机应用程序。进一步的，电子设备100可以响应于作用在如图3B所示的智能人像模式选项 201B的用户操作，开启智能人像模式。在智能人像模式下，电子设备100可以借助云服务器 200的处理能力为用户推荐模板图像，引导用户构图，并对用户拍摄的拍摄图像进行构图优 化，为用户提供构图效果更好的图像。

本申请实施例对用于开启相机应用程序中的智能人像模式的用户操作不作限定。

S102、电子设备100向云服务器200发送预览图像。

该预览图像可以为显示在如图3B所示的预览区域221中的图像。

在智能人像模式下，若电子设备100的网络处于连接状态，电子设备100可以将预览图 像发送给云服务器200。

智能人像模式下，若电子设备100检测到预览图像中不包含人像，电子设备100可以在 用户界面提示用户未检测到人像。

在一些实施例中，电子设备100还可以根据位置传感器确定电子设备100当前所处的位 置信息(例如北京故宫)。电子设备100可以将该位置信息发送给云服务器200。

在一些实施例中，电子设备100可以在检测到预览图像中包含人像，且电子设备100的 网络处于连接状态时，向云服务器200发送预览图像。也即是说，电子设备100的相机应用 程序中可以不设置上述智能人像模式。当开启相机应用程序，电子设备100可以检测预览图 像中是否包含人像。这样，用户可以无需手动开启上述智能人像模式。

S103、云服务器200基于拍摄场景、拍摄景别、被拍摄者的姿态、被拍摄者的身份信息 和被拍摄者的数量，从模板图库中确定一张或多张与预览图像相似的模板图像。

云服务器200确定模板图库中与预览图像相似的模板图像的方法可以参考前述实施例的 介绍，这里不再赘述。

在一些实施例中，云服务器200在从模板图库中确定与预览图像相似的模板图像时，还 可以根据上述步骤S102中来自电子设备100的位置信息，从模板图库中搜索在该位置信息(例 如背景故宫)下，且与预览图像最为相似的模板图像。

S104、云服务器200向电子设备100发送一张或多张与预览图像相似的模板图像。

S105、电子设备100显示接收到的模板图像。

如图3C所示，电子设备100可以显示接收到的模板图像。该模板图像可以引导用户进 行构图。例如，被拍摄者可以参考模板图像中人物的姿态。在拍摄图像时可以参考模板图像 中人物在图像中所处的位置。

S106、电子设备100接收到拍照的用户操作，将显示在预览区域的图像保存为拍摄图像。

上述拍照的用户操作可以例如是图3C所示作用在快门控件223的用户操作。电子设备 100可以将接收到该拍照的用户操作时显示中在预览区域221中的图像保存为拍摄图像。

S107、电子设备100向云服务器200发送拍摄图像。

在一些实施例中，电子设备100可以在接收到对拍摄图像进行构图优化的用户操作的条 件下，向云服务器200发送拍摄图像。上述对拍摄图像进行构图优化的用户操作可以例如是 作用在图3E所示确定控件231A的用户操作。也即是说，在接收到对拍摄图像进行构图优化 的用户操作的条件下，电子设备100可以借助云服务器200的处理能力对拍摄图像进行构图 优化。若未接收到对拍摄图像进行构图优化的用户操作，电子设备100可以不对拍摄图像进 行构图优化。

可选的，当得到的拍摄图像，电子设备100也可以直接向云服务器200发送拍摄图像， 以借助云服务器200的处理能力对拍摄图像进行构图优化。

S108、云服务器200对拍摄图像进行构图优化，得到一张或多张构图优化图像。

云服务器200对拍摄图像进行构图优化的方法可以参考前述实施例的介绍，这里不再赘 述。

S109、云服务器200向电子设备100发送一张或多张构图优化图像。

S110、电子设备100显示接收到的构图优化图像。

如图3F所示，电子设备100可以显示接收到的构图优化图像。这些构图优化图像的显示 顺序可以是根据其美学分数确定的。显示顺序在前面的构图优化图像的美学分数高于显示顺 序在后面的构图优化图像。即显示顺序越靠前的构图优化图像是云服务器200中的美学评分 网络认为构图效果越好的图像。

电子设备100可以保存这些构图优化图像中被用户选中的图像。

由上述拍照方法可知，电子设备100可以借助云服务器200的处理能力确定与预览图像 相似的模板图像，以及对拍摄图像进行构图优化。这有效地降低了对电子设备100硬件的要 求。其中，结合拍摄场景、拍摄景别、被拍摄者的姿态、被拍摄者的身份信息和被拍摄者的 数量等特征的识别，云服务器200可以确定出与预览图像相似度较高的模板图像。这些模板 图像可以从图像整体美感的角度引导用户构图，提高人像摄像的姿态感和美感。由于模板图 像与预览图像相似，用户参考这些模板图像进行构图时所需要的参与度较少，有利于降低用 户根据模板图像的引导进行构图的难度，用户可以更加轻松地拍摄出构图效果好的人物图像。 而电子设备100借助云服务器200为用户提供的构图优化图像可以进一步提升用户拍摄图像 的构图效果。利用上述拍照方法，用户无需花费大量精力学习各种构图技巧，也可以拍摄出 好看的人物图像。这极大地提高了用户的拍照体验。

图8示例性示出了本申请实施例提供的一种图像处理系统的架构图。

如图8所示，该图像处理系统可包括电子设备100和云服务器200。

云服务器200可包括处理器801、存储器802和通信模块803。电子设备100可包括处理 器811、存储器812、通信模块813、显示屏814、摄像头815和传感器816。电子设备100 可以通过2G网络、3G网络、4G网络、5G网络、WLAN等连接上云服务器200。其中：

云服务器200的处理器801中可包括模板图像推荐模块801A和构图优化模块801B。模 板图像推荐模块801A可用于从模板图库802B中搜索与指定图像，例如来自电子设备100的 预览图像，相似的模板图像。模板图像推荐模块801A确定模板图库802B中与指定图像相似 的模板图像的方法可以参考前述实施例的介绍，这里不再赘述。构图优化模块801B可用于 对指定图像，例如来自电子设备100的拍摄图像，进行旋转校正、透视校正、边缘杂物去除、 利用美学评分模型选取指定图像的裁剪图像中打分最高的图像等构图优化的操作。构图优化 模块801B对指定图像进行构图优化的方法可以参考前述实施例的介绍，这里不再赘述。

模板图像推荐模块801A和构图优化模块801B可以集成在同一个处理器芯片中，由同一 个处理器芯片执行相应的功能。或者，模板图像推荐模块801A和构图优化模块801B可以集 成在不同的处理器芯片中。本申请实施例对此不作限定。

云服务器200的存储器802中可存储有知识源802A和模板图库802B。

模板图库802B中可包含大量模板图像。模板图像可以是包含有人像的人物图像。模板 图像模板图像可用于指示用户在特定拍摄场景下对被拍摄者进行拍照时最具美感的构图方式。 模板图像可以是通过收集专业摄影师拍摄的图像得到的，也可以是由用户上传的。

云服务器200可以更新模板图库802B中的模板图像，使得模板图像满足实际应用中的 需求。

知识源802A中可包括构图方法、图像的美学评分项目等关于图像美学的相关知识。上 述构图方法可以例如是中心构图法、三分线构图法、水平线构图法、对称式构图法等。上述 图像的美学评分项目可用于对训练美学评分模型的训练数据进行标记。其中，在用于训练美 学评分模型的训练数据中，对一张图像按照不同裁剪方法进行裁剪得到的多张裁剪图像标记 有美学分数。上述标记的美学分数可以是人工标记的。上述美学分数的标记者(如专业摄影 师)可以基于自己的图像美学鉴赏经验，按照知识源802A中图像的美学评分项目为图像标 记美学分数。例如，上述图像的美学评分项目可以包括：图像中人像的姿态是否具有美感、 图像中人物所处的位置在拍摄场景中是否合适等等。本申请实施例对上述图像的美学评分项 目不作限定。

人们对一张图像的美学评分是会发生变化的。云服务器200可以更新知识源802A中的 构图方法、图像的美学评分项目，使得知识源802A所包含的关于图像美学的相关知识可以 与一般大众对图像是否具有美感的理解保持一致。

云服务器200的存储器802还可存储前述实施例中的场景识别模型、关键点检测模型、 人脸识别模型、景别识别模型以及相似度度量模型。处理器801中的模板图像推荐模块801A 可以调用与上述模型对应的计算机程序，以确定模板图库802B中与预览图像相似的模板图 像。

云服务器200的存储器802还可存储前述实施例中的目标检测模型、显著性检测模型、 美学评分模型以及与对图像进行旋转校正、透视校正、一次裁剪、二次裁剪对应的计算机程 序。处理器801中的构图优化模块801B可以调用上述计算机程序，以对拍摄图像进行构图 优化。

其中，在云服务器200更新上述知识源802A和/或上述模板图库802B的情况下，云服 务器200可以利用更新后的知识源和/或模板图库来更新模板图像推荐模块801A、构图优化 模块801B所调用的相关模型。

云服务器200的通信模块803可用于与电子设备100建立通信连接。通过该通信模块803， 云服务器200可以接收到来自电子设备100的预览图像以及拍摄图像，并向电子设备100发 送模板图像和构图优化图像。

电子设备100的通信模块813可用于与云服务器200建立通信连接。

电子设备100的摄像头815可用于采集图像。响应于开启相机应用程序的用户操作，电 子设备100可以开启摄像头815。电子设备100可以将通过摄像头815采集得到的预览图像 显示在显示屏814上。响应于拍照的用户操作，电子设备100可以将检测到拍照的用户操作 时显示在显示屏814上的预览图像保存为拍摄图像。

电子设备100的显示屏814可以显示上述预览图像。显示屏814还可以显示来自云服务 器200的模板图像，以引导用户在拍照时进行构图。显示屏814还可以显示来自云服务器200 的构图优化图像，为用户提供对拍摄图像进行构图优化后的图像。

电子设备100的传感器816可以包括陀螺仪传感器816A、位置传感器816B等等。其中， 陀螺仪传感器816A采集的数据可用于确定电子设备100的姿态。电子设备100可以将得到 拍照图像时陀螺仪传感器816A采集的数据发送给云服务器200。利用该陀螺仪传感器816A 采集的数据，云服务器200可以判断是否对该拍摄图像进行旋转校正。位置传感器816B采 集的数据可用于确定电子设备100当前所处的位置信息。电子设备100可以将得到预览图像 时电子设备100所处的位置信息发送给云服务器200。利用该电子设备100所处的位置信息， 云服务器200可以从模板图库中搜索在该位置信息下，且与预览图像最为相似的模板图像。

电子设备100的存储器812可用于存储上述拍摄图像、构图优化图像等等。存储器812 中还可以存储有计算机程序。电子设备100的处理器811可以调用存储器812中的计算机程 序，使得电子设备100与云服务器200建立通信连接，借助云服务器200的处理能力来得到 与预览图像相似的模板图像，以引导用户在拍照时进行构图，并对得到的拍摄图像进行构图 优化。

云服务器200和电子设备100中还可以包含更多或更少的组件，本申请实施例对此不作 限定。

由上述图像处理系统可知，电子设备100可以借助云服务器200的处理能力确定与预览 图像相似的模板图像，以及对拍摄图像进行构图优化。这有效地降低了对电子设备100硬件 的要求。电子设备100可以接收到的模板图像从图像整体美感的角度引导用户构图，提高人 像摄影的姿态感和美感。这样，用户无需花费大量精力学习各种构图技巧，也可以拍摄出好 看的人物图像。并且，通过后期处理的方式对拍摄图像进行构图优化可以进一步提高图像的 美感。利用上述构图优化的方法，用户可以不用再花费时间和精力自己对拍摄图像进行编辑 处理。

在本申请实施例中，电子设备可以显示预览界面，该预览界面可包括预览框，该预览框 可用于显示摄像头实时采集的图像。上述预览界面可以是前述实施例中的拍摄界面220。上 述预览框可以是前述实施例中预览区域221所对应的边框。上述预览框中显示的图像(如第 一图像、第二图像、第三图像)均可以为前述实施例中的预览图像。

在本申请实施例中，电子设备在上述预览框中显示第三图像时，接收到拍摄操作，可以 保存该第三图像并将第三图像发送给云服务器。其中，上述拍摄操作可以例如是作用在如图 3C所示的作用在快门控件223上的用户操作。电子设备保存上述第三图像，可以得到前述实 施例中的拍摄图像。

在本申请实施例中，云服务器从第三图像中确定出至少一张第三裁剪图像，并将这至少 一张裁剪图像发送给电子设备。这至少一张裁剪图像可以为前述实施例中的构图优化图像。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实 施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实 施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者 替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种图像处理方法，应用于图像处理系统，所述图像处理系统包括电子设备和云服务器，其特征在于，所述方法包括：

所述电子设备显示预览界面，所述预览界面包括预览框，所述预览框用于显示摄像头实时采集的图像；所述电子设备对显示在所述预览框中的图像进行人物检测；

在所述预览框中显示第一图像时，所述第一图像不包含人物，所述电子设备接收到拍摄操作，保存所述第一图像；

在所述预览框中显示第二图像时，所述第二图像包含人物，所述电子设备将所述第二图像发送给所述云服务器；

所述云服务器根据所述第二图像从模板图库中确定至少一张模板图像，并将所述至少一张模板图像发送给所述电子设备；所述至少一张模板图像为所述模板图库中与所述第二图像在以下一个或多个特征上相似度最高的图像：拍摄场景、拍摄景别、人物姿态、人物数量、人物性别和人物年龄；

所述电子设备在所述预览界面还显示所述至少一张模板图像；

在所述预览框中显示第三图像时，所述第三图像包含人物，所述电子设备接收到拍摄操作，保存所述第三图像，并将所述第三图像发送给所述云服务器；

所述云服务器利用具有第一尺寸的第一裁剪框遍历所述第三图像的所有区域，对所述第三图像进行裁剪，得到多张具有所述第一尺寸的第一裁剪图像；

所述云服务器利用美学评分模型从多张所述第一裁剪图像中选出第二裁剪图像，所述第二裁剪图像是多张所述第一裁剪图像中美学评分最高的；所述美学评分模型通过多组第一训练样本训练得到，一组所述第一训练样本包括一张人物图像、一张对所述人物图像进行显著性检测得到的显著性图像、多张对所述人物图像进行裁剪得到的裁剪图像；多张所述裁剪图像对应有各自的美学分数；所述显著性图像用于指示所述人物图像中人物所在的区域；所述裁剪图像包含所述显著性图像指示的人物所在的区域且对应的所述美学分数越高，所述美学评分模型对所述裁剪图像的美学评分越高；

所述云服务器从所述第三图像上确定出至少一张第三裁剪图像，并将所述至少一张第三裁剪图像发送给所述电子设备；所述第三裁剪图像的区域包含所述第二裁剪图像的区域；

所述电子设备显示所述至少一张第三裁剪图像。

2.根据权利要求1所述的方法，其特征在于，所述云服务器从所述第三图像上确定出至少一张第三裁剪图像，所述方法具体包括：

所述云服务器根据所述第二裁剪图像对所述第三图像进行裁剪，得到多张第四裁剪图像，所述多张第四裁剪图像的区域包含所述第二裁剪图像的区域；

所述云服务器利用所述美学评分模型从所述多张第四裁剪图像中选出所述至少一张第三裁剪图像，所述至少一张第三裁剪图像是所述多张第四裁剪图像中美学评分最高的。

3.根据权利要求2所述的方法，其特征在于，所述云服务器根据所述第二裁剪图像对所述第三图像进行裁剪，得到多张第四裁剪图像，所述方法具体包括：

所述云服务器根据所述第二裁剪图像确定出所述第三图像的第一区域和第二区域，所述第一区域为所述第三图像的第一顶点与第一位置点所构成的矩形区域，所述第一位置点为所述第二裁剪图像的第二顶点在所述第三图像中对应的点，所述第二区域为所述第三图像的第三顶点与第二位置点所构成的矩形区域，所述第二位置点为所述第二裁剪图像的第四顶点在所述第三图像中对应的点，所述第一顶点与所述第三顶点位于所述第三图像的一条对角线上，所述第二顶点与所述第四顶点位于所述第二裁剪图像的一条对角线上；

所述云服务器遍历所述第一区域和所述第二区域，以所述第一区域中的一点与所述第二区域中的一点所构成的矩形区域对所述第三图像进行裁剪，得到所述多张第四裁剪图像。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述云服务器根据所述第二图像从模板图库中确定至少一张模板图像，所述方法具体包括：

所述云服务器根据所述拍摄场景、所述拍摄景别、所述人物姿态、所述人物数量、所述人物性别和所述人物年龄对应的权重和特征值，计算所述模板图库中模板图像的加权和；所述拍摄场景、所述拍摄景别、所述人物姿态、所述人物数量、所述人物性别和所述人物年龄中任一个特征的特征值由所述第二图像的这一个特征与所述模板图像的这一个特征是否相似确定；

所述云服务器根据所述加权和从所述模板图库中得到模板库子集，所述模板库子集中的模板图像的所述加权和高于第一阈值；

所述云服务器从所述模板库子集中选择至少一张模板图像。

5.根据权利要求4所述的方法，其特征在于，所述云服务器从所述模板库子集中选择至少一张模板图像，所述方法具体包括：

所述云服务器利用相似度度量模型确定所述模板库子集中的模板图像与所述第一图像的相似度排序，并选择所述相似度排序在前的至少一张模板图像；所述相似度度量模型通过多组第二训练样本训练得到，一组所述第二训练样本包括一张锚定图像、一张与所述锚定图像相似的正样本图像、一张与所述锚定图像不相似的负样本图像；所述锚定图像是包含有人物的图像；所述相似度度量模型确定出的所述正样本图像、所述负样本图像与所述锚定图像的相似度排序为所述正样本的相似度排在所述负样本图像的相似度的前面。

6.一种电子设备，其特征在于，包括：摄像头、通信模块、一个或多个存储器、一个或多个处理器；所述一个或多个处理器与所述摄像头、所述通信模块以及所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行上述权利要求1-5中任一项所述的方法。

7.一种云服务器，其特征在于，包括：通信模块、一个或多个存储器、一个或多个处理器；所述一个或多个处理器与所述通信模块、所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述云服务器执行上述权利要求1-5中的任一项所述的方法。