CN114119373A - 图像裁剪方法、装置及电子设备 - Google Patents

图像裁剪方法、装置及电子设备 Download PDF

Info

Publication number
CN114119373A
CN114119373A CN202111435959.4A CN202111435959A CN114119373A CN 114119373 A CN114119373 A CN 114119373A CN 202111435959 A CN202111435959 A CN 202111435959A CN 114119373 A CN114119373 A CN 114119373A
Authority
CN
China
Prior art keywords
image
training
significance
feature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111435959.4A
Other languages
English (en)
Inventor
刘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Guangdong Weiwo Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Weiwo Software Technology Co ltd filed Critical Guangdong Weiwo Software Technology Co ltd
Priority to CN202111435959.4A priority Critical patent/CN114119373A/zh
Publication of CN114119373A publication Critical patent/CN114119373A/zh
Priority to PCT/CN2022/134366 priority patent/WO2023093851A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像裁剪方法、装置及电子设备，其中，图像裁剪方法包括：确定目标图像对应的多个裁剪候选区域；获取目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与目标图像中除所述第一图像区域外的第二图像区域关联；将目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对目标图像进行裁剪。

Description

图像裁剪方法、装置及电子设备
技术领域
本申请涉及通信技术领域，具体涉及一种图像裁剪方法、装置及电子设备。
背景技术
随着电子设备的快速发展，采用电子设备拍摄图像成为常见的图像采集方式。电子设备的相册中存储有用户拍摄的图像，由于大部分图像并非由专业摄影师进行拍摄，并且图像展现的画幅不一，导致图像美学质量参差不齐。
在某些特定场景应用相册中的图像时，需要对图像进行裁剪，以展现图像的图像特征，如，针对展示桌面挂件、相册缩略图、回忆相册或者相册合集的封面的场景，由于这些展示出口往往有着不同地画幅比例，如果仅是对图像进行简单地裁剪生成桌面挂件、相册缩略图或者相册封面，效果往往很差，图像质量不佳。
发明内容
本申请实施例的目的是提供一种图像裁剪方法、装置及电子设备，以解决现有技术中在进行图像裁剪时，所得到的图像质量不佳的问题。
第一方面，本申请实施例提供了一种图像裁剪方法，包括：
确定目标图像对应的多个裁剪候选框；
获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联；
将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；
根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
第二方面，本申请实施例提供了一种图像裁剪装置，包括：
确定模块，用于确定目标图像对应的多个裁剪候选区域；
第一获取模块，用于获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联；
第二获取模块，用于将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；
处理模块，用于根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，通过确定目标图像对应的多个裁剪候选区域，获取目标图像对应的包括与裁剪候选区域关联的第一图像特征和与非裁剪候选区域关联的第二图像特征的图像特征，将目标图像对应的图像特征输入图像评价网络模型，获取多个裁剪候选区域分别对应的表征美学特征和显著性特征中的至少一项的特征分数，根据多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域并对目标图像进行裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果，获取图像质量佳的裁剪图像。
附图说明
图1表示本申请实施例提供的图像裁剪方法示意图；
图2表示本申请实施例提供的美学评价任务模型的网络架构示意图；
图3表示本申请实施例提供的显著性任务模型的网络架构示意图；
图4表示本身请实施例提供的基于策略一获取图像评价网络模型的示意图；
图5表示本身请实施例提供的基于策略二获取图像评价网络模型的示意图；
图6表示本申请实施例提供的图像裁剪装置的示意图；
图7是本申请实施例提供的电子设备的示意框图之一；
图8是本申请实施例提供的电子设备的示意框图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像裁剪方法进行详细地说明。
本申请实施例提供一种图像裁剪方法，参见图1所示，包括：
步骤101、确定目标图像对应的多个裁剪候选框。
本申请实施例提供的图像裁剪方法，可以首先针对目标图像，确定其对应的多个裁剪候选区域，以便于在多个裁剪候选区域中确定出最终的裁剪区域。在确定多个裁剪候选区域时，可以依据预设构图原则确定，预设构图原则可以基于多种摄影构图原则确定，多种摄影构图原则可以包括但不限于三角形构图原则、对角线构图原则、三分构图原则、天头留白构图原则、运动空白构图原则、均衡稳定构图原则等。
步骤102、获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联。
针对目标图像而言，需要获取目标图像对应的图像特征。在获取目标图像对应的图像特征之前，首先对目标图像进行图像数据处理，下面对进行图像数据处理的过程进行简要介绍。针对目标图像，采用双线性插值将其调整为256×256大小，并进行数据增强，其中，数据增强可以包括镜像处理，随机旋转处理，高斯噪声处理，归一化处理等。
在对目标图像进行图像数据处理之后，将目标图像输入骨干网络(如MobileNetv2)，由骨干网络输出多种尺度的特征，并对输出的特征进行特征拼接获取目标图像对应的图像特征。目标图像对应的图像特征可以包括第一图像特征和第二图像特征。第一图像特征为多个裁剪候选区域对应的特征，多个裁剪候选区域与目标图像的第一图像区域关联，即，第一图像特征为与多个裁剪候选区域对应的第一图像区域关联的特征；第二图像特征为与第二图像区域关联的特征，第二图像区域为目标图像中区别于第一图像区域外的图像区域。
步骤103、将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项。
在获取目标图像对应的图像特征之后，可以将目标图像对应的图像特征输入图像评价网络模型，通过图像评价网络模型输出多个裁剪候选区域分别对应的特征分数。其中，图像评价网络模型基于多个训练图像的图像显著性信息和/或多个训练图像的图像美学信息通过模型训练得到，用于针对图像的裁剪候选区域进行评分。目标图像对应的裁剪候选框区域的特征分数用于表征裁剪候选区域的美学特征和显著性特征中的至少一项。
在基于图像评价网络模型获取多个裁剪候选区域分别对应的特征分数之后，执行步骤104。
步骤104、根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
在确定多个裁剪候选区域分别对应的特征分数之后，依据多个裁剪候选区域分别对应的特征分数，在多个裁剪候选区域中确定至少一个目标裁剪候选区域，并基于所确定的至少一个目标裁剪候选区域对目标图像进行裁剪，获取裁剪图像。
本申请上述实施过程，通过确定目标图像对应的多个裁剪候选区域，获取目标图像对应的包括与裁剪候选区域关联的第一图像特征和与非裁剪候选区域关联的第二图像特征的图像特征，将目标图像对应的图像特征输入图像评价网络模型，获取多个裁剪候选区域分别对应的表征美学特征和显著性特征中的至少一项的特征分数，根据多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域并对目标图像进行裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果，获取图像质量佳的裁剪图像。
其中，步骤101确定目标图像对应的多个裁剪候选区域，包括：
将目标图像划分为网格锚形式；
基于预设构图原则，在网格锚形式的所述目标图像中确定至少一个目标网格；
针对所述至少一个目标网格，按照至少一个扩展比例分别进行扩展，确定所述多个裁剪候选区域。
在确定目标图像对应的多个裁剪候选区域时，需要将目标图像划分为网格锚形式，如将目标图像划分成H×W个小网格块，然后基于预设构图原则，在网格锚形式的目标图像中确定至少一个目标网格。本实施例中，以预设构图原则为三分构图原则为例，对确定裁剪候选区域的过程进行介绍。在将目标图像划分为网格锚形式之后，依据三分构图原则，用两条水平线和两条垂直线相交来划分目标图像，把目标图像分成九个相同大小的大网格块(9宫格)。确定四条三分线所经过的小网格以及目标图像中心大网格所包含的全部小网格，将这些小网格确定为目标网格，将目标网格的中心作为裁剪候选区域的中心。
在确定目标网格之后，针对所确定的至少一个目标网格，按照至少一个扩展比例分别进行扩展，以确定多个裁剪候选区域。在进行扩展时，可以依据目标网格的网格中心按照多种扩展比例进行扩展以得到裁剪候选区域。其中，由于各网格的大小相等，在进行扩展时，实际为对网格的长宽进行扩展以得到裁剪候选区域，即，扩展比例指的是扩展得到的裁剪候选区域的长宽比，通过基于目标网格进行扩展，可以在目标网格的基础上划定包括目标网格以及邻域网格的裁剪候选区域。
需要说明的是，通过扩展所得到的裁剪候选区域的左上角和右下角位于小网格中心。为了权衡裁剪候选区域的数量和原图内容完整性，还需要保证裁剪候选区域与原图的面积比值合理(例如，面积比值可以大于0.4)。
本申请上述实施过程，通过将目标图像划分为网格锚形式，基于预设构图原则，在网格锚形式的目标图像中确定至少一个目标网格，然后针对目标网格进行扩展，可以实现在目标网格的基础上确定裁剪候选区域。
在本申请一可选实施例中，该方法还包括：
根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型。
本申请实施例需要获取多个训练图像，基于多个训练图像的图像显著性信息和图像美学信息中的至少一项，进行模型训练以得到图像评价网络模型。由于图像评价网络模型用于针对图像进行评分，通过获取图像评价网络模型，可以基于图像评价网络模型获取目标图像的多个裁剪候选区域分别对应的特征分数。
其中，所述根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型，包括：
获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息，所述图像美学信息包括所述裁剪候选区域的标注分值以及预测分值；
根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型。
在根据多个训练图像的图像显著性信息和/或多个训练图像的图像美学信息进行模型训练时，可以针对每个训练图像，确定对应的裁剪候选区域。确定训练图像对应的裁剪候选区域的过程与确定目标图像对应的裁剪候选区域的过程相同，这里不再进一步阐述。
在针对每个训练图像确定对应的裁剪候选区域之后，可以针对每个训练图像，获取对应的多个裁剪候选区域的标注分值和预测分值。针对每个训练图像，可以获取对应的图像显著性信息。然后根据多个训练图像对应的裁剪候选区域的标注分值和预测分值和/或多个训练图像对应的图像显著性信息，进行模型训练，通过模型训练获取图像评价网络模型。
其中，训练图像的图像美学信息包括训练图像的裁剪候选区域的标注分值以及预测分值，标注分值为标注人员基于自身的审美标准对训练图像的裁剪候选区域进行美学标注所得到的的分值，预测分值为基于多层卷积层对训练图像的裁剪候选区域进行特征预测所得到的分值。
本申请上述实施过程，通过获取多个训练图像的图像显著性信息和/或包括裁剪候选区域的标注分值以及预测分值的图像美学信息，根据训练图像对应的裁剪候选区域的标注分值和预测分值，和/或，训练图像的图像显著性信息，进行模型训练，获取图像评价网络模型，可以实现基于训练图像的显著性特征和美学特征中的至少一项，获取用于针对图像进行美学特征和/或显著性特征评分的图像评价网络模型。
可选地，所述获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息，包括：
针对每个所述训练图像，获取标注人员对所述训练图像对应的多个裁剪候选区域进行至少两次筛选所得到的筛选结果，并根据所述筛选结果确定所述多个裁剪候选区域分别对应的标注分值；
针对每个所述训练图像，获取所述训练图像的特征图，在所述特征图上提取所述裁剪候选区域的RoI特征和RoD特征并组合为目标特征，根据所述目标特征获取所述多个裁剪候选区域分别对应的预测分值。
在针对每个训练图像，获取训练图像对应的多个裁剪候选区域的标注分值时，可以获取标注人员对训练图像对应的多个裁剪候选区域进行至少两次筛选所得到的筛选结果，然后基于所获取的筛选结果，确定当前训练图像的多个裁剪候选区域分别对应的标注分值。
下面对获取裁剪候选区域对应的标注分值的具体过程进行介绍。首先针对每个训练图像而言，基于现有基准模型对训练图像对应的多个裁剪候选区域对应的区域图像进行打分，针对每个扩展比例，输出得分前N的裁剪候选框，并针对每个扩展比例，在未选中的裁剪候选框中随机选择K个裁剪候选框输出，然后由标注人员进行打分，实现基于基准模型过滤掉一部分裁剪候选框。
考虑到裁剪候选区域相似度较高，如果让标注人员直接进行打分(比如0到5分)难度较高。因此，可以首先针对每个扩展比例，将输出的裁剪候选区域组成第一候选池，标注人员依照扩展比例针对每个第一候选池分别选出n个(如可以为3到5个)裁剪候选区域，n与N的取值可以相同或者不同。在选择完后，再将选出的裁剪候选区域和部分随机混入的裁剪候选区域(未选中的部分裁剪候选区域)组成第二候选池，然后从中进行二次选择，选出m个(如可以为3到5个)最优的裁剪候选区域。其中筛选裁剪候选区域时，可以基于裁剪候选区域对应的区域图像进行裁剪候选区域的筛选。
在标注人员完成筛选之后，电子设备可以根据筛选结果确定多个裁剪候选区域分别对应的标注分值，如，被选中2次的裁剪候选区域对应的标注分值为2分，被选中1次的裁剪候选区域对应的标注分值为1分，没有被选中的裁剪候选区域对应的标注分值为0分。需要说明的是，考虑到审美差异性，每张训练图像可以由多个标注人员进行裁剪候选区域的筛选，然后基于多个标注人员的选择确定最终的筛选结果。
在针对每个训练图像，获取训练图像对应的多个裁剪候选区域的预测分值时，可以利用第一骨干网络针对训练图像进行不同尺度的特征提取，然后进行特征拼接组成特征图。如MobileNetv2的第7层、第14层和最后一层的输出经过上采样和下采样处理，在通道上进行特征拼接组成特征图。然后采用1×1卷积进行通道降维。根据裁剪候选区域在特征图上应用感兴趣区域算子(RoIAlign)和丢弃区域算子(RoDAlign)提取裁剪候选区域的RoI特征和RoD特征，将RoI特征和RoD特征进行拼接组成最终特征(目标特征)，将最终特征送入多层卷积层中输出裁剪候选区域的预测分值sscore。其中，多层卷积层属于美学评价任务模型的一部分。
本申请上述实施过程，可以根据标注人员对裁剪候选区域进行选择对应的筛选结果确定裁剪候选区域分别对应的标注分值，基于裁剪候选区域的RoI特征和RoD特征确定目标特征，基于目标特征获取裁剪候选区域的预测分值，进而可以获取训练图像的图像美学信息。
可选地，根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型，包括以下方案其中之一：
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型，所述美学评价任务模型为所述图像评价网络模型；
根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，所述显著性任务模型为所述图像评价网络模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型。
在根据多个训练图像分别对应的多个裁剪候选区域的图像美学信息进行模型训练时，可以根据多个训练图像分别对应的裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，以确定美学评价任务模型，此时训练得到的美学评价任务模型即为图像评价网络模型。
在根据多个训练图像分别对应的图像显著性信息进行模型训练时，可以根据多个训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，以确定显著性任务模型，此时训练得到的显著性任务模型即为图像评价网络模型，在此实施过程中，图像显著性信息包括显著性灰度图和显著性图预测结果。
在根据多个训练图像分别对应的图像美学信息以及图像显著性信息进行模型训练时，可以根据多个训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个训练图像分别对应的图像显著性信息，进行模型训练，此时获取的图像评价网络模型可以对图像进行美学特征和显著性特征评分。
上述过程，可以根据不同的特征训练三种模型，以便于可以基于任意一种模型进行图像评分。针对美学评价任务模型，可以对图像进行美学特征评分；针对显著性任务模型，可以对图像进行显著性特征评分；针对基于图像美学信息以及图像显著性信息训练得到的模型，可以对图像进行美学特征和显著性特征评分。
下面对三种模型的训练过程分别进行介绍。针对美学评价任务模型而言，所述根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型，包括：
针对每个所述训练图像，根据所述训练图像对应的多个裁剪候选区域的标注分值和预测分值确定美学评价任务损失；
根据所述美学评价任务损失，更新所述美学评价任务模型的模型参数，以进行模型训练确定所述美学评价任务模型。
在根据训练图像进行模型训练以确定美学评价任务模型时，可以针对每个训练图像，根据训练图像对应的多个裁剪候选区域的标注分值和预测分值确定美学评价任务损失，基于美学评价任务损失更新美学评价任务模型的模型参数。具体为：在根据第一训练图像得到对应的美学评价任务损失之后，根据美学评价任务损失更新美学评价任务模型的模型参数，然后基于模型参数更新后的美学评价任务模型，获取第二训练图像对应的多个裁剪候选区域的预测分值，并基于第二训练图像对应的多个裁剪候选区域的标注分值和预测分值，确定对应的美学评价任务损失，再次根据美学评价任务损失更新美学评价任务模型的模型参数，继续执行基于模型参数更新后的美学评价任务模型，获取下一个训练图像对应的多个裁剪候选区域的预测分值并确定美学评价任务损失、基于美学评价任务损失更新模型参数的过程，直至确定美学评价任务损失满足预设条件，确定模型训练成功。
其中，美学评价任务模型的网络架构可参见图2所示，即，美学评价任务模型包括第一骨干网络、多层卷积层以及两者之间的特征获取架构，第一骨干网络用于获取图像的不同尺度特征，然后由特征获取架构进行特征拼接得到特征图，基于特征图进行裁剪候选区域的RoI特征和RoD特征提取并组合为目标特征，将目标特征输入多层卷积层得到图像的多个裁剪候选区域的预测分值。其中，对美学评价任务模型进行模型参数更新的过程，可以理解为对第一骨干网络的参数以及多层卷积层的参数进行更新的过程。
下面对根据述训练图像对应的多个裁剪候选区域的标注分值和预测分值确定美学评价任务损失的过程进行阐述。针对训练图像而言，将裁剪候选区域的标注分值sgd两两作差，得到标注得分差值矩阵Sgd(行列数相等，与裁剪候选区域的数量相关，如5个裁剪候选区域，则为5*5矩阵)。根据标注得分差值矩阵Sgd构建第一全零矩阵，然后针对第一全零矩阵，依据第一原则对第一全零矩阵进行修改得到第一矩阵，其中第一原则为：对角线元素置0，同比例元素置1，最优裁剪候选区域与其他裁剪候选区域的差值元素置2，标注得分差值矩阵Sgd元素为0的对应第一矩阵中的元素置0，最终得到有效的图片对矩阵P，即第一矩阵。
针对训练图像而言，将裁剪候选区域的预测分值sscore两两作差，得到预测得分差值矩阵S(行列数相等)。根据预测得分差值矩阵S构建第二全零矩阵，依据第二原则修改第二全零矩阵得到第二矩阵G，第二原则为：预测得分差值矩阵S中元素大于0，则G中元素置1，否则G中元素置-1。边缘矩阵M由G*Sgd得到。
在确定标注得分差值矩阵Sgd、第一矩阵P、预测得分差值矩阵S、第二矩阵G以及边缘矩阵M之后，可以计算排序损失RankLoss以及得分损失ScoreLoss。
其中，排序损失RankLoss根据预测得分差值矩阵S、第二矩阵G、第一矩阵P以及边缘矩阵M确定，具体为：计算S与负G的乘积，然后与M相加，所得到的矩阵与P相乘，得到目标矩阵，将目标矩阵中的元素分别与0相比，取最大值，实现对目标矩阵中的元素进行更新。然后针对更新后的目标矩阵，累加目标矩阵中的各元素，得到第一数值，并针对第一矩阵P，累加第一矩阵P中的各元素得到第二数值，计算第一数值与第二数值之比，得到排序损失RankLoss。排序损失的计算表达式可以为：
RankLoss＝sum(max((S*(-G)+M)*P)，0)/sum(P)
上述表达式中-G表示对第二矩阵中的元素取负，(S*(-G)+M)表示S与负G的乘积，然后与M相加，然后所得矩阵与P矩阵相乘，得到目标矩阵。(max((S*(-G)+M)*P)，0)表示将目标矩阵中的元素分别与0相比，取最大值，实现对目标矩阵中的元素进行更新。sum(max((S*(-G)+M)*P)，0)表示针对更新后的目标矩阵，累加目标矩阵中的各元素，sum(P)表示累加第一矩阵中的各元素。
其中，得分损失ScoreLoss根据裁剪候选区域的预测分值sscore以及裁剪候选区域的标注分值sgd确定，具体为基于L1平滑损失函数进行计算，得分损失的计算表达式可以为：
ScoreLoss＝SmoothL1Loss(sscore，sgd)，其中SmoothL1Loss为L1平滑损失函数。
其中，sscore为裁剪候选区域的预测分值，sgd为裁剪候选区域的标注分值，美学评价任务损失为排序损失和得分损失的加权和。
本申请上述实施过程，可以基于裁剪候选区域的预测分值和标注分值确定预测得分差值矩阵和标注得分差值矩阵，基于两个矩阵确定排序损失，依据裁剪候选区域的预测分值以及标注分值计算得分损失，依据排序损失和得分损失的加权和确定美学评价任务损失，基于美学评价任务损失调整参数以训练美学评价任务模型。
针对显著性任务模型而言，所述根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，包括：
针对每个所述训练图像，根据所述训练图像对应的显著性灰度图和显著性图预测结果确定显著性任务损失；
根据所述显著性任务损失，更新所述显著性任务模型的模型参数，以进行模型训练确定所述显著性任务模型。在确定显著性任务模型时，可以针对每个训练图像，根据训练图像对应的显著性灰度图和显著性图预测结果确定显著性任务损失，进而基于显著性任务损失更新显著性任务模型的模型参数。具体为：针对第一训练图像，获取第一训练图像的显著性灰度图(显著性灰度图可基于训练完备的大型SOD网络模型确定)，然后利用初始显著性任务模型获取第一训练图像对应的显著性图预测结果，根据显著性灰度图和显著性图预测结果确定第一训练图像的显著性任务损失。根据显著性任务损失更新显著性任务模型的模型参数，然后基于模型参数更新后的显著性任务模型，获取第二训练图像对应的显著性图预测结果，并基于第二训练图像对应的显著性灰度图和显著性图预测结果确定第二训练图像的显著性任务损失，再次根据显著性任务损失更新显著性任务模型，继续执行基于模型参数更新后的显著性任务模型，获取下一个训练图像对应的显著性图预测结果并确定显著性任务损失、基于显著性任务损失更新模型参数的过程，直至确定显著性任务损失满足预设条件，确定模型训练成功。
其中，显著性任务损失的计算过程为：SalLoss＝BCEWithLogitsLoss(spred，ssod)，BCEWithLogitsLoss为交叉熵损失函数，SalLoss为显著性任务损失，spred为显著性图预测结果，ssod为显著性灰度图。
显著性任务模型的网络架构可参见图3所示，即，显著性任务模型包括第一骨干网络、跨阶段卷积以及多层卷积层(与美学评价任务模型的多层卷积层可以相区别)，第一骨干网络用于获取图像的不同尺度特征，利用跨阶段卷积进行特征融合，为了在粒度级别上提取多尺度特征，特征的每个尺度都由一组具有不同扩展率的并行卷积处理，然后经跨阶段1×1卷积生成最高分辨率的特征，最后经多层卷积层输出显著性图预测结果。其中，对显著性任务模型进行模型参数更新的过程，可以理解为对第一骨干网络的参数、跨阶段卷积以及多层卷积层的参数进行更新的过程。
本申请上述实施过程，在整幅图像上，利用跨阶段卷积对第一骨干网络的多层特征进行融合，预测图像中的显著区域，应用交叉熵损失函数基于显著性图预测结果和显著性灰度图计算显著性任务损失，以基于显著性任务损失进行模型训练。
其中，在所述显著性任务模型为所述图像评价网络模型的情况下，所述将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，包括：
将所述目标图像对应的图像特征输入所述显著性任务模型，获取所述目标图像各像素点对应的显著性特征信息；
针对所述目标图像的每一个裁剪候选区域，根据所述裁剪候选区域所包括的像素点所对应的显著性特征信息，确定所述裁剪候选区域对应的特征分数。
针对显著性任务模型为图像评价网络模型的情况，在基于显著性任务模型获取目标图像的多个裁剪候选区域分别对应的特征分数时，可以将目标图像对应的图像特征输入显著性任务模型中，以获取目标图像各像素点对应的显著性特征信息。可以理解为，目标图像各像素点分别对应于一显著性特征值。然后针对目标图像的每一个裁剪候选区域，根据裁剪候选区域所包括的像素点所对应的显著性特征信息(所包括的每个像素点对应的显著性特征值)，确定裁剪候选区域对应的特征分数，此时的特征分数为表征显著性特征的分数。其中裁剪候选区域所包括的显著性特征值高的像素点的比例越高，则裁剪候选区域所对应的特征分数越高。
本申请上述实施过程，在利用显著性任务模型确定裁剪候选区域对应的特征分数时，可以获取目标图像对应的显著性特征信息，基于裁剪候选区域所对应的像素点的显著性特征信息确定对应的特征分数，可以实现基于裁剪候选区域在目标图像上的位置确定对应的特征分数。
下面对根据多个训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个训练图像分别对应的图像显著性信息，进行模型训练的过程进行介绍。该过程对应于两种实施策略，下面首先对实施策略一进行介绍。
所述根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型，包括：
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，确定美学评价任务模型；
根据根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，确定显著性任务模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；
基于所述美学评价任务模型和所述显著性任务模型进行联合训练，获取所述图像评价网络模型。
在根据训练图像进行模型训练时，可以根据多个训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型；根据多个训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，此时图像显著性信息包括显著性灰度图和显著性图预测结果；然后基于美学评价任务模型和显著性任务模型进行联合训练，以获取图像评价网络模型。
通过基于显著性任务模型和美学评价任务模型的联合学习，可以同时优化两个任务模型。显著性任务模型促使模型关注并保留原始图像中的视觉显著区域，美学评价任务模型促使模型关注更好的美学构图。两个任务模型的联合学习可以保证在包含显著特征的所有裁剪候选区域中选取美学评价分数最高的候裁剪选区域，使得裁剪图像在保留图像原有显著特征的情况下具有高的美学分数。
其中，在确定美学评价任务模型和显著性任务模型之后，在基于美学评价任务模型和显著性任务模型进行联合训练，获取图像评价网络模型时，包括如下步骤：
根据所述美学评价任务损失和所述显著性任务损失确定目标损失；
根据所述目标损失，更新所述美学评价任务模型和所述显著性任务模型的模型参数，以进行模型训练，获取所述图像评价网络模型。
在确定美学评价任务模型和显著性任务模型之后，可以根据美学评价任务模型对应的美学评价任务损失和显著性任务模型对应的显著性任务损失，确定目标损失。这里的美学评价任务损失为美学评价任务模型对应的最终损失，显著性任务损失为显著性任务模型对应的最终损失。
目标损失loss＝SalLoss+αRankLoss+βScoreLoss，其中，α和β为权衡参数，通常情况下α和β的取值可以为1。
基于目标损失更新图像评价网络模型的模型参数的过程，即为对显著性任务模型的第一骨干网络的参数、跨阶段卷积以及多层卷积层的参数进行更新，对美学评价任务模型的第一骨干网络的参数以及多层卷积层的参数进行更新的过程。其中，显著性任务模型以及美学评价任务模型可以共用第一骨干网络。
在对图像评价网络模型的模型参数进行更新之后，可以重新确定美学评价任务损失和显著性任务损失，进而确定目标损失，然后继续基于目标损失进行模型参数更新，重复上述过程直至目标损失满足预设条件确定模型训练成功。在获取图像评价网络模型之后，可以利用图像评价网络模型对目标图像进行图像裁剪。
下面通过一具体实施流程对策略一对应的获取图像评价网络模型的过程进行介绍，参见图4所示，包括如下步骤：
步骤401、针对多个训练图像，确定每个训练图像分别对应的多个裁剪候选区域。
步骤402、针对每个训练图像，确定训练图像对应的多个裁剪候选区域的标注分值。
步骤403、对训练图像进行图像数据处理，基于第一骨干网络获取训练图像的不同尺度特征。在步骤403之后分别执行步骤404以及步骤405。
步骤404、基于训练图像的不同尺度特征以及训练图像对应的裁剪候选区域的标注分值进行美学评价任务模型训练。
步骤405、基于训练图像的不同尺度特征、训练图像的显著性灰度图进行显著性任务模型训练，显著性灰度图可以为预先获取。
步骤406、基于美学评价任务模型和显著性任务模型进行联合训练确定图像评价网络模型。
上述基于策略一确定图像评价网络模型的过程，可以将显著性任务作为联合学习的子任务对深度网络进行训练，可以有效的结合图像的显著性信息，而又不增加网络的复杂程度和推理性能，以便于可以基于训练的图像评价网络模型很好地输出结合美学和显著性特征的裁剪图像。
上述介绍了基于策略一获取图像评价网络模型的过程，下面对基于策略二获取图像评价网络模型的过程进行介绍。所述根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型，包括：
针对每个所述训练图像，根据所述训练图像和所述训练图像对应的显著性灰度图，生成显著图像特征，所述图像显著性信息包括所述显著图像特征，且所述显著图像特征包括所述裁剪候选区域的RoI特征和RoD特征；
针对每个所述训练图像，根据所述训练图像对应的显著图像特征更新所述训练图像对应的多个裁剪候选区域的预测分值；
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和更新后的预测分值，进行模型训练，获取所述图像评价网络模型。
在进行模型训练获取图像评价网络模型时，可以针对多个训练图像中的每一个训练图像，首先基于训练完备的大型SOD网络模型获取训练图像的显著性灰度图，然后将显著性灰度图输入第二骨干网络获取不同尺度的显著特征，将训练图像输入第一骨干网络获取训练图像的不同尺度特征，将第二骨干网络输出的不同尺度的显著特征和第一骨干网络输出的不同尺度特征进行拼接生成显著图像特征，此时的图像显著性信息包括拼接生成的显著图像特征，且显著图像特征包括训练图像的RoI特征和RoD特征，进而可以包括裁剪候选区域的RoI特征和RoD特征。
针对每个训练图像，根据当前训练图像对应的显著图像特征更新当前训练图像对应的多个裁剪候选区域的预测分值时，由于在获取训练图像对应的多个裁剪候选区域的预测分值时，需要对裁剪候选区域的RoI特征和RoD特征进行提取，显著图像特征包括裁剪候选区域的RoI特征和RoD特征，因此可以基于训练图像的显著图像特征更新训练图像的裁剪候选区域的RoI特征和RoD特征，进而实现更新裁剪候选区域的预测分值。
然后根据多个训练图像分别对应的多个裁剪候选区域的标注分值和更新后的预测分值，进行模型训练，获取图像评价网络模型，其中模型训练的过程这里不再赘述。
下面通过一具体实施流程对策略二对应的获取图像评价网络模型的过程进行介绍，参见图5所示，包括如下步骤：
步骤501、针对多个训练图像，确定每个训练图像分别对应的多个裁剪候选区域。
步骤502、针对每个训练图像，确定训练图像对应的多个裁剪候选区域的标注分值。
步骤503、对训练图像进行图像数据处理。步骤503之后分别执行步骤504以及步骤505。
步骤504、基于第一骨干网络获取训练图像的不同尺度特征。
步骤505、获取训练图像的显著性灰度图，基于第二骨干网络获取显著性灰度图对应的不同尺度的显著特征。
在步骤504和步骤505之后执行步骤506。
步骤506、将显著性灰度图对应的不同尺度的显著特征与训练图像的不同尺度特征进行拼接，获取显著图像特征。
步骤507、将训练图像的显著性图像特征输入美学评价任务模型进行模型训练，获取图像评价网络模型。
上述基于策略二确定图像评价网络模型的过程，直接获取原始图像的显著性灰度图，再经过骨干网络提取高层次的显著特征，将显著特征和原始图像的特征拼接后送入美学评价任务模型中进行学习，可以实现对显著性特征更为直接的利用。
在本申请一可选实施例中，所述根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，包括：
在多个所述特征分数中，筛选出大于预设分数阈值的至少一个目标特征分数；
将所述目标特征分数对应的所述裁剪候选区域确定为所述目标裁剪候选区域。
在根据目标图像对应的多个裁剪候选区域的多个特征分数，确定至少一个目标裁剪候选区域时，可以针对每个扩展比例，将对应的特征分数按照从高到低的顺序进行排序，基于排序结果筛选出大于预设分数阈值的目标特征分数，以实现针对每个扩展比例确定出至少一个目标特征分数，然后将目标特征分数对应的裁剪候选区域确定为目标裁剪候选区域，实现基于裁剪候选区域对原图像进行裁剪，得到表征美学和/或显著性特征的裁剪图像。
以上为本申请实施例提供的图像裁剪方法，通过确定目标图像对应的多个裁剪候选区域，获取目标图像对应的包括与裁剪候选区域关联的第一图像特征和与非裁剪候选区域关联的第二图像特征的图像特征，将目标图像对应的图像特征输入图像评价网络模型，获取多个裁剪候选区域分别对应的表征美学特征和显著性特征中的至少一项的特征分数，根据多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域并对目标图像进行裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果，获取图像质量佳的裁剪图像。
进一步而言，通过将目标图像划分为网格锚形式，基于预设构图原则，在网格锚形式的目标图像中确定至少一个目标网格，然后针对目标网格进行扩展，可以在目标网格的基础上确定裁剪候选区域，实现精选裁剪候选区域。
通过获取多个训练图像的图像显著性信息和/或包括裁剪候选区域的标注分值以及预测分值的图像美学信息，根据训练图像进行模型训练，获取图像评价网络模型，可以实现基于图像的显著性特征和/或美学特征，获取用于针对图像进行美学特征和/或显著性特征评分的图像评价网络模型。
通过基于不同的方式确定图像评价网络模型，丰富了图像评价网络模型的确定方式；通过基于特征分数确定目标裁剪候选区域进而进行图像裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果。
本申请实施例提供的图像裁剪方法，执行主体可以为图像裁剪装置。本申请实施例中以图像裁剪装置执行图像裁剪方法为例，说明本申请实施例提供的图像裁剪装置。
本申请实施例还提供一种图像裁剪装置，如图6所示，包括：
确定模块601，用于确定目标图像对应的多个裁剪候选区域；
第一获取模块602，用于获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联；
第二获取模块603，用于将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；
处理模块604，用于根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
可选地，所述确定模块包括：
划分子模块，用于将目标图像划分为网格锚形式；
第一确定子模块，用于基于预设构图原则，在网格锚形式的所述目标图像中确定至少一个目标网格；
第二确定子模块，用于针对所述至少一个目标网格，按照至少一个扩展比例分别进行扩展，确定所述多个裁剪候选区域。
可选地，所述装置还包括：
训练获取模块，用于根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型。
可选地，所述训练获取模块包括：
获取子模块，用于获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息，所述图像美学信息包括所述裁剪候选区域的标注分值以及预测分值；
训练获取子模块，用于根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型。
可选地，所述获取子模块包括：
第一处理单元，用于针对每个所述训练图像，获取标注人员对所述训练图像对应的多个裁剪候选区域进行至少两次筛选所得到的筛选结果，并根据所述筛选结果确定所述多个裁剪候选区域分别对应的标注分值；
第二处理单元，用于针对每个所述训练图像，获取所述训练图像的特征图，在所述特征图上提取所述裁剪候选区域的RoI特征和RoD特征并组合为目标特征，根据所述目标特征获取所述多个裁剪候选区域分别对应的预测分值。
可选地，所述训练获取子模块包括以下单元其中之一：
第一训练单元，用于根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型，所述美学评价任务模型为所述图像评价网络模型；
第二训练单元，用于根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，所述显著性任务模型为所述图像评价网络模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；
第三训练单元，用于根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型。
可选地，在所述显著性任务模型为所述图像评价网络模型的情况下，所述第二获取模块进一步用于：
将所述目标图像对应的图像特征输入所述显著性任务模型，获取所述目标图像各像素点对应的显著性特征信息；
针对所述目标图像的每一个裁剪候选区域，根据所述裁剪候选区域所包括的像素点所对应的显著性特征信息，确定所述裁剪候选区域对应的特征分数。
可选地，所述第一训练单元包括：
第一确定子单元，用于针对每个所述训练图像，根据所述训练图像对应的多个裁剪候选区域的标注分值和预测分值确定美学评价任务损失；
第一更新子单元，用于根据所述美学评价任务损失，更新所述美学评价任务模型的模型参数，以进行模型训练确定所述美学评价任务模型。
可选地，所述第二训练单元包括：
第二确定子单元，用于针对每个所述训练图像，根据所述训练图像对应的显著性灰度图和显著性图预测结果确定显著性任务损失；
第二更新子单元，用于根据所述显著性任务损失，更新所述显著性任务模型的模型参数，以进行模型训练确定所述显著性任务模型。
可选地，所述第三训练单元包括：
第三确定子单元，用于根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，确定美学评价任务模型；
第四确定子单元，用于根据根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，确定显著性任务模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；
第一获取子单元，用于基于所述美学评价任务模型和所述显著性任务模型进行联合训练，获取所述图像评价网络模型。
可选地，所述第三训练单元包括：
生成子单元，用于针对每个所述训练图像，根据所述训练图像和所述训练图像对应的显著性灰度图，生成显著图像特征，所述图像显著性信息包括所述显著图像特征，且所述显著图像特征包括所述裁剪候选区域的RoI特征和RoD特征；
第三更新子单元，用于针对每个所述训练图像，根据所述训练图像对应的显著图像特征更新所述训练图像对应的多个裁剪候选区域的预测分值；
第二获取子单元，用于根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和更新后的预测分值，进行模型训练，获取所述图像评价网络模型。
本申请实施例提供的图像裁剪装置，通过确定目标图像对应的多个裁剪候选区域，获取目标图像对应的包括与裁剪候选区域关联的第一图像特征和与非裁剪候选区域关联的第二图像特征的图像特征，将目标图像对应的图像特征输入图像评价网络模型，获取多个裁剪候选区域分别对应的表征美学特征和显著性特征中的至少一项的特征分数，根据多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域并对目标图像进行裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果，获取图像质量佳的裁剪图像。
进一步而言，通过将目标图像划分为网格锚形式，基于预设构图原则，在网格锚形式的目标图像中确定至少一个目标网格，然后针对目标网格进行扩展，可以在目标网格的基础上确定裁剪候选区域，实现精选裁剪候选区域。
通过获取多个训练图像的图像显著性信息和/或包括裁剪候选区域的标注分值以及预测分值的图像美学信息，根据训练图像进行模型训练，获取图像评价网络模型，可以实现基于图像的显著性特征和/或美学特征，获取用于针对图像进行美学特征和/或显著性特征评分的图像评价网络模型。
通过基于不同的方式确定图像评价网络模型，丰富了图像评价网络模型的确定方式；通过基于特征分数确定目标裁剪候选区域进而进行图像裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果。
本申请实施例中的图像裁剪装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像裁剪装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像裁剪装置能够实现图1所示的图像裁剪方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701，存储器702，存储在存储器702上并可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述图像裁剪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809以及处理器810等部件。
本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器810用于：确定目标图像对应的多个裁剪候选区域；获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联；将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
可选地，在确定目标图像对应的多个裁剪候选区域时，处理器810还用于：将目标图像划分为网格锚形式；基于预设构图原则，在网格锚形式的所述目标图像中确定至少一个目标网格；针对所述至少一个目标网格，按照至少一个扩展比例分别进行扩展，确定所述多个裁剪候选区域。
可选地，处理器810还用于：根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型。
可选地，在根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型时，处理器810还用于：获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息，所述图像美学信息包括所述裁剪候选区域的标注分值以及预测分值；根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型。
可选地，在获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息时，处理器810还用于：针对每个所述训练图像，获取标注人员对所述训练图像对应的多个裁剪候选区域进行至少两次筛选所得到的筛选结果，并根据所述筛选结果确定所述多个裁剪候选区域分别对应的标注分值；针对每个所述训练图像，获取所述训练图像的特征图，在所述特征图上提取所述裁剪候选区域的RoI特征和RoD特征并组合为目标特征，根据所述目标特征获取所述多个裁剪候选区域分别对应的预测分值。
可选地，根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型时，处理器810还用于执行以下方案其中之一：根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型，所述美学评价任务模型为所述图像评价网络模型；根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，所述显著性任务模型为所述图像评价网络模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型。
可选地，在所述显著性任务模型为所述图像评价网络模型的情况下，在将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数时，处理器810还用于：将所述目标图像对应的图像特征输入所述显著性任务模型，获取所述目标图像各像素点对应的显著性特征信息；针对所述目标图像的每一个裁剪候选区域，根据所述裁剪候选区域所包括的像素点所对应的显著性特征信息，确定所述裁剪候选区域对应的特征分数。
可选地，在根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型时，处理器810还用于：针对每个所述训练图像，根据所述训练图像对应的多个裁剪候选区域的标注分值和预测分值确定美学评价任务损失；根据所述美学评价任务损失，更新所述美学评价任务模型的模型参数，以进行模型训练确定所述美学评价任务模型。
可选地，在根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型时，处理器810还用于：针对每个所述训练图像，根据所述训练图像对应的显著性灰度图和显著性图预测结果确定显著性任务损失；根据所述显著性任务损失，更新所述显著性任务模型的模型参数，以进行模型训练确定所述显著性任务模型。
可选地，在根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型时，处理器810还用于：根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，确定美学评价任务模型；根据根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，确定显著性任务模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；基于所述美学评价任务模型和所述显著性任务模型进行联合训练，获取所述图像评价网络模型。
可选地，在根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型时，处理器810还用于：针对每个所述训练图像，根据所述训练图像和所述训练图像对应的显著性灰度图，生成显著图像特征，所述图像显著性信息包括所述显著图像特征，且所述显著图像特征包括所述裁剪候选区域的RoI特征和RoD特征；针对每个所述训练图像，根据所述训练图像对应的显著图像特征更新所述训练图像对应的多个裁剪候选区域的预测分值；根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和更新后的预测分值，进行模型训练，获取所述图像评价网络模型。
这样，通过确定目标图像对应的多个裁剪候选区域，获取目标图像对应的包括与裁剪候选区域关联的第一图像特征和与非裁剪候选区域关联的第二图像特征的图像特征，将目标图像对应的图像特征输入图像评价网络模型，获取多个裁剪候选区域分别对应的表征美学特征和显著性特征中的至少一项的特征分数，根据多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域并对目标图像进行裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果，获取图像质量佳的裁剪图像。
进一步而言，通过将目标图像划分为网格锚形式，基于预设构图原则，在网格锚形式的目标图像中确定至少一个目标网格，然后针对目标网格进行扩展，可以在目标网格的基础上确定裁剪候选区域，实现精选裁剪候选区域。
通过获取多个训练图像的图像显著性信息和/或包括裁剪候选区域的标注分值以及预测分值的图像美学信息，根据训练图像进行模型训练，获取图像评价网络模型，可以实现基于图像的显著性特征和/或美学特征，获取用于针对图像进行美学特征和/或显著性特征评分的图像评价网络模型。
通过基于不同的方式确定图像评价网络模型，丰富了图像评价网络模型的确定方式；通过基于特征分数确定目标裁剪候选区域进而进行图像裁剪，可以基于美学和/或显著性特征，高效地挖掘图像中的信息，以保证图像裁剪效果。
应理解的是，在本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。
处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像裁剪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像裁剪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像裁剪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (13)

1.一种图像裁剪方法，其特征在于，包括：
确定目标图像对应的多个裁剪候选区域；
获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联；
将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；
根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
2.根据权利要求1所述的方法，其特征在于，所述确定目标图像对应的多个裁剪候选区域，包括：
将目标图像划分为网格锚形式；
基于预设构图原则，在网格锚形式的所述目标图像中确定至少一个目标网格；
针对所述至少一个目标网格，按照至少一个扩展比例分别进行扩展，确定所述多个裁剪候选区域。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型。
4.根据权利要求3所述的方法，其特征在于，所述根据多个训练图像对应的图像显著性信息和图像美学信息中的至少一种，进行模型训练以获取所述图像评价网络模型，包括：
获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息，所述图像美学信息包括所述裁剪候选区域的标注分值以及预测分值；
根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型。
5.根据权利要求4所述的方法，其特征在于，所述获取每个所述训练图像对应的多个裁剪候选区域的所述图像美学信息，包括：
针对每个所述训练图像，获取标注人员对所述训练图像对应的多个裁剪候选区域进行至少两次筛选所得到的筛选结果，并根据所述筛选结果确定所述多个裁剪候选区域分别对应的标注分值；
针对每个所述训练图像，获取所述训练图像的特征图，在所述特征图上提取所述裁剪候选区域的RoI特征和RoD特征并组合为目标特征，根据所述目标特征获取所述多个裁剪候选区域分别对应的预测分值。
6.根据权利要求5所述的方法，其特征在于，所述根据多个所述训练图像分别对应的多个裁剪候选区域的图像美学信息、多个所述训练图像分别对应的所述图像显著性信息中的至少一项，进行模型训练，获取所述图像评价网络模型，包括以下方案其中之一：
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型，所述美学评价任务模型为所述图像评价网络模型；
根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，所述显著性任务模型为所述图像评价网络模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型。
7.根据根据权利要求6所述的方法，其特征在于，在所述显著性任务模型为所述图像评价网络模型的情况下，所述将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，包括：
将所述目标图像对应的图像特征输入所述显著性任务模型，获取所述目标图像各像素点对应的显著性特征信息；
针对所述目标图像的每一个裁剪候选区域，根据所述裁剪候选区域所包括的像素点所对应的显著性特征信息，确定所述裁剪候选区域对应的特征分数。
8.根据权利要求6所述的方法，其特征在于，所述根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，进行美学评价任务训练，确定美学评价任务模型，包括：
针对每个所述训练图像，根据所述训练图像对应的多个裁剪候选区域的标注分值和预测分值确定美学评价任务损失；
根据所述美学评价任务损失，更新所述美学评价任务模型的模型参数，以进行模型训练确定所述美学评价任务模型。
9.根据权利要求6所述的方法，其特征在于，所述根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，进行显著性任务训练，确定显著性任务模型，包括：
针对每个所述训练图像，根据所述训练图像对应的显著性灰度图和显著性图预测结果确定显著性任务损失；
根据所述显著性任务损失，更新所述显著性任务模型的模型参数，以进行模型训练确定所述显著性任务模型。
10.根据权利要求6所述的方法，其特征在于，所述根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型，包括：
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值，确定美学评价任务模型；
根据根据多个所述训练图像分别对应的显著性灰度图和显著性图预测结果，确定显著性任务模型，所述图像显著性信息包括显著性灰度图和显著性图预测结果；
基于所述美学评价任务模型和所述显著性任务模型进行联合训练，获取所述图像评价网络模型。
11.根据权利要求6所述的方法，其特征在于，所述根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和预测分值以及多个所述训练图像分别对应的图像显著性信息，进行模型训练，获取所述图像评价网络模型，包括：
针对每个所述训练图像，根据所述训练图像和所述训练图像对应的显著性灰度图，生成显著图像特征，所述图像显著性信息包括所述显著图像特征，且所述显著图像特征包括所述裁剪候选区域的RoI特征和RoD特征；
针对每个所述训练图像，根据所述训练图像对应的显著图像特征更新所述训练图像对应的多个裁剪候选区域的预测分值；
根据多个所述训练图像分别对应的多个裁剪候选区域的标注分值和更新后的预测分值，进行模型训练，获取所述图像评价网络模型。
12.一种图像裁剪装置，其特征在于，包括：
确定模块，用于确定目标图像对应的多个裁剪候选区域；
第一获取模块，用于获取所述目标图像对应的图像特征，所述图像特征包括第一图像特征和第二图像特征，所述第一图像特征与所述多个裁剪候选区域对应的第一图像区域关联，所述第二图像特征与所述目标图像中除所述第一图像区域外的第二图像区域关联；
第二获取模块，用于将所述目标图像对应的图像特征输入图像评价网络模型，获取所述多个裁剪候选区域分别对应的特征分数，所述特征分数用于表征所述裁剪候选区域的美学特征和显著性特征中的至少一项；
处理模块，用于根据所述多个裁剪候选区域分别对应的特征分数，确定至少一个目标裁剪候选区域，并根据所述目标裁剪候选区域对所述目标图像进行裁剪。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至11任一项所述的图像裁剪方法的步骤。
CN202111435959.4A 2021-11-29 2021-11-29 图像裁剪方法、装置及电子设备 Pending CN114119373A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111435959.4A CN114119373A (zh) 2021-11-29 2021-11-29 图像裁剪方法、装置及电子设备
PCT/CN2022/134366 WO2023093851A1 (zh) 2021-11-29 2022-11-25 图像裁剪方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111435959.4A CN114119373A (zh) 2021-11-29 2021-11-29 图像裁剪方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114119373A true CN114119373A (zh) 2022-03-01

Family

ID=80367853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111435959.4A Pending CN114119373A (zh) 2021-11-29 2021-11-29 图像裁剪方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN114119373A (zh)
WO (1) WO2023093851A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093851A1 (zh) * 2021-11-29 2023-06-01 维沃移动通信有限公司 图像裁剪方法、装置及电子设备
CN116309627A (zh) * 2022-12-15 2023-06-23 北京航空航天大学 图像裁剪方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152409A (zh) * 2023-08-07 2023-12-01 中移互联网有限公司 基于多模态感知建模的图像裁剪方法、装置和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626584B2 (en) * 2014-10-09 2017-04-18 Adobe Systems Incorporated Image cropping suggestion using multiple saliency maps
CN106650737B (zh) * 2016-11-21 2020-02-28 中国科学院自动化研究所 图像自动裁剪方法
CN110909724B (zh) * 2019-10-08 2023-11-28 华北电力大学 一种多目标图像的缩略图生成方法
CN112381083A (zh) * 2020-06-12 2021-02-19 杭州喔影网络科技有限公司 一种基于潜在区域对的显著性感知图像裁剪方法
CN114119373A (zh) * 2021-11-29 2022-03-01 广东维沃软件技术有限公司 图像裁剪方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093851A1 (zh) * 2021-11-29 2023-06-01 维沃移动通信有限公司 图像裁剪方法、装置及电子设备
CN116309627A (zh) * 2022-12-15 2023-06-23 北京航空航天大学 图像裁剪方法和装置
CN116309627B (zh) * 2022-12-15 2023-09-15 北京航空航天大学 图像裁剪方法和装置

Also Published As

Publication number Publication date
WO2023093851A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN114119373A (zh) 图像裁剪方法、装置及电子设备
CN106778928B (zh) 图像处理方法及装置
US10134165B2 (en) Image distractor detection and processing
WO2019201042A1 (zh) 图像对象识别方法和装置、存储介质及电子装置
US20220078358A1 (en) System for automatic video reframing
CN111556336B (zh) 一种多媒体文件处理方法、装置、终端设备及介质
US20180137665A1 (en) Facial feature adding method, facial feature adding apparatus, and facial feature adding device
US11978216B2 (en) Patch-based image matting using deep learning
CN111757175A (zh) 视频处理方法及装置
CN114390201A (zh) 对焦方法及其装置
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP4137923B2 (ja) 画像表示方法および装置
CN114792285A (zh) 图像处理方法和处理装置、电子设备和可读存储介质
CN111488886B (zh) 排列注意力特征的全景图像显著性预测方法、系统及终端
CN112965681A (zh) 图像处理方法、装置、设备、及存储介质
CN117036552A (zh) 一种基于扩散模型的动画序列帧生成方法及系统
CN112149745A (zh) 确定难例样本的方法、装置、设备及存储介质
CN113610864B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111953907B (zh) 构图方法、装置
US20140016914A1 (en) Editing apparatus, editing method, program and storage medium
CN114785957A (zh) 拍摄方法及其装置
CN114529558A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113542847B (zh) 图像显示方法、装置、设备及存储介质
CN114125297A (zh) 视频拍摄方法、装置、电子设备及存储介质
CN113393558A (zh) 漫画生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523843 first floor, building F, No. 255, Wusha Bubugao Avenue, Chang'an Town, Dongguan City, Guangdong Province

Applicant after: Guangdong Kexun Software Technology Co.,Ltd.

Address before: 523843 first floor, building F, No. 255, Wusha Bubugao Avenue, Chang'an Town, Dongguan City, Guangdong Province

Applicant before: Guangdong Weiwo Software Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220418

Address after: 523863 No. 1, Weiwo Road, Chang'an Town, Dongguan City, Guangdong Province

Applicant after: VIVO MOBILE COMMUNICATION Co.,Ltd.

Address before: 523843 first floor, building F, No. 255, Wusha Bubugao Avenue, Chang'an Town, Dongguan City, Guangdong Province

Applicant before: Guangdong Kexun Software Technology Co.,Ltd.