CN112016548B - 一种封面图展示方法及相关装置 - Google Patents

一种封面图展示方法及相关装置 Download PDF

Info

Publication number
CN112016548B
CN112016548B CN202011103200.1A CN202011103200A CN112016548B CN 112016548 B CN112016548 B CN 112016548B CN 202011103200 A CN202011103200 A CN 202011103200A CN 112016548 B CN112016548 B CN 112016548B
Authority
CN
China
Prior art keywords
subject
main body
identified
original image
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011103200.1A
Other languages
English (en)
Other versions
CN112016548A (zh
Inventor
王星星
李佳禧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011103200.1A priority Critical patent/CN112016548B/zh
Publication of CN112016548A publication Critical patent/CN112016548A/zh
Application granted granted Critical
Publication of CN112016548B publication Critical patent/CN112016548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开一种封面图展示方法及相关装置，当需要对用户上传的原始图像进行裁剪以适应展示区域时，对获取的原始图像进行显著性主体识别，得到原始图像所包括待识别主体的主体信息。显著性主体识别并不以人脸信息为识别依据，可以识别出原始图像中所有待识别主体，避免未知商品因无法识别而被裁剪的问题。然后根据待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体，目标主体是最优主体，可以体现核心商品信息，故可以根据目标主体的主体信息和展示区域的尺寸，对原始图像进行裁剪得到封面图，这样，在展示区域展示的封面图可以体现核心商品信息，提高了封面图的视觉效果，进而达到提升用户产品体验，提升用户点击率的效果。

Description

一种封面图展示方法及相关装置
技术领域
本申请涉及数据处理领域，特别是涉及一种封面图展示方法及相关装置。
背景技术
封面图作为推荐页面的关键信息，起到辅助用户了解资源内容的作用。尤其在电商场景下，例如购物网站或直播带货平台等，封面图尤为重要，封面图以辅助用户初步了解商品，用户可能会被封面图吸引而关注商品甚至购买商品。
通常情况下，用户上传的图像尺寸不一、样式各异，而前端用于展示封面图的展示区域的尺寸却是固定的，例如展示区域的长宽比为1:1，如何基于人工智能的方式自动从用户上传的图像中裁剪出可涵盖图像主要信息、令用户感兴趣的区域作为封面图是封面图展示场景下尤为关注的问题。
目前在封面图展示时所采用的裁剪方式是基于人脸信息来进行裁剪，如以图像中人脸的几何中心点作为裁剪中心点，然后按照标准长宽比例裁剪图像，得到最终的裁剪区域作为封面图。
然而，在电商环境下，非人脸的商品封面图居多，这样将用户上传的图像裁剪为标准长宽比例的封面图，一些未知的商品可能会被裁剪掉一部分，或者直接被全部裁剪掉，从而使得展示的封面图中无法体现核心商品信息，造成封面图的视觉效果较差，用户产品体验差，降低用户点击率。
发明内容
为了解决上述技术问题，本申请提供了一种封面图展示方法及相关装置，提高了封面图的视觉效果，进而达到提升用户产品体验，提升用户点击率的效果。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供一种封面图展示方法，所述方法包括：
获取用户上传的原始图像；
对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息；
根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体；
根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图；
在所述展示区域展示所述封面图。
第二方面，本申请实施例提供一种封面图展示装置，所述装置包括获取单元、确定单元、裁剪单元和展示单元：
所述获取单元，用于获取用户上传的原始图像；
所述确定单元，用于对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息；
所述确定单元，还用于根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体；
所述裁剪单元，用于根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图；
所述展示单元，用于在所述展示区域展示所述封面图。
第三方面，本申请实施例提供一种用于封面图展示的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的方法。
由上述技术方案可以看出，当需要对用户上传的原始图像进行裁剪以适应展示区域时，可以获取用户上传的原始图像，对原始图像进行显著性主体识别，得到原始图像所包括待识别主体的主体信息。显著性主体识别可以识别出原始图像中人类感兴趣的区域，并不以人脸信息为识别依据，故可以识别出原始图像中所有待识别主体，避免一些未知商品因无法识别而被裁剪的问题。然后根据待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体，目标主体是最优主体，可以体现核心商品信息，因此，可以根据目标主体的主体信息和展示区域的尺寸，对原始图像进行裁剪得到封面图，这样，在展示区域展示的封面图可以体现核心商品信息，提高了封面图的视觉效果，进而达到提升用户产品体验，提升用户点击率的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术成员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种封面图展示方法的系统架构示意图；
图2为本申请实施例提供的一种封面图展示方法的流程图；
图3为本申请实施例提供的一种特征金字塔网络的结构示意图；
图4为本申请实施例提供的一种神经网络模型的结构示意图；
图5为本申请实施例提供的一种特征金字塔池化模块的结构示意图；
图6为本申请实施例提供的一种MC的结构示意图；
图7为本申请实施例提供的一种特征整合模块的结构示意图；
图8为本申请实施例提供的一种特征组合模块的结构示意图；
图9为本申请实施例提供的一种残差网络结构的结构示意图；
图10为本申请实施例提供的对人脸进行标注的标注结果示意图；
图11为本申请实施例提供的基于原始图像进行裁剪得到封面图的效果示意图；
图12为本申请实施例提供的一种封面图展示方法的流程图；
图13为本申请实施例提供的一种封面图展示装置的结构图；
图14为本申请实施例提供的一种终端设备的结构图；
图15为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
相关技术中，基于人脸信息来进行裁剪，这样，在一些场景例如在电商环境下，一些未知的非人脸的商品无法被识别处理，进而导致该商品被裁剪掉一部分，或者直接被全部裁剪掉，从而使得展示的封面图中无法体现核心商品信息，造成封面图的视觉效果较差，用户产品体验差，降低用户点击率。
为了解决上述技术问题，本申请实施例提供一种封面图展示方法，利用该方法对原始图像进行裁剪得到的封面图可以体现核心商品信息，提高了封面图的视觉效果，进而达到提升用户产品体验，提升用户点击率的效果。
需要说明的是，本申请实施例提供的方法可以应用到多种应用场景中，例如直播平台进行直播带货、购物网站等电商场景，可以为直播平台或者购物网站提供一种智能裁图工具，以便基于本申请实施例提供的方法对原始图像进行自动裁剪得到适应展示区域的封面图，并向用户展示该封面图。后续将主要以电商场景为例对本申请实施例提供的方法进行介绍。
本申请实施例所提供的方法涉及到云技术领域，例如云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算（Grid Computing )、分布式计算（Distributed Computing)、并行计算（Parallel Computing)、效用计算（UtilityComputing)、网络存储（Network Storage Technologies)、虚拟化（Virtualization)、负载均衡（Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本申请实施例所提供的方法还涉及人工智能领域。人工智能（ArtificialIntelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，可以涉及的人工智能技术包括机器学习、计算机视觉等方向。机器学习（Machine learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习（Deep Learning）等技术，深度学习包括人工神经网络（artificialneural network），例如卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络（Recurrent Neural Network，RNN）、深度神经网络（Deep neural network，DNN）等。在本实施例中可以通过机器学习的方式训练神经网络模型，以便利用神经网络模型识别待识别主体的主体信息，实现智能裁图。
计算机视觉（Computer Vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。例如可以通过图像语义理解（Image Semantic Understanding，ISU）中的图像特征提取（Image featureextraction）提取目标特征，以便根据目标特征确定待识别主体的主体信息，通过人脸识别（face recognition）定位人脸五官，进行后续人脸分析以确定目标主体等。
参见图1，图1为本申请实施例提供的封面图展示方法的系统架构示意图。该系统架构中包括终端设备101和服务器102，不同用户将通过自己的终端设备将原始图像上传至服务器102。原始图像中包括所需向用户展示的主体，以电商场景为例，主体可以包括商品，也可以包括商品、展示商品的模特的脸（人脸）或与商品有关的其他物体等，本实施例对此不做限定。
用户在进入直播平台或购物网站后，终端设备101可以从服务器102获取原始图像，以便根据原始图像向用户展示封面图。其中，终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
由于原始图像的尺寸例如长宽比例可能与展示区域并不匹配，因此，为了向用户展示合适的封面图，终端设备101可以利用智能裁图工具进行智能裁图。终端设备101可以对原始图像进行显著性主体识别，得到原始图像所包括待识别主体的主体信息。显著性主体识别可以识别出原始图像中人类感兴趣的区域，并不以人脸信息为识别依据，故可以识别出原始图像中所有待识别主体，避免一些未知商品因无法识别而被裁剪的问题。
然后，终端设备101根据待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体，目标主体是最优主体，可以体现核心商品信息，因此，终端设备101可以根据目标主体的主体信息和展示区域的尺寸，对原始图像进行裁剪得到封面图，这样，在展示区域展示的封面图可以体现核心商品信息，提高了封面图的视觉效果，进而达到提升用户产品体验，提升用户点击率的效果。
接下来，将以直播平台进行直播带货为例，结合附图对本申请实施例提供的封面图展示方法进行详细介绍。
参见图2，图2示出了一种封面图展示方法的流程图，所述方法包括：
S201、获取用户上传的原始图像。
在观看直播的用户进入直播平台后，可以向观看直播的用户展示不同商品的封面图，以便用户根据封面图体现的商品信息初步了解该直播带货的商品，进而吸引用户点击了解进入直播间观看直播，甚至购买商品。
封面图是根据用户上传的原始图像生成的，由于一些原始图像的尺寸例如长宽比例可能与展示区域的尺寸不匹配，例如，展示区域的长宽比例为1:1，而用户上传的原始图像的长宽比例并非1:1，因此，需要通过S202-S204的步骤对原始图像进行裁剪以生成适应于展示区域的封面图。
S202、对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息。
其中，主体信息可以包括识别得到的待识别主体、待识别主体是人脸或者是物体、待识别主体的位置信息、待识别主体的数量等。
对原始图像进行显著性主体识别的方式可以包括多种，在一种可能的实现方式中，可以通过神经网络模型对原始图像进行特征提取，得到原始图像的目标特征，进而根据目标特征识别原始图像中所包括待识别主体的主体信息。
其中，神经网络模型可以是PoolNet，PoolNet是一种扩大池化层在U型网络（U-Net）中的作用来进行显著性主体识别的网络，U-Net特征金字塔网络(feature pyramidnetworks，FPN)，例如图3所示，包括多个卷积层和多个特征组合模块（例如图3中标识“F”所示），特征金字塔网络可以作为本实施例所提供神经网络模型的主干网络（backbone）。
除此之外，参见图4所示，神经网络模型还包括特征金字塔池化模块（PyramidPooling Module）例如图4中标识“P”所示、特征整合模块（Feature Aggregation Module）例如图4中标识“A”所示，其中，每个特征组合模块的输入之前串联一个特征整合模块。在这种情况下，目标特征的确定方式可以是通过特征金字塔网络对原始图像进行特征提取，得到原始图像的不同层级的特征信息，特征信息可以是特征图（feature map）。通过特征金字塔池化模块将最高层级的特征信息分别与不同层级的特征信息进行融合，得到融合特征。通过特征整合模块对每个层级的融合特征进行整合，得到目标特征。
通过上述神经网络模型提取的目标特征可以反映原始图像的全局细节信息，而为了将原始图像中的待识别主体准确的识别并定位，待识别主体的边缘信息尤为重要。在一种可能的实现方式中，特征金字塔网络包括多个卷积层，从第二个卷积层开始，相邻两个卷积层之间通过残差网络结构连接，参见图4所示，图4中标识“R”表示残差网络结构（如图4中实线箭头连接的模块），残差网络结构用于提取原始图像中的边缘信息，边缘信息可以体现待识别主体的边界，将提取的边缘信息与全局细节信息进行融合，可以准确识别并定位待识别主体，提升网络模型精度，同时保证快速收敛。
当然，还可以在特征整合模块后连接残差网络结构，如图4中虚线箭头连接的模块，从而将捕获的边缘信息向后传输进行细节增强，用于待识别主体的识别。
接下来，对特征金字塔池化模块、特征整合模块和特征组合模块分别进行介绍。特征金字塔池化模块的输入为主干网络的特征信息，如图4所示，特征金字塔池化模块的输入为主干网络最高层级的特征信息。特征金字塔池化模块可以参见图5所示，主干网络的特征信息通过池化层被池化为不同尺寸（size）的feature map，例如图5中与MC连接的大小不同的立方体所示，MC表示多路卷积结构。然后经过MC的卷积（conv）处理，得到新的特征信息，再将新的特征信息上采样（upsample）处理，得到size相同的feature map，最后合并（concat）到一起，作为特征金字塔池化模块的输出。
其中，MC的结构参见图6所示，该结构以包括两个卷积层为例，分别是卷积层1（conv1）和卷积层2（conv2），输入MC的特征信息经过conv1卷积之后，与输入MC的特征信息进行加法运算，最后将结果作为conv2的输入，经过conv2卷积之后得到MC的输出。MC对特征信息进行处理的原理可以参见以下公式：
Figure 273641DEST_PATH_IMAGE001
（1）
其中，x为输入MC的特征信息，
Figure 465588DEST_PATH_IMAGE003
为MC的输出，contol_1，control_2分别为特征转换映射处理，
Figure 811119DEST_PATH_IMAGE004
和
Figure 368002DEST_PATH_IMAGE006
为权重，contol_1，control_2分别通过下述公式（2）和（3）表示：
Figure 431773DEST_PATH_IMAGE007
（2）
Figure 365094DEST_PATH_IMAGE008
（3）
Figure 830710DEST_PATH_IMAGE010
、
Figure 558495DEST_PATH_IMAGE012
分别为对输入的特征信息进行特征转换映射处理得到的结果，公式（2）中M，N均为常量，公式（3）中P，Q也为常量参数，
Figure 843983DEST_PATH_IMAGE013
为模型参数。
特征整合模块可以参见图7所示，特征整合模块也是使用了池化技术的模块，将输入至特征整合模块的特征信息采用{2，4，8}的三种下采样得到对应的特征图，然后平均池化（avg pool）再上采样回原来尺寸，最后将恢复会原来尺寸的特征图相加得到整合后的特征图。
特征组合模块的结构可以参见图8所示，特征组合模块在神经网络模型中的位置可以参见图4所示，特征组合模块将特征整合模块x1、特征金字塔池化模块x2和主体网络中该特征组合模块所对应层级的特征信息x3进行组合，其公式如下所示：
Figure 377732DEST_PATH_IMAGE014
（4）
其中，
Figure 635538DEST_PATH_IMAGE015
为特征组合模块的输出，K为常量参数，模型学习训练获得参数值，
Figure 862120DEST_PATH_IMAGE016
为卷积核，Upsample为上采样操作。
残差网络结构可以参见图9所示，包括卷积层1和卷积层2，其公式如下所示：
Figure 838166DEST_PATH_IMAGE017
（5）
Figure 910028DEST_PATH_IMAGE018
（6）
其中，conv1，conv2分别为卷积层1和卷积层2的卷积操作，
Figure 84657DEST_PATH_IMAGE019
为激活函数，e为常数，模型训练学习，x为输入残差网络结构的特征信息。
S203、根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体。
通过S202的步骤可以获取待识别主体的主体信息，即识别出原始图像中所有待识别主体。然而，展示区域的尺寸是固定的，展示区域的尺寸决定二类待识别主体的展示情况。故可以根据待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体。其中，在电商场景下，展示区域可以为直播平台或购物网站上的商品展示区域。
通常情况下，若根据主体信息确定待识别主体的数量为一个，那么，可以认为核心商品信息通过该待识别主体来体现，则可以将该待识别主体作为目标主体；或者，识别主体的数量为多个且展示区域的尺寸大于多个待识别主体所占区域的尺寸，在裁剪时没有必要裁剪待识别主体，裁剪待识别主体之外的区域便可以使得裁剪后的图像尺寸与展示区域的尺寸相匹配，则将待识别主体作为目标主体。
若根据主体信息确定待识别主体的数量为多个，且展示区域的尺寸小于多个待识别主体所占区域的尺寸，则说明裁剪时可能会裁剪待识别主体，此时需要从待识别主体中筛选目标主体，目标主体为最优主体，体现商品核心信息，需要着重展示。
在一种可能的实现方式中，从待识别主体中筛选目标主体的方式可以是根据待识别主体的主体信息，计算主体筛选指标，主体筛选指标可以体现出待识别主体为目标主体的可能性。根据主体筛选指标，从待识别主体中筛选目标主体。
需要说明的是，主体筛选指标可以根据待识别主体类型的不同而有所不同，通常情况下，待识别主体的类型可以包括人脸或物体。若多个待识别主体的类型为人脸，主体筛选指标可以包括以下一个或多个组合：人脸五官比例、待识别主体的清晰度以及待识别主体的位置与原始图像中心点的距离。若多个待识别主体的类型为物体，主体筛选指标包括以下一个或多个组合：待识别主体的清晰度、待识别主体的饱和度、待识别主体的色彩丰富度以及待识别主体的位置与原始图像中心点的距离。
若主体筛选指标包括多个，则根据主体筛选指标，从待识别主体中筛选目标主体的方式可以是根据所述主体筛选指标进行加权求和，得到主体分值；根据主体分值确定目标主体。例如，可以选择主体分值最高或者主体分值排名前n或者主体分值满足一定阈值的待识别主体作为目标主体。
若多个待识别主体的类型为人脸，主体筛选指标包括人脸五官比例、待识别主体的清晰度以及待识别主体的位置与原始图像中心点的距离，则主体分值的计算公式可以如下所示：
Figure 154244DEST_PATH_IMAGE020
（7）
其中，
Figure 679903DEST_PATH_IMAGE021
表示人脸的主体分值，
Figure 493139DEST_PATH_IMAGE023
表示基于人脸五官比例计算得到的匹配度，
Figure 787854DEST_PATH_IMAGE025
表示待识别主体的清晰度，
Figure DEST_PATH_IMAGE027
表示根据待识别主体的位置与原始图像中心点的距离计算得到的分值。O、P、Q均为常数，是经验值。
若多个待识别主体的类型为物体，主体筛选指标包括待识别主体的清晰度、待识别主体的饱和度、待识别主体的色彩丰富度以及待识别主体的位置与原始图像中心点的距离，则主体分值的计算公式可以如下所示：
Figure DEST_PATH_IMAGE028
（8）
其中，
Figure DEST_PATH_IMAGE029
表示物体的主体分值，
Figure DEST_PATH_IMAGE031
表示待识别主体的饱和度，
Figure 890326DEST_PATH_IMAGE025
表示待识别主体的清晰度，
Figure DEST_PATH_IMAGE032
表示待识别主体的色彩丰富度，
Figure 965599DEST_PATH_IMAGE027
表示根据待识别主体的位置与原始图像中心点的距离计算得到的分值。O、P、Q、K均为常数，是经验值。
其中，以人脸五官比例作为主体筛选指标进行筛选时，可以是根据待识别主体对应的五官比例与人脸五官黄金比例作比对，筛选最美人脸作为目标主体。人脸黄金比例为：双眼、嘴巴、前额及下巴之间的最佳距离，通常情况下，由于明星一般比较符合人脸黄金比例，因此，可以将原始图像中的人脸与作为标准图片的明星图片进行比对，得到待识别主体的匹配度。其中，人脸五官比例与人脸五官黄金比例越接近，匹配度越高。
在比对过程中，可以采用人脸检测及其人脸五官定位技术，完成双眼、嘴巴、前额及下巴等关键位置信息标注，为后面人脸分析打下基础。其标注结果可以参见图10所示，图10中黑点为标注的关键点。
待识别主体的匹配度可以通过以下公式计算：
Figure DEST_PATH_IMAGE033
（9）
其中，beaty()表示基于人脸五官比例计算得到的匹配度，x表示待识别主体，s表示标准图片，giou()表示重合度计算函数，loc_eye_x_l表示待识别主体左眼位置，loc_eye_s_l表示标准图片左眼位置，loc_eye_x_r表示待识别主体右眼位置，loc_eye_s_r表示标准图片右眼位置，loc_nose_x表示待识别主体鼻子位置，loc_nose_s表示标准图片鼻子位置，loc_mouth_x表示待识别主体嘴位置，loc_mouth_s表示标准图片嘴位置，loc_eyebrow_x_l表示待识别主体左眉毛位置，loc_eyebrow_s_l表示标准图片左眉毛位置，loc_eyebrow_x_r表示待识别主体右眉毛位置，loc_eyebrow_s_r表示标准图片右眉毛位置，loc_face_x表示待识别主体脸型，loc_face_s表示标准图片脸型。
通常情况下，若一个待识别主体是体现核心商品信息的主体，那么原始图像中该待识别主体应该是清晰度较高的。因此，可以将待识别主体的清晰度作为主体筛选指标。计算原始图像的边沿信息，待识别主体的边缘信息多，待识别主体的清晰度越高。
通常情况下，若一个待识别主体是体现核心商品信息的主体，那么原始图像中该待识别主体应该更为靠近原始图像的中心点的。因此，可以将待识别主体的位置与原始图像中心点的距离作为主体筛选指标。待识别主体的位置与原始图像中心点的距离越近，分值越高。
S204、根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图。
在确定出目标主体后，则可以以目标主体为中心，按照展示区域的尺寸，对原始图像进行裁剪得到封面图。其中，展示区域的尺寸可以通过面积体现，也可以通过长宽比例体现。以长宽比例为例，可以将原始图像裁剪为符合长宽比例的封面图。
参见图11所示，图11示出了基于原始图像进行裁剪得到封面图的效果示意图，其中，第一行为原始图像，第二行为基于传统方式对原始图像进行裁剪得到的封面图，第三行为基于本方案进行对原始图像进行裁剪得到的封面图。原始图像中商品如图11所示，从图中可以看出，传统方式中会将商品裁掉部分，而基于本方案对原始图像进行裁剪得到的封面图尽可能完整的保留原始图片中的商品，体现了核心商品信息，具有较好的视觉效果。
S205、在所述展示区域展示所述封面图。
将裁剪得到的封面图展示在展示区域，以供其他用户浏览。
由上述技术方案可以看出，当需要对用户上传的原始图像进行裁剪以适应展示区域时，可以获取用户上传的原始图像，对原始图像进行显著性主体识别，得到原始图像所包括待识别主体的主体信息。显著性主体识别可以识别出原始图像中人类感兴趣的区域，并不以人脸信息为识别依据，故可以识别出原始图像中所有待识别主体，避免一些未知商品因无法识别而被裁剪的问题。然后根据待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体，目标主体是最优主体，可以体现核心商品信息，因此，可以根据目标主体的主体信息和展示区域的尺寸，对原始图像进行裁剪得到封面图，这样，在展示区域展示的封面图可以体现核心商品信息，提高了封面图的视觉效果，进而达到提升用户产品体验，提升用户点击率的效果。
接下来，将结合实际应用场景对本申请实施例提供的封面图展示方法进行介绍。在直播平台带货的应用场景，观看直播的用户直播平台后，可以向观看直播的用户展示不同商品的封面图，以便用户根据封面图体现的商品信息初步了解该直播带货的商品，进而吸引用户点击了解进入直播间观看直播，甚至购买商品。封面图是根据主播用户上传的原始图像生成的，由于一些原始图像的长宽比例可能与展示区域的长宽比例不匹配，例如，展示区域的长宽比例为1:1，而用户上传的原始图像的长宽比例并非1:1，因此，可以基于本申请实施例提供的方法展示封面图。参见图12，所述方法包括：
S1201、主播用户上传原始图像。
S1202、确定原始图像的长宽比例是否符合展示区域的长宽比例，若否，执行S1203，若是，执行S1206。
S1203、对原始图像进行显著性主体识别，得到原始图像所包括待识别主体的主体信息。
S1204、从待识别主体中筛选目标主体。
S1205、根据目标主体的主体信息和展示区域的长宽比例，对原始图像进行裁剪得到封面图。
S1206、在展示区域展示封面图。
基于图2对应实施例提供的封面图展示方法，本申请实施例还提供一种封面图展示装置1300，参见图13，所述装置1300包括获取单元1301、确定单元1302、裁剪单元1303和展示单元1304：
所述获取单元1301，用于获取用户上传的原始图像；
所述确定单元1302，用于对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息；
所述确定单元1302，还用于根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体；
所述裁剪单元1303，用于根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图；
所述展示单元1304，用于在所述展示区域展示所述封面图。
在一种可能的实现方式中，所述确定单元1302，用于：
若根据所述主体信息确定所述待识别主体的数量为一个，或所述待识别主体的数量为多个且所述展示区域的尺寸大于多个所述待识别主体所占区域的尺寸，将所述待识别主体作为所述目标主体；
若根据所述主体信息确定所述待识别主体的数量为多个，且所述展示区域的尺寸小于多个所述待识别主体所占区域的尺寸，从所述待识别主体中筛选所述目标主体。
在一种可能的实现方式中，所述确定单元1302，用于：
根据所述待识别主体的主体信息，计算主体筛选指标；
根据所述主体筛选指标，从所述待识别主体中筛选所述目标主体。
在一种可能的实现方式中，若多个所述待识别主体的类型为人脸，所述主体筛选指标包括以下一个或多个组合：
人脸五官比例、待识别主体的清晰度以及待识别主体的位置与所述原始图像中心点的距离。
在一种可能的实现方式中，若多个所述待识别主体的类型为物体，所述主体筛选指标包括以下一个或多个组合：
待识别主体的清晰度、待识别主体的饱和度、待识别主体的色彩丰富度以及待识别主体的位置与所述原始图像中心点的距离。
在一种可能的实现方式中，若所述主体筛选指标包括多个，所述确定单元1302，用于：
根据所述主体筛选指标进行加权求和，得到主体分值；
根据所述主体分值确定所述目标主体。
在一种可能的实现方式中，所述确定单元1302，用于：
通过神经网络模型对所述原始图像进行特征提取，得到所述原始图像的目标特征；
根据所述目标特征识别所述原始图像中所包括待识别主体的主体信息。
在一种可能的实现方式中，所述神经网络模型包括特征金字塔网络、特征金字塔池化模块和特征整合模块，所述确定单元1302，用于：
通过所述特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像的不同层级的特征信息；
通过所述特征金字塔池化模块将最高层级的所述特征信息分别与不同层级的特征信息进行融合，得到融合特征；
通过所述特征整合模块对每个层级的融合特征进行整合，得到所述目标特征。
在一种可能的实现方式中，所述征金字塔网络包括多个卷积层，从第二个卷积层开始，相邻两个卷积层之间通过残差网络结构连接，所述残差网络结构用于提取所述原始图像中的边缘信息。
在一种可能的实现方式中，所述展示区域为直播平台或购物网站上的商品展示区域。
本申请实施例还提供了一种用于封面图展示的设备，该设备用于执行封面图展示方法，该设备可以是终端设备，以终端设备为智能手机为例：
图14示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框图。参考图14，智能手机包括：射频（英文全称：Radio Frequency，英文缩写：RF）电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真（英文全称：wireless fidelity，英文缩写：WiFi）模块1470、处理器1480、以及电源1490等部件。输入单元1430可包括触控面板1431以及其他输入设备1432，显示单元1440可包括显示面板1441。本领域技术人员可以理解，图14中示出的智能手机结构并不构成对智能手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行智能手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据智能手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1480是智能手机的控制中心，利用各种接口和线路连接整个智能手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行智能手机的各种功能和处理数据，从而对智能手机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。
在本实施例中，所述终端设备中的处理器1480可以执行以下步骤；
获取用户上传的原始图像；
对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息；
根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体；
根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图；
在所述展示区域展示所述封面图。
本申请实施例还提供一种服务器，请参见图15所示，图15为本申请实施例提供的服务器1500的结构图，服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，简称CPU）1522（例如，一个或一个以上处理器）和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530（例如一个或一个以上海量存储设备）。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器结构。
根据本申请的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的封面图展示方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例各种可选实现方式中提供的方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术成员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种封面图展示方法，其特征在于，所述方法包括：
获取用户上传的原始图像；
若所述原始图像的尺寸与展示区域的尺寸不匹配，对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息；所述展示区域为直播平台或购物网站上的商品展示区域；
根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体；
根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图，所述封面图的尺寸与所述展示区域的尺寸匹配；
在所述展示区域展示所述封面图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体，包括：
若根据所述主体信息确定所述待识别主体的数量为一个，或所述待识别主体的数量为多个且所述展示区域的尺寸大于多个所述待识别主体所占区域的尺寸，将所述待识别主体作为所述目标主体；
若根据所述主体信息确定所述待识别主体的数量为多个，且所述展示区域的尺寸小于多个所述待识别主体所占区域的尺寸，从所述待识别主体中筛选所述目标主体。
3.根据权利要求2所述的方法，其特征在于，所述从所述待识别主体中筛选所述目标主体，包括：
根据所述待识别主体的主体信息，计算主体筛选指标；
根据所述主体筛选指标，从所述待识别主体中筛选所述目标主体。
4.根据权利要求3所述的方法，其特征在于，若多个所述待识别主体的类型为人脸，所述主体筛选指标包括以下一个或多个组合：
人脸五官比例、待识别主体的清晰度以及待识别主体的位置与所述原始图像中心点的距离。
5.根据权利要求3所述的方法，其特征在于，若多个所述待识别主体的类型为物体，所述主体筛选指标包括以下一个或多个组合：
待识别主体的清晰度、待识别主体的饱和度、待识别主体的色彩丰富度以及待识别主体的位置与所述原始图像中心点的距离。
6.根据权利要求3所述的方法，其特征在于，若所述主体筛选指标包括多个，所述根据所述主体筛选指标，从所述待识别主体中筛选所述目标主体，包括：
根据所述主体筛选指标进行加权求和，得到主体分值；
根据所述主体分值确定所述目标主体。
7.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息，包括：
通过神经网络模型对所述原始图像进行特征提取，得到所述原始图像的目标特征；
根据所述目标特征识别所述原始图像中所包括待识别主体的主体信息。
8.根据权利要求7所述的方法，其特征在于，所述神经网络模型包括特征金字塔网络、特征金字塔池化模块和特征整合模块，所述通过神经网络模型对所述原始图像进行特征提取，得到所述原始图像的目标特征，包括：
通过所述特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像的不同层级的特征信息；
通过所述特征金字塔池化模块将最高层级的所述特征信息分别与不同层级的特征信息进行融合，得到融合特征；
通过所述特征整合模块对每个层级的融合特征进行整合，得到所述目标特征。
9.根据权利要求8所述的方法，其特征在于，所述特征金字塔网络包括多个卷积层，从第二个卷积层开始，相邻两个卷积层之间通过残差网络结构连接，所述残差网络结构用于提取所述原始图像中的边缘信息。
10.一种封面图展示装置，其特征在于，所述装置包括获取单元、确定单元、裁剪单元和展示单元：
所述获取单元，用于获取用户上传的原始图像；
所述确定单元，用于若所述原始图像的尺寸与展示区域的尺寸不匹配，对所述原始图像进行显著性主体识别，得到所述原始图像所包括待识别主体的主体信息；所述展示区域为直播平台或购物网站上的商品展示区域；
所述确定单元，还用于根据所述待识别主体的主体信息和展示区域的尺寸，确定用于展示的目标主体；
所述裁剪单元，用于根据所述目标主体的主体信息和所述展示区域的尺寸，对所述原始图像进行裁剪得到封面图，所述封面图的尺寸与所述展示区域的尺寸匹配；
所述展示单元，用于在所述展示区域展示所述封面图。
11.根据权利要求10所述的装置，其特征在于，所述确定单元，用于：
若根据所述主体信息确定所述待识别主体的数量为一个，或所述待识别主体的数量为多个且所述展示区域的尺寸大于多个所述待识别主体所占区域的尺寸，将所述待识别主体作为所述目标主体；
若根据所述主体信息确定所述待识别主体的数量为多个，且所述展示区域的尺寸小于多个所述待识别主体所占区域的尺寸，从所述待识别主体中筛选所述目标主体。
12.根据权利要求11所述的装置，其特征在于，所述确定单元，用于：
根据所述待识别主体的主体信息，计算主体筛选指标；
根据所述主体筛选指标，从所述待识别主体中筛选所述目标主体。
13.一种用于封面图展示的设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-9任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-9任一项所述的方法。
CN202011103200.1A 2020-10-15 2020-10-15 一种封面图展示方法及相关装置 Active CN112016548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011103200.1A CN112016548B (zh) 2020-10-15 2020-10-15 一种封面图展示方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011103200.1A CN112016548B (zh) 2020-10-15 2020-10-15 一种封面图展示方法及相关装置

Publications (2)

Publication Number Publication Date
CN112016548A CN112016548A (zh) 2020-12-01
CN112016548B true CN112016548B (zh) 2021-02-09

Family

ID=73527611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011103200.1A Active CN112016548B (zh) 2020-10-15 2020-10-15 一种封面图展示方法及相关装置

Country Status (1)

Country Link
CN (1) CN112016548B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221754A (zh) * 2021-05-14 2021-08-06 深圳前海百递网络有限公司 快递单图像检测方法、装置、计算机设备和存储介质
CN113836328B (zh) * 2021-07-09 2024-06-25 腾讯科技（深圳）有限公司 图像数据处理方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984464A (zh) * 2010-10-22 2011-03-09 北京工业大学 一种图像中不同区域视觉显著程度的检测方法
CN103903223A (zh) * 2014-04-24 2014-07-02 厦门美图之家科技有限公司 一种基于图像显著性检测的获取缩略图的方法
CN104063444A (zh) * 2014-06-13 2014-09-24 百度在线网络技术（北京）有限公司 缩略图的生成方法和装置
CN104077609A (zh) * 2014-06-27 2014-10-01 河海大学 一种基于条件随机场的显著性检测方法
CN105528786A (zh) * 2015-12-04 2016-04-27 小米科技有限责任公司 图像处理方法及装置
CN107169954A (zh) * 2017-04-18 2017-09-15 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法
CN110458749A (zh) * 2018-05-08 2019-11-15 华为技术有限公司 图像处理方法、装置及终端设备
CN110456960A (zh) * 2019-05-09 2019-11-15 华为技术有限公司 图像处理方法、装置及设备
CN111279389A (zh) * 2018-12-28 2020-06-12 深圳市大疆创新科技有限公司 图像处理方法和装置
CN111598841A (zh) * 2020-04-23 2020-08-28 南开大学 基于正则化稠密连接特征金字塔的实例显著性检测方法
CN111626176A (zh) * 2020-05-22 2020-09-04 中国科学院空天信息创新研究院 一种遥感图像的地物目标检测方法及系统
CN111754407A (zh) * 2020-06-27 2020-10-09 北京百度网讯科技有限公司 图像展示的布局方法、装置、设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914689B (zh) * 2014-04-09 2017-03-15 百度在线网络技术（北京）有限公司 基于人脸识别的图片裁剪方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984464A (zh) * 2010-10-22 2011-03-09 北京工业大学 一种图像中不同区域视觉显著程度的检测方法
CN103903223A (zh) * 2014-04-24 2014-07-02 厦门美图之家科技有限公司 一种基于图像显著性检测的获取缩略图的方法
CN104063444A (zh) * 2014-06-13 2014-09-24 百度在线网络技术（北京）有限公司 缩略图的生成方法和装置
CN104077609A (zh) * 2014-06-27 2014-10-01 河海大学 一种基于条件随机场的显著性检测方法
CN105528786A (zh) * 2015-12-04 2016-04-27 小米科技有限责任公司 图像处理方法及装置
CN107169954A (zh) * 2017-04-18 2017-09-15 华南理工大学 一种基于并行卷积神经网络的图像显著性检测方法
CN110458749A (zh) * 2018-05-08 2019-11-15 华为技术有限公司 图像处理方法、装置及终端设备
CN111279389A (zh) * 2018-12-28 2020-06-12 深圳市大疆创新科技有限公司 图像处理方法和装置
CN110456960A (zh) * 2019-05-09 2019-11-15 华为技术有限公司 图像处理方法、装置及设备
CN111598841A (zh) * 2020-04-23 2020-08-28 南开大学 基于正则化稠密连接特征金字塔的实例显著性检测方法
CN111626176A (zh) * 2020-05-22 2020-09-04 中国科学院空天信息创新研究院 一种遥感图像的地物目标检测方法及系统
CN111754407A (zh) * 2020-06-27 2020-10-09 北京百度网讯科技有限公司 图像展示的布局方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN112016548A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
US11704357B2 (en) Shape-based graphics search
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
US11657575B2 (en) Generating augmented reality content based on third-party content
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN115917608A (zh) 增强现实内容项中的机器学习
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN112016548B (zh) 一种封面图展示方法及相关装置
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
US11790565B2 (en) Compressing image-to-image models with average smoothing
CN116250012A (zh) 用于图像动画的方法、系统和计算机可读存储介质
CN111405314B (zh) 一种信息处理方法、装置、设备及存储介质
CN112069412A (zh) 信息推荐方法、装置、计算机设备及存储介质
CN117336525A (zh) 视频处理方法、装置、计算机设备及存储介质
CN114528474A (zh) 推荐对象确定方法、装置、电子设备及存储介质
CN117132690A (zh) 一种图像生成方法及相关装置
US20230289560A1 (en) Machine learning techniques to predict content actions
CN118696345A (zh) 交互地定义对象分割
CN113761281B (zh) 虚拟资源处理方法、装置、介质及电子设备
CN116685981A (zh) 压缩图像到图像模型
CN114819138A (zh) 图数据处理方法、装置、电子设备及存储介质
CN117136404A (zh) 从歌曲中提取伴奏的神经网络
CN113569809A (zh) 一种图像处理方法、设备及计算机可读存储介质
CN113128277A (zh) 一种人脸关键点检测模型的生成方法及相关设备
CN112487858A (zh) 一种视频生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035416

Country of ref document: HK