CN112733044B - 推荐图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

推荐图像处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112733044B
CN112733044B CN202110343294.8A CN202110343294A CN112733044B CN 112733044 B CN112733044 B CN 112733044B CN 202110343294 A CN202110343294 A CN 202110343294A CN 112733044 B CN112733044 B CN 112733044B
Authority
CN
China
Prior art keywords
recommended image
image
recommended
thermodynamic diagram
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110343294.8A
Other languages
English (en)
Other versions
CN112733044A (zh
Inventor
韩金新
汤玉垚
王凝华
刘鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110343294.8A priority Critical patent/CN112733044B/zh
Publication of CN112733044A publication Critical patent/CN112733044A/zh
Application granted granted Critical
Publication of CN112733044B publication Critical patent/CN112733044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • G06Q30/0271Personalized advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0277Online advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种推荐图像处理方法、装置、设备及计算机可读存储介质;方法包括:获取待预测的推荐图像;响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,该预测热力图能够表征所述推荐图像的点击信息;之后呈现所述预测热力图,并响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接;响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端,编辑完成的推荐图像中的所述目标区域是添加有所述跳转链接的。通过本申请,能够利用推荐图像的预测热力图,对推荐图像的编辑、创建过程进行指导,从而提高推荐图像的转化率。

Description

推荐图像处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及互联网技术,尤其涉及一种推荐图像处理方法、装置、设备及计算机可读存储介质。
背景技术
伴随着信息推荐服务的不断发展,落地页信息推荐业务占比越来越重,在流量红利逐渐消失的现在,更需要创建一个高转化的落地页为推荐对像的供应方带来收益。目前供应方在进行落地页的推荐图像创建时,仅仅能够根据自身的经验对推荐图像进行编辑和设计,不能保证设计出的落地页具有较高的点击率,从而影响推荐图像的转化率。
发明内容
本申请实施例提供一种推荐图像处理方法、装置及计算机可读存储介质,能够利用推荐图像的预测热力图,对推荐图像的编辑、创建过程进行指导,从而提高推荐图像的转化率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种推荐图像处理方法,包括:
获取待预测的推荐图像;
响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,所述预测热力图能够表征所述推荐图像的点击信息;
呈现所述预测热力图;
响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接;
响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端,所述编辑完成的推荐图像中的所述目标区域添加有所述跳转链接。
本申请实施例提供一种推荐图像处理装置,包括:
第一获取模块,用于获取待预测的推荐图像;
第一确定模块,用于响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,所述预测热力图能够表征所述推荐图像的点击信息;
呈现模块,用于呈现所述预测热力图;
第二确定模块,用于响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接;
发送模块,用于响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端,所述编辑完成的推荐图像中的所述目标区域添加有所述跳转链接。
在一些实施例中,该呈现模块,还用于:
在显示界面中,按照预设透明度加载浮层;
在所述浮层中呈现所述预测热力图;或者,
在所述推荐图像上呈现所述预测热力图。
在一些实施例中,该第一确定模块,还用于:
响应于接收到的热力图预测操作,将所述推荐图像输入至训练好的预测模型,得到预测结果,所述预测结果包括所述推荐图像中各个像素点的预测点击等级;
基于所述各个像素点的预测点击等级,确定所述推荐图像的预测热力图。
在一些实施例中,该第一确定模块,还用于:
将所述推荐图像输入至所述训练好的预测模型,得到所述推荐图像的初始特征;
将所述初始特征按照多个采样率进行空洞卷积,对应得到多个空洞卷积特征;
将所述多个空洞卷积特征进行拼接,得到所述推荐图像的细节特征;
将所述细节特征和所述初始特征进行特征融合,得到融合特征;
基于所述融合特征,确定所述推荐图像的预测结果。
在一些实施例中,该第一确定模块,还用于:
对所述细节特征进行卷积处理,得到处理后的细节特征;
对所述初始特征进行卷积和/或池化处理,得到处理后的初始特征;所述处理后的细节特征和所述处理后的初始特征的维度相同;
将所述处理后的细节特征和所述处理后的初始特征进行拼接,得到融合特征。
在一些实施例中,该第一确定模块,还用于:
对所述融合特征进行上采样,得到上采样后的融合特征,所述上采样后的融合特征与所述推荐图像的尺寸相同;
基于所述上采样后的融合特征中的各个特征值,确定各个像素点对应点击等级;
将所述各个像素点对应点击等级确定为所述预测结果。
在一些实施例中,该第一确定模块,还用于:
获取点击等级和色彩信息的对应关系;
基于所述对应关系和所述各个像素点的预测等级,确定所述各个像素点的热力图色彩信息;
利用所述各个像素点的热力图色彩信息,生成所述推荐图像的预测热力图。
在一些实施例中,该装置还包括:
第二获取模块,用于获取预设的预测模型;
第三获取模块,用于获取训练数据集,所述训练数据包括训练图像和所述训练图像对应的标签信息构成的训练数据对;
模型训练模块,用于利用多个训练数据对对所述预设的预测模型进行训练,得到所述训练好的预测模型。
在一些实施例中,该第三获取模块,还用于:
获取已发布推荐图像和所述已发布推荐图像的实际点击数据;
根据所述已发布推荐图像的实际点击数据,确定所述已发布推荐图像的标签信息,所述标签信息包括所述已发布推荐图像中各个像素点的点击等级;
基于所述各个像素点的点击等级进行连通区域分析,以进行噪声滤除和子图构建;
获取通过子图构建得到的所述已发布推荐图像的至少一个子图和所述至少一个子图的标签信息;
将所述已发布推荐图像和所述至少一个子图确定为所述训练图像,将所述已发布推荐图像的标签信息和所述至少一个子图的标签信息确定为所述训练图像的标签信息。
在一些实施例中,该第三获取模块,还用于:
基于所述各个像素点的点击等级确定出所述已发布推荐图像中的至少一个连通区域和所述至少一个连通区域的位置信息;
基于所述至少一个连通区域的位置信息进行噪声滤除,得到处理后的连通区域;
基于所述处理后的连通区域的位置信息进行子图构建,得到所述已发布推荐图像中的至少一个子图。
在一些实施例中,该装置还包括:
第四获取模块,用于获取所述编辑完成的推荐图像的实际点击数据;
第三确定模块,用于基于所述实际点击数据,确定所述编辑完成的推荐图像的中各个像素点的实际点击等级;
第四确定模块,用于基于所述各个像素点的实际点击等级和所述各个像素点的预测点击等级确定预测差异值;
模型优化模块,用于当所述预测差异值大于差异阈值时,利用所述编辑完成的推荐图像和所述实际点击数据对所述训练好的预测模型进行优化。
本申请实施例提供一种推荐图像处理设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的方法。
本申请实施例提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
本申请实施例具有以下有益效果:
在本申请实施例提供的推荐图像处理方法中,在获取到待预测的推荐图像之后,如果接收到热力图预测操作,则响应于该热力图预测操作,确定该推荐图像的预测热力图,该预测热力图能够表征所述推荐图像的点击信息,之后呈现该预测热力图,以通过该预测热力图指导推荐图像的跳转链接的添加位置,在获取到基于所述预测热力图触发的编辑操作之后,响应于该编辑操作,确定所述推荐图像中的目标区域,并在所述目标区域添加跳转链接,在编辑完成后如果接收到推荐图像发布操作,响应于该推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端;在本申请实施例中,在编辑制作推荐图像时,进行热力图预测,从而提高供应方对热力图的感知能力,并且基于预测热力图将跳转连接添加至点击等级最高的目标区域,进而能够提高推荐转化率。
附图说明
图1A为卷积过程示意图;
图1B为空洞卷积示意图;
图1C为最大池化和平均池化示意图;
图2是本申请实施例提供的信息推荐系统架构的网络架构示意图;
图3是本申请实施例提供的信息推荐终端的结构示意图;
图4是本申请实施例提供的推荐图像处理方法的一种实现流程示意图;
图5为本申请实施例提供的获取训练数据的流程示意图;
图6为本申请实施例提供的推荐图像处理方法的再一种实现流程示意图;
图7为本申请实施例提供的利用DeepLab模型进行落地页点击状况预测的实现流程示意图;
图8A为本申请实施例提供的输入图片示意图;
图8B为本申请实施例提供的输入图片的初始特征示意图;
图9A为本申请实施例提供的使用不同采样率进行空洞卷积的示意图;
图9B为本申请实施例提供的空洞卷积结果的示意图;
图10为本申请实施例提供的连通区域分析后标记出的连通区域示意图;
图11为本申请实施例提供的噪声滤除后的连通区域示意图;
图12为本申请实施例提供的模型优化对比示意图;
图13为本申请实施例提供的广告落地页的热力图预估功能的产品形态示意图;
图14A为本申请实施例提供的落地页编辑工具的界面示意图;
图14B为本申请实施例提供的落地页编辑工具的又一界面示意图;
图14C为本申请实施例提供的进行热力预估后的落地页编辑工具的界面示意图;
图15为本申请实施例提供的热力图预估结果示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)图像分割,指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域的过程,这些特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同。
2)卷积神经网络(CNN,Convolutional Neural Network)是一种前馈神经网络,人工神经元可以响应周围单元。卷积神经网络包括卷积层和池化层。
3)骨干网络(Backbone),可以认为是CNN模型的一个共享结构,通过该网络模型能够获取到图像特征,该网络模型可以是经典的图像处理网络结构,例如Resnet、Xception等。
4)卷积,通过不同大小的卷积核,对相似点做局部感知操作,得到局部特征的过程。如图1A所示,像素矩阵101为原始特征,3*3矩阵102为卷积核,可以发现,卷积后的特征103的特征维度相较于原始矩阵变少了。
5)反卷积,一种特殊的卷积,在实现时先按照一定的比例通过补0来扩大输入图像的尺寸,接着旋转卷积核,再进行卷积(特征维度变多)。
6)空洞卷积,与标准卷积(上述4)卷积方式)基本相同,有两种实现方式,第一卷积核填充零,第二种等间隔采样。如图1B所示,通过空洞卷积可以将感受野从3*3扩大到5*5(图1B中的111所示部分),从而能够捕获多尺度的上下文信息。
7)N * N conv,表示不同的卷积操作,N表示卷积核的大小。
8)concat,将两个及以上的特征图在指定维度上进行拼接。
9)上采样(UpSample),指将特征图的分辨率还原到原始图片的分辨率大小的过程。输入图像通过卷积神经网络提取特征后,输出的特征图的尺寸往往会变小,而有时需要将图像恢复到原来的尺寸以便进行后续计算,采用扩大图像尺寸,实现图像由小分辨率到大分辨率的映射的操作叫上采样。
10)池化操作(Pooling),在尽量不丢失图像特征前期下,对图像进行下采样的操作,降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。常用的有如图1C所示的最大池化(max pooling)121和平均池化(average pooling)122;在图1C中,相同填充样式的给同一个池化结构,如图1C所示,最大池化取同一池化结构中的最大值,平均池化取同一池化结构中的平均值;池化操作可以减少空间信息的大小,提高运算效率,同样也就意味着减少参数,能够降低过拟合(overfit)的风险。
11)Relu函数,一种非线形激活函数,能够使网络全过程训练摆脱单一的线性关系,让feature map获得的特征更加符合现实,Relu函数为分段线性函数,把所有的负值都变为0,而正值不变,使得特征图变得稀疏,能够一定程度上防止过拟合,有利于特征提取。
12)感受野,卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小,也可以认为是神经网络中神经元“看到的”输入区域,在卷积神经网络中,feature map上某个元素的计算受输入图像上某个区域的影响,这个区域即该元素的感受野。
13)损失函数(Loss Function),又称为代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计,是机器学习模型的优化目标。
14)落地页,一种广告呈现的载体,在数字营销中,落地页是独立的网页,专门用于营销或广告活动。
15)热力图预估,估算落地页上各个区域的用户点击概率,并以热力图的形式绘制出来。
本申请实施例提供一种推荐图像处理方法、装置、设备和计算机可读存储介质,能够在创建推荐图像时进行热力图估计,从而辅助创建高转化的推荐图像。下面说明本申请实施例提供的推荐图像处理设备的示例性应用,本申请实施例提供的设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明设备实施为终端时的示例性应用。
参见图2,图2为本申请实施例提供的信息推荐系统100的网络架构示意图,如图2所示,该网络架构包括供应方终端200、网络300、推荐信息投放端400和用户终端500,其中,供应方终端200和用户终端500分别通过网络300连接推荐信息投放端400,网络300可以是广域网或者局域网,又或者是二者的组合。
供应方终端200中安装有能够创建、编辑图像的应用程序,供应方终端200启动该应用程序后,选择或者创建推荐图像,并对该推荐图像进行编辑,当供应方终端200接收到热力图预测操作时,通过训练好的预测模型确定推荐图像的预测热力图,以为推荐图像添加跳转链接提供指导,从而创建出高转化的推荐图像,供应方终端200在确定编辑完成后,将推荐图像发送至推荐信息投放端400,推荐信息投放端400将推荐图像发送至用户终端500,并采集该推荐图像的实际点击数据,推荐信息投放端400将实际点击数据返回至供应方终端200,以评估预测模型的预测效果,并在预测效果不够完善时,进行模型优化,实现模型自更新的闭环。
在一些实施例中,推荐信息投放端400可以为服务器,其中,可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在本申请实施例中,供应方终端200和推荐信息投放端400可以是区块链系统中的节点设备。
参见图3,图3为本申请实施例提供的供应方终端200的结构示意图,图3所示的供应方终端200包括:至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。供应方终端200中的各个组件通过总线系统240耦合在一起。可理解,总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中,存储器250能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统251,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块252,用于经由一个或多个(有线或无线)网络接口220到达其他计算设备,示例性的网络接口220包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
输入处理模块253,用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的装置可以采用软件方式实现,图3示出了存储在存储器250中的推荐图像处理装置254,其可以是程序和插件等形式的软件,包括以下软件模块:第一获取模块2541、第一确定模块2542、呈现模块2543、第二确定模块2544和发送模块2545,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
呈现模块2543,用于经由一个或多个与用户接口230相关联的输出装置231(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口)。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的装置可以采用硬件方式实现,作为示例,本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的推荐图像处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件。
为了更好地理解本申请实施例提供的方法,首先对人工智能、人工智能的各个分支,以及本申请实施例提供的方法所涉及的应用领域进行说明。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的方案主要涉及人工智能的机器学习技术,以下对该项技术进行说明。
机器学习(ML,Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
人工智能云服务,一般也被称作是AI即服务(AIaaS,AI as a Service)。这是目前主流的一种人工智能平台的服务方式,具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城:所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务,部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自己专属的云人工智能服务,在本发明实施例提供的信息推荐方法中,可以通过人工智能云服务提供的AI框架和AI基础设施来部署和运维信息推荐系统。
以下将结合本申请实施例提供的供应方终端的示例性应用和实施,说明本申请实施例提供的推荐图像处理方法。
参见图4,图4为本申请实施例提供的推荐图像处理方法的一种实现流程示意图,应用于供应方终端,以下将结合图4示出的步骤对本申请实施例提供的推荐图像方法进行说明。
步骤S101,获取待预测的推荐图像。
待预测的推荐图像可以为供应方终端中存储的图像,还可以是对供应方终端中存储的图像进行编辑后得到的图像,该推荐图像一般为彩色图像,当然,也可以是灰度图像。在本申请实施例中,供应方可以理解为广告主,供应方终端也即为广告主的终端,供应方终端中可以安装有创建和编辑推荐图像的应用程序,通过该应用程序,可以对推荐图像进行编辑,例如增加供应方的联系信息、增加跳转链接等。
步骤S102,响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图。
其中,该预测热力图能够表征所述推荐图像的点击信息,在实际实现时,预测热力图是根据推荐图像中各个像素点的点击等级确定的。预测热力图可以以特殊高亮的形式显示访客热衷的(也即点击次数多的)区域,也即通过预测热力图能够确定图像的哪些部分吸引了大多数访客的注意。
在实际实现时,用于创建和编辑推荐图像的应用程序可以提供点击热力图预测的操作控件,当接收到针对该操作控件的点击操作或触控操作时,也即接收到热力图预测操作,此时将该待预测的推荐图像输入至训练好的预测模型,得到该推荐图像各个像素点的点击等级,进而根据各个像素点的点击等级生成预测热力图。各个点击等级对应有不同的色彩信息,然后根据各个像素点的点击等级,确定出各个像素点对应的色彩信息,进而生成预测热力图。在本申请实施例中,可以是点击等级从低到高,对应的颜色依次为蓝、绿、黄、橙、红。
在本申请实施例中,该训练好的预测模型可以是利用实际投放的推荐图像以及实际投放的推荐图像的实际点击数据训练得到的。
步骤S103,呈现所述预测热力图。
呈现该预测热力图时,可以首先在显示界面中加载浮层,并在该浮层上呈现该预测热力图,在实际实现时,可以是按照预设透明度加载一个浮层,例如可以是在透明度为50%的浮层上呈现该预测热力图。这里的显示界面可以是指供应方终端的当前显示界面。在该浮层上还设置有关闭预测热力图的操作控件,以关闭预测热力图,继续进行推荐图像的编辑过程。另外,还可以是在该推荐图像上直接呈现该预测热力图,此时可以通过一些快捷键关闭预测热力图,以进行后续的编辑过程。
该预测热力图能够反映推荐图像中各个像素点的点击等级,基于该预测热力图,能够确定出该推荐图像中点击数最高的一个或多个区域,从而在点击数最高的区域添加跳转链接能够提高推荐转化率。
步骤S104,响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接。
在本申请实施例中,基于该预测热力图触发的编辑操作可以是增加或者调整跳转链接位置的操作。该目标区域可以是预测热力图中点击等级最高的某一个区域,将该目标区域确定为添加跳转链接的区域,如此能够跳转链接被点击的概率,从而提高推荐转化率。
步骤S105,响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端。
当将跳转链接增加至目标区域之后,如果不再进行其他编辑操作,可以通过触发一个编辑完成操作,将此时的推荐图像作为编辑完成的推荐图像进行保存,在一些实施例中,当将跳转链接增加至目标区域之后,还可以对推荐图像进行其他的编辑操作,例如增加表单、增加走马灯等,在确定编辑完成后,触发编辑完成操作,保存编辑完成的推荐图像。也就是说,编辑完成的推荐图像中的目标区域是添加有跳转链接的。在接收到推荐图像发布操作时,响应于该推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端,以请求该推荐信息投放端向用户终端投放该编辑完成的推荐图像。
在本申请实施例提供的推荐图像处理方法中,在获取到待预测的推荐图像之后,如果接收到热力图预测操作,则响应于该热力图预测操作,确定该推荐图像的预测热力图,该预测热力图能够表征所述推荐图像的点击信息,之后呈现该预测热力图,以通过该预测热力图指导推荐图像的跳转链接的添加位置,在获取到基于所述预测热力图触发的编辑操作之后,基于该编辑操作,确定所述推荐图像中的目标区域,并在所述目标区域添加跳转链接,在编辑完成后如果接收到推荐图像发布操作,响应于该推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端;在本申请实施例中,在编辑制作推荐图像时,进行热力图预测,从而提高供应方对热力图的感知能力,并且基于预测热力图将跳转连接添加至点击等级最高的目标区域,进而能够提高推荐转化率。
在一些实施例中,图4所示的步骤S102“响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图”可以通过以下步骤实现:
步骤S1021,响应于接收到的热力图预测操作,将所述推荐图像输入至训练好的预测模型,得到预测结果。
该预测结果包括所述推荐图像中各个像素点的预测点击等级。在本申请实施例中,预设N个点击等级,分别为0级到(N-1)级。例如N为16,此时点击等级为0到15级。
步骤S1021在实现时,将推荐图像输入至训练好的预测模型之后,首先利用backbone网络,得到推荐图像的初始特征,然后将该初始特征进行不同采样率的空洞卷积,得到细节特征,再将细节特征和初始特征进行特征融合,最后为了得到各个像素点的预测点击等级,需要将进行特征融合后的融合特征进行上采样,得到与推荐图像大小一致的预测结果,例如,推荐图像的尺寸为960*1080,那么预测结果也为960*1080的矩阵。
步骤S1022,基于所述各个像素点的预测点击等级,确定所述推荐图像的预测热力图。
在实际实现过程中,步骤S1022在实现时,可以首先获取点击等级和色彩信息的对应关系,然后基于所述对应关系和所述各个像素点的预测等级,确定所述各个像素点的热力图色彩信息;最后利用所述各个像素点的热力图色彩信息,生成所述推荐图像的预测热力图。
在该对应关系中,每个点击等级对应有一个色彩信息,该色彩信息可以是RGB彩色信息,例如有0到15个等级,0等级对应的色彩信息可以是(0,0,255),等级7对应的色彩信息可以是(0,255,0),等级15对应的色彩信息可以是(255,0,0)。在确定出各个像素点的点击等级之后,即可通过该对应关系确定出各个像素点对应的色彩信息,从而生成预测热力图。
在步骤S1021至步骤S1022所在的实施例中,通过训练好的预测模型,对推荐图像的点击热力图进行预测,得到包括各个像素点的点击等级的预测结果,并通过预测结果生成预测热力图。
在一些实施例中,上述步骤S1021“将所述推荐图像输入至训练好的预测模型,得到预测结果”可以通过以下步骤实现:
步骤S211,将所述推荐图像输入至所述训练好的预测模型,得到所述推荐图像的初始特征。
由于图像被计算机读入后也是一系列的像素点,当推荐图像为960*1080的彩色图像时,那么输入预测模型的数据维度为960*1080*3,3表示红绿蓝三个色域通道,该输入数据中每个值的取值范围为(0~255)。
步骤S211在实现时,可以是通过训练好的预测模型中的backbone来提取推荐图像的初始特征,初始特征是由浮点数(float)类型的数字组成的维度为960*1080*1的向量。
步骤S212,将所述初始特征按照多个采样率进行空洞卷积,对应得到多个空洞卷积特征。
将初始特征按照预设的多个采样率进行空洞卷积,例如可以是按照6、12、18、24四个采样率进行空洞卷积,此时会对应得到4个空洞卷积特征,这4个空洞卷积特征的维度是相同的,例如可以都是480*540*1。
步骤S213,将所述多个空洞卷积特征进行拼接,得到所述推荐图像的细节特征。
假设各个空洞卷积特征的维度为M*N*1,有P个空洞卷积特征,那么将P个空洞卷积特征进行拼接,得到的细节特征的维度为M*N*P。承接上述的举例,有4个空洞卷积特征,且每个空洞卷积特征的维度为480*540*1,那么细节特征的维度为480*540*4。
步骤S214,将所述细节特征和所述初始特征进行特征融合,得到融合特征。
由于细节特征与初始特征的维度不同,因此步骤S214在实现时,可以通过以下步骤先将细节特征和初始特征变换到相同的维度,然后进行特征拼接,以完成特征融合:
步骤S2141,对所述细节特征进行卷积处理,得到处理后的细节特征。
在该步骤中,对细节特征进行的卷积处理为标准卷积处理,假设卷积处理前,细节特征的维度为M*N*P,那么处理后的细节特征的维度为M*N*1。承接上述举例,卷积处理前的细节特征的维度为480*540*4,卷积处理后的细节特征的维度为480*540*1。
步骤S2142,对所述初始特征进行卷积和/或池化处理,得到处理后的初始特征;
处理后的细节特征和处理后的初始特征的维度相同。
如果初始特征是对彩色图像进行特征提取得到的,初始特征为3个颜色通道的特征向量,步骤S2142在实现时,需要先进行卷积,再进行池化处理,从而得到处理后的初始特征。承接上述举例,初始特征的维度为960*1080*3,那么先进行卷积处理,得到960*1080*1的特征,然后再进行池化处理,得到480*540*1的处理后的初始特征。如果初始特征是对灰度图像进行特征提取得到的,那么初始特征为1个通道的特征向量,步骤S2142在实现时,可以只进行池化处理,得到处理后的初始特征。例如,初始特征的维度为960*1080*1,经过池化处理得到维度为480*540*1的处理后的初始特征。
步骤S2143,将所述处理后的细节特征和所述处理后的初始特征进行拼接,得到融合特征。
由于处理后的细节特征和处理后的初始特征的维度是相同的,那么此时可以进行特征拼接,得到融合特征。例如,处理后的细节特征和处理后的初始特征的维度都是480*540*1,那么融合特征的维度为480*540*2。
步骤S215,基于所述融合特征,确定所述推荐图像的预测结果。
在一些实施例中,步骤S215可以通过以下步骤实现:
步骤S2151,对所述融合特征进行上采样,得到上采样后的融合特征。
其中,上采样后的融合特征与所述推荐图像的尺寸相同。需要说明的是,这里的尺寸相同,是指上采样后的融合特征的长度和宽度与推荐图像的长度和宽度是相同的,维度不一定是相同的,例如上采样后的融合特征的维度为960*1080*1,而推荐图像的维度为960*1080*3,那么此时认为上采样后的融合特征和推荐图像的尺寸是相同的。上采样后的融合特征的各个特征值为-1到1之间的浮点数。
步骤S2152,基于所述上采样后的融合特征中的各个特征值,确定各个像素点对应的点击等级。
步骤S2152在实现时,可以通过softmax函数和各个特征值,确定出各个像素点属于各个点击等级的概率值,然后再基于属于各个点击等级的概率值,确定出各个像素点对应的点击等级。进一步地,可以是概率值最高的点击等级确定为该像素点的点击等级。
步骤S2153,将所述各个像素点对应的点击等级确定为所述预测结果。
通过上述的步骤S211至步骤S215,则通过训练好的预测模型,能够预测出反映新建推荐图像的点击状况的预测结果,以使得供应方提前感知推荐图像的热力图信息,从而为后续推荐图像增加跳转链接提供指导,保证跳转链接添加至点击率高的区域。
在实际实现时,在步骤S211之前,为了利用训练好的预测模型对推荐图像进行预测,需要利用以下步骤得到训练好的预测模型:
步骤S301,获取预设的预测模型。
该预测模型可以为卷积神经网络模型,例如可以为图像分割领域的新技术DeepLab系列模型,还可以是UNet、PSPNet等。
步骤S302,获取训练数据集。
训练数据包括训练图像和所述训练图像对应的标签信息构成的训练数据对。在本申请实施例中,训练图像对应的标签信息包括各个像素点对应的实际点击等级。
步骤S303,利用多个训练数据对对所述预设的预测模型进行训练,得到所述训练好的预测模型。
步骤S303在实现时,可以是将各个训练图像输入至预设的预测模型,得到各个训练图像的预测结果,然后基于各个训练图像的预测结果和对应的标签信息对该预设的预测模型进行反向传播训练,以对该预设的预测模型的参数进行调整,得到训练好的预测模型。
需要说明的是,上述步骤S301至步骤S303可以是供应方终端实现的,在一些实施例中,还可以是推荐信息投放端实现的。当然,步骤S301至步骤S303还可以是由供应方终端和推荐信息投放端之外的其他设备实现的。
在一些实施例中,步骤S302“获取训练数据集”可以通过如图5所示的步骤S3021至步骤S3025实现,以下结合图5对各步骤进行说明。
步骤S3021,获取已发布推荐图像和所述已发布推荐图像的实际点击数据。
已发布推荐图像是推荐信息投放端实际已投放的图像,已发布推荐图像的实际点击数据是推荐图像被发布出去后一定时长内的点击量和点击区域信息。
步骤S3022,根据所述已发布推荐图像的实际点击数据,确定所述已发布推荐图像的标签信息。
标签信息包括所述已发布推荐图像中各个像素点的点击等级。步骤S3022在实现时,可以是预先设定好不同点击等级与点击量范围的对应关系,然后基于该对应关系,确定各个像素点的点击量所对应的点击等级,从而得到已发布图像的标签信息。
步骤S3023,基于所述各个像素点的点击等级进行连通区域分析,以进行噪声滤除和子图构建。
在实际应用过程中,步骤S3023可以通过以下步骤实现:
步骤S231,基于所述各个像素点的点击等级确定出所述已发布推荐图像中的至少一个连通区域和所述至少一个连通区域的位置信息。
在实现时,可以通过连通区域分析,确定出已发布推荐图像中的连通区域,并将连通区域进行标记。连通区域是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域,在该步骤中,是将具有相同点击等级且位置相邻的像素点组成连通区域,并对连通区域进行标记,以确定出连通区域的位置信息。在对连通区域进行标记时,可以是用能够包围住连通区域的矩形或者正方形进行标记,连通区域的位置信息可以用矩阵或者正方形对角的两个顶点的位置来表征。
步骤S232,基于所述至少一个连通区域的位置信息进行噪声滤除,得到处理后的连通区域。
步骤S232在实现时,可以对多个已发布推荐图像进行图像分析,定制一些策略去除噪音数据,如连通区域小于20个像素、连通区域为竖条形状、连通区域贴近边框等,当基于连通区域的位置信息确定符合上述策略中的一种或多种时,确定该连通区域为噪声,滤除该连通区域。连通区域小于20个像素说明连通区域很小有可能是返回控件或者关闭控件,连通区域贴近边框,可能说明是用户的误操作,而并非真实意愿的点击等等。
步骤S233,基于所述处理后的连通区域的位置信息进行子图构建,得到所述已发布推荐图像中的至少一个子图。
在实现时,基于处理后的连通区域的位置信息,从已发布推荐图像中扣取出对应的子图。
步骤S3024,获取通过子图构建得到的所述已发布推荐图像的至少一个子图和所述至少一个子图的标签信息。
其中,子图的标签信息包括子图中各个像素点对应的点击等级。
步骤S3025,将所述已发布推荐图像和所述至少一个子图确定为训练图像,将所述已发布推荐图像的标签信息和所述至少一个子图的标签信息确定为训练图像的标签信息。
在上述步骤S3021至步骤S3025所在的实施例中,不仅将已发布图像和已发布图像的实际点击数据确定为训练数据,还通过对已发布图像进行连通区域分析以及噪声滤除等过程,得到多个子图以及多个子图的标签信息,并将多个子图和多个子图的标签信息也确定为训练数据,以增加训练数据量,实现数据增强,以提高训练好的预测模型的准确性。
基于前述的实施例,本申请实施例再提供一种推荐图像处理方法,图6为本申请实施例提供的推荐图像处理方法的再一种实现流程示意图,如图6所示,该流程包括:
步骤S601,供应方终端接收推荐图像编辑平台的启动操作,启动推荐图像编辑应用程序。
步骤S602,供应方终端接收推荐图像的选择操作,确定并呈现选择出的推荐图像。
该推荐图像可以是供应方终端自身存储空间中存储的图像,还可以是供应方通过供应方终端设计出的图像。在呈现出选择的推荐图像后,供应方可以通过供应方终端进行推荐图像的编辑工作,例如增加联系方式、增加走马灯等。
步骤S603,当接收到热力图预测操作,供应方终端获取待预测的推荐图像。
步骤S604,供应方终端响应于该热力图预测操作,将所述推荐图像输入至训练好的预测模型,得到预测结果。
步骤S605,供应方终端基于所述各个像素点的预测点击等级,确定所述推荐图像的预测热力图。
步骤S606,供应方终端呈现所述预测热力图。
步骤S607,供应方终端响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接。
步骤S608,当接收到推荐图像发布操作时,供应方终端响应于该推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端。
编辑完成的推荐图像中的所述目标区域添加有所述跳转链接。
本申请实施例中,与其他实施例相同的步骤或者概念可参考其他实施例中说明。
步骤S609,推荐信息投放端接收该编辑完成的推荐图像,并确定目标用户终端。
步骤S610,推荐信息投放端将编辑完成的推荐图像发送至目标用户终端。
步骤S611,推荐信息投放端收集该编辑完成的推荐图像的实际点击数据。
推荐信息投放端采集从发布推荐图像之后到当前时刻的针对该推荐图像的实际点击数据,该实际点击数据包括点击位置、点击数等。
步骤S612,推荐信息投放端将该编辑完成的推荐图像的实际点击数据发送至供应方终端。
步骤S613,供应方终端获取所述编辑完成的推荐图像的实际点击数据。
供应方终端获取到的是全部的实际点击数据,在实现时,供应方终端获取实际点击数据,可以是获取全部的实际点击数据,也可以是从中选择一段时长的实际点击数据。
步骤S614,供应方终端基于所述实际点击数据,确定所述编辑完成的推荐图像的中各个像素点的实际点击等级。
在实现时,可以利用其它实施例中提供的表1,确定出各个像素点的实际点击等级。
步骤S615,供应方终端基于所述各个像素点的实际点击等级和所述各个像素点的预测点击等级确定预测差异值。
在实现时,预测差异值可以是各个像素点的实际点击等级和预测点击等级的差值的绝对值的总和。
步骤S616,供应方终端确定预测差异值是否大于预设的差异阈值。
当预测差异值大于预设的差异阈值时,说明预测点击等级与实际点击等级的差别较大,也即说明预测模型的预测结果误差较大,此时进入步骤S617;当预测差异值小于或者等于差异阈值时,说明预测点击等级与实际点击等级的差别较小,也即说明预测模型的预测结果准确率较高,此时可以不对预测模型进行优化。
步骤S617,供应方终端利用所述编辑完成的推荐图像和所述实际点击数据对所述训练好的预测模型进行优化。
对训练好的预测模型进行优化,在实现时可以是将编辑完成的推荐图像和实际点击数据继续对预测模型进行训练。
在本申请实施例提供的推荐图像处理方法中,供应方终端基于用户的操作启动进行推荐图像创建的应用程序,并选择要编辑的推荐图像以进行编辑,当接收到对推荐图像进行热力预测时,获取待预测的推荐图像,并响应于该热力图预测操作,确定该推荐图像的预测热力图,该预测热力图能够表征所述推荐图像的点击信息,之后呈现该预测热力图,以通过该预测热力图指导推荐图像的跳转链接的添加位置,在获取到基于所述预测热力图触发的编辑操作之后,基于该编辑操作,确定所述推荐图像中的目标区域,并在所述目标区域添加跳转链接,通过在编辑制作推荐图像时,进行热力图预测,能够提高供应方对热力图的感知能力,并且基于预测热力图将跳转连接添加至点击等级最高的目标区域,进而能够提高推荐转化率,在编辑完成后将编辑完成的推荐图像发送至推荐信息投放端,并且在推荐信息投放端将编辑完成的推荐图像发布出去之后,会采集实际点击数据,并利用实际点击数据和推荐图像对预测模型进行优化,实现模型的闭环自更新以及数据赋能广告主。
在一些实施例中,预测模型还可以是推荐信息投放端训练的,此时推荐信息投放端在收集到推荐图像的实际点击数据后,可以执行上述步骤S614至步骤S617,并将优化后的预测模型发送至供应方终端,以使得供应方终端能够利用优化后的预测模型进行热力图预测,能够打造模型自更新的闭环,实现数据反哺广告主的精准定位,推动了学术界前沿模型在工业界的落地。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
在相关技术中,在原有落地页场景中热力图出现在广告投放后,用于效果分析,并且模型均为在开源的数据集训练的预训练模型,缺乏对垂直场景的支持,在本申请实施例中,热力图预估出现在制作端,弥补了广告主在制作时对热区的无感知,并且利用广告平台中积累的不同落地页的海量点击数据,进行建模,利用建模得到的神经网络模型可以预测出新创建的落地页的点击状况。在数据建模中可以采用图像分割领域的新技术DeepLab系列模型。图7为本申请实施例提供的利用DeepLab模型进行落地页点击状况预测的实现流程示意图,如图7所示,该实现过程输入为广告主创建的落地页的截图711,输出为整个落地页的点击区域(也即图7中712的白色区域),DeepLab模型的框架可以分为编码器721和解码器722,以下结合图7对点击状况的预测过程进行说明。该预测过程包括:
步骤S701,输入图片经过backbone获取卷积特征。
在本申请实施例中,输入图片的图像特征是由float类型的数字组成的一些向量(或矩阵)。假设在该步骤中输入如图8A所示的图片,该图片被计算机读入后也是一系列的像素点(0~255)。假设该图片为彩色图片,图片的大小为360*720*3,其中,3表示红绿蓝三个色域通道,输出为如图8B所示的初始特征向量(originFeature),该向量的维度为360*720*1,且该向量中各个特征值是在(-1~1)这一区间范围内的。
步骤S702,经过不同卷积组成的空洞空间卷积池化金字塔(ASPP,Atrous SpatialPyramid Pooling)获取不同角度的特征。
ASPP,是指采用几种不同采样率的空洞卷积来捕捉多尺度信息。如图9A所示,可以对给定输入以6、12、18、24为不同的采样率的空洞卷积并行采样,相当于以多个比例捕捉图像的上下文。
在步骤S702中,输入为步骤S701中得到的originFeature特征,经过不同采样率的空洞卷积会得到如图9B所示的不同的特征,特征大小为180*360*1,将以采样率为6、12、18、24的空洞卷积得到的特征分别命名为ASPP1,ASPP2,ASPP3和ASPP4。
步骤S703,将特征拼接后经过卷积得到细节特征。
在该步骤中,将步骤S702中通过不同采样率的空洞卷积获得到的特征拼接到一起获得细节特征。
承接上述的举例,将ASPP1、ASPP2、ASPP3和ASPP4,进行特征维度拼接得180*360*4的细节特征ASPP。
步骤S704,将细节特征和初始特征进行特征融合。
在图像处理过程中网络越深得到的特征会越抽象,为了获取原始底层的图像特征,在该步骤中将细节特征与backbone输出的最初特征融合。
承接上述的举例,如图7所示,将细节特征ASPP经过一个1*1的卷积,得到180*360*1的特征,再将该特征进行上采样得到360*360*1的特征;同时将originFeature经过卷积操作变成同样大小(也即360*360*1)的特征,然后再进行特征融合得到图像特征imageFeature(也即其他实施例中的融合特征),图像特征的维度为360*360*2。
步骤S705,经过上采样得到预估结果。
输入图像通过卷积神经网络提取特征后,输出的尺寸往往会变小,为了保证输出结果与输入图像大小相同,在该步骤中对进行特征融合得到的图像特征进行3*3的卷积,并上采样恢复原始大小,从而得到预估结果。
承接上述的举例,在该步骤中对imageFeature进行卷积以及上采样得到维度为360*720*1的输出结果。
以下对DeepLab模型的训练数据构建以及训练过程进行说明。
1、数据构成。
在实现时,可以使用实际上报的点击数据与落地页数据组成训练数据对<image,label>,利用各个训练数据对来训练模型。
在进行训练数据构造时,首先将根据每个像素点的点击量确定各个像素点的点击等级,在实现时可以根据表1确定各个像素点的点击等级。
表1 点击量与等级的对应关系表
Figure 185020DEST_PATH_IMAGE001
在确定出每个像素点的等级后,根据每个像素点的等级生成与落地页相同大小的一个图层,图层上的每个点按照点击量分为如表1所示的16个等级。
2、噪音去除。
在实现时,通过连通区域分析去除噪音。连通区域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。连通区域分析是指将图像中的各个连通区域找出并标记。找出连通区域后并根据实际数据定制一些策略去除噪音数据,如连通区域小于20个像素、连通区域为竖条形状、连通区域贴近边框等等。如图10所示,图10中的1001所示的连通区域贴近边框,因此认为是噪音连通区域。
3、数据增强:构造子图。
将标注后的点击数据,进行连通区域合并得到子图,其中子图包括图11中的1101、1102、1103和1104。
将原始落地页与生成的子图数据共同组成训练数据,从而实现数据增强。
模型训练,在实现时可以是利用上述构建的训练数据在图像处理器(GPU,Graphics Processing Unit)平台上训练和部署模型。在实际模型训练时,还可以进行损失函数优化、模型优化、增加数据(也即上述的数据增强)、模型融合等优化过程,图12为本申请实施例提供的模型优化对比示意图,如图12所示,在进行损失函数优化、模型优化、增加数据(也即上述的数据增强)、模型融合等优化过程后模型的性能均得到不同程度的提升。
图13为本申请实施例提供的广告落地页的热力图预估功能的产品形态示意图,如图13所示,广告落地页的热力图预估功能的实现过程包括:
步骤S1301,广告主打开落地页制作端,以进入落地页编辑平台。
在该平台上可以创建或者修改落地页。在进入落地页编辑平台后,进入蹊径落地页编辑工具,此时呈现如图14A所示的界面,可以进行落地页标题以及落地页基础信息的设置,并且可以选择新建落地页/已存在落地页。如图14B所示,利用该落地页编辑工具可以随意的添加需要的组件,包括图片、文字、表单、电话等等。
步骤S1302,在编辑落地页过程中可以随时触发热力图预估功能,预估当前落地页的热力图。
在落地页编辑过程中,鼠标放到左上角会如图14B所示,出现“热力预估”标识1401,点击该标识会出现如图14C所示的浮层,在该浮层上会呈现能够反映落地页当前的点击概率预估的热力图,颜色越重表示点击的概率越大。广告主可以根据预估的热区调整添加二跳链接的区域位置以此提高落地页转化。
图15为本申请实施例提供的热力图预估结果示意图,在图15中,1501、1502、1503和1504分别为真实落地页的热力图预估结果,其中在1501中,热度最高的区域至少包括15011和15012,在1502中,热度最高的区域至少包括15021和15022,在1503中,热度最高的区域至少包括15031和15032,在1504中,热度最高的区域至少包括15041和15042和15043。
步骤S1303,当落地页制作完成后交由投放端线上投放,并收集用户真实点击数据。
步骤S1304,展示点击数据可以用来评测预估效果,并优化模型。
步骤S1305,基于点击数据对模型进行指导优化,以实现在产品形态上完成数据赋能广告主。
在实际实现过程中,可以通过以下维度评估产品该部分功能:(1)使用该功能以及不使用该功能所创建的落地页最终转化的对比;(2)广告主制作过程中对“热力预估”功能的使用情况。
在本申请实施例中,通过人工智能技术实现落页制作过程中的实时点击热力预估,帮助广告主修改落地页热区分布,辅助创建高转化落地页,从而实现对当前落地页制作工具的一个有效补充,通过人工智能算法对点击区域的预估,弥补了广告主在制作落地页时对热区的无感操作;还能够打造数据反哺广告主的闭环体系,推动了学术界前沿模型在工业界的落地。
下面继续说明本申请实施例提供的推荐图像处理装置254的实施为软件模块的示例性结构,在一些实施例中,如图3所示,存储在存储器240的推荐图像处理装置254中的软件模块可以包括:
第一获取模块2541,用于获取待预测的推荐图像;
第一确定模块2542,用于响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,所述预测热力图能够表征所述推荐图像的点击信息;
呈现模块2543,用于呈现所述预测热力图,并获取基于所述预测热力图触发的编辑操作;
第二确定模块2544,用于基于所述编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接;
发送模块2545,用于响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端。
在一些实施例中,该呈现模块,还用于:
在显示界面中,按照预设透明度加载浮层;
在所述浮层中呈现所述预测热力图;或者,
在所述推荐图像上呈现所述预测热力图。
在一些实施例中,该第一确定模块,还用于:
响应于接收到的热力图预测操作,将所述推荐图像输入至训练好的预测模型,得到预测结果,所述预测结果包括所述推荐图像中各个像素点的预测点击等级;
基于所述各个像素点的预测点击等级,确定所述推荐图像的预测热力图。
在一些实施例中,该第一确定模块,还用于:
将所述推荐图像输入至所述训练好的预测模型,得到所述推荐图像的初始特征;
将所述初始特征按照多个采样率进行空洞卷积,对应得到多个空洞卷积特征;
将所述多个空洞卷积特征进行拼接,得到所述推荐图像的细节特征;
将所述细节特征和所述初始特征进行特征融合,得到融合特征;
基于所述融合特征,确定所述推荐图像的预测结果。
在一些实施例中,该第一确定模块,还用于:
对所述细节特征进行卷积处理,得到处理后的细节特征;
对所述初始特征进行卷积和/或池化处理,得到处理后的初始特征;所述处理后的细节特征和所述处理后的初始特征的维度相同;
将所述处理后的细节特征和所述处理后的初始特征进行拼接,得到融合特征。
在一些实施例中,该第一确定模块,还用于:
对所述融合特征进行上采样,得到上采样后的融合特征,所述上采样后的融合特征与所述推荐图像的尺寸相同;
基于所述上采样后的融合特征中的各个特征值,确定各个像素点对应点击等级;
将所述各个像素点对应点击等级确定为所述预测结果。
在一些实施例中,该第一确定模块,还用于:
获取点击等级和色彩信息的对应关系;
基于所述对应关系和所述各个像素点的预测等级,确定所述各个像素点的热力图色彩信息;
利用所述各个像素点的热力图色彩信息,生成所述推荐图像的预测热力图。
在一些实施例中,该装置还包括:
第二获取模块,用于获取预设的预测模型;
第三获取模块,用于获取训练数据集,所述训练数据包括训练图像和所述训练图像对应的标签信息构成的训练数据对;
模型训练模块,用于利用多个训练数据对对所述预设的预测模型进行训练,得到所述训练好的预测模型。
在一些实施例中,该第三获取模块,还用于:
获取已发布推荐图像和所述已发布推荐图像的实际点击数据;
根据所述已发布推荐图像的实际点击数据,确定所述已发布推荐图像的标签信息,所述标签信息包括所述已发布推荐图像中各个像素点的点击等级;
基于所述各个像素点的点击等级进行连通区域分析,以进行噪声滤除和子图构建;
获取通过子图构建得到的所述已发布推荐图像的至少一个子图和所述至少一个子图的标签信息;
将所述已发布推荐图像和所述至少一个子图确定为所述训练图像,将所述已发布推荐图像的标签信息和所述至少一个子图的标签信息确定为所述训练图像的标签信息。
在一些实施例中,该第三获取模块,还用于:
基于所述各个像素点的点击等级确定出所述已发布推荐图像中的至少一个连通区域和所述至少一个连通区域的位置信息;
基于所述至少一个连通区域的位置信息进行噪声滤除,得到处理后的连通区域;
基于所述处理后的连通区域的位置信息进行子图构建,得到所述已发布推荐图像中的至少一个子图。
在一些实施例中,该装置还包括:
第四获取模块,用于获取所述编辑完成的推荐图像的实际点击数据;
第三确定模块,用于基于所述实际点击数据,确定所述编辑完成的推荐图像的中各个像素点的实际点击等级;
第四确定模块,用于基于所述各个像素点的实际点击等级和所述各个像素点的预测点击等级确定预测差异值;
模型优化模块,用于当所述预测差异值大于差异阈值时,利用所述编辑完成的推荐图像和所述实际点击数据对所述训练好的预测模型进行优化。
这里需要指出的是:以上推荐图像处理装置实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果。对于本申请推荐图像处理装置实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的推荐图像处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图4、图5、图6和图7示出的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (14)

1.一种推荐图像处理方法,其特征在于,包括:
获取待预测的推荐图像;
响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,所述预测热力图能够表征所述推荐图像的点击信息;
呈现所述预测热力图;
响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接;
响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端,所述编辑完成的推荐图像中的所述目标区域添加有所述跳转链接。
2.根据权利要求1中所述的方法,其特征在于,所述呈现所述预测热力图,包括:
在显示界面中,按照预设透明度加载浮层;
在所述浮层中呈现所述预测热力图;或者,
在所述推荐图像上呈现所述预测热力图。
3.根据权利要求1中所述的方法,其特征在于,所述响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,包括:
响应于接收到的热力图预测操作,将所述推荐图像输入至训练好的预测模型,得到预测结果,所述预测结果包括所述推荐图像中各个像素点的预测点击等级;
基于所述各个像素点的预测点击等级,确定所述推荐图像的预测热力图。
4.根据权利要求3中所述的方法,其特征在于,将所述推荐图像输入至训练好的预测模型,得到预测结果,包括:
将所述推荐图像输入至所述训练好的预测模型,得到所述推荐图像的初始特征;
将所述初始特征按照多个采样率进行空洞卷积,对应得到多个空洞卷积特征;
将所述多个空洞卷积特征进行拼接,得到所述推荐图像的细节特征;
将所述细节特征和所述初始特征进行特征融合,得到融合特征;
基于所述融合特征,确定所述推荐图像的预测结果。
5.根据权利要求4中所述的方法,其特征在于,所述将所述细节特征和所述初始特征进行特征融合,得到融合特征,包括:
对所述细节特征进行卷积处理,得到处理后的细节特征;
对所述初始特征进行卷积和/或池化处理,得到处理后的初始特征;所述处理后的细节特征和所述处理后的初始特征的维度相同;
将所述处理后的细节特征和所述处理后的初始特征进行拼接,得到融合特征。
6.根据权利要求4中所述的方法,其特征在于,所述基于所述融合特征,确定所述推荐图像的预测结果,包括:
对所述融合特征进行上采样,得到上采样后的融合特征,所述上采样后的融合特征与所述推荐图像的尺寸相同;
基于所述上采样后的融合特征中的各个特征值,确定各个像素点对应点击等级;
将所述各个像素点对应点击等级确定为所述预测结果。
7.根据权利要求3中所述的方法,其特征在于,所述基于所述各个像素点的预测点击等级,确定所述推荐图像的预测热力图,包括:
获取点击等级和色彩信息的对应关系;
基于所述对应关系和所述各个像素点的预测等级,确定所述各个像素点的热力图色彩信息;
利用所述各个像素点的热力图色彩信息,生成所述推荐图像的预测热力图。
8.根据权利要求2至7任一项所述的方法,其特征在于,所述方法还包括:
获取预设的预测模型;
获取训练数据集,所述训练数据集包括训练图像和所述训练图像对应的标签信息构成的训练数据对;
利用多个所述训练数据对对所述预设的预测模型进行训练,得到训练好的预测模型。
9.根据权利要求8中所述的方法,其特征在于,所述获取训练数据集,包括:
获取已发布推荐图像和所述已发布推荐图像的实际点击数据;
根据所述已发布推荐图像的实际点击数据,确定所述已发布推荐图像的标签信息,所述标签信息包括所述已发布推荐图像中各个像素点的点击等级;
基于所述各个像素点的点击等级进行连通区域分析,以进行噪声滤除和子图构建;
获取通过子图构建得到的所述已发布推荐图像的至少一个子图和所述至少一个子图的标签信息;
将所述已发布推荐图像和所述至少一个子图确定为所述训练图像,将所述已发布推荐图像的标签信息和所述至少一个子图的标签信息确定为所述训练图像的标签信息。
10.根据权利要求9中所述的方法,其特征在于,所述基于所述各个像素点的点击等级进行连通区域分析,以进行噪声滤除和子图构建,包括:
基于所述各个像素点的点击等级确定出所述已发布推荐图像中的至少一个连通区域和所述至少一个连通区域的位置信息;
基于所述至少一个连通区域的位置信息进行噪声滤除,得到处理后的连通区域;
基于所述处理后的连通区域的位置信息进行子图构建,得到所述已发布推荐图像中的至少一个子图。
11.根据权利要求2至7任一项所述的方法,其特征在于,所述方法还包括:
获取所述编辑完成的推荐图像的实际点击数据;
基于所述实际点击数据,确定所述编辑完成的推荐图像的中各个像素点的实际点击等级;
基于所述各个像素点的实际点击等级和所述各个像素点的预测点击等级确定预测差异值;
当所述预测差异值大于差异阈值时,利用所述编辑完成的推荐图像和所述实际点击数据对训练好的预测模型进行优化。
12.一种推荐图像处理装置,其特征在于,包括:
第一获取模块,用于获取待预测的推荐图像;
第一确定模块,用于响应于接收到的热力图预测操作,确定所述推荐图像的预测热力图,所述预测热力图能够表征所述推荐图像的点击信息;
呈现模块,用于呈现所述预测热力图;
第二确定模块,用于响应于基于所述预测热力图触发的编辑操作,确定所述推荐图像中的目标区域,在所述目标区域添加跳转链接;
发送模块,用于响应于接收到的推荐图像发布操作,将编辑完成的推荐图像发送至推荐信息投放端,所述编辑完成的推荐图像中的所述目标区域添加有所述跳转链接。
13.一种推荐图像处理设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至11任一项所述的方法。
CN202110343294.8A 2021-03-30 2021-03-30 推荐图像处理方法、装置、设备及计算机可读存储介质 Active CN112733044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343294.8A CN112733044B (zh) 2021-03-30 2021-03-30 推荐图像处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343294.8A CN112733044B (zh) 2021-03-30 2021-03-30 推荐图像处理方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112733044A CN112733044A (zh) 2021-04-30
CN112733044B true CN112733044B (zh) 2021-07-16

Family

ID=75596147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343294.8A Active CN112733044B (zh) 2021-03-30 2021-03-30 推荐图像处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112733044B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656733B (zh) * 2021-08-17 2024-01-19 北京百度网讯科技有限公司 一种落地页生成方法、装置、电子设备及存储介质
CN114257454B (zh) * 2021-12-27 2022-10-14 电子科技大学 适用于工控系统中基于特征热力图的恶意流量识别方法
CN114750164B (zh) * 2022-05-25 2023-06-20 清华大学深圳国际研究生院 一种透明物体的抓取方法、系统及计算机可读存储介质
CN116030115B (zh) * 2023-03-22 2023-06-02 四川航天职业技术学院(四川航天高级技工学校) 应用于ai的视觉设计图像分析方法及系统
CN117058014B (zh) * 2023-07-14 2024-03-29 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924263A (zh) * 2015-11-25 2018-04-17 谷歌有限责任公司 触摸热图
CN109918602A (zh) * 2019-02-26 2019-06-21 南威软件股份有限公司 一种Web数据预加载方法及系统
CN111104608A (zh) * 2018-10-25 2020-05-05 华为技术有限公司 一种网页数据处理方法以及相关装置
CN112507268A (zh) * 2020-12-08 2021-03-16 政采云有限公司 一种网页图片热区配置方法、装置、设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11934475B2 (en) * 2010-05-26 2024-03-19 Userzoom Technologies, Inc. Advanced analysis of online user experience studies
US10445667B2 (en) * 2013-08-23 2019-10-15 Verint Americas Inc. System and method of work assignment management
CN111736740B (zh) * 2020-03-24 2022-06-07 北京沃东天骏信息技术有限公司 图片热区生成方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924263A (zh) * 2015-11-25 2018-04-17 谷歌有限责任公司 触摸热图
CN111104608A (zh) * 2018-10-25 2020-05-05 华为技术有限公司 一种网页数据处理方法以及相关装置
CN109918602A (zh) * 2019-02-26 2019-06-21 南威软件股份有限公司 一种Web数据预加载方法及系统
CN112507268A (zh) * 2020-12-08 2021-03-16 政采云有限公司 一种网页图片热区配置方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112733044A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112733044B (zh) 推荐图像处理方法、装置、设备及计算机可读存储介质
US11334971B2 (en) Digital image completion by learning generation and patch matching jointly
CN110084874B (zh) 对于三维模型的图像风格迁移
US10565757B2 (en) Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
Segalin et al. Social profiling through image understanding: Personality inference using convolutional neural networks
CN111489412A (zh) 用于使用神经网络生成基本逼真图像的语义图像合成
CN111353392B (zh) 换脸检测方法、装置、设备及存储介质
CN113994384A (zh) 使用机器学习的图像着色
Kim et al. CityCraft: 3D virtual city creation from a single image
CN115511969B (zh) 图像处理与数据渲染方法、设备及介质
CN111615702A (zh) 一种从图像中提取结构化数据的方法、装置和设备
CN112906721B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN112132106A (zh) 基于人工智能的图像增广处理方法、装置、设备及存储介质
KR102401114B1 (ko) UX-bit를 이용한 가치망을 포함하는 자동 디자인 생성 인공신경망 장치 및 방법
Li et al. 2D amodal instance segmentation guided by 3D shape prior
CN112347976B (zh) 遥感卫星影像的区域提取方法、装置、电子设备和介质
CN114816395A (zh) 一种页面布局方法及装置
CN115564642B (zh) 图像变换方法、装置、电子设备、存储介质及程序产品
CN111898544A (zh) 文字图像匹配方法、装置和设备及计算机存储介质
CN113065459B (zh) 一种基于动态条件卷积的视频实例分割方法及系统
CN115482324A (zh) 多媒体资源生成方法、装置、电子设备及存储介质
Jo et al. Generative artificial intelligence and building design: early photorealistic render visualization of façades using local identity-trained models
CN101512598A (zh) 实时的一致图像选择
Ramo Hands-On Java Deep Learning for Computer Vision: Implement machine learning and neural network methodologies to perform computer vision-related tasks
Yan et al. Semantic-aware multi-task learning for image aesthetic quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042541

Country of ref document: HK