CN110889718B - 方案筛选方法、方案筛选装置、介质以及电子设备 - Google Patents
方案筛选方法、方案筛选装置、介质以及电子设备 Download PDFInfo
- Publication number
- CN110889718B CN110889718B CN201911121104.7A CN201911121104A CN110889718B CN 110889718 B CN110889718 B CN 110889718B CN 201911121104 A CN201911121104 A CN 201911121104A CN 110889718 B CN110889718 B CN 110889718B
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- features
- candidate
- scheme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 238000012216 screening Methods 0.000 title claims abstract description 73
- 239000013598 vector Substances 0.000 claims abstract description 83
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 231
- 238000004364 calculation method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 41
- 230000005484 gravity Effects 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 35
- 239000003086 colorant Substances 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 abstract description 14
- 230000000875 corresponding effect Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000689272 Senna sophera Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种基于人工智能的方案筛选方法、装置、介质以及电子设备。该方法包括:获取候选排版方案的结构化特征,并对结构化特征进行编码处理得到至少两个编码特征;对至少两个编码特征进行映射处理,得到候选排版方案的至少两个一维向量;计算至少两个一维向量中每两个一维向量之间的内积,得到与每两个一维向量对应的向量内积;根据向量内积对候选排版方案进行评分,以根据评分结果确定目标排版方案。本公开一方面,充分利用了候选排版方案的结构化特点,确保了方案评定的准确性,提升了方案选取的精准度和排版方案自动生成系统的自动化程度和智能化程度;另一方面,提升了方案的评分速度和筛选效率,丰富了方案筛选方法的应用场景。
Description
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种基于人工智能的方案筛选方法、基于人工智能的方案筛选装置、介质以及电子设备。
背景技术
随着电商产业的兴起,海报展示变得越来越普及,已经成为一种普遍的广告宣传模式。广告海报由于其良好的表达效果,广泛应用于互联网的各种宣传场景中。传统的生成广告海报的图文排版方案设计均由设计师人工完成,以满足个性化和定制化的需求。
随着计算机技术的发展,各种图文排版方案自动生成系统普遍应用,使得非专业的设计人员也可以快速设计广告海报。但是,现有的图文排版方案自动生成系统存在一个重要缺陷,那就是对于一个商品会无差别的生成大量海报,造成了信息冗余,增加了设计人员的使用负担。
鉴于此,本领域亟需开发一种新的方案筛选方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于人工智能的方案筛选方法、基于人工智能的方案筛选装置、介质以及电子设备,进而至少在一定程度上克服图文排版方案自动生成系统造成的信息冗余和负担过大等技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面,提供一种基于人工智能的方案筛选方法,该方法包括:获取候选排版方案的结构化特征,并对所述结构化特征进行编码处理得到至少两个编码特征;对所述至少两个编码特征进行映射处理,得到所述候选排版方案的至少两个一维向量;计算所述至少两个一维向量中每两个一维向量之间的内积,得到与所述每两个一维向量对应的向量内积;根据所述向量内积对所述候选排版方案进行评分,以根据评分结果确定目标排版方案。
根据本公开实施例的一个方面,提供一种基于人工智能的方案筛选装置,该装置包括:特征提取模块,被配置为获取候选排版方案的结构化特征,并对所述结构化特征进行编码处理得到至少两个编码特征;特征映射模块,被配置为对所述至少两个编码特征进行映射处理,得到所述候选排版方案的至少两个一维向量;特征计算模块,被配置为计算所述至少两个一维向量中每两个一维向量之间的内积,得到与所述每两个一维向量对应的向量内积;方案确定模块,被配置为根据所述向量内积对所述候选排版方案进行评分,以根据评分结果确定目标排版方案。
在本公开的一些实施例中,基于以上技术方案,所述方案确定模块包括:特征合并子模块,被配置为将所述至少两个编码特征进行合并处理,得到合并特征;方案评分子模块,被配置为根据所述合并特征和所述向量内积对所述候选排版方案进行评分,以根据评分结果确定目标排版方案。
在本公开的一些实施例中,基于以上技术方案,所述方案评分模块包括:加权计算单元,被配置为利用多层感知器对所述合并特征和所述向量内积进行加权计算,得到线性组合特征;评分获取单元,被配置为利用激活函数向所述线性组合特征引入非线性特征,以对所述候选排版方案进行评分。
在本公开的一些实施例中,基于以上技术方案,所述特征提取模块包括:信息确定单元,被配置为确定生成所述候选排版方案的模板,并识别所述候选排版方案中的对象图像;编码处理单元,被配置为获取所述模板的模板特征和所述对象图像的对象特征,并对所述模板特征和所述对象特征进行编码处理得到至少两个编码特征。
在本公开的一些实施例中,基于以上技术方案,所述特征提取模块包括:步长确定子模块,被配置为根据所述对象图像的图像尺寸确定原始采样步长;像素采样子模块,被配置为根据所述原始采样步长对所述对象图像中的采样像素点进行采样,得到对应的像素值;主色提取子模块,被配置为对所述采样像素点的个数和所述像素值进行统计和排序,并根据排序结果确定所述对象图像的图像主色。
在本公开的一些实施例中,基于以上技术方案,所述步长确定子模块包括:数值比较单元,被配置为比较所述图像宽度和所述图像高度,并根据比较结果确定待处理数值;数值计算单元,被配置为确定与所述待处理数值对应的步长计算结果,并将所述步长计算结果确定为原始采样步长。
在本公开的一些实施例中,基于以上技术方案,所述像素采样子模块包括:区域确定单元,被配置为根据所述图像尺寸确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域;原始采样单元,被配置为根据所述原始采样步长对所述候选对象区域中的采样像素点进行采样;更新采样单元,被配置为根据所述原始采样步长确定目标采样步长,并根据所述目标采样步长对所述目标对象区域中的采样像素点进行采样。
在本公开的一些实施例中,基于以上技术方案,所述区域确定单元包括:结果确定子单元,被配置为确定与所述图像宽度对应的宽度计算结果,并确定与所述图像高度对应的高度计算结果;区域划分子单元,被配置为根据所述宽度计算结果和所述高度计算结果对所述对象图像进行区域划分;区域获取子单元,被配置为根据区域划分结果确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域。
在本公开的一些实施例中,基于以上技术方案,所述像素采样子模块包括:信息获取单元,被配置为获取所述对象图像中的对象所在位置的位置信息;区域区分单元,被配置为根据所述位置信息确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域;候选采样单元,被配置为根据所述原始采样步长对所述候选对象区域中的采样像素点进行采样;目标采样单元,被配置为根据所述原始采样步长确定目标采样步长,并根据所述目标采样步长对所述目标对象区域中的采样像素点进行采样。
在本公开的一些实施例中,基于以上技术方案,所述主色提取子模块包括:比重确定单元,被配置为根据所述排序结果确定所述图像主色所占的比重;主色获取单元,被配置为若所述比重大于比重阈值,确定所述图像主色;步长更新单元,被配置为若所述比重小于或等于所述比重阈值,将所述原始采样步长调整为更新采样步长,并根据所述更新采样步长对所述采样像素点进行采样。
在本公开的一些实施例中,基于以上技术方案,所述主色提取子模块还包括:次数统计单元,被配置为统计对所述采样像素点进行采样的次数;次数比较单元,被配置为若所述次数等于次数阈值,确定所述图像主色。
在本公开的一些实施例中,基于以上技术方案,所述特征提取模块包括:空间转换子模块,被配置为将所述图像主色进行色彩空间的转换,并将转换后的所述图像主色进行量化处理;配色确定子模块,被配置为根据量化处理结果生成所述配色组合。
根据本公开实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的基于人工智能的方案筛选方法。
根据本公开实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的基于人工智能的方案筛选方法。
在本公开实施例提供的技术方案中,通过对候选排版方案的多个编码特征进行映射处理和特征交叉处理,以实现对候选排版方案的评分和筛选功能。一方面,对与候选排版方案对应的编码特征进行相应处理,充分利用了候选排版方案的结构化特点,确保了方案评定的准确性,提升了方案选取的精准度,进一步提高了排版方案自动生成系统的自动化程度和智能化程度;另一方面,可以有效地过滤掉效果不理想的候选排版方案,极大地提高目标排版方案的生成效率,大大提升了方案的评分速度和筛选效率,实用性更强,丰富了方案筛选方法的应用场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了现有技术中一种基于深度学习的美学评估方法的步骤流程图;
图2示意性地示出了应用本公开技术方案的示例性系统架构示意图;
图3示意性地示出了本公开的一些实施例中基于人工智能的方案筛选方法的步骤流程图;
图4示意性地示出了在本公开的一些实施例中得到编码特征的方法的步骤流程图;
图5示意性地示出了在本公开的一些实施例中提取图像主色的方法的步骤流程图;
图6示意性地示出了在本公开的一些实施例中确定原始采样步长的方法的步骤流程图;
图7示意性地示出了在本公开的一些实施例中一种对采样像素点进行采样的方法的步骤流程图;
图8示意性地示出了在本公开的一些实施例中确定目标对象区域和候选对象区域的方法的步骤流程图;
图9示意性地示出了在本公开的一些实施例中另一种对采样像素点进行采样的方法的步骤流程图;
图10示意性地示出了在本公开的一些实施例中一种确定图像主色的方法的步骤流程图;
图11示意性地示出了在本公开的一些实施例中另一种确定图像主色的方法的步骤流程图;
图12示意性地示出了在本公开的一些实施例中提取配色组合的方法的步骤流程图;
图13示意性地示出了在本公开的一些实施例中确定目标排版方案的方法的步骤流程图;
图14示意性地示出了在本公开的一些实施例中对候选排版方案进行评分的方法的步骤流程图;
图15示意性地示出了在本公开的一些实施例中在应用场景下的方案筛选方法的步骤流程图;
图16示意性地示出了在本公开的一些实施例中应用场景下的模板风格的类别示意图;
图17示意性地示出了在本公开的一些实施例中应用场景下的商品分类的类别示意图;
图18示意性地示出了在本公开的一些实施例中非均匀迭代采样算法的步骤流程图;
图19示意性地示出了在本公开的一些实施例中确定目标对象区域和候选对象区域的效果示意图;
图20(a)示意性地示出了在本公开的一些实施例中使用单色配色的配色示意图;
图20(b)示意性地示出了在本公开的一些实施例中使用类似色配色的配色示意图;
图20(c)示意性地示出了在本公开的一些实施例中使用互补色配色的配色示意图;
图20(d)示意性地示出了在本公开的一些实施例中使用三色配色的配色示意图;
图21示意性地示出了在本公开的一些实施例中根据配色规则确定配色组合的效果示意图;
图22示意性地示出了在本公开的一些实施例中针对色值溢出情况进行调整的效果示意图;
图23示意性地示出了在本公开的一些实施例中在应用场景下的目标banner图的效果示意图;
图24示意性地示出了在本公开的一些实施例中一种美学筛选模型的框架示意图;
图25示意性地示出了在本公开一些实施例中的基于人工智能的方案筛选装置的结构框图;
图26示意性地示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在本领域的相关技术中,海报自动生成系统会产生信息冗余,增加用户的使用负担。为改善该问题,可以采用一种基于对象区域构图特征的计算机图像的美学评估方法,对自动生成的海报进行评估。该美学评估方法首先可以通过二值化赋范梯度特征(BinarizedNormed Gradients,简称BING)方法得到海报候选框,并对海报候选框进行聚类和优化,得到图像对象区域;然后,利用构图特征对图像对象区域进行美学评估。其中,还可以对构图特征进行整合和改进,以提高美学评估的性能。
除此之外,还可以采用一种基于深度学习的美学评估方法以实现图像评估和筛选的功能。图1示出了基于深度学习的美学评估方法的步骤流程图,如图1所示,在步骤S110中,输入一张待评估的图片;在步骤S120中,利用残差神经网络(Residual NeuralNetwork,简称ResNet)提取图片的2048个特征图;在步骤S130中,利用空间金字塔池化算法(Spatial Pyramid Pooling)将特征图池化成3*3的特征图;在步骤S140中,利用stacking算法和L2正则化算法对2048个3*3的特征图进行线性表示,可以得到2048*9=18432个向量;在步骤S150中,将向量输入至全连接层(Full Connection,简称FC),并通过线性整流函数(Rectified Linear Unit,简称ReLU)对向量进行降维处理,得到4096个向量;在步骤S160中,再经过全连接层将向量降维到10维,得到图片的美学分数,以对图片进行评估。
虽然这两种方法都可以对图片进行美学评估,但是这两种评估方法主要用于照片类的图片,对于图文排版方案的预测和评估效果并不理想。
基于以上方案存在的问题,本公开提供了一种基于人工智能的方案筛选方法、方案筛选装置、介质以及电子设备。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
其中,人工神经网络(Artificial Neural Networks,简写为ANNs),也简称为神经网络(NNs),是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,也是一种大规模、多参数优化的工具。神经网络依靠大量的训练数据,能够学习出数据中难以总结的隐藏特征,从而完成多项复杂的任务,如自然语言处理、图像语义分割、物体检测等。因此,神经网络已经被人工智能领域广泛应用。
利用计算机视觉技术、机器学习和神经网络对候选排版方案进行评估,可以提高方案的筛选速度,提升有效方案的生成效率。
图2示出了应用本公开技术方案的示例性系统架构示意图。
如图2所示,系统架构200可以包括终端设备210、220、230中的一个或多个,网络240和服务器250。其中,终端设备210、220、230可以是具有显示屏的各种电子设备,具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。应该理解,图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。网络240可以是能够在终端设备210、220、230和服务器250之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路、无线通信链路或者光纤电缆等。服务器250可以用独立的服务器,或者多个服务器组成的服务器集群来实现。
本公开实施例所提供的基于人工智能的方案筛选方法一般由服务器250执行,相应地,基于人工智能的方案筛选装置一般设置于服务器250中。但本领域技术人员容易理解的是,本公开实施例所提供的基于人工智能的方案筛选方法也可以由终端设备210、220、230执行,相应的,基于人工智能的方案筛选装置也可以设置于终端设备210、220、230中,本示例性实施例中对此不做特殊限定。
举例而言,在一种示例性实施例中,可以是用户通过终端设备210、220或者230将候选排版方案上传至服务器250,服务器250通过本公开实施例所提供的基于人工智能的方案筛选方法将候选排版方案进行特征提取,并将根据特征提取结果确定的目标排版方案,传输给终端设备210、220、230等。
下面结合具体实施方式对本公开提供的基于人工智能的方案筛选方法、基于人工智能的方案筛选装置、介质以及电子设备做出详细说明。
图3示意性地示出了本公开的一些实施例中基于人工智能的方案筛选方法的步骤流程图。如图3所示,基于人工智能的方案筛选方法主要可以包括以下步骤:
步骤S310.获取候选排版方案的结构化特征,并对结构化特征进行编码处理得到至少两个编码特征。
步骤S320.对至少两个编码特征进行映射处理,得到候选排版方案的至少两个一维向量。
步骤S330.计算至少两个一维向量中的每两个一维向量之间的内积,得到与每两个一维向量对应的向量内积。
步骤S340.根据向量内积对所述候选排版方案进行评分,以根据评分结果确定目标排版方案。
在本公开的示例性实施例中,通过对候选排版方案的多个编码特征进行映射处理和特征交叉处理,以实现对候选排版方案的评分和筛选功能。一方面,对与候选排版方案对应的编码特征进行相应处理,充分利用了候选排版方案的结构化特点,确保了方案评定的准确性,提升了方案选取的精准度,进一步提高了排版方案自动生成系统的自动化程度和智能化程度;另一方面,可以有效地过滤掉效果不理想的候选排版方案,极大地提高目标排版方案的生成效率,大大提升了方案的评分速度和筛选效率,实用性更强,丰富了方案筛选方法的应用场景。
下面对基于人工智能的方案筛选方法的各个步骤进行详细说明。
在步骤S310中,获取候选排版方案的结构化特征,并对结构化特征进行编码处理得到至少两个编码特征。
在本公开的示例性实施例中,举例而言,候选排版方案可以是根据模板生成的图文排版方案。由于图文排版方案中通常包括三部分,分别为商品图像、文案和模板背景,因此可以看出图文排版方案图呈现明显的结构化特点。
基于此,可以提取到候选排版方案的结构化特征。举例而言,由于图文排版方案中的文案一般是在输入字数的限定范围内确定的,因此文案部分具有相似的可视效果。那么,图文排版方案的最终呈现则取决于模板和商品的匹配情况,例如商品类别与模板风格的匹配情况、商品主色与模板配色的匹配情况以及商品主色和模板风格的匹配情况等。鉴于此,图文排版方案的结构化特征可以包括模板标识、模板风格、商品主色、商品类别和配色组合等。
在可选的实施例中,结构化特征包括模板特征和对象特征,图4示出了得到编码特征的步骤流程图,如图4所示,该方法至少包括以下步骤:在步骤S410中,确定生成候选排版方案的模板,并识别候选排版方案中的对象图像。其中,该模板可以是预先设置的,设置条件可以是对象图像在模板背景中的显示位置,也可以根据其他预设条件设置模板,本示例性实施例对此不做特殊限定。因此,用户可以根据对对象图像与模板的排版要求或者其他要求,在所有模板中确定候选排版方案使用的模板,根据该模板对对象图像、模板与文案进行排版。具体的确定方式可以是根据模板标识确定候选排版方案的模板。其中,模板标识是唯一识别模板的标识信息,模板标识与模板之间具有一一对应的关系,所以通过模板标识可以确定所使用的模板。
在候选排版方案中,该对象图像可以是商品图像,也可以是人脸图像等其他场景下的图像,本示例性实施例对此不做特殊限定。举例而言,若对象图像为人脸图像时,可以根据人脸识别技术从候选排版方案中确定对象图像。人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫作人像识别、面部识别。对候选排版方案进行人脸识别的方法可以是使用人脸识别算法在候选排版方案中识别。人脸识别算法可以有基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法和利用神经网络进行识别的算法等。具体的,应用于本步骤的人脸识别算法具体可以包括:基于AdaBoost的方法和基于深度学习的方法,除此之外,还可以包括其他人脸识别算法,本示例性实施例对此不做特殊限定。
使用人脸识别算法可以在候选排版方案中自动识别出人脸区域,或者用户也可以在候选排版方案中自行识别出人脸区域。在识别出人脸区域时,可以通过存储在客户端本地或者网络侧的人脸检测库,采用人脸检测技术对候选排版方案进行人脸检测,输出人脸在候选排版方案中的位置信息。并且,这些位置信息可以通过人脸框的形式显示在候选排版方案上,以作为人脸图像。
除此之外,当对象图像是其他图像时,也可以使用图像识别算法在候选排版方案中识别出对应的对象图像。
在步骤S420中,获取模板的模板特征和对象图像的对象特征,并对模板特征和对象特征进行编码处理得到至少两个编码特征。举例而言,模板的模板特征可以包括模板标识、模板风格等;对象图像的对象特征可以包括商品主色、商品类别和配色组合等。进一步的,图5和图12分别给出了提取图像主色和配色组合的方法。
在可选的实施例中,对象特征包括对象图像的图像主色,图5示出了提取图像主色的方法的步骤流程图,如图5所示,该方法至少包括以下步骤:在步骤S510中,根据对象图像的图像尺寸确定原始采样步长。其中,对象图像可以是显示目标对象的图像,举例而言,目标对象可以是商品,也可以是其他对象,本示例性实施例对此不做定。
在可选的实施例中,图像尺寸包括图像宽度和图像高度,图6示出了确定原始采样步长的方法的步骤流程图,如图6所示,该方法至少包括以下步骤:在步骤S610中,比较图像宽度和图像高度,并根据比较结果确定待处理数值。举例而言,可以将图像宽度和图像高度中的较小值确定为待处理数值,也可以通过其他确定方式得到待处理数值,本示例性实施例对此不做特殊限定。
在步骤S620中,确定与待处理数值对应的步长计算结果,并将步长处理结果确定为原始采样步长。举例而言,获取到图像宽度和图像高度中的较小值之后,还可以对该较小值进行计算,以确定步长计算结果。其中,该计算方式可以是将较小值与一数值之间进行除法运算,例如较小值除以10。除此之外,该数值还可以是其他数值,本示例性实施例对此不做特殊限定。进一步的,将该步长计算结果确定为原始采样步长。
在本示例性实施例中,通过图像尺寸的比较和计算,可以确定原始采样步长,计算简便,确定方式简单易用,可以精确地获得原始采样步长。
在步骤S520中,根据原始采样步长对对象图像中的采样像素点进行采样,得到对应的像素值。其中,采样的方式可以是以原始采样步长均匀采样,也可以是以原始采样步长为基准,进行非均匀采样。
考虑到对象图像中的对象通常居于图像的中心区域,但也存在对象未居于对象图像的中心区域的情况,因此,给出了在这两种情况下,对目标对象区域和候选对象区域中的采样像素点进行采样的方法。图7可以是对象居于对象图像的中心区域时,对目标对象区域和候选对象区域进行采样的示意图;
图9可以是在不论对象是否居于对象图像的中心区域均适用的,对目标对象区域和候选对象区域进行采样的示意图。
在可选的实施例中,图7示出了一种对采样像素点进行采样的方法的步骤流程图,如图7所示,该方法至少包括以下步骤:在步骤S710中,根据图像尺寸确定对象图像中的对象所在的目标对象区域和对象图像中除目标对象区域之外的候选对象区域。其中,对象图像可以是由目标对象区域和候选对象区域两部分构成。该目标对象区域可以是对象图像中的对象所在的区域,举例而言,图文排版方案中的商品通常居于对象图像的中心区域,此时,该中心区域为目标对象区域;候选对象区域可以是除对象所在区域之外的其他区域,举例而言,可以是图文排版方案除中心区域之外的外围区域。
在可选的实施例中,图8示出了确定目标对象区域和候选对象区域的方法的步骤流程图,如图8所示,该方法至少包括以下步骤:在步骤S810中,确定与图像宽度对应的宽度计算结果,并确定与图像高度对应的高度计算结果。其中,宽度计算结果可以是图像宽度分别与两个数值之间的计算结果,这两个数值可以是1/4和3/4,对应的,宽度计算结果可以是w/4和(3w)/4,w为图像宽度;高度计算结果可以是图像高度分别与两个数值之间的计算结果,这两个数值也可以是1/4和3/4,对应的,宽度计算结果可以是h/4和(3h)/4,h为图像高度。除此之外,两个数值也可以为其他数值,计算方式也可以是其他计算方式,本示例性实施例对此不做特殊限定。
在步骤S820中,根据宽度计算结果和高度计算结果对对象图像进行区域划分。其中,区域划分的划分方式可以是通过宽度计算结果和高度计算结果在对象图像中划分出一个交叉区域,举例而言,可以是将w/4和(3w)/4分别作为两条边,h/4和(3h)/4作为另外两条边,通过四条边确定出一个矩形区域和除矩形区域之外的外围区域。除此之外,也可以是其他区域划分方式,本示例性实施例对此不做特殊限定。
在步骤S830中,根据区域划分结果确定对象图像中的对象所在的目标对象区域和对象图像中除目标对象区域之外的候选对象区域。举例而言,确定方式可以是将w/4、(3w)/4、h/4和(3h)/4分别作为四条边围成的矩形区域确定为目标对象区域,将对象图像中的其他区域确定为候选对象区域。除此之外,还可以是其他确定方式,本示例性实施例对此不做特殊限定。
在本示例性实施例中,通过图像尺寸的计算结果确定对象图像中的目标对象区域和候选对象区域,适用于对象居于对象图像的中心区域的情况,划分方式简单,避免对对象所在区域采样过于稀疏的情况发生。
在步骤S720中,根据原始采样步长对候选对象区域中的采样像素点进行采样。当对象居于对象图像的中心区域时,候选对象区域大概率上并不是对象的所在区域,因此,可以通过已确定的原始采样步长对候选对象区域中的采样像素点进行采样,确定候选对象区域中的各个采样像素点的像素值。
在步骤S730中,根据原始采样步长确定目标采样步长,并根据目标采样步长对目标对象区域中的采样像素点进行采样。当对象居于对象图像的中心区域时,目标对象区域大概率上就是对象的所在区域,为保证确定的图像主色的准确性,可以对原始采样步长进行调整,以确定目标采样步长。举例而言,可以将目标采样步长设置为原始采样步长的二倍,进一步的,可以根据目标采样步长确定目标对象区域中的采样像素点,并对该采样像素点进行采样,获取各个采样像素点的像素值。
在本示例性实施例中,针对目标对象区域和候选对象区域设置不均匀采样方式,提高了采样速度,采样效果更佳,保证了获取到的图像主色的准确性。
图9示出了另一种对采样像素点进行采样的方法的步骤流程图,如图9所示,该方法至少包括以下步骤:在步骤S910中,获取对象图像中的对象所在位置的位置信息。通过图像识别技术可以识别出对象图像中的对象,并输出对象所在位置的位置信息。举例而言,这些位置信息可以是通过矩形框的形式显示在对象图像上,以供用户调整。并且,将经过调整的矩形框的位置信息确定为对象图像中的对象所在位置的位置信息。
在步骤S920中,根据位置信息确定对象区域中的对象所在的目标对象区域和对象图像中除目标对象区域之外的候选对象区域。举例而言,将矩形框确定的区域确定为目标对象区域,进一步的,将对象图像中除矩形框所在区域的其他区域确定为候选对象区域。除此之外,还可以是其他根据位置信息确定目标对象区域和候选对象区域的方式,本示例性实施例对此不做特殊限定。
在步骤S930中,根据原始采样步长对候选对象区域中的采样像素点进行采样。候选对象区域大概率上并不是对象的所在区域,因此,可以通过已确定的原始采样步长对候选对象区域中的采样像素点进行采样,确定候选对象区域中的各个采样像素点的像素值。
在步骤S940中,根据原始采样步长确定目标采样步长,并根据目标采样步长对目标对象区域中的采样像素点进行采样。目标对象区域大概率上就是对象的所在区域,为保证确定的图像主色的准确性,可以对原始采样步长进行调整,以确定目标采样步长。举例而言,可以将目标采样步长设置为原始采样步长的二倍,进一步的,可以根据目标采样步长确定目标对象区域中的采样像素点,并对该采样像素点进行采样,获取各个采样像素点的像素值。
在本示例性实施例中,通过位置信息确定目标对象区域和候选对象区域,并针对二者设置不同的采样步长,针对性更强,采样效果更佳,适用性更广。
根据以上两种对目标对象区域和候选对象区域中的采样像素点进行采样的方法,可以获取到各采样像素点的像素值和各像素值对应的个数。
在步骤S530中,对采样像素点的个数和像素值进行统计和排序,并根据排序结果确定对象图像的图像主色。从图像色彩模式角度,对象图像的色彩模式可以是RGB色彩模式的。其中,色彩模式可以是数字世界中表示颜色的一种算法,可以是将颜色表现为数值形式的模型,或者可以是一种记录图像颜色的方式。色彩模式可以包括RGB模式、HSL模式、CMYK模式、Lab颜色模式、位图模式、灰度模式等。由于对象图像用于在屏幕上显示,因此可以采用RGB模式,以得到较广的色域。RGB模式可以是以红(Red)、绿(Green)、蓝(Blue)三种色光原色加法混合而成的色彩模型。
鉴于此,对目标对象区域和候选对象区域的采样,可以得到各个采样像素点的像素值,以及与像素值对应的采样像素点个数。进一步的,对采样像素点的像素值和对应的个数进行统计和排序,可以将采样像素点个数最多的像素值确定为对象图像的图像主色,也可以对排序结果进一步处理得到图像主色,本示例性实施例对此不做特殊限定。
在可选的实施例中,图10示出了一种确定图像主色的方法的步骤流程图,如图10所示,该方法至少包括以下步骤:在步骤S1010中,根据排序结果确定图像主色所占的比重。在排序结果中,将图像主色对应的采样像素点个数与总采样像素点个数进行计算,根据计算结果确定图像主色所占的比重。
在步骤S1020中,若比重大于比重阈值,确定图像主色。针对图像主色预设有比重阈值,当图像主色所占的比重大于该比重阈值时,才得到图像主色。
在步骤S1030中,若比重小于或等于比重阈值,将原始采样步长调整为更新采样步长,并根据更新采样步长对采样像素点进行采样。当图像主色所占的比重小于或等于比重阈值时,可以调整原始采样步长,确定更新采样步长。举例而言,可以将原始采样步长与一数值的乘积确定为更新采样步长,其中,为减小更新采样步长,可以将该数值确定为0.9或者0.8,也可以是其他数值,本示例性实施例对此不做特殊限定。确定更新采样步长之后,可以根据更新采样步长对对应的采样像素点进行采样,以进行一次迭代,确定此时的图像主色是否满足比重阈值,以确定图像主色。
在本示例性实施例中,通过预设的比重阈值对图像主色的确定方式进行限定,确保图像主色的准确性,进一步保证了对候选排版方案的评价和筛选的精准度。
当根据更新采样步长重新进行采样时,也并非无休止地迭代。在可选的实施例中,图11示出了另一种确定图像主色的方法的步骤流程图,如图11所示,该方法至少包括以下步骤:在步骤S1110中,统计对采样像素点进行采样的次数。对采样次数进行统计,亦即从以原始采样步长到以更新采样步长进行采样的总次数进行统计,得到采样次数。
在步骤S1120中,若次数等于次数阈值,确定图像主色。其中,采样阈值可以是预先设置的限定采样的迭代次数的阈值,举例而言,可以是3,也可以是其他数值,本示例性实施例对此不做特殊限定。值得说明的是,当采样次数等于3时,无论是否图像主色所占的比重是否大于比重阈值,均以本次确定的图像主色为准。
在本示例性实施例中,通过设定的次数阈值对采样次数进行限定,避免图像主色所占的比重始终无法大于比重阈值,而不断进行采样的情况发生,丰富了图像主色的确定方法,完善了图像主色的确定方案。
对象特征中除了包括对象图像的图像主色之外,还可以包括与图像主色对应的配色组合。在可选的实施例中,图12示出了提取配色组合的方法的步骤流程图,如图12所示,该方法至少包括以下步骤:在步骤S1210中,将图像主色进行色彩空间的转换,并将转换后的图像主色进行量化处理。由于对象图像是RGB色彩模式的,因此,可以将RGB色彩模式的图像主色转换成HSL色彩模式的。其中,HSL色彩模式是一种RGB色彩模型中的点在圆柱坐标系中的表示法,分别指色相(Hue)、饱和度(Saturation)、亮度(Lightness)。举例而言,转换方式可以是首先将图像主色的RGB值进行归一化处理,转换成[0.0,1.0]中的数值,并找出R、G、B中的最大值和最小值;然后,根据最大值和最小值的计算结果确定HSL色彩模式中的亮度,并根据亮度与一数值的比较结果确定HSL色彩模式中的饱和度;最后,根据预设条件的判定结果确定一与亮度和饱和度对应的计算方式,以根据计算结果确定色相。
将图像主色进行色彩空间的转换时,色相的取值范围可以是0°到360°,是一个完整的色相环。其中,色相环是一种圆形排列的色相光谱,色彩是按照光谱在自然中出现的顺序来排列的。转换之后,可以对HSL色彩模式中的色相域进行量化处理,亦即为在色相环上得到等间隔的色像差,确定出几种基本的代表色,再对色相环进行分割,得到二十四色色相环。该二十四色色相环的基本色相为黄、橙、红、紫、蓝、蓝绿、绿、黄绿8个主要色相,每个基本色相又分为3个部分,组成24个分割的色相环,从1号排列到24号。除此之外,也可以通过量化处理得到十二色色相环,或者三十六色色相环等,本示例性实施例对此不做特殊限定。
在步骤S1220中,根据量化处理结果生成配色组合。首先,可以根据量化处理后的图像主色确对应的配色规则;然后根据图像主色和配色规则生成配色组合。其中,配色规则可以是通过人机接口由人员输入的,也可以经由网络接口获取到的,还可以通过对本地存储器的访问从本地获取的,或者是由其他颜色空间的表示转换而来的等,本示例性实施例对此不做特殊限定。该配色规则包括对图像主色的辅色和对比色的设置。图像主色的辅色起到烘托图像主色、支持图像主色和融合图像主色的作用,因此,可以将图像主色的同类色或者近似色作为辅色。其中,同类色可以是与图像主色的色调性质相同,但色度有深浅之分的颜色;近似色可以是与图像主色的色调性质相同,色调深浅比较明显的颜色。图像主色的对比色可以是在色调图上与图像主色的色调相差120°-180°之间的颜色。
值得说明的是,一个图像主色可以对应多个配色规则,因此,可以产生多种配色组合,亦即图像主色、辅色和对比色的组合。
在本示例性实施例中,通过转换后的图像主色可以提取到与图像主色对应的配色组合,缩短了配色组合的提取时间,丰富了对象图像的编码特征,完善了编码特征提取的情况。
当获取到模板特征和对象特征之后,可以对模板特征和对象特征进行编码处理,得到至少两个编码处理后的特征,称作编码特征。这些编码特征可以是将图文排版方案的多个结构化特征进行独热编码(One-hot Encoding)得到的。其中,独热编码通常用于将文字信息转化为向量标识,其方法可以是使用N位状态寄存器来对N个状态进行编码,每个状态都有其独立的寄存器位,并且在任意时候,只有其中一位有效,因此,也可以成为一位有效编码。
在步骤S320中,对至少两个编码特征进行映射处理,得到候选排版方案的至少两个一维向量。
在本公开的示例性实施例中,对多个编码特征均进行映射处理,亦即对多个编码特征进行转换,转换方式可以是嵌入式方法。其中,该嵌入式方法可以是用连续向量表示离散向量的方法。映射处理之后,可以得到候选排版方案的至少两个一维向量,该一维向量可以是将原有的离散对象转换为连续向量而输出的一种向量表示方式,并且,该一维向量可以捕获原来对象的内置属性,以根据向量空间中的相似性来衡量对象的相似性。
在步骤S330中,计算至少两个一维向量中每两个一维向量之间的内积,得到与每两个一维向量对应的向量内积。
在本公开的示例性实施例中,一维向量可以是一阶特征向量,向量内积可以是计算每两个一维向量之间的内积得到的,并且反映各一维向量之间相关性的数据。
举例而言,将一维向量用xt(t为大于或等于0的整数)表示,一阶特征包括有是否喜欢篮球比赛、是否喜欢足球比赛和是否喜欢乒乓球比赛等信息。例如用户是否喜欢篮球比赛用一维向量xi表示,用户是否喜欢足球比赛用一维向量xm表示,计算一维向量xi和一维向量xm的向量内积为xi·xm。因此,该用户对篮球比赛和足球比赛的喜好可以通过xi·xm建立关联,以实现更加精准的特性表达。
在步骤S340中,根据向量内积对所述候选排版方案进行评分,以根据评分结果确定目标排版方案。
在本公开的示例性实施例中,图13示出了确定目标排版方案的方法的步骤流程图,如图13所示,该方法至少包括以下步骤:在步骤S1310中,将至少两个编码特征进行合并处理,得到合并特征。在对多个编码特征进行合并处理之前,可以获取多个编码特征与对应的权重的乘积,亦即将多个乘积进行组合合并,合并处理之后得到一个合并特征,从而得到多个编码特征对应的合并特征。
在步骤S1320中,根据合并特征和向量内积对候选排版方案进行评分,以根据评分结果确定目标排版方案。候选排版方案的评分基准可以是已获取的合并特征和向量内积。
在可选的实施例中,图14示出了对候选排版方案进行评分的方法的步骤流程图,如图14所示,该方法至少包括以下步骤:在步骤S1410中,利用多层感知器对所述合并特征和所述向量内积进行加权计算,得到线性组合特征。其中,多层感知器是一种多层前向结构的人工神经网络,可以将输入的多个数据集映射到单一输出的数据集上。多层感知器输入层的节点数量与合并特征和多个交叉特征的总数量相同,并且,各个节点上的初始权重可以是随机配置,后续进行调整的权重,也可以是根据经验配置的权重,还可以是其他配置方法得到的,本示例性实施例对此不做特殊限定。将合并特征和向量内积作为多层感知器的输入,可以将合并特征和向量内积的组合映射到单一的输出数据上,得到线性组合特征。举例而言,可以输出1-5分的评分结果,也可以是其他的输出结果,本示例性实施例对此不做特殊限定。
在步骤S1420中,利用激活函数向所述线性组合特征引入非线性特征,以对所述候选排版方案进行评分。进一步的,将多层感知器输出的线性组合特征输入至激活函数,以为线性组合特征引入非线性特征。其中,激活函数是在神经网络模型的神经元上运行的函数,负责将神经元的输入映射到输出端。该激活函数可以是Sigmoid函数,Sigmoid函数可以将输出变量映射到[0,1]之间。举例而言,可以将1-5分的评分映射到[0,1]之间,也可以根据其他多层感知器的输入结果进行映射,并且,激活函数还可以是TanH函数、Softmax函数等,本示例性实施例对此不做特殊限定。
举例而言,若激活函数是Sigmoid函数时,可以将Sigmoid函数的输出结果作为候选排版方案的评分;若激活函数是TanH函数时,可以将TanH函数的输出结果进行归一化处理,对候选排版方案进行评分。除此之外,也可以是其他根据输出结果对候选排版方案进行评分的方式,本示例性实施例对此不做特殊限定。
在本示例性实施例中,通过对合并特征和多个交叉特征的处理,可以实现对候选排版方案进行评分的功能,评分方式更加智能化和自动化,节省评分时间,提高评分的准确性。
由于候选排版方案的是评分是[0,1]之间的,可以根据评分的结果从候选排版方案中确定出目标排版方案。举例而言,确定方式可以是将评分在[0,0.5]之间的候选排版方案确定为不合格,将评分在(0.5,1]之间的候选排版方案确定为合格。进一步的,将评价为合格的候选排版方案确定为目标排版方案。除此之外,也可以通过其他方式确定目标排版方案,本示例性实施例对此不做特殊限定。
下面结合一具体应用场景对本公开实施例中提供的基于人工智能的方案筛选方法做出详细说明。
图15示出了在应用场景中的方案筛选方法的步骤流程图,如图15所示,该方法至少包括以下步骤:
在步骤S1510中,获取根据模板和商品图像生成的候选排版方案,亦即生成的banner图。
在步骤S1520中,提取候选排版方案的多个结构化特征。并且,可以对这些结构化特征进行编码,确定与候选排版方案的组成结构对应的多个编码特征。具体的,编码方式可以是独热编码,也可以是其他编码,本示例性实施例对此不做特殊限定。
与banner图对应的多个编码特征可以是模板标识、模板风格、商品类别、商品主色和配色组合。
其中,模板风格可以根据设计风格,被分为多个类别。图16示出了模板风格的类别示意图,如图16所示,模板风格可以包括11种,分别为“简约”、“活泼”、“炫酷”、“古典”、“梦幻”、“清新”、“动感”、“科技”、“简洁”、“时尚”和“其他”。其中,“其他”表示一种通用的模板风格。
商品类别可以是根据基于视觉的商品识别技术对各种商品进行分类得到的。图17示出了商品分类的类别示意图,如图17所示,商品类别可以包括26种,分别可以是“珠宝首饰”、“礼品箱包”、“美妆护肤”、“鞋靴”、“家庭清洁或纸品”、“图书”、“教育培训”、“宠物生活”、“母婴”、“食品饮料”、“手机”、“酒类”、“厨具”、“运动户外”、“生鲜”、“数码”、“农资绿植”、“家用电器”、“服饰内衣”、“家具”、“汽车用品”、“家纺”、“电脑办公”、“家具日用”、“家装建材”和“通用”。
商品主色可以是提取到的商品的最主要颜色。举例而言,具体的提取方法可以是k均值聚类算法(K-means clustering algorithm,简称K-means),具体的,可以提取商品图像中的每个像素点的像素值,并进行分类,以选取初始化的k个像素点的像素值作为中心点。对于每一个像素点,选取与其像素值差距最小的中心点作为自己的类别。当所有像素点都分类完毕之后,将中心点重新设置为该类别中所有像素点的像素值的均值,然后确定商品主色。
除此之外,还可以采用一种非均匀迭代采样算法提取商品主色。图18示出了非均匀迭代采样算法的步骤流程图,如图18所示,该方法至少包括以下步骤:在步骤S1810中,设定采样步长,举例而言,可以将商品图像的图像宽度和图像高度进行比较,并且将其比较结果中的较小值与一数值进行除法运算,将运算结果设定为采样步长。其中,该数值可以是10,也可以是其他数值,本示例性实施例对此不做特殊限定。
在步骤S1820中,根据采样步长对商品图像的采样像素点进行非均匀采样,得到对应的像素值。在banner图的商品图像中,商品通常居于商品图的中心区域,因此,可以对中心区域和外围区域设定不同的采样步长。
具体的,图19示出了确定目标对象区域和候选对象区域的效果示意图,如图19所示,将商品图像的w/4、(3w)/4、h/4和(3h)/4分别作为四条边围成的矩形区域确定为目标对象区域,亦即区域1910为目标中心区域,将商品图像中除目标对象区域外的其他区域确定为候选对象区域,亦即区域1920为候选对象区域。并且,根据原本设定的采样步长对候选对象区域进行采样。进一步的,根据由原始采样步长确定的目标采样步长对目标对象区域进行采样,举例而言,区域1910中的采样像素点的目标采样步长是区域1920的采样步长的一半,亦即区域1910的采样频率是区域1920的采样频率的二倍。除此之外,也可以根据采样步长确定其他的目标采样步长,本示例性实施例对此不做特殊限定。然后,根据对目标对象区域和候选对象区域的采样结果得到对应的像素值。
在步骤S1830中,对采样像素点的个数和像素值进行统计和排序,亦即得到各个采样像素点的像素值,以及与像素值对应的像素点个数,并按照个数由多到少,对像素值进行排序。
在步骤S1840中,根据排序结果确定对象图像的商品主色。针对商品主色预设有比重阈值,当商品主色所占的比重大于比重阈值时,可以确定商品主色;当商品主色所占的比重小于或等于比重阈值时,将采样步长调整为更新采样步长,并根据更新采样步长对采样像素点重新进行采样。举例而言,对采样步长的调整可以是减小采样步长,也可以是其他调整方式,本示例性实施例对此不做特殊限定。当然,采样过程并不是在不大于比重阈值的情况下,无休止的重复。因此,还可以统计采样的次数,当采样次数等于次数阈值时,确定商品主色。举例而言,次数阈值可以为3,也可以为其他阈值,本示例性实施例对此不做特殊限定。
在步骤S1850中,可以输出已经确定的商品主色,亦即提取到了banner图的商品主色的特征。
除此之外,还可以根据配色规则提取与商品主色对应的配色组合。通过HSL色彩模式可以使用人类的直觉来描述颜色,并挖掘其中的配色规律,继而形成配色规则。以HSL色彩模式的色相域分量为例,设计领域可以根据色相环进行配色,并形成一系列规则。举例而言,常见的有四种配色方法,分别是单色配色、类似色配色、互补色配色和三色配色。图20(a)示出了使用单色配色的配色示意图,如图20(a)所示,配色的时候只使用一种色彩,或者使用同一色调的深色和浅色。图20(b)示出了使用类似色配色的配色示意图,如图20(b)所示,使用色相环中彼此相连的三种色彩来作为配色方案。图20(c)示出了使用互补色配色的配色示意图,如图20(c)所示,使用色相环上相对位置的两种颜色来进行搭配。图20(d)示出了使用三色配色的配色示意图,如图20(d)所示,使用色相环上互呈120°角度的三种颜色进行搭配。
由此可见,设计人员在配色时,通过旋转色相环的角度的方法确定合适的颜色,并且,该旋转角度存在着既定的规律,可以加以复用。鉴于此,当给定图像主色的时候,可以构建配色规则确定对应的配色组合。图21示出了根据配色规则确定配色组合的效果示意图,如图21所示,当黄色(C1)为图像主色时,可以对其分量(H1,S1,L1)进行旋转和变化。具体的,第一组配色规则为2110,规则2110规定:色相域旋转-8°、饱和度变化+0%和亮度变化+10%;第二组配色规则为2120,规则2120规定:色相域旋转-20°、饱和度变化+0%和亮度变化+5%;第三条配色规则为2130,规则2130规定:色相域旋转-37°、饱和度变化+0%和亮度变化+3%。根据规则2110、规则2120和规则2130可以分别形成适用于不同层的一组配色组合,分别是浅黄色C11(H11,S11,L11)、浅橙色C12(H12,S12,L12)和橙色C13(H13,S13,L13)。
并且,将形成的新配色和图像主色之间的变化量记录下来,可以形成规则(△H11,△S11,△L11),(△H12,△S12,△L12)和(△H13,△S13,△L13),其中,△H11=H11-H1,以此类推,在此不再赘述。这样就可以形成基于分量变化的配色规则。当banner图的新商品的商品主色为绿色(C2)时,根据该配色规则对各分量(H2,S2,L2)做相同的变化时,可以得到新的配色组合,分别是嫩绿色C21(H21,S21,L21)、浅绿色(H22,S22,L22)和黄色(H23,S23,L23)。
但是在实际设计中,存在色值溢出的问题,亦即H的数值范围为0°~360°,S和L的数值范围是0%~100%。如果使用亮度和饱和度比较适中的颜色进行规则创建,却用于亮度和饱和度较高或较低的颜色,色值便会溢出。图22示出了针对色值溢出情况进行调整的效果示意图,如图22所示,根据紫色建立得到配色规则2210、规则2220和规则2230。当粉黄色使用者三种配色规则时,在规则2220和规则2230均出现了色值溢出的情况。
鉴于此,可以对配色规则进行处理以解决此问题。具体的,由于色相环是环状结构,因此可以将超出360°或者少于0°的情况根据圆形结构计算实际度数;而饱和度和亮度可以直接调整至目标数值,而非记录变化值。经过调整后,可以生成配色规则2240、规则2250和规则2260,分别是规则2240(△H11,S11,L11)、规则2250(△H12,S12,L12)和规则2260(△H13,S13,L13)。因此,当商品主色为粉黄色时,根据规则2240、规则2250和规则2260可以生成三种对应的配色组合。
在步骤S1530中,将提取到的多个编码特征可以输入至一种美学评估模型中,以得到banner的评分结果。该美学评估模型可以对提取到的多个编码特征进行映射处理,得到banner图的多个嵌入式特征;然后,对多个嵌入式特征进行特征交叉处理,得到多个交叉特征;进一步的,将多个编码特征进行合并处理,得到合并特征;最后,将合并特征和多个交叉特征输入至多层感知器和激活函数中,以输出与banner图对应的评分。
在步骤S1540中,对多个banner图的评分分值进行排序和筛选,以确定目标banner图进行展示。图23示出了目标banner图的效果示意图,如图23所示,对于一种购买相机的促销方案,可以根据方案筛选方法得到三种banner效果图,以供用户选择。
根据以上应用场景中的方案筛选方法,可以构建一种美学筛选模型。图24示出了该美学筛选模型的框架示意图,如图24所示,该美学筛选模型对banner图的筛选方法可以包括以下步骤:在步骤S2410中,提取banner图的五个结构化特征,分别是模板标识、模板风格、商品主色、商品分类和配色组合。
在步骤S2420中,对五个结构化特征进行独热编码,得到对应的五个编码特征,分别可以是ti、si、ci、gi和ri。
在步骤S2430中,对五个编码特征进行映射处理,得到banner图的五个嵌入式特征,分别可以是和/>
在步骤S2440中,对五个嵌入式特征进行特征交叉处理,得到对应的四个交叉特征,分别可以是 和/>并且,对五个编码特征进行合并处理,得到一个合并特征,该合并特征为f1=[wt·ti,ws·si,wc·ci,wg·gi,wr·ri]。
在步骤S2450中,将四个交叉特征和一个合并特征输入至多层感知器中,并且将多层感知器的输出结果输入至激活函数中,可以是 其中,f2表示四个交叉特征,亦即f2=[f(si),f(ci),f(gi),f(ri)],以使Sigmoid函数输出与banner对应的[0,1]之间的评分。
在步骤S2460中,根据评分结果对banner图进行合格和不合格的划分,以确定目标banner图进行展示。
基于以上应用场景可知,本公开实施例提供的基于人工智能的方案筛选方法通过对banner图的多个编码特征进行映射处理和特征交叉处理,以实现对banner图的评分和筛选功能。一方面,对与banner图对应的编码特征进行相应处理,充分利用了banner图的结构化特点,确保了banner图评定的准确性,提升了banner图选取的精准度,进一步提高了banner图自动生成系统的自动化程度和智能化程度;另一方面,可以有效地过滤掉效果不理想的banner图,极大地提高目标banner图的生成效率,大大提升了banner图的评分速度和筛选效率,实用性更强,丰富了对banner图的筛选方法的应用场景。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本公开的装置实施例,可以用于执行本公开上述实施例中的基于人工智能的方案筛选方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的基于人工智能的方案筛选方法的实施例。
图25示意性地示出了在本公开一些实施例中的基于人工智能的方案筛选装置的结构框图。如图25所示,基于人工智能的方案筛选装置2500主要可以包括:特征提取模块2510、特征映射模块2520、特征计算模块2530、和方案确定模块2540。
特征提取模块2510,被配置为获取候选排版方案的结构化特征,并对结构化特征进行编码处理得到至少两个编码特征;特征映射模块2520,被配置为对至少两个进行映射处理,得到候选排版方案的至少两个一维向量;特征计算模块2530,被配置为计算所述至少两个一维向量中每两个一维向量之间的内积,得到与所述每两个一维向量对应的向量内积;方案确定模块2540,被配置为根据向量内积对候选排版方案进行评分,以根据评分结果确定目标排版方案。
在本公开的一些实施例中,方案确定模块包括:特征合并子模块,被配置为将至少两个编码特征进行合并处理,得到合并特征;方案评分子模块,被配置为根据合并特征和向量内积对候选排版方案进行评分,以根据评分结果确定目标排版方案。
在本公开的一些实施例中,方案评分模块包括:加权计算单元,被配置为利用多层感知器对合并特征和向量内积进行加权计算,得到线性组合特征;评分获取单元,被配置为利用激活函数向线性组合特征引入非线性特征,以对候选排版方案进行评分。
在本公开的一些实施例中,特征提取模块包括:信息确定单元,被配置为确定生成候选排版方案的模板,并识别候选排版方案中的对象图像;编码处理单元,被配置为获取模板的模板特征和对象图像的对象特征,并对模板特征和对象特征进行编码处理得到至少两个编码特征。
在本公开的一些实施例中,特征提取编码包括:步长确定子模块,被配置为根据对象图像的图像尺寸确定原始采样步长;像素采样子模块,被配置为根据原始采样步长对对象图像中的采样像素点进行采样,得到对应的像素值;主色提取子模块,被配置为对采样像素点的个数和像素值进行统计和排序,并根据排序结果确定对象图像的图像主色。
在本公开的一些实施例中,步长确定子模块包括:数值比较单元,被配置为比较图像宽度和图像高度,并根据比较结果确定待处理数值;数值计算单元,被配置为确定与待处理数值对应的步长计算结果,并将步长计算结果确定为原始采样步长。
在本公开的一些实施例中,像素采样子模块包括:区域确定单元,被配置为根据图像尺寸确定对象图像中的对象所在的目标对象区域和对象图像中除目标对象区域之外的候选对象区域;原始采样单元,被配置为根据原始采样步长对候选对象区域中的采样像素点进行采样;更新采样单元,被配置为根据原始采样步长确定目标采样步长,并根据目标采样步长对目标对象区域中的采样像素点进行采样。
在本公开的一些实施例中,区域确定单元包括:结果确定子单元,被配置为确定与图像宽度对应的宽度计算结果,并确定与图像高度对应的高度计算结果;区域划分子单元,被配置为根据宽度计算结果和高度计算结果对对象图像进行区域划分;区域获取子单元,被配置为根据区域划分结果确定对象图像中的对象所在的目标对象区域和对象图像中除目标对象区域之外的候选对象区域。
在本公开的一些实施例中,像素采样子模块包括:信息获取单元,被配置为获取对象图像中的对象所在位置的位置信息;区域区分单元,被配置为根据位置信息确定对象图像中的对象所在的目标对象区域和对象图像中除目标对象区域之外的候选对象区域;候选采样单元,被配置为根据原始采样步长对候选对象区域中的采样像素点进行采样;目标采样单元,被配置为根据原始采样步长确定目标采样步长,并根据目标采样步长对目标对象区域中的采样像素点进行采样。
在本公开的一些实施例中,主色提取子模块包括:比重确定单元,被配置为根据排序结果确定图像主色所占的比重;主色获取单元,被配置为若比重大于比重阈值,确定图像主色;步长更新单元,被配置为若比重小于或等于比重阈值,将原始采样步长调整为更新采样步长,并根据更新采样步长对采样像素点进行采样。
在本公开的一些实施例中,主色提取子模块还包括:次数统计单元,被配置为统计对采样像素点进行采样的次数;次数比较单元,被配置为若次数等于次数阈值,确定图像主色。
在本公开的一些实施例中,特征提取模块包括:空间转换子模块,被配置为将图像主色进行色彩空间的转换,并将转换后的图像主色进行量化处理;配色确定子模块,被配置为根据量化处理结果生成配色组合。
本公开各实施例中提供的基于人工智能的方案筛选装置的具体细节已经在对应的方法实施例中进行了详细的描述,因此此处不再赘述。
图26示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图26示出的电子设备的计算机系统2600仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图26所示,计算机系统2600包括中央处理单元(Central Processing Unit,CPU)2601,其可以根据存储在只读存储器(Read-Only Memory,ROM)2602中的程序或者从存储部分2608加载到随机访问存储器(Random Access Memory,RAM)2603中的程序而执行各种适当的动作和处理。在RAM2603中,还存储有系统操作所需的各种程序和数据。CPU 2601、ROM 2602以及RAM 2603通过总线2604彼此相连。输入/输出(Input/Output,I/O)接口2605也连接至总线2604。
以下部件连接至I/O接口2605:包括键盘、鼠标等的输入部分2606;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分2607;包括硬盘等的存储部分2608;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分2609。通信部分2609经由诸如因特网的网络执行通信处理。驱动器2610也根据需要连接至I/O接口2605。可拆卸介质2611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器2610上,以便于从其上读出的计算机程序根据需要被安装入存储部分2608。
特别地,根据本公开的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分2609从网络上被下载和安装,和/或从可拆卸介质2611被安装。在该计算机程序被中央处理单元(CPU)2601执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (15)
1.一种基于人工智能的方案筛选方法,其特征在于,所述方法包括:
获取候选排版方案的结构化特征,并对所述结构化特征进行编码处理得到至少两个编码特征;
对所述至少两个编码特征进行映射处理,得到所述候选排版方案的至少两个一维向量;
计算所述至少两个一维向量中每两个一维向量之间的内积,得到与所述每两个一维向量对应的向量内积;
将所述至少两个编码特征与对应的权重的乘积进行合并处理,得到合并特征;
将所述合并特征和所述向量内积输入至多层感知器中,以通过所述多层感知器将所述合并特征和所述向量内积的组合映射到单一的输出数据上,得到线性组合特征;
利用激活函数向所述线性组合特征引入非线性特征,以对所述候选排版方案进行评分。
2.根据权利要求1所述的基于人工智能的方案筛选方法,其特征在于,所述结构化特征包括模板特征和对象特征;
所述对所述结构化特征进行编码处理得到至少两个编码特征,包括:
确定生成所述候选排版方案的模板,并识别所述候选排版方案中的对象图像;
获取所述模板的模板特征和所述对象图像的对象特征,并对所述模板特征和所述对象特征进行编码处理得到至少两个编码特征。
3.根据权利要求2所述的基于人工智能的方案筛选方法,其特征在于,所述对象特征包括所述对象图像的图像主色;
所述获取所述模板的模板特征和所述对象图像的对象特征,包括:
根据所述对象图像的图像尺寸确定原始采样步长;
根据所述原始采样步长对所述对象图像中的采样像素点进行采样,得到对应的像素值;
对所述采样像素点的个数和所述像素值进行统计和排序,并根据排序结果确定所述对象图像的图像主色。
4.根据权利要求3所述的基于人工智能的方案筛选方法,其特征在于,所述图像尺寸包括图像宽度和图像高度;
所述根据所述对象图像的图像尺寸确定原始采样步长,包括:
比较所述图像宽度和所述图像高度,并根据比较结果确定待处理数值;
确定与所述待处理数值对应的步长计算结果,并将所述步长计算结果确定为原始采样步长。
5.根据权利要求4所述的基于人工智能的方案筛选方法,其特征在于,所述根据所述原始采样步长对所述对象图像中的采样像素点进行采样,包括:
根据所述图像尺寸确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域;
根据所述原始采样步长对所述候选对象区域中的采样像素点进行采样;
根据所述原始采样步长确定目标采样步长,并根据所述目标采样步长对所述目标对象区域中的采样像素点进行采样。
6.根据权利要求5所述的基于人工智能的方案筛选方法,其特征在于,所述根据所述图像尺寸确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域,包括:
确定与所述图像宽度对应的宽度计算结果,并确定与所述图像高度对应的高度计算结果;
根据所述宽度计算结果和所述高度计算结果对所述对象图像进行区域划分;
根据区域划分结果确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域。
7.根据权利要求3所述的基于人工智能的方案筛选方法,其特征在于,所述根据所述原始采样步长对所述对象图像中的采样像素点进行采样,包括:
获取所述对象图像中的对象所在位置的位置信息;
根据所述位置信息确定所述对象图像中的对象所在的目标对象区域和所述对象图像中除目标对象区域之外的候选对象区域;
根据所述原始采样步长对所述候选对象区域中的采样像素点进行采样;
根据所述原始采样步长确定目标采样步长,并根据所述目标采样步长对所述目标对象区域中的采样像素点进行采样。
8.根据权利要求3所述的基于人工智能的方案筛选方法,其特征在于,所述根据排序结果确定所述对象图像的图像主色,包括:
根据所述排序结果确定所述图像主色所占的比重;
若所述比重大于比重阈值,确定所述图像主色;
若所述比重小于或等于所述比重阈值,将所述原始采样步长调整为更新采样步长,并根据所述更新采样步长对所述采样像素点进行采样。
9.根据权利要求8所述的基于人工智能的方案筛选方法,其特征在于,在所述根据所述更新采样步长对所述采样像素点进行采样之后,所述方法还包括:
统计对所述采样像素点进行采样的次数;
若所述次数等于次数阈值,确定所述图像主色。
10.根据权利要求2所述的基于人工智能的方案筛选方法,其特征在于,所述对象特征还包括与所述图像主色对应的配色组合;
所述获取所述模板的模板特征和所述对象图像的对象特征,包括:
将所述图像主色进行色彩空间的转换,并将转换后的所述图像主色进行量化处理;
根据量化处理结果生成所述配色组合。
11.一种基于人工智能的方案筛选装置,其特征在于,所述装置包括:
特征提取模块,被配置为获取候选排版方案的结构化特征,并对所述结构化特征进行编码处理得到至少两个编码特征;
特征映射模块,被配置为对所述至少两个编码特征进行映射处理,得到所述候选排版方案的至少两个一维向量;
特征计算模块,被配置为计算所述至少两个一维向量每两个向量之间的内积,得到与所述每两个一维向量对应的向量内积;
方案确定模块,被配置为将所述至少两个编码特征与对应的权重的乘积进行合并处理,得到合并特征;将所述合并特征和所述向量内积输入至多层感知器中,以通过所述多层感知器将所述合并特征和所述向量内积的组合映射到单一的输出数据上,得到线性组合特征;利用激活函数向所述线性组合特征引入非线性特征,以对所述候选排版方案进行评分。
12.根据权利要求11所述的基于人工智能的方案筛选装置,其特征在于,所述结构化特征包括模板特征和对象特征;所述特征提取模块,包括:
信息确定单元,被配置为确定生成所述候选排版方案的模板,并识别所述候选排版方案中的对象图像;
编码处理单元,被配置为获取所述模板的模板特征和所述对象图像的对象特征,并对所述模板特征和所述对象特征进行编码处理得到至少两个编码特征。
13.根据权利要求12所述的基于人工智能的方案筛选装置,其特征在于,所述对象特征包括所述对象图像的图像主色;所述特征提取模块,包括:
步长确定子模块,被配置为根据所述对象图像的图像尺寸确定原始采样步长;
像素采集子模块,被配置为根据所述原始采样步长对所述对象图像中的采样像素点进行采样,得到对应的像素值;
主色提取子模块,被配置为对所述采样像素点的个数和所述像素值进行统计和排序,并根据排序结果确定所述对象图像的图像主色。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的基于人工智能的方案筛选方法。
15.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任一项所述的基于人工智能的方案筛选方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911121104.7A CN110889718B (zh) | 2019-11-15 | 2019-11-15 | 方案筛选方法、方案筛选装置、介质以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911121104.7A CN110889718B (zh) | 2019-11-15 | 2019-11-15 | 方案筛选方法、方案筛选装置、介质以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110889718A CN110889718A (zh) | 2020-03-17 |
CN110889718B true CN110889718B (zh) | 2024-05-14 |
Family
ID=69747632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911121104.7A Active CN110889718B (zh) | 2019-11-15 | 2019-11-15 | 方案筛选方法、方案筛选装置、介质以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110889718B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985372A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种深度学习的遥感影像水体提取系统 |
CN112686738B (zh) * | 2021-01-20 | 2023-10-13 | 杭州网易再顾科技有限公司 | 一种对象展示方法、装置、电子设备及存储介质 |
CN115564469A (zh) * | 2022-09-09 | 2023-01-03 | 北京沃东天骏信息技术有限公司 | 广告创意选取和模型训练方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018086607A1 (zh) * | 2016-11-11 | 2018-05-17 | 纳恩博(北京)科技有限公司 | 一种目标跟踪方法及电子设备、存储介质 |
CN108764235A (zh) * | 2018-05-23 | 2018-11-06 | 中国民用航空总局第二研究所 | 神经网络模型、目标检测方法、设备及介质 |
CN109584326A (zh) * | 2018-11-07 | 2019-04-05 | 厦门欢乐逛科技股份有限公司 | 海报自动配色方法、介质、计算机设备及装置 |
CN109829924A (zh) * | 2019-01-18 | 2019-05-31 | 武汉大学 | 一种基于主体特征分析的图像质量评价方法 |
-
2019
- 2019-11-15 CN CN201911121104.7A patent/CN110889718B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018086607A1 (zh) * | 2016-11-11 | 2018-05-17 | 纳恩博(北京)科技有限公司 | 一种目标跟踪方法及电子设备、存储介质 |
CN108764235A (zh) * | 2018-05-23 | 2018-11-06 | 中国民用航空总局第二研究所 | 神经网络模型、目标检测方法、设备及介质 |
CN109584326A (zh) * | 2018-11-07 | 2019-04-05 | 厦门欢乐逛科技股份有限公司 | 海报自动配色方法、介质、计算机设备及装置 |
CN109829924A (zh) * | 2019-01-18 | 2019-05-31 | 武汉大学 | 一种基于主体特征分析的图像质量评价方法 |
Non-Patent Citations (1)
Title |
---|
《数字化阅读与纸质阅读的比较研究》;高建新;价值工程;20191018;第38卷(第29期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110889718A (zh) | 2020-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Žeger et al. | Grayscale image colorization methods: Overview and evaluation | |
Narihira et al. | Learning lightness from human judgement on relative reflectance | |
Zhao et al. | Exploring principles-of-art features for image emotion recognition | |
CN107016415B (zh) | 一种基于全卷积网络的彩色图像色彩语义分类方法 | |
Li et al. | Aesthetic visual quality assessment of paintings | |
US9881226B1 (en) | Object relation builder | |
Yao et al. | Oscar: On-site composition and aesthetics feedback through exemplars for photographers | |
CN110889718B (zh) | 方案筛选方法、方案筛选装置、介质以及电子设备 | |
Sun et al. | Photo filter recommendation by category-aware aesthetic learning | |
CN105354248A (zh) | 基于灰度的分布式图像底层特征识别方法及系统 | |
US20120140987A1 (en) | Methods and Systems for Discovering Styles Via Color and Pattern Co-Occurrence | |
US10134149B2 (en) | Image processing | |
Somayeh Mousavi et al. | Color image segmentation using neuro-fuzzy system in a novel optimized color space | |
Gu et al. | Data driven webpage color design | |
Shete et al. | TasselGAN: An application of the generative adversarial model for creating field-based maize tassel data | |
AU2021240205B1 (en) | Object sequence recognition method, network training method, apparatuses, device, and medium | |
Li et al. | A novel feature fusion method for computing image aesthetic quality | |
Sobieranski et al. | Learning a nonlinear distance metric for supervised region-merging image segmentation | |
Abe et al. | Recognizing surface qualities from natural images based on learning to rank | |
Gain et al. | A novel unbiased deep learning approach (dl-net) in feature space for converting gray to color image | |
Li et al. | Classical learning or deep learning: a study on food photo aesthetic assessment | |
JP6995262B1 (ja) | 学習システム、学習方法、及びプログラム | |
Luo | Social image aesthetic classification and optimization algorithm in machine learning | |
Gain et al. | CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization | |
Kuo et al. | Computerized color distinguishing system for color printed fabric by using the approach of probabilistic neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021108 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |