CN110889883A - 一种自适应的智能横幅广告图片生成方法及系统 - Google Patents
一种自适应的智能横幅广告图片生成方法及系统 Download PDFInfo
- Publication number
- CN110889883A CN110889883A CN201911196859.3A CN201911196859A CN110889883A CN 110889883 A CN110889883 A CN 110889883A CN 201911196859 A CN201911196859 A CN 201911196859A CN 110889883 A CN110889883 A CN 110889883A
- Authority
- CN
- China
- Prior art keywords
- picture
- product
- color
- file
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
- G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种自适应的智能横幅广告图片生成方法,其特征在于,通过将设计师的经验知识外化,提取出图片配色原理、图文搭配规则、视觉组合结构等设计原理的数据化信息,实现横幅广告图片的素材自动搭配和图片合成的功能,在生成横幅广告图片时,只需输入待合成的产品图片,自动根据产品图片提取出主副标题等文案信息,并根据图片配色,从素材库中选取最佳匹配的背景和修饰元素,最终根据选取的元素确定最终合成版式,完成横幅广告图片的生成。本方法有效减少设计师的低效重复性劳动,缩减了合成横幅广告的成本;在横幅广告尺寸、元素等改变时,能够动态实时地生成所需横幅广告图片,为个性化提供了可能。
Description
技术领域
本发明涉及计算机视觉和数字图像处理领域,特别是涉及一种自适应的智能横幅广告图片生成方法及系统。
背景技术
随着互联网的发展和网络的普及,信息的传播速度越来越快,商家利用各种方式在互联网上对商品进行宣传。其中,横幅广告(Banner Ad.)以其独特的优势得到了广大商家的青睐,横幅广告(Banner Ad.)又称旗帜广告,是网络广告最早采用的形式,也是目前最常见的形式,它是横跨于网页上的矩形公告牌,当用户点击这些横幅的时候,通常可以链接到广告主的网页。同时,人们对它的要求也越来越高,横幅广告不仅要传播信息,还要具有互动性和设计感去吸引更多的点击者。
一方面,在视觉设计领域中,设计师们往往会因为一些简单需求付出相当多的时间,而且完成的横幅广告图片数据基本无法再次复用。比如修改文案内容、设计简单的海报版式、针对不同机型展位的多尺寸拓展等。这些工作包含很多重复劳动,需要耗费大量的时间和人力成本。
另一方面,电商平台流量获取成本日益走高,对已有流量精细化运营并提升流量转化率成了平台运行的重点。平台横幅广告作为流量转化入口,对平台有非常重要的作用。原有的“千人一面”的广告投放策略,已不能满足营销需求。未来,精准营销是大趋势,在大流量背景下,横幅海报资源展位需要展示“千人千面”的效果。这就需要快速生成大量的个性化广告图片。而人工制作效率低成本高,数据复用率低,且平台用户量越大,需要的横幅图片越多,显然人工视觉设计很慢满足实时大量的图片需求。
在图像处理领域,数字图像合成和图像生成技术一直是研究热点。随着人工智能的势头持续高涨,AI在智能视觉设计中的应用受到关注。阿里等知名企业较早对该领域进行了探索和研究。在横幅广告生成方面,阿里巴巴提出发布了“鹿班”智能设计平台。它是通过强化学习、对抗学习及渲染算法和大量数据训练的人工智能设计平台,其设计水平已非常接近普通设计师。该生成方法需要大量的结构化标注数据,而这部分数据采集困难,设计的不确定性也使得数据很难标准化和结构化。其次,通过机器学习获取的横幅广告设计具有很大的不可控性,对于合成效果不佳的横幅广告,很难进行人工干预,将设计师的经验融入其中,容易造成生成的横幅广告效果不稳定等现象。
除了人工智能的方法,还有一些传统的图像合成方法,包括基于α分量的图像合成、基于梯度的图像合成和基于多分辨率模型的图像合成等。这些方法通常是在输入图像中提取感兴趣的物体或区域,通过对该区域的颜色、纹理、亮度、噪声等多方面的调整,使其无缝地融合到新的图像背景中。这些算法对于给定的两幅图有一定的合成效果,但无法对给定的素材和文案自动匹配恰当的版式配色等,在横幅广告生成中的使用仍待进一步研究。
当用户希望的合成区域恰是原图像的前景时,基于α分量的图像合成可以产生真实自然的合成效果。但如果待合成区域只是原图前景的一部分,或者背景与前景在颜色上存在较大的视觉反差,使用该方法会产生明显的边界。基于梯度的图像合成方法能做到在边界和颜色上的无缝合成,而且能最大限度的保留原图像的局部对比度。但如果原图像的纹理模式与目标图像相差太大,该方法也难以消除边界上纹理之间的差异,平滑的前景图像合成到高噪声的背景下也不自然。基于多分辨率模型的图像合成可以使两幅颜色、纹理相差较大的图像上,也能获得较好的合成效果,但其求解过程复杂,运算速度较慢,并且不适用于含有非随机纹理的图像。
发明内容
本发明所要解决的技术问题是克服现有技术的不足,提供一种自适应的智能横幅广告图片生成方法及系统,目的在于通过将设计师的经验知识外化,提取出图片配色原理、图文搭配规则、视觉组合结构等设计原理的数据化信息,实现横幅广告图片的素材自动搭配和图片合成的功能。在生成横幅广告图片时,只需输入待合成的产品图片,自动根据产品图片提取出主副标题等文案信息,并根据图片配色,从素材库中选取最佳匹配的背景和修饰元素。最终根据选取的元素确定最终合成版式,完成横幅广告图片的生成。本方法有效减少设计师的低效重复性劳动,缩减了合成横幅广告的成本;在横幅广告尺寸、元素等改变时,能够动态实时地生成所需横幅广告图片,为个性化提供了可能。
为解决上述技术问题,本发明提供一种自适应的智能横幅广告图片生成方法,其特征在于,包括如下具体步骤:
步骤1,构建素材库,所述素材库是指图片制作所需的素材的集合,所述素材包括背景图、装饰图、产品主体图和文案,构建过程具体包括:收集广告图片并标注广告图片的主题风格,对广告图片进行图层分类,提取广告图片中的素材,并通过素材分类器将素材归类;标记各素材的关键属性特征;所述素材的关键属性特征具体为:背景图的关键属性特征包括主颜色,主题风格关键词;装饰图的关键属性特征包括主颜色、主题风格关键词;产品主体图的关键属性特征包括产品名称、尺寸、主颜色、产品关键词、行业关键词;文案的关键属性特征包括标题性质、产品名称、行业关键词;其中,所述产品关键词,与产品属性相关的关键词;所述标题性质包含主标题和副标题;
步骤2:构建视觉知识学习和设计系统,用以把设计师的设计知识,转化为系统能理解的知识和规则;搜集横幅广告图,学习不同横幅尺寸下的排版特征,归纳出同一类布局下适用于不同横幅尺寸的版式规则,所述布局是指横幅广告的通用设计布局,包括左图右字、左字有图、左字右图、左图右字、左中右构图、上下构图、文字作为主体居中;学习横幅广告图中各素材的颜色搭配,归纳出不同主题风格下的背景图片色、产品图片色、装饰图片色和文案色的搭配方案,形成色彩搭配库;
步骤3:配置个性化系统以获取用户的个性化需求,所述个性化需求包含设计要求和用户偏好;所述设计要求是指用户自定义的设计要求,包括横幅尺寸、横幅主题风格、产品主体图、产品描述;所述用户偏好是经对用户行为分析后提取到的检索词和访问的行业及产品,形成偏好词、偏好行业和偏好产品作为用户偏好标签;
根据用户偏好标签,通过与素材库中素材关键属性特征进行关键词相似匹配,相似度最高的图片素材和文案素材选作为产品主体图及文案;根据横幅尺寸从视觉知识学习和设计系统获取素材排版方案,根据横幅主题风格从色彩搭配库中获取素材配色方案;并将获取的方案提交给图片合成引擎;
步骤4,使用图片合成引擎合成横幅广告图片,所述图片合成引擎根据个性化系统输入的用户的个性化需求从素材库中获取素材,包括背景、产品、装饰及文案,从视觉知识学习设计系统获取素材色彩搭配、素材位置摆放及文案内容组织的合成方案;按照合成方案,以用户指定的横幅尺寸,组合产品图、背景图、装饰图、文案;
步骤5,通过视觉结果评价系统调整和优化横幅广告图片的合成效果,所述视觉结果评价系统针对步骤4生成的横幅广告图片,提取优化后的排版和配色特征,输入视觉知识学习和设计系统重新学习;具体是从美学和效果两方面评估,所述美学评估是人工针对布局排版、主题风格、色彩搭配评估调整,给出优化后的排版结果和色彩搭配结果,由视觉结果评价系统学习结果获取排版参数及色彩搭配参数,其中排版参数包括横幅尺寸、布局、产品区域尺寸、文案区域尺寸、产品区域和文案区域间的距离、文案字号和文案主副标题关系;色彩搭配参数包括主题风格、背景图、产品主体图、装饰图及文案颜色搭配;所述效果评估是根据横幅广告投放后的点击率浏览量评估,选取点击率浏览量排名前10%的横幅广告和点击率浏览器排名后10%横幅广告,由视觉结果评价系统学习并获取排版参数及色彩搭配参数;将排版参数和色彩搭配参数反馈至视觉知识学习和设计系统重新学习,用以优化排版规则的计算公式和色彩搭配规则。
所述步骤1中,针对图片类素材,获取尺寸和形状规整度的信息;使用矩形拟合因子来度量图片的形状规整度,选取矩形拟合因子值最高的图片作为背景图候选图,低于矩形拟合因子最高值的图片作为产品图和装饰图的候选图;背景候选图中的所有图片默认选定为背景图;在背景候选图中,基于图片尺寸聚类,聚类结果是散落在坐标轴内的2个聚点,以横坐标为参照依据,选取聚点坐标最大的区域为大尺寸区域,选取聚点坐标最小的区域为小尺寸区域;选取图片尺寸分布在小尺寸区域的图片为产品图;在产品图和装饰图的候选图中,基于图片尺寸聚类,图片尺寸分布在小尺寸区域的图片被选定为装饰图,图片尺寸分布在大尺寸区域的图片被选定为产品图;针对文案素材,提取广告图片的主标题和副标题,形成文案库。
所述步骤2中,所述视觉知识学习和设计系统学习的版式规则包括:学习横幅尺寸与布局之间的关系,提取特定横幅尺寸或尺寸区间内使用最多的布局作为最佳布局;学习横幅广告尺寸与图片区域尺寸、文案区域尺寸、文案字体尺寸之间的关系,将其关系归纳为数学函数;其中,所述图片区域,适应于横幅尺寸的最大可容纳图片的区域;所述文案区域,适应于横幅尺寸的最大可容纳文字的区域;学习横幅广告尺寸、产品主体图尺寸和图片、文案区域间距离的关系特征,将其关系归纳为数学函数;学习主标题与副标题字号间的匹配关系,提取特定横幅尺寸或尺寸区间内使用最多的主副标题字号大小关系作为最佳文案字号;将上述学习到的关系特征存入版式规则库中。
所述步骤4中,所述图片合成引擎合成横幅广告图片包括需求获取,确定素材、确定版式、定位各素材在区域内的准确位置、调整配色和合成图片的步骤,具体为:
步骤4-1,需求获取:所述需求获取包括用户主动输入的设计要求和经用户行为分析获取的用户偏好;
步骤4-2,确定素材:根据个性化系统获取的用户的设计要求和偏好标签,确定图片素材和文案素材;提取横幅尺寸、产品主体图、产品描述和用户偏好标签的关键信息,从素材库中获取图片素材和文案素材;
所述获取图片素材,是通过提取产品主体图的主颜色和用户偏好标签,经与素材的关键属性标签进行相似性匹配,提取相似性高的图片素材;具体为:若个性化需求中有产品主体图,根据输入的产品主体图提取主颜色,通过计算产品主体图和背景图颜色距离的相似性,从背景图库中选定色彩相似性最小的背景图作为横幅广告的背景图;通过计算产品主体图和装饰图颜色距离的相似性,计算产品主体图和装饰图边缘形状的相似性,从装饰图库中优先选择颜色距离最小的图片作为横幅广告的装饰图,在颜色距离相同的情况下,选取边缘形状相似性最大的装饰图;若个性化需求中没有产品图,通过将用户偏好标签与产品主体图的关键属性标签进行词语相似性匹配,从产品主题库中选定词语相似性最高的产品主体图作为横幅广告中的产品主体图,然后执行上述根据产品主体图获取背景图和装饰图的流程;
所述文案素材获取,是通过使用图片识别技术识别产品主体图中的产品,将产品名称与文案素材关键属性特征做相似性匹配,选择相似度最高的关键词作为主标题和副标题;具体为:如若个性化需求中有指定的文案,使用指定内容作为横幅的主标题和副标题;如若需求中没有包含文案信息,在没有任何产品描述输入的前提下,根据产品主体图的关键属性特征中的产品名称关键词,确定产品名称,依据产品名称,通过产品名称的相似性匹配,从文案库中选择主标题和副标题;在有产品描述输入的前提下,基于对产品描述信息的分析,获取产品名称、产品关键词、产品富文本描述的信息,选取产品名称为主标题,选取产品关键词和产品富文本为副标题;
步骤4-3:确定版式,根据横幅尺寸从视觉知识学习和设计系统中获取适用于该尺寸的最佳布局,在已确定布局内的文字区域和图片区域位置中,将步骤4-2已确认的文案素材和图片素材分别放置在文字区域和图片区域,形成横幅广告设计草图;
步骤4-4:定位各素材在区域内的准确位置:根据横幅尺寸从视觉知识学习和设计系统中获取适用于该尺寸的排版,将背景图、产品主体图、文案放置在相应位置;
所述背景图的素材按照横幅尺寸等比缩放;所述产品主体图的素材按照产品主体图的尺寸比例在产品区域内自适应宽高;文案素材,在不超过文本域并保持主副标题字号大小关系的前提下,调整文案字号和折行;
步骤4-5:调整配色:提取背景色主颜色,使用与背景色同色系且明度与饱和度互补的颜色作为文案颜色;根据个性化需求中指定的主题风格,从视觉知识学习和设计系统中的配色库调取适用于该指定主题风格的颜色搭配信息,调整背景、装饰、产品及文案颜色;
步骤4-6:合成图片,将确定的元素根据计算的方案,合成到一张横幅广告图片中,确定好元素颜色和位置之后,将所有元素合并到底图中,在合并时,结合基于α分量的图像合成方法,将两个图片进行线性组合,参考产品图F和背景B的不透明程度α,得到合成后的图像I=αF+(1-α)B。
所述步骤4-2中,提取输入的产品图片的颜色特征做为主颜色具体为:
步骤4-2-1,输入产品主体图,基于RGB空间,将颜色平均切割成3*3*3块;
步骤4-2-2,遍历输入图片的每个像素点,计算像素值与切割的色块的距离,规整到相应色块中;
步骤4-2-3,规整到同一色块的像素点,计算平均颜色,作为该色块的最终取色;
步骤4-2-4,像素点占比最多的色块为图片主色块,色块最终取色为图片主颜色;
所述步骤4-2中,根据产品主体图与背景图配色方案,背景图的选取具体为:
步骤4-2-5:输入产品主体图,提取图片主颜色HSB值及其占比;
步骤4-2-6:获取背景图候选集,并提取候选图片主颜色特征;对于存在风格要求的输入,从背景库中提取符合风格要求的背景,并缩放裁剪成所需尺寸;无风格要求的输入,将所有背景图缩放裁剪成所需尺寸作为候选集;
步骤4-2-7:对背景图候选集,根据与产品图主颜色的饱和度S和明度B维度的距离进行排序,距离为饱和度S差值与明度B差值求和,距离越大,排名越靠前;
步骤4-2-8:对背景图候选集,根据与产品图主颜色的色调H维度的距离进行排序,距离为色调H差值与180的距离,距离越小,排名越靠前;
步骤4-2-9:将两种排序结果相加后得到背景图的综合排序,相加结果相同时,优先饱和度S和明度B维度的距离排序靠前的背景,作为最终背景图;
所述步骤4-2中,当输入信息中不包括文案时,通过图片识别,判断图片主体内容,从文案库中选出匹配文案;对于已知输入产品主体图对应产品信息的情况,根据产品信息提取文案内容,具体为:
步骤4-2-10:提取产品信息,包括产品名称和至少一个产品关键词描述;
步骤4-2-11:生成主标题候选集,主标题候选集由产品关键词及短语组成;
步骤4-2-12:计算产品名称中心词得分;产品名称格式化后从中抽取产品名称中可以作为中心词的单词,记录单词出现次数和位置;每个中心词出现次数越多、位置越靠后,则得分越高;
步骤4-2-13:筛选主标题候选;根据短语长度、短语是否包含中心词和短语单词是否出现在产品名称中的维度,从候选集中筛选出符合要求的短语;
步骤4-2-14:计算筛选后的主标题候选的得分,得分最高短语为最终主标题,对于给出的至少一个产品关键词描述,位置越靠前则得分越高;短语中包含的中心词得分越高,短语得分越高;
步骤4-2-15:最终主标题格式转化,默认情况下短语中每个单词首字母大写,其余字母小写;出现的专有名词大写或遵循专有词库中书写格式;
所述步骤4-4中,文案的定位及生成具体为:
步骤4-4-1,根据版式确定产品区域范围,产品主体图在不超过区域范围的情况下等比缩放,并在区域内根据版式确定对齐方式;
步骤4-4-2:根据横幅尺寸和产品主体图从视觉知识学习和设计系统中获取适用于该尺寸的文案区域和产品区域之间的距离,字体尺寸范围、主标题副标题字体尺寸关系;
步骤4-4-3:判断文案内容是否需要删减:当文案取最小字号仍超出文案区域时,删减副标题的内容;具体地,由于副标题内容包含赋有不同权重的产品关键词,按照权重排序,依次删减权重最小的产品关键词,直至文案不超出文案区域;
步骤4-4-4:确定文案折行:在最大文案区域内,按照最小字号排版文案,确定内容是否折行;若不这行,选定最大字号占满最大文案区域;若折行,以最大字号折行占满最大文案区域,然后按照折行规则重新排版折行,确定文案行数;
所述折行原则用于限定文案的句首和句尾特殊符号及空格符的使用;
步骤4-4-5:确定文案字号:按照步骤4-4-2获取的主标题副标题字体尺寸关系,变更文案字号;
步骤4-4-6:确定文案实际区域:根据文案字号和折行后的内容,计算文案实际区域大小;
所述步骤4-5中,文案的配色具体为:
步骤4-5-1:定位文案最终位置;
步骤4-5-2:获取背景中文案最终区域的主颜色HSB;
步骤4-5-3:计算文案的颜色:色调H取背景主色色调H,饱和度S和明度B根据背景的饱和度S和明度B取互补值。
一种自适应的智能横幅广告图片生成系统,其特征在于:包括素材库、视觉知识学习和设计系统、个性化系统、图片合成引擎和视觉结果评价系统,其中,所述素材库用于存储图片制作所需的素材,所述素材包括背景元素、装饰元素和产品主体图,所述视觉知识学习和设计系统用于学习设计知识,并将其转化为系统可以理解的知识和规则进行储存,所述个性化系统通过从应用端获取用户行为信息,分析用户的行为偏好,获取用户所需横幅广告图片的个性化需求,并将其输入给图片合成引擎,所述图片合成引擎与素材库及视觉知识学习和设计系统相连,用于获取素材及合成方案,结合个性化系统的输入要求生成横幅广告图片,所述视觉结果评价系统与图片合成引擎相连,用于分析评估图片合成引擎输出的横幅广告图片,并将评价结果反馈给视觉知识学习和设计系统,用于优化合成方案。
本发明所达到的有益效果:
(1)本发明把抽象的设计变成具体的数据,利用机器把商品、文案和设计主题进行在线合成,使得每张广告图片携带一定的商品等描述信息,根据消费者偏好进行个性化投放,提高用户体验。
(2)本发明通过视觉知识学习和设计系统,将设计师经验知识外化,收集设计师的设计图和素材,整理和建立一套数据体系去管理设计数据,对设计中使用的素材资源和设计图片统一管理,让机器生产出更匹配的结果。
(3)本发明通过学习大量设计,将图片配色原理、图文搭配规则、视觉组合结构等设计原理全部进行数据化处理;同时通过举一反三,生成不同颜色、不同版本、不同尺寸的设计图,再配合个性化文案及素材图片,打破过去工作一对一的低效设计模式,直接以成百上千地生成效率完成图片产出。
附图说明
图1为本发明实施例中一种自适应智能横幅广告生成系统的结构示意图;
图2为本发明实施例中一种自适应智能横幅广告生成方法的实现流程示意图;
图3为本发明实施例中图片合成引擎合成横幅广告图片的流程示意图;
图4为本发明实施例中产品主体图的主颜色提取流程示意图;
图5为本发明实施例中横幅广告的背景图选取流程示意图;
图6为本发明实施例中横幅广告文案主标题和生成流程示意图;
图7为本发明实施例中横幅广告的文案定位及生成的流程图;
图8为本发明实施例中横幅广告文案配色生成的流程示意图。
具体实施方式
本发明的技术方案中,根据功能可划分为四个模块:素材库、视觉知识学习和设计系统、图片合成引擎、视觉结果评价系统。
在每张图片合成之前,需要先构建横幅广告生成引擎所需的素材库。素材库包含图片制作所需的背景元素、装饰元素、产品主体等等,丰富庞大的素材库是制作图片的基础。通过收集版权图库以及现有设计图,通过素材分类器,将各元素分布到各个类型中,并标记关键属性特征。
对于图片来说,包含很多属性特征。在计算机视觉领域,传统方案是提取图像的颜色、梯度等低级语义特征,结合传统的分类器来实现分类。近年来,基于深度学习的方法因为能表达更为复杂的语义特征,逐渐成为主流方法。传统方案和深度学习各有其优缺点,本方法中采用将两种方式相结合,各取所长的来完成素材特征属性提取。对于图像颜色及结构相关特征,采用传统方式,对连续分散的像素级特征规整成图像的关键特征;使用深度学习中图像识别的方法,识别图片中表达的语义信息,便于素材选取和文案确定等。
视觉知识学习和设计系统模块是将设计师经验知识外化的系统。广义上讲,设计知识包括:资源、常识、方法和思维。资源和常识是确定的知识,一般是一些设计结论和结论式的方法;方法和思维是活的知识,可以根据需求灵活适配。在本发明的技术方案中,主要利用知识工程把视觉设计师的设计知识,转化为系统可以理解的知识、规则,并根据设计目标输出图片。
对于广告海报图片的自动合成,需要把设计师关于版式构图和元素色彩搭配等相关知识外化,知识提取一部分依靠设计师提供,一部分依靠机器从现有海报图片学习获得。为了方便设计师知识输出,搭建在线图片合成系统,各种参数调整能够实时看到效果。另一方面,通过收集的人工标注数据,对设计的原始文件中的图层做分类,对元素做标注;再通过机器学习,提取每一种风格类型合成图片的特征。
除图片相关知识外,该系统还通过学习现有横幅广告图片的文案特点,获取文案主副标题提取方法,构建文案基本词库。对于给定主副标题的输入,直接使用给定输入;对于给出产品信息的输入,通过分析产品名称、产品关键词、产品富文本描述等信息,提取产品关键词作为最终文案;对于只给出产品图的输入,通过图片识别系统,判断出产品主体,围绕主体,从构建的词库中选出合适的文案。
对于机器生成的横幅广告图片,最终需要一个视觉结果评价系统接收反馈信息,进一步调整和优化合成效果。针对视觉设计系统输出的图片,从美学、效果两方面来评估。美学上的评估由人来进行,通常是专业设计师从布局排版、色彩、风格、文案、图片质量等多方面进行评价并判分。通过设计师评估的采用率和差图检出等反馈,调整合成参数。设计师从美学方面评估后,再通过投放出去的点击率浏览量等进行效果评估,学习点击率高浏览量高和点击低浏览量低的图片特征,通过这种反馈机制不断提高图片制作水平。
横幅广告图片一般包括背景/底图、文案、产品图片、装饰元素。在本发明的技术方案中,图片合成引擎模块用于生成横幅广告图片,根据横幅广告设计过程可分为五个部分:确定元素、确定版式、调整元素、调整配色、合成图片,具体方案如下:
了解需求提供的输入和要求等,提取出关键信息,确定横幅广告最终包含的元素。对于每张横幅广告图片的生成,输入数据包含产品图片、所需横幅广告尺寸和风格等。首先需要根据输入的产品图片,提取图片主颜色,计算产品图与背景图颜色距离的相似性,根据配色方案,从背景库中选取对比最大的背景作为横幅广告的底图;通过识别产品图片中的产品内容,结合文本信息,提取出横幅广告的主标题和副标题。
根据确定好的元素,指定文案和配图等大的版式布局。常见横幅广告版式包括左字右图、左图右字、左中右构图、上下构图、文字作为主体居中,以及其他不规则构图。根据横幅广告尺寸、产品图长宽比、文案长度等,确定大的布局。
把文案、配图等按照版式调整好位置,增加细节点缀物设计等。产品图等比缩放,根据图片的尺寸比例自适应显示宽高,保证横幅广告中产品的视觉大小相对一致与合理。对于文案,根据横幅广告尺寸和产品图最终尺寸,确定文本域。在不超过文本域并保持主副标题关系的前提,确定文案字号和折行。
根据配图等信息,确定文案等元素最终配色。根据背景色确定文案颜色,使用与背景色同色系、明度饱和度互补的颜色作为文案颜色。对于给定风格的横幅广告,根据风格选取恰当的配色方案。例如文艺安静风格,选取灰白色系配色,其他颜色选取饱和度低明度高的色彩等。
将确定的元素根据计算的方案,合成到一张横幅广告图片中。确定好元素颜色和位置之后,将所有元素合并到底图中。在合并时,需要考虑产品图F和背景B的不透明程度α,结合基于α分量的图像合成方法,将两个图片进行线性组合,得到合成后的图像I=αF+(1-α)B。
下面结合附图和示例性实施例对本发明作进一步的说明:
如图1所示的一种自适应智能横幅广告生成系统的结构示意图,该系统架构具体包括五个模块:素材库、视觉知识学习和设计系统、个性化系统、图片合成引擎和视觉结果评价系统,其中,所述素材库用于存储图片制作所需的素材,所述素材包括背景图、装饰图和产品主体图,分别存储在背景图数据库、装饰元素数据库、产品主体图数据库中;所述视觉知识学习和设计系统用于学习设计知识,并将其转化为系统可以理解的知识和规则进行储存,包括版式库和规则库;所述个性化系统通过从应用系统获取用户行为信息,分析用户的行为偏好,获取用户所需横幅广告图片的个性化需求,并将其输入给图片合成引擎,所述图片合成引擎与素材库及视觉知识学习和设计系统相连,用于获取素材及合成方案,结合个性化系统的输入要求生成横幅广告图片,存入横幅广告图片库;所述视觉结果评价系统与图片合成引擎相连,用于分析评估图片合成引擎输出的横幅广告图片,并将评价结果反馈给视觉知识学习和设计系统,用于优化版式库和规则库。
如图2所示的一种自适应智能横幅广告生成方法的实现流程示意图,具体步骤有:
步骤S1,构建素材库,所述素材库是指图片制作所需的素材的集合,所述素材包括背景图、装饰图、产品主体图和文案,构建过程具体包括:收集广告图片并标注广告图片的主题风格,对广告图片进行图层分类,提取广告图片中的素材,并通过素材分类器将素材归类;标记各素材的关键属性特征;所述素材的关键属性特征具体为:背景图的关键属性特征包括主颜色,主题风格关键词;装饰图的关键属性特征包括主颜色、主题风格关键词;产品主体图的关键属性特征包括产品名称、尺寸、主颜色、产品关键词、行业关键词;文案的关键属性特征包括标题性质、产品名称、行业关键词;其中,所述产品关键词,与产品属性相关的关键词;所述标题性质包含主标题和副标题;
针对图片类素材,获取尺寸和形状规整度的信息;使用矩形拟合因子来度量图片的形状规整度,选取矩形拟合因子值最高的图片作为背景图候选图,低于矩形拟合因子最高值的图片作为产品图和装饰图的候选图;背景候选图中的所有图片默认选定为背景图;在背景候选图中,基于图片尺寸聚类,聚类结果是散落在坐标轴内的2个聚点,以横坐标为参照依据,选取聚点坐标最大的区域为大尺寸区域,选取聚点坐标最小的区域为小尺寸区域;选取图片尺寸分布在小尺寸区域的图片为产品图;在产品图和装饰图的候选图中,基于图片尺寸聚类,图片尺寸分布在小尺寸区域的图片被选定为装饰图,图片尺寸分布在大尺寸区域的图片被选定为产品图;针对文案素材,提取广告图片的主标题和副标题,形成文案库;
步骤S2:构建视觉知识学习和设计系统,用以把设计师的设计知识,转化为系统能理解的知识和规则;搜集横幅广告图,学习不同横幅尺寸下的排版特征,归纳出同一类布局下适用于不同横幅尺寸的版式规则,所述布局是指横幅广告的通用设计布局,包括左图右字、左字有图、左字右图、左图右字、左中右构图、上下构图、文字作为主体居中;学习横幅广告图中各素材的颜色搭配,归纳出不同主题风格下的背景图片色、产品图片色、装饰图片色和文案色的搭配方案,形成色彩搭配库;
步骤S3:配置个性化系统以获取用户的个性化需求,所述个性化需求包含设计要求和用户偏好;所述设计要求是指用户自定义的设计要求,包括横幅尺寸、横幅主题风格、产品主体图、产品描述;所述用户偏好是经对用户行为分析后提取到的检索词和访问的行业及产品,形成偏好词、偏好行业和偏好产品作为用户偏好标签;比如通过分析用户行为历史,包括搜索词、浏览历史、加购和采购记录,获取该用户的偏好词、偏好行业、偏好产品,形成用户偏好标签。
根据用户偏好标签,通过与素材库中素材关键属性特征进行关键词相似匹配,相似度最高的图片素材和文案素材选作为产品主体图及文案;根据横幅尺寸从视觉知识学习和设计系统获取素材排版方案,根据横幅主题风格从色彩搭配库中获取素材配色方案;并将获取的方案提交给图片合成引擎;
步骤S4,使用图片合成引擎合成横幅广告图片,所述图片合成引擎根据个性化系统输入的用户的个性化需求从素材库中获取素材,包括背景、产品、装饰及文案,从视觉知识学习设计系统获取素材色彩搭配、素材位置摆放及文案内容组织的合成方案;按照合成方案,以用户指定的横幅尺寸,组合产品图、背景图、装饰图、文案;如图3为本发明实施例中图片合成引擎合成横幅广告图片的流程示意图,具体流程包括:
步骤S4-1,需求获取:所述需求获取包括用户主动输入的设计要求和经用户行为分析获取的用户偏好,
步骤S4-2,确定素材:根据个性化系统获取的用户的设计要求和偏好标签,确定图片素材和文案素材;提取横幅尺寸、产品主体图、产品描述和用户偏好标签的关键信息,从素材库中获取图片素材和文案素材;
所述获取图片素材,是通过提取产品主体图的主颜色和用户偏好标签,经与素材的关键属性标签进行相似性匹配,提取相似性高的图片素材;具体为:若个性化需求中有产品主体图,根据输入的产品主体图提取主颜色,通过计算产品主体图和背景图颜色距离的相似性,从背景图库中选定色彩相似性最小的背景图作为横幅广告的背景图;通过计算产品主体图和装饰图颜色距离的相似性,计算产品主体图和装饰图边缘形状的相似性,从装饰图库中优先选择颜色距离最小的图片作为横幅广告的装饰图,在颜色距离相同的情况下,选取边缘形状相似性最大的装饰图;若个性化需求中没有产品图,通过将用户偏好标签与产品主体图的关键属性标签进行词语相似性匹配,从产品主题库中选定词语相似性最高的产品主体图作为横幅广告中的产品主体图,然后执行上述根据产品主体图获取背景图和装饰图的流程;
图4为本发明实施例中产品主体图的主颜色提取流程示意图,具体为:
步骤S4-2-1,输入产品主体图,基于RGB空间,将颜色平均切割成3*3*3块;
步骤S4-2-2,遍历输入图片的每个像素点,计算像素值与切割的色块的距离,规整到相应色块中;
步骤S4-2-3,规整到同一色块的像素点,计算平均颜色,作为该色块的最终取色;
步骤S4-2-4,像素点占比最多的色块为图片主色块,色块最终取色为图片主颜色;
图5为本发明实施例中横幅广告的背景图选取流程示意图,具体为:
步骤S4-2-5:输入产品主体图,提取图片主颜色HSB值及其占比;
步骤S4-2-6:获取背景图候选集,并提取候选图片主颜色特征;对于存在风格要求的输入,从背景库中提取符合风格要求的背景,并缩放裁剪成所需尺寸;无风格要求的输入,将所有背景图缩放裁剪成所需尺寸作为候选集;
步骤S4-2-7:对背景图候选集,根据与产品图主颜色的饱和度S和明度B维度的距离进行排序,距离为饱和度S差值与明度B差值求和,距离越大,排名越靠前;
步骤S4-2-8:对背景图候选集,根据与产品图主颜色的色调H维度的距离进行排序,距离为色调H差值与180的距离,距离越小,排名越靠前;
步骤S4-2-9:将两种排序结果相加后得到背景图的综合排序,相加结果相同时,优先饱和度S和明度B维度的距离排序靠前的背景,作为最终背景图;
所述文案素材获取,是通过使用图片识别技术识别产品主体图中的产品,将产品名称与文案素材关键属性特征做相似性匹配,选择相似度最高的关键词作为主标题和副标题;具体为:如若个性化需求中有指定的文案,使用指定内容作为横幅的主标题和副标题;如若需求中没有包含文案信息,在有产品描述输入的前提下,基于对产品描述信息的分析,获取产品名称、产品关键词、产品富文本描述的信息,选取产品名称为主标题,选取产品关键词和产品富文本为副标题;在没有任何产品描述输入的前提下,根据产品主体图的关键属性特征中的产品名称关键词,确定产品名称,依据产品名称,通过产品名称的相似性匹配,从文案库中选择主标题和副标题,如图6所示为本发明实施例中横幅广告文案主标题和生成流程示意图,具体流程包括:
步骤S4-2-10:提取产品信息,包括产品名称和至少一个产品关键词描述;
步骤S4-2-11:生成主标题候选集,主标题候选集由产品关键词及短语组成;
步骤S4-2-12:计算产品名称中心词得分;产品名称格式化后从中抽取产品名称中可以作为中心词的单词,记录单词出现次数和位置;每个中心词出现次数越多、位置越靠后,则得分越高;
步骤S4-2-13:筛选主标题候选;根据短语长度、短语是否包含中心词和短语单词是否出现在产品名称中的维度,从候选集中筛选出符合要求的短语;
步骤S4-2-14:计算筛选后的主标题候选的得分,得分最高短语为最终主标题,对于给出的至少一个产品关键词描述,位置越靠前则得分越高;短语中包含的中心词得分越高,短语得分越高。
步骤S4-2-15:最终主标题格式转化,默认情况下短语中每个单词首字母大写,其余字母小写;出现的专有名词大写或遵循专有词库中书写格式;
步骤S4-3:确定版式,根据横幅尺寸从视觉知识学习和设计系统中获取适用于该尺寸的最佳布局,在已确定布局内的文字区域和图片区域位置中,将步骤4-2已确认的文案素材和图片素材分别放置在文字区域和图片区域,形成横幅广告设计草图;
步骤S4-4:定位各素材在区域内的准确位置:根据横幅尺寸从视觉知识学习和设计系统中获取适用于该尺寸的排版,将背景图、产品主体图、文案放置在相应位置;所述背景图的素材按照横幅尺寸等比缩放;所述产品主体图的素材按照产品主体图的尺寸比例在产品区域内自适应宽高,以使横幅广告中产品的视觉大小相对一致;文案素材,在不超过文本域并保持主副标题字号大小关系的前提下,调整文案字号和折行;图7为本发明实施例中横幅广告的文案定位及生成的流程图,具体包括:
步骤S4-4-1,根据版式确定产品区域范围,产品主体图在不超过区域范围的情况下等比缩放,并在区域内根据版式确定对齐方式;
步骤S4-4-2:根据横幅尺寸和产品主体图从视觉知识学习和设计系统中获取适用于该尺寸的文案区域和产品区域之间的距离,字体尺寸范围、主标题副标题字体尺寸关系;
步骤S4-4-3:判断文案内容是否需要删减:当文案取最小字号仍超出文案区域时,删减副标题的内容;具体地,由于副标题内容包含赋有不同权重的产品关键词,按照权重排序,依次删减权重最小的产品关键词,直至文案不超出文案区域;
步骤S4-4-4:确定文案折行:在最大文案区域内,按照最小字号排版文案,确定内容是否折行;若不这行,选定最大字号占满最大文案区域;若折行,以最大字号折行占满最大文案区域,然后按照折行规则重新排版折行,确定文案行数;
所述折行原则用于限定文案的句首和句尾特殊符号及空格符的使用;
步骤S4-4-5:确定文案字号:按照步骤S4-4-2获取的主标题副标题字体尺寸关系,变更文案字号;
步骤S4-4-6:确定文案实际区域:根据文案字号和折行后的内容,计算文案实际区域大小;
步骤S4-5:调整配色:提取背景色主颜色,使用与背景色同色系且明度与饱和度互补的颜色作为文案颜色;根据个性化需求中指定的主题风格,从视觉知识学习和设计系统中的配色库调取适用于该指定主题风格的颜色搭配信息,调整背景、装饰、产品及文案颜色;图8为本发明实施例中横幅广告文案配色生成的流程示意图,具体流程包括:
步骤S4-5-1:定位文案最终位置;
步骤S4-5-2:获取背景中文案最终区域的主颜色HSB;
步骤S4-5-3:计算文案的颜色:色调H取背景主色色调H,饱和度S和明度B根据背景的饱和度S和明度B取互补值。
步骤S4-6:合成图片,将确定的元素根据计算的方案,合成到一张横幅广告图片中,确定好元素颜色和位置之后,将所有元素合并到底图中,在合并时,结合基于α分量的图像合成方法,将两个图片进行线性组合,参考产品图F和背景B的不透明程度α,得到合成后的图像I=αF+(1-α)B。
步骤5,通过视觉结果评价系统调整和优化横幅广告图片的合成效果,所述视觉结果评价系统针对步骤4生成的横幅广告图片,提取优化后的排版和配色特征,输入视觉知识学习和设计系统重新学习;具体是从美学和效果两方面评估,所述美学评估是人工针对布局排版、主题风格、色彩搭配评估调整,给出优化后的排版结果和色彩搭配结果,由视觉结果评价系统学习结果获取排版参数及色彩搭配参数,其中排版参数包括横幅尺寸、布局、产品区域尺寸、文案区域尺寸、产品区域和文案区域间的距离、文案字号和文案主副标题关系;色彩搭配参数包括主题风格、背景图、产品主体图、装饰图及文案颜色搭配;所述效果评估是根据横幅广告投放后的点击率浏览量评估,选取点击率浏览量排名前10%的横幅广告和点击率浏览器排名后10%横幅广告,由视觉结果评价系统学习并获取排版参数及色彩搭配参数;将排版参数和色彩搭配参数反馈至视觉知识学习和设计系统重新学习,用以优化排版规则的计算公式和色彩搭配规则。
本发明主要用于提供一种自适应的智能横幅广告图片生成方法及系统,目的在于通过将设计师的经验知识外化,提取出图片配色原理、图文搭配规则、视觉组合结构等设计原理的数据化信息,实现横幅广告图片的素材自动搭配和图片合成的功能。在生成横幅广告图片时,只需输入待合成的产品图片,自动根据产品图片提取出主副标题等文案信息,并根据图片配色,从素材库中选取最佳匹配的背景和修饰元素。最终根据选取的元素确定最终合成版式,完成横幅广告图片的生成。本方法有效减少设计师的低效重复性劳动,缩减了合成横幅广告的成本;在横幅广告尺寸、元素等改变时,能够动态实时地生成所需横幅广告图片,为个性化提供了可能。
以上实施例不以任何方式限定本发明,凡是对以上实施例以等效变换方式做出的其它改进与应用,都属于本发明的保护范围。
Claims (6)
1.一种自适应的智能横幅广告图片生成方法,其特征在于,包括如下具体步骤:
步骤1,构建素材库,所述素材库是指图片制作所需的素材的集合,所述素材包括背景图、装饰图、产品主体图和文案,构建过程具体包括:收集广告图片并标注广告图片的主题风格,对广告图片进行图层分类,提取广告图片中的素材,并通过素材分类器将素材归类;标记各素材的关键属性特征;所述素材的关键属性特征具体为:背景图的关键属性特征包括主颜色,主题风格关键词;装饰图的关键属性特征包括主颜色、主题风格关键词;产品主体图的关键属性特征包括产品名称、尺寸、主颜色、产品关键词、行业关键词;文案的关键属性特征包括标题性质、产品名称、行业关键词;其中,所述产品关键词,与产品属性相关的关键词;所述标题性质包含主标题和副标题;
步骤2:构建视觉知识学习和设计系统,用以把设计师的设计知识,转化为系统能理解的知识和规则;搜集横幅广告图,学习不同横幅尺寸下的排版特征,归纳出同一类布局下适用于不同横幅尺寸的版式规则,所述布局是指横幅广告的通用设计布局,包括左图右字、左字有图、左字右图、左图右字、左中右构图、上下构图、文字作为主体居中;学习横幅广告图中各素材的颜色搭配,归纳出不同主题风格下的背景图片色、产品图片色、装饰图片色和文案色的搭配方案,形成色彩搭配库;
步骤3:配置个性化系统以获取用户的个性化需求,所述个性化需求包含设计要求和用户偏好;所述设计要求是指用户自定义的设计要求,包括横幅尺寸、横幅主题风格、产品主体图、产品描述;所述用户偏好是经对用户行为分析后提取到的检索词和访问的行业及产品,形成偏好词、偏好行业和偏好产品作为用户偏好标签;
根据用户偏好标签,通过与素材库中素材关键属性特征进行关键词相似匹配,相似度最高的图片素材和文案素材选作为产品主体图及文案;根据横幅尺寸从视觉知识学习和设计系统获取素材排版方案,根据横幅主题风格从色彩搭配库中获取素材配色方案;并将获取的方案提交给图片合成引擎;
步骤4,使用图片合成引擎合成横幅广告图片,所述图片合成引擎根据个性化系统输入的用户的个性化需求从素材库中获取素材,包括背景、产品、装饰及文案,从视觉知识学习设计系统获取素材色彩搭配、素材位置摆放及文案内容组织的合成方案;按照合成方案,以用户指定的横幅尺寸,组合产品图、背景图、装饰图、文案;
步骤5,通过视觉结果评价系统调整和优化横幅广告图片的合成效果,所述视觉结果评价系统针对步骤4生成的横幅广告图片,提取优化后的排版和配色特征,输入视觉知识学习和设计系统重新学习;具体是从美学和效果两方面评估,所述美学评估是人工针对布局排版、主题风格、色彩搭配评估调整,给出优化后的排版结果和色彩搭配结果,由视觉结果评价系统学习结果获取排版参数及色彩搭配参数,其中排版参数包括横幅尺寸、布局、产品区域尺寸、文案区域尺寸、产品区域和文案区域间的距离、文案字号和文案主副标题关系;色彩搭配参数包括主题风格、背景图、产品主体图、装饰图及文案颜色搭配;所述效果评估是根据横幅广告投放后的点击率浏览量评估,选取点击率浏览量排名前10%的横幅广告和点击率浏览器排名后10%横幅广告,由视觉结果评价系统学习并获取排版参数及色彩搭配参数;将排版参数和色彩搭配参数反馈至视觉知识学习和设计系统重新学习,用以优化排版规则的计算公式和色彩搭配规则。
2.如权利要求1所述的一种自适应的智能横幅广告图片生成方法,其特征在于:
所述步骤1中,针对图片类素材,获取尺寸和形状规整度的信息;使用矩形拟合因子来度量图片的形状规整度,选取矩形拟合因子值最高的图片作为背景图候选图,低于矩形拟合因子最高值的图片作为产品图和装饰图的候选图;背景候选图中的所有图片默认选定为背景图;在背景候选图中,基于图片尺寸聚类,聚类结果是散落在坐标轴内的2个聚点,以横坐标为参照依据,选取聚点坐标最大的区域为大尺寸区域,选取聚点坐标最小的区域为小尺寸区域;选取图片尺寸分布在小尺寸区域的图片为产品图;在产品图和装饰图的候选图中,基于图片尺寸聚类,图片尺寸分布在小尺寸区域的图片被选定为装饰图,图片尺寸分布在大尺寸区域的图片被选定为产品图;针对文案素材,提取广告图片的主标题和副标题,形成文案库。
3.如权利要求2所述的一种自适应的智能横幅广告图片生成方法,其特征在于:所述步骤2中,所述视觉知识学习和设计系统学习的版式规则包括:学习横幅尺寸与布局之间的关系,提取特定横幅尺寸或尺寸区间内使用最多的布局作为最佳布局;学习横幅广告尺寸与图片区域尺寸、文案区域尺寸、文案字体尺寸之间的关系,将其关系归纳为数学函数;其中,所述图片区域,适应于横幅尺寸的最大可容纳图片的区域;所述文案区域,适应于横幅尺寸的最大可容纳文字的区域;学习横幅广告尺寸、产品主体图尺寸和图片、文案区域间距离的关系特征,将其关系归纳为数学函数;学习主标题与副标题字号间的匹配关系,提取特定横幅尺寸或尺寸区间内使用最多的主副标题字号大小关系作为最佳文案字号;将上述学习到的关系特征存入版式规则库中。
4.如权利要求3所述的一种自适应的智能横幅广告图片生成方法,其特征在于:所述步骤4中,所述图片合成引擎合成横幅广告图片包括需求获取,确定素材、确定版式、定位各素材在区域内的准确位置、调整配色和合成图片的步骤,具体为:
步骤4-1,需求获取:所述需求获取包括用户主动输入的设计要求和经用户行为分析获取的用户偏好;
步骤4-2,确定素材:根据个性化系统获取的用户的设计要求和偏好标签,确定图片素材和文案素材;提取横幅尺寸、产品主体图、产品描述和用户偏好标签的关键信息,从素材库中获取图片素材和文案素材;
所述获取图片素材,是通过提取产品主体图的主颜色和用户偏好标签,经与素材的关键属性标签进行相似性匹配,提取相似性高的图片素材;具体为:若个性化需求中有产品主体图,根据输入的产品主体图提取主颜色,通过计算产品主体图和背景图颜色距离的相似性,从背景图库中选定色彩相似性最小的背景图作为横幅广告的背景图;通过计算产品主体图和装饰图颜色距离的相似性,计算产品主体图和装饰图边缘形状的相似性,从装饰图库中优先选择颜色距离最小的图片作为横幅广告的装饰图,在颜色距离相同的情况下,选取边缘形状相似性最大的装饰图;若个性化需求中没有产品图,通过将用户偏好标签与产品主体图的关键属性标签进行词语相似性匹配,从产品主题库中选定词语相似性最高的产品主体图作为横幅广告中的产品主体图,然后执行上述根据产品主体图获取背景图和装饰图的流程;
所述文案素材获取,是通过使用图片识别技术识别产品主体图中的产品,将产品名称与文案素材关键属性特征做相似性匹配,选择相似度最高的关键词作为主标题和副标题;具体为:如若个性化需求中有指定的文案,使用指定内容作为横幅的主标题和副标题;如若需求中没有包含文案信息,在没有任何产品描述输入的前提下,根据产品主体图的关键属性特征中的产品名称关键词,确定产品名称,依据产品名称,通过产品名称的相似性匹配,从文案库中选择主标题和副标题;在有产品描述输入的前提下,基于对产品描述信息的分析,获取产品名称、产品关键词、产品富文本描述的信息,选取产品名称为主标题,选取产品关键词和产品富文本为副标题;
步骤4-3:确定版式,根据横幅尺寸从视觉知识学习和设计系统中获取适用于该尺寸的最佳布局,在已确定布局内的文字区域和图片区域位置中,将步骤4-2已确认的文案素材和图片素材分别放置在文字区域和图片区域,形成横幅广告设计草图;
步骤4-4:定位各素材在区域内的准确位置:根据横幅尺寸从视觉知识学习和设计系统中获取适用于该尺寸的排版,将背景图、产品主体图、文案放置在相应位置;
所述背景图的素材按照横幅尺寸等比缩放;所述产品主体图的素材按照产品主体图的尺寸比例在产品区域内自适应宽高;文案素材,在不超过文本域并保持主副标题字号大小关系的前提下,调整文案字号和折行;
步骤4-5:调整配色:提取背景色主颜色,使用与背景色同色系且明度与饱和度互补的颜色作为文案颜色;根据个性化需求中指定的主题风格,从视觉知识学习和设计系统中的配色库调取适用于该指定主题风格的颜色搭配信息,调整背景、装饰、产品及文案颜色;
步骤4-6:合成图片,将确定的元素根据计算的方案,合成到一张横幅广告图片中,确定好元素颜色和位置之后,将所有元素合并到底图中,在合并时,结合基于α分量的图像合成方法,将两个图片进行线性组合,参考产品图F和背景B的不透明程度α,得到合成后的图像I=αF+(1-α)B。
5.如权利要求4所述的一种自适应的智能横幅广告图片生成方法,其特征在于,所述步骤4-2中,提取输入的产品图片的颜色特征做为主颜色具体为:
步骤4-2-1,输入产品主体图,基于RGB空间,将颜色平均切割成3*3*3块;
步骤4-2-2,遍历输入图片的每个像素点,计算像素值与切割的色块的距离,规整到相应色块中;
步骤4-2-3,规整到同一色块的像素点,计算平均颜色,作为该色块的最终取色;
步骤4-2-4,像素点占比最多的色块为图片主色块,色块最终取色为图片主颜色;
所述步骤4-2中,根据产品主体图与背景图配色方案,背景图的选取具体为:
步骤4-2-5:输入产品主体图,提取图片主颜色HSB值及其占比;
步骤4-2-6:获取背景图候选集,并提取候选图片主颜色特征;对于存在风格要求的输入,从背景库中提取符合风格要求的背景,并缩放裁剪成所需尺寸;无风格要求的输入,将所有背景图缩放裁剪成所需尺寸作为候选集;
步骤4-2-7:对背景图候选集,根据与产品图主颜色的饱和度S和明度B维度的距离进行排序,距离为饱和度S差值与明度B差值求和,距离越大,排名越靠前;
步骤4-2-8:对背景图候选集,根据与产品图主颜色的色调H维度的距离进行排序,距离为色调H差值与180的距离,距离越小,排名越靠前;
步骤4-2-9:将两种排序结果相加后得到背景图的综合排序,相加结果相同时,优先饱和度S和明度B维度的距离排序靠前的背景,作为最终背景图;
所述步骤4-2中,当输入信息中不包括文案时,通过图片识别,判断图片主体内容,从文案库中选出匹配文案;对于已知输入产品主体图对应产品信息的情况,根据产品信息提取文案内容,具体为:
步骤4-2-10:提取产品信息,包括产品名称和至少一个产品关键词描述;
步骤4-2-11:生成主标题候选集,主标题候选集由产品关键词及短语组成;
步骤4-2-12:计算产品名称中心词得分;产品名称格式化后从中抽取产品名称中可以作为中心词的单词,记录单词出现次数和位置;每个中心词出现次数越多、位置越靠后,则得分越高;
步骤4-2-13:筛选主标题候选;根据短语长度、短语是否包含中心词和短语单词是否出现在产品名称中的维度,从候选集中筛选出符合要求的短语;
步骤4-2-14:计算筛选后的主标题候选的得分,得分最高短语为最终主标题,对于给出的至少一个产品关键词描述,位置越靠前则得分越高;短语中包含的中心词得分越高,短语得分越高;
步骤4-2-15:最终主标题格式转化,默认情况下短语中每个单词首字母大写,其余字母小写;出现的专有名词大写或遵循专有词库中书写格式;
所述步骤4-4中,文案的定位及生成具体为:
步骤4-4-1,根据版式确定产品区域范围,产品主体图在不超过区域范围的情况下等比缩放,并在区域内根据版式确定对齐方式;
步骤4-4-2:根据横幅尺寸和产品主体图从视觉知识学习和设计系统中获取适用于该尺寸的文案区域和产品区域之间的距离,字体尺寸范围、主标题副标题字体尺寸关系;
步骤4-4-3:判断文案内容是否需要删减:当文案取最小字号仍超出文案区域时,删减副标题的内容;具体地,由于副标题内容包含赋有不同权重的产品关键词,按照权重排序,依次删减权重最小的产品关键词,直至文案不超出文案区域;
步骤4-4-4:确定文案折行:在最大文案区域内,按照最小字号排版文案,确定内容是否折行;若不这行,选定最大字号占满最大文案区域;若折行,以最大字号折行占满最大文案区域,然后按照折行规则重新排版折行,确定文案行数;
所述折行原则用于限定文案的句首和句尾特殊符号及空格符的使用;
步骤4-4-5:确定文案字号:按照步骤4-4-2获取的主标题副标题字体尺寸关系,变更文案字号;
步骤4-4-6:确定文案实际区域:根据文案字号和折行后的内容,计算文案实际区域大小;
所述步骤4-5中,文案的配色具体为:
步骤4-5-1:定位文案最终位置;
步骤4-5-2:获取背景中文案最终区域的主颜色HSB;
步骤4-5-3:计算文案的颜色:色调H取背景主色色调H,饱和度S和明度B根据背景的饱和度S和明度B取互补值。
6.一种根据权利要求1-5之一所述方法运行的自适应的智能横幅广告图片生成系统,其特征在于:包括素材库、视觉知识学习和设计系统、个性化系统、图片合成引擎和视觉结果评价系统,其中,所述素材库用于存储图片制作所需的素材,所述素材包括背景元素、装饰元素和产品主体图,所述视觉知识学习和设计系统用于学习设计知识,并将其转化为系统可以理解的知识和规则进行储存,所述个性化系统通过从应用端获取用户行为信息,分析用户的行为偏好,获取用户所需横幅广告图片的个性化需求,并将其输入给图片合成引擎,所述图片合成引擎与素材库及视觉知识学习和设计系统相连,用于获取素材及合成方案,结合个性化系统的输入要求生成横幅广告图片,所述视觉结果评价系统与图片合成引擎相连,用于分析评估图片合成引擎输出的横幅广告图片,并将评价结果反馈给视觉知识学习和设计系统,用于优化合成方案。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911196859.3A CN110889883B (zh) | 2019-11-29 | 2019-11-29 | 一种自适应的智能横幅广告图片生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911196859.3A CN110889883B (zh) | 2019-11-29 | 2019-11-29 | 一种自适应的智能横幅广告图片生成方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110889883A true CN110889883A (zh) | 2020-03-17 |
CN110889883B CN110889883B (zh) | 2022-07-15 |
Family
ID=69749448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911196859.3A Active CN110889883B (zh) | 2019-11-29 | 2019-11-29 | 一种自适应的智能横幅广告图片生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110889883B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539116A (zh) * | 2020-04-28 | 2020-08-14 | 嘉兴市福慧自在科技有限公司 | 一种基于人工智能的服装设计辅助系统及设计方法 |
CN111859870A (zh) * | 2020-07-17 | 2020-10-30 | 深圳创维-Rgb电子有限公司 | 广告文案添加方法、装置、终端设备和可读存储介质 |
CN111882389A (zh) * | 2020-07-23 | 2020-11-03 | 上海鸿臣互动传媒有限公司 | 一种应用于素材二次加工的定制系统 |
CN111931008A (zh) * | 2020-08-10 | 2020-11-13 | 张峻豪 | 一种视觉传达设计信息管理系统 |
CN112102442A (zh) * | 2020-09-04 | 2020-12-18 | 卡莱特(深圳)云科技有限公司 | 一种led显示屏图文行走设置方法及装置 |
CN112215916A (zh) * | 2020-09-25 | 2021-01-12 | 大方众智创意广告(珠海)有限公司 | 设计图生成方法、装置及电子设备 |
CN112597695A (zh) * | 2020-12-03 | 2021-04-02 | 浙江大学 | 一种基于感知特征聚类的计算机辅助设计方法及系统 |
CN112598448A (zh) * | 2020-12-29 | 2021-04-02 | 恩亿科(北京)数据科技有限公司 | 动态素材数据处理方法、系统、计算机和可读存储介质 |
CN112837332A (zh) * | 2021-01-13 | 2021-05-25 | 杭州水母智能科技有限公司 | 创意设计的生成方法、装置、终端、存储介质及处理器 |
CN112866764A (zh) * | 2021-02-01 | 2021-05-28 | 上海酷量信息技术有限公司 | 一种广告素材自动制作系统和方法 |
CN113032606A (zh) * | 2021-04-08 | 2021-06-25 | 褚亚亚 | 一种基于大数据的下载管理系统及方法 |
CN113379864A (zh) * | 2021-06-22 | 2021-09-10 | 特赞(上海)信息科技有限公司 | 自动打标签的方法、装置、设备和存储介质 |
CN113628105A (zh) * | 2020-05-07 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、存储介质和处理器 |
US20220245322A1 (en) * | 2021-01-29 | 2022-08-04 | Salesforce.Com, Inc. | Machine-learning based generation of text style variations for digital content items |
CN114998631A (zh) * | 2022-08-08 | 2022-09-02 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
CN115272530A (zh) * | 2022-06-09 | 2022-11-01 | 知学云(北京)科技股份有限公司 | 一种面向企业在线教育的智能动态合成封面方法及系统 |
CN115511969A (zh) * | 2022-11-22 | 2022-12-23 | 阿里巴巴(中国)有限公司 | 图像处理与数据渲染方法、设备及介质 |
CN115860829A (zh) * | 2022-11-26 | 2023-03-28 | 中山市征途文化传播有限公司 | 一种智能广告图像生成方法及装置 |
CN117294804A (zh) * | 2023-10-26 | 2023-12-26 | 中运科技股份有限公司 | 广告素材自适应生成方法、装置、设备及存储介质 |
CN117541331A (zh) * | 2024-01-10 | 2024-02-09 | 蓝色火焰科技成都有限公司 | 一种广告发布方法、系统、电子设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678581A (zh) * | 2016-01-01 | 2016-06-15 | 广州筷子信息科技有限公司 | 一种广告自动排版方法及系统 |
CN109741425A (zh) * | 2019-01-04 | 2019-05-10 | 广州华多网络科技有限公司 | 横幅图片生成方法、装置及存储介质、计算机设备 |
CN109961493A (zh) * | 2017-12-26 | 2019-07-02 | 苏宁云商集团股份有限公司 | 展示页面上的横幅广告图片生成方法及装置 |
-
2019
- 2019-11-29 CN CN201911196859.3A patent/CN110889883B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678581A (zh) * | 2016-01-01 | 2016-06-15 | 广州筷子信息科技有限公司 | 一种广告自动排版方法及系统 |
CN109961493A (zh) * | 2017-12-26 | 2019-07-02 | 苏宁云商集团股份有限公司 | 展示页面上的横幅广告图片生成方法及装置 |
CN109741425A (zh) * | 2019-01-04 | 2019-05-10 | 广州华多网络科技有限公司 | 横幅图片生成方法、装置及存储介质、计算机设备 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539116A (zh) * | 2020-04-28 | 2020-08-14 | 嘉兴市福慧自在科技有限公司 | 一种基于人工智能的服装设计辅助系统及设计方法 |
CN111539116B (zh) * | 2020-04-28 | 2023-05-02 | 嘉兴市福慧自在科技有限公司 | 一种基于人工智能的服装设计辅助系统及设计方法 |
CN113628105A (zh) * | 2020-05-07 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、存储介质和处理器 |
CN111859870A (zh) * | 2020-07-17 | 2020-10-30 | 深圳创维-Rgb电子有限公司 | 广告文案添加方法、装置、终端设备和可读存储介质 |
CN111882389A (zh) * | 2020-07-23 | 2020-11-03 | 上海鸿臣互动传媒有限公司 | 一种应用于素材二次加工的定制系统 |
CN111882389B (zh) * | 2020-07-23 | 2024-01-23 | 上海观池聚光数字科技有限公司 | 一种应用于素材二次加工的定制系统 |
CN111931008A (zh) * | 2020-08-10 | 2020-11-13 | 张峻豪 | 一种视觉传达设计信息管理系统 |
CN112102442A (zh) * | 2020-09-04 | 2020-12-18 | 卡莱特(深圳)云科技有限公司 | 一种led显示屏图文行走设置方法及装置 |
CN112215916A (zh) * | 2020-09-25 | 2021-01-12 | 大方众智创意广告(珠海)有限公司 | 设计图生成方法、装置及电子设备 |
CN112597695A (zh) * | 2020-12-03 | 2021-04-02 | 浙江大学 | 一种基于感知特征聚类的计算机辅助设计方法及系统 |
CN112597695B (zh) * | 2020-12-03 | 2022-05-03 | 浙江大学 | 一种基于感知特征聚类的计算机辅助设计方法及系统 |
CN112598448A (zh) * | 2020-12-29 | 2021-04-02 | 恩亿科(北京)数据科技有限公司 | 动态素材数据处理方法、系统、计算机和可读存储介质 |
CN112837332B (zh) * | 2021-01-13 | 2024-01-19 | 杭州水母智能科技有限公司 | 创意设计的生成方法、装置、终端、存储介质 |
CN112837332A (zh) * | 2021-01-13 | 2021-05-25 | 杭州水母智能科技有限公司 | 创意设计的生成方法、装置、终端、存储介质及处理器 |
US11694018B2 (en) * | 2021-01-29 | 2023-07-04 | Salesforce, Inc. | Machine-learning based generation of text style variations for digital content items |
US20220245322A1 (en) * | 2021-01-29 | 2022-08-04 | Salesforce.Com, Inc. | Machine-learning based generation of text style variations for digital content items |
CN112866764A (zh) * | 2021-02-01 | 2021-05-28 | 上海酷量信息技术有限公司 | 一种广告素材自动制作系统和方法 |
CN113032606B (zh) * | 2021-04-08 | 2022-05-10 | 广东粤财金融云科技股份有限公司 | 一种基于大数据的下载管理系统及方法 |
CN113032606A (zh) * | 2021-04-08 | 2021-06-25 | 褚亚亚 | 一种基于大数据的下载管理系统及方法 |
CN113379864A (zh) * | 2021-06-22 | 2021-09-10 | 特赞(上海)信息科技有限公司 | 自动打标签的方法、装置、设备和存储介质 |
CN113379864B (zh) * | 2021-06-22 | 2023-10-27 | 特赞(上海)信息科技有限公司 | 自动打标签的方法、装置、设备和存储介质 |
CN115272530A (zh) * | 2022-06-09 | 2022-11-01 | 知学云(北京)科技股份有限公司 | 一种面向企业在线教育的智能动态合成封面方法及系统 |
CN114998631B (zh) * | 2022-08-08 | 2022-11-11 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
CN114998631A (zh) * | 2022-08-08 | 2022-09-02 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
CN115511969A (zh) * | 2022-11-22 | 2022-12-23 | 阿里巴巴(中国)有限公司 | 图像处理与数据渲染方法、设备及介质 |
CN115860829A (zh) * | 2022-11-26 | 2023-03-28 | 中山市征途文化传播有限公司 | 一种智能广告图像生成方法及装置 |
CN117294804A (zh) * | 2023-10-26 | 2023-12-26 | 中运科技股份有限公司 | 广告素材自适应生成方法、装置、设备及存储介质 |
CN117294804B (zh) * | 2023-10-26 | 2024-02-27 | 中运科技股份有限公司 | 广告素材自适应生成方法、装置、设备及存储介质 |
CN117541331A (zh) * | 2024-01-10 | 2024-02-09 | 蓝色火焰科技成都有限公司 | 一种广告发布方法、系统、电子设备及介质 |
CN117541331B (zh) * | 2024-01-10 | 2024-04-02 | 蓝色火焰科技成都有限公司 | 一种广告发布方法、系统、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110889883B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110889883B (zh) | 一种自适应的智能横幅广告图片生成方法及系统 | |
Cui et al. | Text-to-viz: Automatic generation of infographics from proportion-related natural language statements | |
US20190325626A1 (en) | Graphic design system for dynamic content generation | |
CN107748754B (zh) | 一种知识图谱完善方法和装置 | |
CN107862027A (zh) | 检索意图识别方法、装置、电子设备及可读存储介质 | |
US20130205202A1 (en) | Transformation of a Document into Interactive Media Content | |
US20150178786A1 (en) | Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages | |
JP2019531524A (ja) | ウェブサイト構築システムおよびウェブサイト構築システムのための方法 | |
WO2008130338A2 (en) | Generation of contextual image-containing advertisements | |
Vempati et al. | Enabling hyper-personalisation: Automated ad creative generation and ranking for fashion e-commerce | |
Wang et al. | Affective image colorization | |
CN106776869A (zh) | 基于神经网络的搜索优化方法、装置以及搜索引擎 | |
CN110659371B (zh) | 一种目标对象的banner图的批量自动生成方法及装置 | |
CN111814425A (zh) | 一种基于图书文字信息的图书自动排版实现方法 | |
CN117058271A (zh) | 用于生成商品主图背景的方法及计算设备 | |
CN107908749B (zh) | 一种基于搜索引擎的人物检索系统及方法 | |
You et al. | Automatic synthesis of advertising images according to a specified style | |
Ishihara et al. | Analyzing visual layout for a non-visual presentation-document interface | |
Li et al. | Smartbanner: intelligent banner design framework that strikes a balance between creative freedom and design rules | |
CN114818639A (zh) | 演示文稿生成方法、装置、设备及存储介质 | |
Madan et al. | Parsing and summarizing infographics with synthetically trained icon detection | |
CN100476809C (zh) | 网络内容调整处理和系统 | |
Wang | The Influence of Artificial Intelligence on Visual Elements of Web Page Design under Machine Vision | |
Li et al. | Intelligent Parsing: An Automated Parsing Framework for Extracting Design Semantics from E-commerce Creatives | |
Melistas et al. | A Deep Learning Pipeline for the Synthesis of Graphic Novels. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |