CN116912366A - 一种基于ai的平面设计生成方法及系统 - Google Patents
一种基于ai的平面设计生成方法及系统 Download PDFInfo
- Publication number
- CN116912366A CN116912366A CN202310979570.9A CN202310979570A CN116912366A CN 116912366 A CN116912366 A CN 116912366A CN 202310979570 A CN202310979570 A CN 202310979570A CN 116912366 A CN116912366 A CN 116912366A
- Authority
- CN
- China
- Prior art keywords
- planar design
- target
- materials
- keywords
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013461 design Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000000463 material Substances 0.000 claims abstract description 170
- 239000013077 target material Substances 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000009193 crawling Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 241000220225 Malus Species 0.000 description 4
- 235000021016 apples Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000011365 complex material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于AI的平面设计生成方法及系统，通过获取外部用户输入的描述文本和相关图像；提取描述文本中的关键词；将关键词与预先建立的素材库进行对比，得到与关键词相同或相似的多个相关文本和多个相关文本对应的关联素材；对相关图像与关联素材进行匹配，得到目标素材；基于目标素材构建平面设计。本申请通过对描述文本进行关键词提取，并从素材库中得到与关键词相关的关联素材，然后将关联素材与相关图像进行匹配，从而使得最终得到的目标素材为使用者想要的素材，最后将目标素材进行合理搭配，便可以生成包含使用者想要的图像信息的平面设计。本申请融合的文字和图像信息，从而使得生成的平面设计更加贴合使用者的意图。
Description
技术领域
本发明涉及图像处理技术领域，具体是一种基于AI的平面设计生成方法及系统。
背景技术
平面设计(graphic design)，也称为视觉传达设计，是以“视觉”作为沟通和表现的方式，透过多种方式来创造和结合符号、图片和文字，借此作出用来传达想法或讯息的视觉表现。平面设计师可能会利用字体排印、视觉艺术、版面(page layout)、电脑软件等方面的专业技巧，来达成创作计划的目的。平面设计通常可指制作(设计)时的过程，以及最后完成的作品。
随着人工智能技术的发展，越来越多的人工智能生成模型被运用到平面设计创作领域。但是现有的人工智能生成模型一般会根据使用者输入的语言描述生成平面设计作品。不少使用者在使用时，难以通过语言来对自己想要的平面设计进行描述，因此生成出来的作为不符合预期。
发明内容
有鉴于此，本发明的目的是提供一种基于AI的平面设计生成方法及系统，以解决现有技术中通过语言描述生成出来的作为不符合预期的问题。
为了实现上述目的，本发明采用了如下技术方案：
本发明的一种基于AI的平面设计生成方法，包括步骤：
获取外部用户输入的描述文本和相关图像，其中，所述相关图像可以为简笔画、图片或者照片；
提取所述描述文本中的关键词；
将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材；
对所述相关图像与所述关联素材进行匹配，得到目标素材；
基于所述目标素材构建平面设计。
在本申请一实施中，将所述关键词与所述预先建立的素材库进行对比之前，还包括：
爬取多个网页，得到多个网页中每个网页的平面设计图片和文字；
基于预先建立的图像识别模型对每个网页的图片进行识别，得到识别结果，其中，每个图片对应一个或者多个识别结果；
将所述识别结果与对应网页中的文字进行对比，得到与所述识别结果存在关联的相关文本，其中，所述相关文本包含所述识别结果的相同词、同义词或者近义词；
将所述平面设计图片中的背景和图案进行分离，得到平面设计素材；
基于所述平面设计素材、所述平面设计素材的识别结果和相关文本构建素材库。
在本申请一实施中，提取所述描述文本中的关键词，包括：
对所述描述文本进行分词，得到多个不同的词语Ci；
对多个词语的词性Ai进行确定，并统计多个词语的出现位置Wi和出现次数Pi；
基于所述多个词语的出现位置Wi计算每个词语的分布集中度G，所述分布集中度G的数学表达式为：
其中，W为其中一个词语的出现位置的平均值；
基于所述多个词语的词性Ai、出现次数Pi和分布集中度G计算每个词语的关键程度值Q，关键程度值Q的数学表达式为：
其中，f(Ai)为多种词性对应的关键程度值，α为第一转换比例，β为第二转换比例；
将关键程度值Q最高的一个或者多个词作为关键词。
在本申请一实施中，将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材，包括：
基于预先建立的词库将所述关键词与所述素材库中的相关文本进行对比，得到所述关键词的同义词、近义词或者关联词；
将所述相关文本中，所述关键词的相同词、所述同义词、所述近义词或者所述关联词对应的平面设计素材作为关联素材。
在本申请一实施中，对所述相关图像与所述关联素材进行匹配，得到目标素材，包括：
提取所述相关图像的轮廓和所述关联素材的轮廓，并基于所述相关图像的轮廓和所述关联素材的轮廓对所述相关图像和所述关联素材的边缘进行裁剪，以使得裁剪后的相关图像的图案轮廓与相关图像的边缘相切，以及裁剪后的关联素材的图案轮廓与关联素材的边缘相切；
将裁剪后的相关图像和裁剪后的关联素材均缩放至N×N大小，得到相关图像像素阵列和关联素材像素阵列；
所述相关图像像素阵列和所述关联素材像素阵列进行二值化处理；
保持二值化处理后的相关图像像素整列不动，并将二值化处理后的相关图像像素整列展开为第一二进制数组；
将二值化处理后的关联素材像素阵列转动4次，每次转动角度为90度，且每转动一次将二值化处理后的关联素材像素阵列展开，得到四个第二二进制数组；
计算所述第一二进制数组和每个第二二进制数组的汉明距离，在存在任意一个汉明距离小于预设值时，将所述关联素材作为目标素材。
在本申请一实施中，还包括如下方法建立图像识别模型：
获取平面设计的多个样本图像，其中，所述样本图像中包括一个设计元素的图案；
基于HED边缘检测算法提取所述多个样本图像的轮廓特征，并对所述多个样本图像的实际轮廓进行裁切，得到多个不完整轮廓特征；
对所述轮廓特征和所述不完整轮廓特征进行标注，得到训练数据集；
基于所述训练数据集对yolov5卷积神经网络进行训练，得到图像识别模型。
在本申请一实施中，所述识别结果通过锚框进行标注，其中，将所述平面设计图片中的背景和图案进行分离，得到平面设计素材，包括：
将锚框区域从所述平面设计图片中提取；
提取所述锚框区域内的轮廓，并将所述轮廓与所述锚框之间的区域去除，得到平面设计素材。
在本申请一实施中，所述目标素材包括目标文字素材和目标图形素材，其中，基于所述目标素材构建平面设计，包括：
建立四个图层，其中，最底层为背景图层、第二层为第一图形图层、第三层为第二图形图层、第四层为文字符号图层；
对所有目标图形素材进行复杂度检验，将所述目标素材分为复杂图形素材和简单图形素材；
随机选择一个复杂图形素材放置于所述第二图形图层的中心位置，并随机选择目标数量个简单素材放置于所述第二图形图层的边缘位置，随机选择一个目标文字素材放置于所述文字符号图层的目标位置，并从预先建立的背景库中随机选择一个背景放置于所述背景图层，得到平面设计，其中，所述边缘位置基于所述中心位置生成，所述目标位置是预先设定的。
在本申请一实施中，还包括：
将所述平面设计和其余未被选择的目标素材显示输出至外部；
响应于外部的删除指令，将与所述删除指令对应的平面设计中的目标素材删除；
响应于外部的替换指令，基于与所述替换指令对应的未被选择的目标素材对与所述替换指令对应平面设计中的目标素材进行替换；
响应于外部的位置调节指令，将与所述位置调节指令对应的平面设计中的目标素材调节至与所述位置调节指令对应的位置。
本申请还提供一种基于AI的平面设计生成系统，包括：
获取模块，用于获取外部用户输入的描述文本和相关图像，其中，所述相关图像可以为简笔画、图片或者照片；
提取模块，用于提取所述描述文本中的关键词；
对比模块，用于将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材；
匹配模块，用于对所述相关图像与所述关联素材进行匹配，得到目标素材；
生成模块，用于基于所述目标素材构建平面设计。
本发明的有益效果是：本发明的一种基于AI的平面设计生成方法及系统，通过获取外部用户输入的描述文本和相关图像，其中，相关图像可以为简笔画、图片或者照片；提取描述文本中的关键词；将关键词与预先建立的素材库进行对比，得到与关键词相同或相似的多个相关文本和多个相关文本对应的关联素材；对相关图像与关联素材进行匹配，得到目标素材；基于目标素材构建平面设计。本申请通过对描述文本进行关键词提取，并从素材库中得到与关键词相关的关联素材，然后将关联素材与相关图像进行匹配，从而使得最终得到的目标素材为使用者想要的素材，最后将目标素材进行合理搭配，便可以生成包含使用者想要的图像信息的平面设计。本申请融合的文字和图像信息，从而使得生成的平面设计更加贴合使用者的意图。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1是本申请一实施例中示出的一种基于AI的平面设计生成方法的流程图；
图2是本申请一实施例中示出的一种基于AI的平面设计生成系统的结构图；
图3示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。
图1是本申请一实施例中示出的一种基于AI的平面设计生成方法的流程图，如图1所示：本实施例的一种基于AI的平面设计生成方法，可以包括步骤S110至步骤S150：
S110，获取外部用户输入的描述文本和相关图像，其中，所述相关图像可以为简笔画、图片或者照片；
其中，描述文本是用户对想要的平面设计进行描述的文本，但是在一些情况下，用户很难直接用语言来描述出自己想象中的画面。因此，本申请中，还可以提交相关图像，相关图像可以是图片、照片。如果无法提供相关的图片和照片，还可以利用手写设备输入一个简笔画，以提供想要的平面设计的外轮廓。
S120，提取所述描述文本中的关键词；
具体地，在本申请一实施中，提取所述描述文本中的关键词，包括：
对所述描述文本进行分词，得到多个不同的词语Ci；
对多个词语的词性Ai进行确定，并统计多个词语的出现位置Wi和出现次数Pi；
基于所述多个词语的出现位置Wi计算每个词语的分布集中度G，所述分布集中度G的数学表达式为：
其中，W为其中一个词语的出现位置的平均值；
基于所述多个词语的词性Ai、出现次数Pi和分布集中度G计算每个词语的关键程度值Q，关键程度值Q的数学表达式为：
其中，f(Ai)为多种词性对应的关键程度值，α为第一转换比例，β为第二转换比例；
将关键程度值Q最高的一个或者多个词作为关键词。
其中，用户输入的描述文本可能是短语，例如“彩色的苹果”，对于这种短语，现有的语言模型是很好理解的。因此，在先进行分词确定关键词之前，可以将描述文本输入至现有的语言模型中进行关键词提取。但是如果描述文本内容较长，现有的语言模型如果提取的关键词效果不理想时，本申请先对其进行分词，本申请采用隐马尔可夫模型算法对描述语言进行分词。然后对得到的多个不同的词语Ci进行词性标注，将其中的实词和虚词进行区分。由于虚词没有具体含义，因此，在后续的权重中实词的权重大于虚词的权重。
除了词性之外，本申请还对词语Ci的词频和分布集中度进行分析。词语的出现次数越多，频率越高，且分布越均匀，则说明该词语能够在全文中稳定地出现。因此，其关键程度越高，因此，在这种情况下建立关键程度值Q的判定公式，其中f(Ai)为不同词性的关键值，名词最高，形容词、量词等次之，虚词为0。Pi×α为词频的关键值，为集中度的关键值，在相同的词频下，集中度越高，关键程度越低。
最后根据关键程度对词语进行排名，并将其中的前N个词语作为关键词。
S130，将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材；
素材库是预先建立的，素材库中包含了多种设计素材，例如，“苹果”，素材库中包括多种苹果的图像、文字、符号等。
因为素材库是预先建立的，因此，将所述关键词与所述预先建立的素材库进行对比之前，还包括：
爬取多个网页，得到多个网页中每个网页的平面设计图片和文字；
基于预先建立的图像识别模型对每个网页的图片进行识别，得到识别结果，其中，每个图片对应一个或者多个识别结果；
将所述识别结果与对应网页中的文字进行对比，得到与所述识别结果存在关联的相关文本，其中，所述相关文本包含所述识别结果的相同词、同义词或者近义词；
将所述平面设计图片中的背景和图案进行分离，得到平面设计素材；
基于所述平面设计素材、所述平面设计素材的识别结果和相关文本构建素材库。
本申请通过爬取设计网页来获取海量的设计素材，但是由于版权原因，在爬取时只能基于版权开放网站的网页。
通过爬取网页得到平面设计素材的图片后，还需要对其进行识别，从而将每一张图片进行分离，将平面设计中每个设计元素进行单独保存。并配上对应的文字描述。因此，还需要保证平面设计素材与相关文本是对应的。本申请中采用了图像识别模型对图片中的设计元素进行识别，识别结果用文字进行标注，并对网页提取的文本进行匹配。从而将与设计元素、设计元素的识别结果(识别结果最后作为相关文本)、设计元素的相关文本存储到素材库中存储。
素材库可以采用树形结构，以便于进行分类。
在本申请一实施中，还包括如下方法建立图像识别模型：
获取平面设计的多个样本图像，其中，所述样本图像中包括一个设计元素的图案；
基于HED边缘检测算法提取所述多个样本图像的轮廓特征，并对所述多个样本图像的实际轮廓进行裁切，得到多个不完整轮廓特征；
对所述轮廓特征和所述不完整轮廓特征进行标注，得到训练数据集；
基于所述训练数据集对yolov5卷积神经网络进行训练，得到图像识别模型。
在本申请一实施中，所述识别结果通过锚框进行标注，其中，将所述平面设计图片中的背景和图案进行分离，得到平面设计素材，包括：
将锚框区域从所述平面设计图片中提取；
提取所述锚框区域内的轮廓，并将所述轮廓与所述锚框之间的区域去除，得到平面设计素材。
在本实施例中，由于采用yolov5卷积神经网络进行图像识别，因此利用yolov5的锚框来对识别结果进行框选，并将框选部分的图像与平面设计图片进行分离。即可实现将所述平面设计图片中的背景和图案进行分离。最后得到的图案，即为平面设计素材。
在本申请一实施中，将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材，包括：
基于预先建立的词库将所述关键词与所述素材库中的相关文本进行对比，得到所述关键词的同义词、近义词或者关联词；
将所述相关文本中，所述关键词的相同词、所述同义词、所述近义词或者所述关联词对应的平面设计素材作为关联素材。
在本申请中，将利用语言模型来对比关键词和素材库中的相关文本，将包含关键词同义词、近义词、相同词的相关文本对应的平面设计素材作为关联素材。
S140，对所述相关图像与所述关联素材进行匹配，得到目标素材；
由于即便是相同的词语也会包含多种含义，对应多种素材。例如：苹果，可能对应水果，也可能对应的是手机。因此，进一步的图像匹配确定目标素材。
在本申请一实施中，对所述相关图像与所述关联素材进行匹配，得到目标素材，包括：
提取所述相关图像的轮廓和所述关联素材的轮廓，并基于所述相关图像的轮廓和所述关联素材的轮廓对所述相关图像和所述关联素材的边缘进行裁剪，以使得裁剪后的相关图像的图案轮廓与相关图像的边缘相切，以及裁剪后的关联素材的图案轮廓与关联素材的边缘相切；
其中，采用HED边缘检测算法来进行轮廓提取。从而最大程度上只保留相关图像和关联素材的外轮廓。为了保证后续的匹配准确度，还需要进行一次裁剪，以使得图案轮廓位于图像的中心位置。
将裁剪后的相关图像和裁剪后的关联素材均缩放至N×N大小，得到相关图像像素阵列和关联素材像素阵列；
所述相关图像像素阵列和所述关联素材像素阵列进行二值化处理；具体地，通过设置一个灰度阈值，将大于灰度阈值的像素点赋值为0，将小于或者等于灰度阈值的像素点赋值为1。从而将所述相关图像像素阵列和所述关联素材像素阵列转换为一个二维数字阵列。
保持二值化处理后的相关图像像素整列不动，并将二值化处理后的相关图像像素整列展开为第一二进制数组；
将二值化处理后的关联素材像素阵列转动4次，每次转动角度为90度，且每转动一次将二值化处理后的关联素材像素阵列展开，得到四个第二二进制数组；
计算所述第一二进制数组和每个第二二进制数组的汉明距离，在存在任意一个汉明距离小于预设值时，将所述关联素材作为目标素材。
在本申请中，由于只保留了轮廓，因此如果相关图像和关联素材的轮廓是相似的，最后计算出的汉明距离至少有一组是小于预设值的。因此，通过上述方式可以快速有效地对关图像和关联素材进行匹配，得到目标素材。
S150，基于所述目标素材构建平面设计。
在本申请一实施中，所述目标素材包括目标文字素材和目标图形素材，其中，基于所述目标素材构建平面设计，包括：
建立四个图层，其中，最底层为背景图层、第二层为第一图形图层、第三层为第二图形图层、第四层为文字符号图层；
对所有目标图形素材进行复杂度检验，将所述目标素材分为复杂图形素材和简单图形素材；
随机选择一个复杂图形素材放置于所述第二图形图层的中心位置，并随机选择目标数量个简单素材放置于所述第二图形图层的边缘位置，随机选择一个目标文字素材放置于所述文字符号图层的目标位置，并从预先建立的背景库中随机选择一个背景放置于所述背景图层，得到平面设计，其中，所述边缘位置基于所述中心位置生成，所述目标位置是预先设定的。
在本申请中，采用四层叠加结构来构建平面设计，背景直接从预先建立的背景库中选择，文字也可以直接放置到预设位置。中间两个图层的图案则需要根据复杂度进行确定。
具体地，目标素材的复杂度根据其内部像素点的分布情况来确定。本实施例中，先将目标素材转换为灰度图像，然后根据灰度图像中每个像素点的灰度值gray(xi，yi)来计算复杂度F，计算公式为：gray'(xi，yi)为灰度图像的平均灰度值。
将复杂度超过复杂度阈值的目标素材定义为复杂图形素材，将复杂度不超过复杂度阈值的目标素材定义为简单图形素材，将复杂图形素材放置于中心位置，其他位置放置简单素材，可以使得平面设计整体更加协调。避免平面设计过于繁杂。
此外，所述边缘位置基于所述中心位置生成。
在本实施例中，中心位置的坐标为A0(x0，y0)，位于中心的复杂素材的复杂度为F0，然后计算被选中的简单素材的复杂度F1；
通过中心的复杂素材的复杂度为F0、被选中的简单素材的复杂度F1以及中心位置的坐标为A0(x0，y0)可以计算出简单素材与简单位置之间的适合距离L；
L＝(F0-F1)×γ+w
其中，γ为比例因子，w为自定义的偏移量；
通过上述表达式来计算不同复杂度的简单素材与中心点的距离，可以使得越靠近中心视觉点的位置，复杂度越高。越是边缘复杂度越低。整体观感可以更加和谐。
此外，这里中心点可以是图层的中心，也可以是其他自定义的位置点。
L为被选中的简单素材的中点A1(x1，y1)与中心位置的坐标为A0(x0，y0)的距离，其中：
xi为被选中的简单素材的轮廓的横坐标，yi为被选中的简单素材的轮廓的纵坐标，k为自然数。
在本申请一实施中，还包括：
将所述平面设计和其余未被选择的目标素材显示输出至外部；
响应于外部的删除指令，将与所述删除指令对应的平面设计中的目标素材删除；
响应于外部的替换指令，基于与所述替换指令对应的未被选择的目标素材对与所述替换指令对应平面设计中的目标素材进行替换；
响应于外部的位置调节指令，将与所述位置调节指令对应的平面设计中的目标素材调节至与所述位置调节指令对应的位置。
最后，将构建的平面设计输出显示，并可以根据用户的修改指令执行对应的修改动作。从而使得用于可以根据自己的喜欢对平面设计进行调整。
本发明的一种基于AI的平面设计生成方法，通过获取外部用户输入的描述文本和相关图像，其中，相关图像可以为简笔画、图片或者照片；提取描述文本中的关键词；将关键词与预先建立的素材库进行对比，得到与关键词相同或相似的多个相关文本和多个相关文本对应的关联素材；对相关图像与关联素材进行匹配，得到目标素材；基于目标素材构建平面设计。本申请通过对描述文本进行关键词提取，并从素材库中得到与关键词相关的关联素材，然后将关联素材与相关图像进行匹配，从而使得最终得到的目标素材为使用者想要的素材，最后将目标素材进行合理搭配，便可以生成包含使用者想要的图像信息的平面设计。本申请融合的文字和图像信息，从而使得生成的平面设计更加贴合使用者的意图。
本申请还提供一种基于AI的平面设计生成系统，包括：
获取模块，用于获取外部用户输入的描述文本和相关图像，其中，所述相关图像可以为简笔画、图片或者照片；
提取模块，用于提取所述描述文本中的关键词；
对比模块，用于将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材；
匹配模块，用于对所述相关图像与所述关联素材进行匹配，得到目标素材；
生成模块，用于基于所述目标素材构建平面设计。
本发明的一种基于AI的平面设计生成系统，通过获取外部用户输入的描述文本和相关图像，其中，相关图像可以为简笔画、图片或者照片；提取描述文本中的关键词；将关键词与预先建立的素材库进行对比，得到与关键词相同或相似的多个相关文本和多个相关文本对应的关联素材；对相关图像与关联素材进行匹配，得到目标素材；基于目标素材构建平面设计。本申请通过对描述文本进行关键词提取，并从素材库中得到与关键词相关的关联素材，然后将关联素材与相关图像进行匹配，从而使得最终得到的目标素材为使用者想要的素材，最后将目标素材进行合理搭配，便可以生成包含使用者想要的图像信息的平面设计。本申请融合的文字和图像信息，从而使得生成的平面设计更加贴合使用者的意图。
图3示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图3示出的电子设备的计算机系统300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示，计算机系统300包括中央处理单元(Central Processing Unit，CPU)301，其可以根据存储在只读存储器(Read-Only Memory，ROM)302中的程序或者从储存部分308加载到随机访问存储器(Random Access Memory，RAM)303中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(Input/Output，I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分307；包括硬盘等的储存部分308；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入储存部分308。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的空气目标污染物组分预报模型训练和预报方法。
以上实施例仅是为充分说明本申请而所举的较佳的实施例，本申请的保护范围不限于此。本技术领域的技术人员在本申请基础上所作的等同替代或变换，均在本申请的保护范围之内。
Claims (10)
1.一种基于AI的平面设计生成方法，其特征在于，包括步骤：
获取外部用户输入的描述文本和相关图像，其中，所述相关图像可以为简笔画、图片或者照片；
提取所述描述文本中的关键词；
将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材；
对所述相关图像与所述关联素材进行匹配，得到目标素材；
基于所述目标素材构建平面设计。
2.根据权利要求1所述的一种基于AI的平面设计生成方法，其特征在于，将所述关键词与所述预先建立的素材库进行对比之前，还包括：
爬取多个网页，得到多个网页中每个网页的平面设计图片和文字；
基于预先建立的图像识别模型对每个网页的图片进行识别，得到识别结果，其中，每个图片对应一个或者多个识别结果；
将所述识别结果与对应网页中的文字进行对比，得到与所述识别结果存在关联的相关文本，其中，所述相关文本包含所述识别结果的相同词、同义词或者近义词；
将所述平面设计图片中的背景和图案进行分离，得到平面设计素材；
基于所述平面设计素材、所述平面设计素材的识别结果和相关文本构建素材库。
3.根据权利要求1所述的一种基于AI的平面设计生成方法，其特征在于，提取所述描述文本中的关键词，包括：
对所述描述文本进行分词，得到多个不同的词语Ci；
对多个词语的词性Ai进行确定，并统计多个词语的出现位置Wi和出现次数Pi；
基于所述多个词语的出现位置Wi计算每个词语的分布集中度G，所述分布集中度G的数学表达式为：
其中，W为其中一个词语的出现位置的平均值；
基于所述多个词语的词性Ai、出现次数Pi和分布集中度G计算每个词语的关键程度值Q，关键程度值Q的数学表达式为：
其中，f(Ai)为多种词性对应的关键程度值，α为第一转换比例，β为第二转换比例；
将关键程度值Q最高的一个或者多个词作为关键词。
4.根据权利要求2所述的一种基于AI的平面设计生成方法，其特征在于，将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材，包括：
基于预先建立的词库将所述关键词与所述素材库中的相关文本进行对比，得到所述关键词的同义词、近义词或者关联词；
将所述相关文本中，所述关键词的相同词、所述同义词、所述近义词或者所述关联词对应的平面设计素材作为关联素材。
5.根据权利要求1所述的一种基于AI的平面设计生成方法，其特征在于，对所述相关图像与所述关联素材进行匹配，得到目标素材，包括：
提取所述相关图像的轮廓和所述关联素材的轮廓，并基于所述相关图像的轮廓和所述关联素材的轮廓对所述相关图像和所述关联素材的边缘进行裁剪，以使得裁剪后的相关图像的图案轮廓与相关图像的边缘相切，以及裁剪后的关联素材的图案轮廓与关联素材的边缘相切；
将裁剪后的相关图像和裁剪后的关联素材均缩放至N×N大小，得到相关图像像素阵列和关联素材像素阵列；
所述相关图像像素阵列和所述关联素材像素阵列进行二值化处理；
保持二值化处理后的相关图像像素整列不动，并将二值化处理后的相关图像像素整列展开为第一二进制数组；
将二值化处理后的关联素材像素阵列转动4次，每次转动角度为90度，且每转动一次将二值化处理后的关联素材像素阵列展开，得到四个第二二进制数组；
计算所述第一二进制数组和每个第二二进制数组的汉明距离，在存在任意一个汉明距离小于预设值时，将所述关联素材作为目标素材。
6.根据权利要求2所述的一种基于AI的平面设计生成方法，其特征在于，还包括如下方法建立图像识别模型：
获取平面设计的多个样本图像，其中，所述样本图像中包括一个设计元素的图案；
基于HED边缘检测算法提取所述多个样本图像的轮廓特征，并对所述多个样本图像的实际轮廓进行裁切，得到多个不完整轮廓特征；
对所述轮廓特征和所述不完整轮廓特征进行标注，得到训练数据集；
基于所述训练数据集对yolov5卷积神经网络进行训练，得到图像识别模型。
7.根据权利要求2所述的一种基于AI的平面设计生成方法，其特征在于，所述识别结果通过锚框进行标注，其中，将所述平面设计图片中的背景和图案进行分离，得到平面设计素材，包括：
将锚框区域从所述平面设计图片中提取；
提取所述锚框区域内的轮廓，并将所述轮廓与所述锚框之间的区域去除，得到平面设计素材。
8.根据权利要求1所述的一种基于AI的平面设计生成方法，其特征在于，所述目标素材包括目标文字素材和目标图形素材，其中，基于所述目标素材构建平面设计，包括：
建立四个图层，其中，最底层为背景图层、第二层为第一图形图层、第三层为第二图形图层、第四层为文字符号图层；
对所有目标图形素材进行复杂度检验，将所述目标素材分为复杂图形素材和简单图形素材；
随机选择一个复杂图形素材放置于所述第二图形图层的中心位置，并随机选择目标数量个简单素材放置于所述第二图形图层的边缘位置，随机选择一个目标文字素材放置于所述文字符号图层的目标位置，并从预先建立的背景库中随机选择一个背景放置于所述背景图层，得到平面设计，其中，所述边缘位置基于所述中心位置生成，所述目标位置是预先设定的。
9.根据权利要求8所述的一种基于AI的平面设计生成方法，其特征在于，还包括：
将所述平面设计和其余未被选择的目标素材显示输出至外部；
响应于外部的删除指令，将与所述删除指令对应的平面设计中的目标素材删除；
响应于外部的替换指令，基于与所述替换指令对应的未被选择的目标素材对与所述替换指令对应平面设计中的目标素材进行替换；
响应于外部的位置调节指令，将与所述位置调节指令对应的平面设计中的目标素材调节至与所述位置调节指令对应的位置。
10.一种基于AI的平面设计生成系统，其特征在于，包括：
获取模块，用于获取外部用户输入的描述文本和相关图像，其中，所述相关图像可以为简笔画、图片或者照片；
提取模块，用于提取所述描述文本中的关键词；
对比模块，用于将所述关键词与所述预先建立的素材库进行对比，得到与所述关键词相同或相似的多个相关文本和所述多个相关文本对应的关联素材；
匹配模块，用于对所述相关图像与所述关联素材进行匹配，得到目标素材；
生成模块，用于基于所述目标素材构建平面设计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310979570.9A CN116912366A (zh) | 2023-08-06 | 2023-08-06 | 一种基于ai的平面设计生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310979570.9A CN116912366A (zh) | 2023-08-06 | 2023-08-06 | 一种基于ai的平面设计生成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912366A true CN116912366A (zh) | 2023-10-20 |
Family
ID=88364805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310979570.9A Withdrawn CN116912366A (zh) | 2023-08-06 | 2023-08-06 | 一种基于ai的平面设计生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912366A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115843A (zh) * | 2023-10-23 | 2023-11-24 | 深圳谱盈科技有限公司 | 一种基于aigc技术的会展工程内容生产系统和方法 |
-
2023
- 2023-08-06 CN CN202310979570.9A patent/CN116912366A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115843A (zh) * | 2023-10-23 | 2023-11-24 | 深圳谱盈科技有限公司 | 一种基于aigc技术的会展工程内容生产系统和方法 |
| CN117115843B (zh) * | 2023-10-23 | 2024-01-26 | 深圳谱盈科技有限公司 | 一种基于aigc技术的会展工程内容生产系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200167558A1 (en) | Semantic page segmentation of vector graphics documents | |
| US11302053B2 (en) | Determining image handle locations | |
| EP4044115A1 (en) | Image processing method and apparatus based on artificial intelligence, and device and storage medium | |
| CN110929573A (zh) | 基于图像检测的试题检查方法及相关设备 | |
| CN112926565B (zh) | 图片文本的识别方法、系统、设备和存储介质 | |
| CN111626297A (zh) | 文字书写质量评价方法、装置、电子设备和记录介质 | |
| Li et al. | Automatic comic page segmentation based on polygon detection | |
| CN117058271A (zh) | 用于生成商品主图背景的方法及计算设备 | |
| CN116912366A (zh) | 一种基于ai的平面设计生成方法及系统 | |
| CN113689436A (zh) | 图像语义分割方法、装置、设备及存储介质 | |
| CN113657404B (zh) | 一种东巴象形文字的图像处理方法 | |
| Karunarathne et al. | Recognizing ancient sinhala inscription characters using neural network technologies | |
| US20240086452A1 (en) | Tracking concepts within content in content management systems and adaptive learning systems | |
| CN111553351A (zh) | 一种基于语义分割的场景任意形状的文本检测方法 | |
| CN114881698A (zh) | 广告合规审核方法、装置、电子设备及存储介质 | |
| CN110659371A (zh) | 一种目标对象的banner图的批量自动生成方法及装置 | |
| Maity et al. | Is my interface beautiful?—a computational model-based approach | |
| CN112269872A (zh) | 简历解析方法、装置、电子设备及计算机存储介质 | |
| CN113762257B (zh) | 一种美妆品牌图像中标志的识别方法及装置 | |
| Park et al. | A method for automatically translating print books into electronic Braille books | |
| CN112837332A (zh) | 创意设计的生成方法、装置、终端、存储介质及处理器 | |
| CN112836709A (zh) | 一种基于空间注意力增强机制的自动图像描述方法 | |
| CN112132916B (zh) | 一种利用生成对抗网络的篆刻作品定制化设计生成装置 | |
| CN115203375A (zh) | 图文跨模态模型的数据增强方法、装置、设备及存储介质 | |
| CN112749691A (zh) | 图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231020 |