CN115115745A - 自主创作型的数字艺术的生成方法、系统、存储介质及电子设备 - Google Patents

自主创作型的数字艺术的生成方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN115115745A
CN115115745A CN202210726563.3A CN202210726563A CN115115745A CN 115115745 A CN115115745 A CN 115115745A CN 202210726563 A CN202210726563 A CN 202210726563A CN 115115745 A CN115115745 A CN 115115745A
Authority
CN
China
Prior art keywords
picture
art
feature
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210726563.3A
Other languages
English (en)
Inventor
王浩
张雄飞
吴蕾
刘海军
张仲广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hualu Media Information Technology Co ltd
Original Assignee
Beijing Hualu Media Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hualu Media Information Technology Co ltd filed Critical Beijing Hualu Media Information Technology Co ltd
Priority to CN202210726563.3A priority Critical patent/CN115115745A/zh
Publication of CN115115745A publication Critical patent/CN115115745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供自主创作的数字艺术的生成方法、系统、存储介质和电子设备，包括如下步骤：获取艺术作品和对应的设计说明一并存储至系统；提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；对特征子集进行语义解析后生成语义描述和艺术特征模型；通过艺术特征模型检索图片艺术素材；对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；选择符合需求的方案进行发布。本发明配合人工智能的创作与检索的能力，通过向成熟数字艺术作品的学习，使得最终呈现出既具有用户思想，又符合艺术特征的完整的艺术作品。

Description

自主创作型的数字艺术的生成方法、系统、存储介质及电子 设备
技术领域
本发明属于智能艺术创作领域，具体涉及一种自主创作型的数字艺术的生成方法、系统、存储介质及电子设备。
背景技术
随着网络的快速发展，越来越多的智能图像生成应用出现。一般而言，这类应用根据用户所给与的词语，利用AI智能生成对应的效果图，这将大大增加服务器存储空间、数据库数据以及服务器性能的消耗。
同时目前市面上能够自主创作的平台对于用户来说，学习成本及操作难度都较大，不适用于非专业相关人员使用；另外涉及领域过于单一，也没有系统的美学知识的分享渗透，无法调动用户创作兴趣。本发明充分给予用户主观操作的空间，用户创作的过程，也是对美育培养与理解的过程。再配合人工智能的创作与检索的能力，通过向成熟数字艺术作品的学习，使得最终呈现出既具有用户思想，又符合艺术特征的完整的艺术作品。
鉴于此，目前亟待提出自主创作型的数字艺术的生成方法、系统、存储介质及电子设备，探索用户的潜在表达意图，重建新的人工智能图像，使得用户随意的创作更具有符合艺术特性的完整的数字艺术作品。
发明内容
为此，本发明所要解决的技术问题是提供自主创作型的数字艺术生成方法、系统、存储介质及电子设备，探索用户的潜在表达意图，重建新的人工智能图像，使得用户随意的创作更具有符合艺术特性的完整的数字艺术作品。
本发明的自主创作型的数字艺术生成方法，包括用户制作和CPArtist 创编；
所述用户制作包括如下步骤：
获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统，或者
在线提供包括画笔、橡皮擦和颜色绘画因子的在线绘制和绘画因子控制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
所述CPArtist创编包括如下步骤，：
提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
选择符合需求的方案进行发布。
进一步的，所述绘画因子控制具体包括：
生成基于设计文字说明的图片样本特征；
预处理图片样本特征以减少计算量；
收集关于图片样本特征的图像数据，建立对应的数据库和图像索引；
通过卷积神经网络对数据库进行训练后，从图像索引中检索预定数量的预选图片；
构建基于生成对抗网络的外边界生成算法，基于keras框架利用深度卷积对抗网络CGAN算法对MNIST数据集实现图像生成，根据外边界图形稀疏性得到特征修改损失函数；
Maix(x,y)＝minGmaXDΞx，y[logD(x，y)]，Gx(x,y)＝Ξx[log1-D(x， G(x))]
LcGAN(x，y)＝Maix(x,y)+Gx(x,y)
其中x是条件y是映射之后的图片，G表示生成器，D表示辨别器，G(x) 表示生成器基于条件x生成样本，D(x,y)表示判别器样本(x,y)为真实样本概率，E表示K-means分布,Maix表示最大最小优化值，Gx表示噪点数据期望值；
根据外边界图形稀疏性，修改损失函数公式为：
Figure BDA0003713459190000031
其中，m是条件，n是映射之后的输出边界概括图，M为输出样本总数，λ为比率超参，LcGAN表示根据条件mi生成的样本nj的标准生成对抗网络损失。损失函数的第一项为平均值让生成对抗网络平等对待所有的目标图形；第二项为最小值则让生成对抗网络趋向于生成效果最好的图片并防止图片的模糊；
生成绘画辅助图形。
进一步的，提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集，具体为：
对文字素材进行预处理：若音乐素材有歌词先将歌词提取出来，并和相对应的设计说明文字一起进行分词处理，提取关键词信息，使得每张素材图片都包含几个相对应的标签；
把给定的文本T按照完整句子进行分割，即:T＝[S1,S2,...,Sn]；
对于每个句子，进行分词和词性标注处理，并过滤掉停用词；
构建候选关键词图模型G＝(V,E)，将文本分割后的若干词汇单元，添加到图模型中，构成节点；
通过确定文本中词语位置、词性和领域特征的权重分配，利用词性、词语长度、TFIDF值等关键词特征，通过多特征融合得出综合权重并初始化各节点的权重；
通过下述公式迭代计算各节点的权重，直至收敛；
Figure BDA0003713459190000041
式中，d为阻尼因子(0≤d≤1)，通常取值为0.85，表示图中任意一个节点跳转到其他节点的概率值；In(Vi)表示指向节点Vi的所有节点的集合； Out(Vj)表示节点Vj指向的所有节点的集合；
对节点权重进行倒序排序，从而得到最重要的n个单词，作为候选标签；若形成相邻词组，则组合成多词标签；
对音乐素材进行预处理：对剩余纯音乐的素材进行视觉语言转换，将音乐分成五个部分，包括音色、节奏、旋律、和声和调式，将音乐元素分别定义为色彩、点线面、视觉元素的高低变化和图形符号，捕捉音乐元素与视觉语言关素之间的关联，将音乐元素转换为图片元素；
基于CLIP提取音频元素，采用对比损失进行特征提取，添加多层感知作为投影层；
交叉投影损失函数如下：
CLoss＝L(f(Image),Audio)+L(Image,g(Audio)))
其中，△f/g：投影函数，L：对比损失函数
对图片素材进行预处理：对图片通过双边滤波算法去除噪声信号，进行特征提取；
对色调与色彩搭配的提取：计算输入的图片中所有像素点的像素均值；将颜色空间划分为多个颜色区域，根据每个像素点的像素值，分别确定每个像素点所属的颜色空间中的颜色区域；
对图像特征的提取：对亮度、边缘、纹理等进行提取，通过变换处理模块，对形状、直方图以及主成份等进行提取；
将图像划分为PXQ个分区(partition)，对子图像区域进行描绘函数，得到这些区域的n个特征向量；
对子图像区域进行直方图统计特征，通过描述图像中像素灰度级的分布，有力地描述出纹理的固有特征，得到相应的特征向量；
对子图像区域进行灰度共现矩阵，通过描述具有空间位置关系的两个像素的联合分布，得到相应的特征向量；
通过线性组合变换将n个特征向量组合成一个新的特征子集。
进一步的，对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型，具体为：
将新的特征子集作为图像的全局信息输送到解析处理模型，通过对图像语义解析，将用户的潜在意图文字化处理，结合图像特征，形成更全面的艺术特征模型；解析处理模型采用双层全卷织神经网络；
接收信息后，分别进行独立和线性叠加两个环节的结果预测，生成语义描述；
将语义描述与提取的特征子集按权重占比进行组合，得到多个艺术特征模型。
进一步的，通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材，具体为：
使用艺术特征模型从图片艺术素材库中检索匹配最高的预设数量的参考图片；
根据所述预设数量的参考图片，获取艺术特征模型的评测指标；
在所述艺术特征模型的评测指标满足预设条件的情况下，选择所述艺术特征模型作为搜索模型；
在所述艺术特征模型的评测不满足预设条件的情况下，使用深度学习模型从图片艺术素材库中检索匹配度最高的预设数量的参考图片，若匹配度仍低于70％，则检索中止，进入人工处理此模型；
检索出匹配度高度70％的预设数量的图片艺术素材后执行下一步骤。
进一步的，所述对图片艺术素材执行编辑后，根据预设评测标准生成多个方案，具体为：
新建与原素材同等大小的画布，上传原素材图与数据库中匹配图，并进行像素坐标定位点；
通过艺术特征模型，对原始素材层进行智能优化模型；
编辑4个动作预设，包括大小动作、裁剪动作、遮挡动作、矫正动作；
编辑3个系统模块，包括光效、色彩及细节、识别亮度、对比度、高光和暗部的阀值，并进行智能调节；
为图片添加锐化动作、添加质感动作，即可完成图片优化；
根据预设评测标准，输出不同权重的图片结果，综合评测最优的方案3 个，提供给用户端。
进一步的，选择符合方案进行发布时，用户执行编辑发布，编辑过程包括添加文字、边框、贴纸及编码。
本发明还提供一种自主创作型的数字艺术生成系统，包括：
用户制作模块；
所述用户制作模块包括本地上传子模块和在线制作子模块；
所述本地上传子模块获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统；
所述在线制作子模块提供包括画笔、橡皮擦和颜色绘画因子的在线绘制和绘画因子控制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
CPArtist模块；
所述CPArtist模块包括特征提取模块、表达意图探索模块、公共领域素材获取模块、可行性创作模块和用户决策推送模块；
所述特征提取模块提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
所述表达意图探索模块用于对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
所述公共领域素材获取模块通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
所述可行性创作模块用于对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
所述用户决策推送模块用于根据评测标准及自身喜好选择方案后进行发布。
本发明还提供一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行所述的自主创作型的数字艺术生成方法。
本发明还提供一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器用于执行所述的自主创作型的数字艺术生成方法。
本发明的上述技术方案，相比现有技术具有以下优点：
本发明充分给予用户主观操作的空间，用户创作的过程，也是对美育培养与理解的过程。再配合人工智能的创作与检索的能力，通过向成熟数字艺术作品的学习，使得最终呈现出既具有用户思想，又符合艺术特征的完整的艺术作品。
附图说明
图1是本发明实施例提供的系统中的用户制作模块的结构示意图；
图2是本发明实施例提供的系统中的CPArtist模块的结构示意图一；
图3是本发明实施例提供的系统中的CPArtist模块的结构示意图二；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例的一种自主创作型的数字艺术生成系统，如图1-3所示，包括：
用户制作模块；
所述用户制作模块包括本地上传子模块和在线制作子模块；
所述本地上传子模块获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统；
所述在线制作子模块提供包括画笔、橡皮擦和颜色绘画因子的在线绘制和绘画因子控制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
CPArtist模块；
所述CPArtist模块包括特征提取模块、表达意图探索模块、公共领域素材获取模块、可行性创作模块和用户决策推送模块；
所述特征提取模块提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
所述表达意图探索模块用于对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
所述公共领域素材获取模块通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
所述可行性创作模块用于对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
所述用户决策推送模块用于根据评测标准及自身喜好选择方案后进行发布。
本实施例的自主创作型的数字艺术生成方法，包括用户在线制作和 CPArtist创编，如图1-3所示。
所述用户在线制作包括：
步骤(1)：用户自主选择制作方式：方式一为上传图片或音乐并附上设计说明；方式二为在线制作，通过画笔、橡皮擦、颜色工具进行创作绘制。
步骤(2)：若用户选择在线绘制，系统将通过“绘画因子”控制工具参数从而达到辅助用户的行为；系统本身提供最为基础的绘制工具(画笔、橡皮擦、颜色)以便降低用户操作的难度，同时通过“绘画因子”对画笔、橡皮擦及颜色的属性控制，增强用户手感、产生更多的视觉变化，辅助用户的艺术表达。
绘画因子控制说明：
2.1根据第1个环节输入设计说明文字，基于CLIP(Contrastive Language-ImagePre-Training)模型对文字进行分析，生成图片样本特征；
2.2根据步骤2.1生成的图片样本特征，基于谷歌MobileNetV3模型和轻量化网络设计模型和知识蒸馏减少计算量，并将输出层的模型架构调整为 K-means模型；
2.3利用python中的Scrapy库从iNaturalist网站中收集图像的数据，并存入数据库建立。根据百度知识数据图谱数据接口建立知识数据图谱的图像索引系统；
2.4利用收集到的图像数据集对卷积神经网络进迁移学习，采用Mosaic 数据增强方法避免训练过程过拟合；
2.5根据步骤2.1生成的图片样本特征，通过步骤2.3建立的图像索引系统，数据库有500种不同分类的图片，每种分类选取5张，共2500张预选图；
2.6基于步骤2.5，构建基于生成对抗网络的外边界生成算法，基于 keras框架利用深度卷积对抗网络CGAN算法对MNIST数据集实现图像生成，根据外边界图形稀疏性得到特征修改损失函数；
Maix(x,y)＝minGmaXDΞx，y[logD(x，y)]，Gx(x,y)＝Ξx[log1-D(x， G(x))]
LcGAN(x，y)＝Maix(x,y)+Gx(x,y)
其中x是条件y是映射之后的图片，G表示生成器，D表示辨别器，G(x) 表示生成器基于条件x生成样本，D(x,y)表示判别器样本(x,y)为真实样本概率，E表示K-means分布,Maix表示最大最小优化值，Gx表示噪点数据期望值。
根据外边界图形稀疏性，修改损失函数公式为：
Figure BDA0003713459190000101
其中，m是条件，n是映射之后的输出边界概括图，M为输出样本总数，λ为比率超参，LcGAN表示根据条件mi生成的样本nj的标准生成对抗网络损失。损失函数的第一项为平均值让生成对抗网络平等对待所有的目标图形；第二项为最小值则让生成对抗网络趋向于生成效果最好的图片并防止图片的模糊。
2.7利用CPArtist.js和vue.js进行绘画模块构建，生成绘画辅助图形。
步骤(3):用户绘制结束进行提交前，需要填写“设计说明”，“设计说明”包含作品名称及作品的介绍、创作目的、艺术想法等，即可进行提交。
第1个环节为提取特征：
步骤(1)：输入原始素材：图片、音乐以及各个素材相对应的设计说明。
步骤(2)：对文字素材进行预处理：若音乐素材有歌词先将歌词提取出来，并和相对应的“设计说明”文字一起进行分词处理，提取关键词信息，使得每张素材图片都包含几个相对应的标签。
步骤(3)：把给定的文本T按照完整句子进行分割，即:T＝[S1,S2,...,Sn]。
步骤(4)：对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词等。这些词形成候选关键词。
步骤(5)：构建候选关键词图模型G＝(V,E)，将文本分割后的若干词汇单元，添加到图模型中，构成节点，当两个词汇在长度为K(一般取值范围为2～10)的窗口中共同出现，则代表这两个节点间存在边。
步骤(6)：采用共现关系构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现，添加到图模型中，构成一个无向无权边图。
步骤(7)：通过确定文本中词语位置、词性和领域特征的权重分配，利用词性、词语长度、TFIDF值等关键词特征，通过多特征融合得出综合权重并初始化各节点的权重。
步骤(8)：通过下述公式迭代计算各节点的权重，直至收敛。式中，d 为阻尼因子(0≤d≤1)，通常取值为0.85，表示图中任意一个节点跳转到其他节点的概率值；In(Vi)表示指向节点Vi的所有节点的集合；Out(Vj)表示节点 Vj指向的所有节点的集合。
Figure BDA0003713459190000111
步骤(9)：对节点权重进行倒序排序，从而得到最重要的n个单词，作为候选标签。
步骤(10)：若形成相邻词组，则组合成多词标签。
步骤(11)：对音乐素材进行预处理：对剩余纯音乐的素材进行视觉语言转换，将音乐分成五个部分，包括音色、节奏、旋律、和声和调式，通过自主研发的一套视觉语言，将音乐元素分别定义为色彩、点线面、视觉元素的高低变化和图形符号，捕捉音乐元素与视觉语言关素之间的关联，即可将音乐元素转换为图片元素。
步骤(12)：基于CLIP提取音频元素，采用对比损失进行特征提取，添加多层感知作为投影层；
交叉投影损失函数如下：
CLoss＝L(f(Image),Audio)+L(Image,g(Audio)))
△f/g：投影函数，L：对比损失函数
步骤(13)：对图片素材进行预处理：对图片通过双边滤波算法去除噪声信号，进行特征提取。
步骤(14)：对色调与色彩搭配的提取：计算输入的图片中所有像素点的像素均值；将颜色空间划分为多个颜色区域，根据每个像素点的像素值，分别确定每个像素点所属的颜色空间中的颜色区域，颜色空间是描述使用一组值表示颜色方法的抽象数学模型，例如HSV(色度、饱和度和亮度)或RGB 模式，都是表示颜色空间中进行的颜色区域的划分。取值的范围，可以代表不同的色彩，例如HSV中的H代表色度、S代表饱和度、V代表亮度，H的取值范围为「0-360」，S的取值范围为「0，1」，V的取值范围为「0.1」，当不同H、S、V组合时可以代表不同的色彩。
步骤(15)：对图像特征的提取：通过自然特征模块，对亮度、边缘、纹理等进行提取，通过变换处理模块，对形状、直方图以及主成份等进行提取。
图像特征提取的说明：
15.1将图像划分为PXQ个分区(partition)，子图像区域特征提取有效避免局部差异信息丢失。
15.2对子图像区域进行描绘函数，即位于区域边界上的像素数目，像素总数，所有像素的平均值，所有像素的排序中值等，得到这些区域的n个特征向量。
15.3对子图像区域进行直方图统计特征，通过描述图像中像素灰度级的分布，有力地描述出纹理的固有特征，得到相应的特征向量。
15.4对子图像区域进行灰度共现矩阵，通过描述具有空间位置关系的两个像素的联合分布，得到相应的特征向量。
15.5通过线性组合变换将n个特征向量组合成一个新的特征子集。
第2个环节为探索用户潜在表达意图：
步骤(1)：将新的特征子集作为图像的全局信息输送到解析处理模型，通过对图像语义解析，将用户的潜在意图文字化处理，结合图像特征，形成更全面的艺术特征模型。
步骤(2)：解析处理模型采用双层全卷织神经网络，接收信息后，分别进行独立和线性叠加两个环节的结果预测，生成较为准确的语义描述。
步骤(3)：将语义描述与提取的特征子集按权重占比进行组合，得到多个艺术特征模型。
第3个环节为获取公共领域艺术素材。
步骤(1)：使用艺术特征模型从图片艺术素材库中检索匹配最高的预设数量的参考图片。
步骤(2)：根据所述预设数量的参考图片，获取艺术特征模型的评测指标。
步骤(3)：在所述艺术特征模型的评测指标满足预设条件的情况下，选择所述艺术特征模型作为搜索模型。
步骤(4)：在所述艺术特征模型的评测不满足预设条件的情况下，使用深度学习模型从图片艺术素材库中检索匹配度最高的预设数量的参考图片，若匹配度仍低于70％，则检索中止，进入人工处理此模型。
步骤(5)：最终检索出匹配度高度70％的预设数量的图片艺术素材进入创作环节。
第4个环节为创作可行性方案。
步骤(1)：新建与原素材同等大小的画布，上传原素材图与数据库中匹配图，并进行像素坐标定位点。
步骤(2)：通过艺术特征模型，对原始素材层进行智能优化模型。
步骤(3)：智能优化模型针对调形模块，编辑4个动作预设，包括大小动作、裁剪动作、遮挡动作、矫正动作。
步骤(4)：针对调色模快，编辑3个系统模块，包括光效、色彩及细节；识别亮度、对比度、高光和暗部的阀值，并进行智能调节。
步骤(5)：最后细节模块将为图片添加锐化动作、添加质感动作，即可完成图片优化。
步骤(6)：根据预设评测标准(艺术性、独特性、创意性、设计感、表现力、内涵性)，权重不同，输出的图片结果不同，综合评测最优的方案3 个，提供给用户端。
第5个环节为推送用户决策。
步骤(1)：用户根据评测标准及自身喜好，优选1个方案。
步骤(2)：用户可自主选择添加文字、边框、贴纸及编码，并进行发布。
下面，参考图3来描述根据本申请实施例的电子设备。图3图示了根据本申请实施例的电子设备的框图。
如图3所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器 (ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的自主创作型的数字艺术的生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的感染类别的预测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的感染类别的预测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.自主创作型的数字艺术生成方法，其特征在于，包括用户制作和CPArtist创编；
所述用户制作包括如下步骤：
获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统，或者
在线提供包括画笔、橡皮擦和颜色绘画因子的在线绘制和绘画因子控制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
所述CPArtist创编包括如下步骤：
提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
选择符合需求的方案进行发布。
2.根据权利要求1所述的自主创作型的数字艺术生成方法，其特征在于，所述绘画因子控制具体包括：
生成基于设计文字说明的图片样本特征；
预处理图片样本特征以减少计算量；
收集关于图片样本特征的图像数据，建立对应的数据库和图像索引；
通过卷积神经网络对数据库进行训练后，从图像索引中检索预定数量的预选图片；
构建基于生成对抗网络的外边界生成算法，基于keras框架利用深度卷积对抗网络CGAN算法对MNIST数据集实现图像生成，根据外边界图形稀疏性得到特征修改损失函数；
Maix(x,y)＝minGmaXDΞx，y[logD(x，y)]，Gx(x,y)＝Ξx[log1-D(x，G(x))]
LcGAN(x，y)＝Maix(x,y)+Gx(x,y)
其中x是条件y是映射之后的图片，G表示生成器，D表示辨别器，G(x)表示生成器基于条件x生成样本，D(x,y)表示判别器样本(x,y)为真实样本概率，E表示K-means分布,Maix表示最大最小优化值，Gx表示噪点数据期望值；
根据外边界图形稀疏性，修改损失函数公式为：
Figure FDA0003713459180000021
其中，m是条件，n是映射之后的输出边界概括图，M为输出样本总数，λ为比率超参，LcGAN表示根据条件mi生成的样本nj的标准生成对抗网络损失。损失函数的第一项为平均值让生成对抗网络平等对待所有的目标图形；第二项为最小值则让生成对抗网络趋向于生成效果最好的图片并防止图片的模糊；
生成绘画辅助图形。
3.根据权利要求2所述的自主创作型的数字艺术生成方法，其特征在于，提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集，具体为：
对文字素材进行预处理：若音乐素材有歌词先将歌词提取出来，并和相对应的设计说明文字一起进行分词处理，提取关键词信息，使得每张素材图片都包含几个相对应的标签；
把给定的文本T按照完整句子进行分割，即:T＝[S1,S2,...,Sn]；
对于每个句子，进行分词和词性标注处理，并过滤掉停用词；
构建候选关键词图模型G＝(V,E)，将文本分割后的若干词汇单元，添加到图模型中，构成节点；
通过确定文本中词语位置、词性和领域特征的权重分配，利用词性、词语长度、TFIDF值等关键词特征，通过多特征融合得出综合权重并初始化各节点的权重；
通过下述公式迭代计算各节点的权重，直至收敛；
Figure FDA0003713459180000031
式中，d为阻尼因子(0≤d≤1)，通常取值为0.85，表示图中任意一个节点跳转到其他节点的概率值；In(Vi)表示指向节点Vi的所有节点的集合；Out(Vj)表示节点Vj指向的所有节点的集合；
对节点权重进行倒序排序，从而得到最重要的n个单词，作为候选标签；若形成相邻词组，则组合成多词标签；
对音乐素材进行预处理：对剩余纯音乐的素材进行视觉语言转换，将音乐分成五个部分，包括音色、节奏、旋律、和声和调式，将音乐元素分别定义为色彩、点线面、视觉元素的高低变化和图形符号，捕捉音乐元素与视觉语言关素之间的关联，将音乐元素转换为图片元素；
基于CLIP提取音频元素，采用对比损失进行特征提取，添加多层感知作为投影层；
交叉投影损失函数如下：
CLoss＝L(f(Image),Audio)+L(Image,g(Audio)))
其中，△f/g：投影函数，L：对比损失函数
对图片素材进行预处理：对图片通过双边滤波算法去除噪声信号，进行特征提取；
对色调与色彩搭配的提取：计算输入的图片中所有像素点的像素均值；将颜色空间划分为多个颜色区域，根据每个像素点的像素值，分别确定每个像素点所属的颜色空间中的颜色区域；
对图像特征的提取：对亮度、边缘、纹理等进行提取，通过变换处理模块，对形状、直方图以及主成份等进行提取；
将图像划分为PXQ个分区(partition)，对子图像区域进行描绘函数，得到这些区域的n个特征向量；
对子图像区域进行直方图统计特征，通过描述图像中像素灰度级的分布，有力地描述出纹理的固有特征，得到相应的特征向量；
对子图像区域进行灰度共现矩阵，通过描述具有空间位置关系的两个像素的联合分布，得到相应的特征向量；
通过线性组合变换将n个特征向量组合成一个新的特征子集。
4.根据权利要求3所述的自主创作型的数字艺术生成方法，其特征在于，对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型，具体为：
将新的特征子集作为图像的全局信息输送到解析处理模型，通过对图像语义解析，将用户的潜在意图文字化处理，结合图像特征，形成更全面的艺术特征模型；解析处理模型采用双层全卷织神经网络；
接收信息后，分别进行独立和线性叠加两个环节的结果预测，生成语义描述；
将语义描述与提取的特征子集按权重占比进行组合，得到多个艺术特征模型。
5.根据权利要求4所述的自主创作型的数字艺术生成方法，其特征在于，通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材，具体为：
使用艺术特征模型从图片艺术素材库中检索匹配最高的预设数量的参考图片；
根据所述预设数量的参考图片，获取艺术特征模型的评测指标；
在所述艺术特征模型的评测指标满足预设条件的情况下，选择所述艺术特征模型作为搜索模型；
在所述艺术特征模型的评测不满足预设条件的情况下，使用深度学习模型从图片艺术素材库中检索匹配度最高的预设数量的参考图片，若匹配度仍低于70％，则检索中止，进入人工处理此模型；
检索出匹配度高度70％的预设数量的图片艺术素材后执行下一步骤。
6.根据权利要求5所述的自主创作型的数字艺术生成方法，其特征在于，所述对图片艺术素材执行编辑后，根据预设评测标准生成多个方案，具体为：
新建与原素材同等大小的画布，上传原素材图与数据库中匹配图，并进行像素坐标定位点；
通过艺术特征模型，对原始素材层进行智能优化模型；
编辑至少四个动作预设，包括大小动作、裁剪动作、遮挡动作、矫正动作；
编辑至少三个系统模块，包括光效、色彩及细节、识别亮度、对比度、高光和暗部的阀值，并进行智能调节；
为图片添加锐化动作、添加质感动作，即可完成图片优化；
根据预设评测标准输出不同权重的图片结果，综合评测至少三个方案，提供给用户端。
7.根据权利要求6所述的自主创作型的数字艺术生成方法，其特征在于，选择符合方案进行发布时，用户执行编辑发布，编辑过程包括添加文字、边框、贴纸及编码。
8.一种自主创作型的数字艺术生成系统，其特征在于，包括：
用户制作模块；
所述用户制作模块包括本地上传子模块和在线制作子模块；
所述本地上传子模块获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统；
所述在线制作子模块提供包括画笔、橡皮擦和颜色绘画因子的在线绘制和绘画因子控制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
CPArtist模块；
所述CPArtist模块包括特征提取模块、表达意图探索模块、公共领域素材获取模块、可行性创作模块和用户决策推送模块；
所述特征提取模块提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
所述表达意图探索模块用于对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
所述公共领域素材获取模块通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
所述可行性创作模块用于对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
所述用户决策推送模块用于根据评测标准及自身喜好选择方案后进行发布。
9.一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的自主创作型的数字艺术生成方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器用于执行上述权利要求1-7任一所述的自主创作型的数字艺术生成方法。
CN202210726563.3A 2022-06-24 2022-06-24 自主创作型的数字艺术的生成方法、系统、存储介质及电子设备 Pending CN115115745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210726563.3A CN115115745A (zh) 2022-06-24 2022-06-24 自主创作型的数字艺术的生成方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210726563.3A CN115115745A (zh) 2022-06-24 2022-06-24 自主创作型的数字艺术的生成方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115115745A true CN115115745A (zh) 2022-09-27

Family

ID=83328933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210726563.3A Pending CN115115745A (zh) 2022-06-24 2022-06-24 自主创作型的数字艺术的生成方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115115745A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858940A (zh) * 2023-02-14 2023-03-28 滨州市博恒工程管理服务有限公司 一种基于大数据处理的钢结构焊接工艺质量管理推荐方法
CN116308221A (zh) * 2023-05-25 2023-06-23 成都信通信息技术有限公司 一种基于人工智能的低碳奖章自动生成系统
CN117235249A (zh) * 2023-09-26 2023-12-15 中山大学 一种基于知识与数据双驱动的智能创作方法与系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858940A (zh) * 2023-02-14 2023-03-28 滨州市博恒工程管理服务有限公司 一种基于大数据处理的钢结构焊接工艺质量管理推荐方法
CN115858940B (zh) * 2023-02-14 2023-05-16 滨州市博恒工程管理服务有限公司 一种基于大数据处理的钢结构焊接工艺质量管理推荐方法
CN116308221A (zh) * 2023-05-25 2023-06-23 成都信通信息技术有限公司 一种基于人工智能的低碳奖章自动生成系统
CN116308221B (zh) * 2023-05-25 2023-07-21 成都信通信息技术有限公司 一种基于人工智能的低碳奖章自动生成系统
CN117235249A (zh) * 2023-09-26 2023-12-15 中山大学 一种基于知识与数据双驱动的智能创作方法与系统
CN117235249B (zh) * 2023-09-26 2024-04-26 中山大学 一种基于知识与数据双驱动的智能创作方法与系统

Similar Documents

Publication Publication Date Title
CN111291212A (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN115115745A (zh) 自主创作型的数字艺术的生成方法、系统、存储介质及电子设备
CN111489412A (zh) 用于使用神经网络生成基本逼真图像的语义图像合成
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN114996488A (zh) 一种天网大数据决策级融合方法
CN111985520A (zh) 一种基于图卷积神经网络的多模态分类方法
US11928418B2 (en) Text style and emphasis suggestions
Zhang et al. A comprehensive survey on computational aesthetic evaluation of visual art images: Metrics and challenges
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
Cheng et al. Stack-VS: Stacked visual-semantic attention for image caption generation
Cosovic et al. Classification methods in cultural heritage
Rastegar et al. Designing a new deep convolutional neural network for content-based image retrieval with relevance feedback
Li Image synthesis and editing with generative adversarial networks (gans): A review
CN117556067B (zh) 数据检索方法、装置、计算机设备和存储介质
Wu et al. Sentimental visual captioning using multimodal transformer
Sunitha et al. Novel content based medical image retrieval based on BoVW classification method
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
Prasomphan Toward Fine-grained Image Retrieval with Adaptive Deep Learning for Cultural Heritage Image.
Bashmal et al. Language Integration in Remote Sensing: Tasks, datasets, and future directions
Goyal et al. A Review on Different Content Based Image Retrieval Techniques Using High Level Semantic Feature
Adnan et al. Automated image annotation with novel features based on deep ResNet50-SLT
Li et al. Semantic feature extraction using genetic programming in image retrieval
CN114169320A (zh) 一种基于词向量矩阵分解技术的多源数据融合方法及系统
US20230360294A1 (en) Unsupervised style and color cues for transformer-based image generation
Qi Hyperspectral image database query based on big data analysis technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination