CN117392261A - 基于图像特征点识别自动绘制的ai智能绘画系统 - Google Patents

Abstract

本发明涉及智能绘画技术领域，具体为基于图像特征点识别自动绘制的AI智能绘画系统，包括数据收集模块、数据处理模块、模型生成模块和绘画生成模块。本发明中，首先数据收集模块收集不同艺术风格的图片数据和用户绘画需求，将数据和需求发送给数据处理模块进行特征处理，将处理好的数据和待绘制图片分别发送给模型生成模块和绘画生成模块，模型生成模块根据不同艺术图片的数据特征通过机器学习算法来训练模型，将训练好的模型发送给绘画生成模块，绘画生成模块根据待绘制图片数据的特征利用训练好的模型进行特征值转换，再根据特征值对图像进行重建。

Description

基于图像特征点识别自动绘制的AI智能绘画系统

技术领域

本发明涉及智能绘画技术领域，具体为基于图像特征点识别自动绘制的AI智能绘画系统。

背景技术

现有智能绘画系统利用绘画专家设计的规则和模板进行模拟绘画，这些规则和模板包括绘画的指导原则、绘画技巧、特定风格的模板，然而，现有的智能绘画系统在绘画质量和绘画风格上存在弊端。

一方面，现有智能绘画系统往往局限于绘画专家设计的规则中，对专业艺术家或设计师的知识和经验有较高的依赖性，普通人员难以操作；

另一方面，现有的智能绘画系统往往会根据特定风格的模板进行图片绘制，无法满足用户的人性化需求。

发明内容

本发明的目的在于一种基于图像特征点识别自动绘制的AI智能绘画系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于图像特征点识别自动绘制的AI智能绘画系统，其包括数据收集模块、数据处理模块、模型生成模块和绘画生成模块，其中：

所述数据收集模块用于收集各种艺术风格图片和接收用户定制需求，并将图片数据和需求发送给数据处理模块；

所述数据处理模块用于对图片数据进行特征提取和标签处理，并将训练数据和待绘制图片分别发送给模型生成模块和绘画生成模块；

所述模型生成模块根据训练数据利用机器学习算法来训练模型，将训练好的模型发送给绘画生成模块；

所述绘画生成模块利用训练好的模型和待绘制图片数据对图片进行风格转换。

作为本技术方案的进一步改进，所述数据收集模块包括图片收集单元、待绘画图片单元和风格融合选取单元，所述图片收集单元用于收集不同艺术风格图片数据，根据艺术家个人网站、在线艺术画廊和个人博客相关途径收集不同艺术风格的作品；所述待绘画图片单元用于接收前端页面获取的用户待绘画图片，将图片发送给特征处理单元；所述风格融合选取单元用于接收前端页面获取的用户选择风格，将选择的风格指令发送给特征处理单元。

作为本技术方案的进一步改进，所述数据处理模块包括数据存储单元、特征处理单元和标签处理单元，所述数据存储单元用于储存图片收集单元收集的不同艺术风格图片，并将图片数据发送给特征处理单元进行特征处理；所述特征处理单元用于提取图片的特征点和特征描述子作为特征列；所述标签处理单元用于将图片数据的标签列转换为数值类型。

作为本技术方案的进一步改进，所述模型生成模块包括数据拆分单元、模型训练单元、模型评估单元和模型调优单元，所述数据拆分单元接收标签处理单元发送的图片数据，用于将数据集的特征和标签分割开来，并将特征数据和标签数据的百分之八十作为训练集，百分之二十作为测试集，将训练集发送给模型训练单元，将测试集发送给模型评估单元；所述模型训练单元使用机器学习算法中的生成对抗网络模型根据训练集进行模型训练，并将训练好的模型发送给模型评估单元；所述模型评估单元接收数据拆分单元和模型训练单元分别发送的测试集和模型，用于计算模型在测试集上的准确率，其中：

准确率≥百分之90时，所述模型评估单元将模型发送给绘画生成模块中的风格迁移单元；

准确率＜百分之90时，所述模型评估单元将模型发送给模型调优单元进行调优；所述模型调优单元接收模型评估单元发送的模型，用于调整模型中的参数。

作为本技术方案的进一步改进，所述绘画生成模块包括风格迁移单元和图像重建单元，所述风格迁移单元接收特征处理单元和模型评估单元分别发送的待绘制图片数据和训练好的模型，用于调整图片中的特征点和特征描述子；所述图像重建单元接收风格迁移单元调整过的图片数据，用于将图片数据中的特征点和特征描述子进行图像重建。

作为本技术方案的进一步改进，所述特征处理单元根据图像中的像素点提取特征点和特征描述子，具体包括：

特征点提取：首先将图像转换为灰度图像，选择灰度图像中的一个像素点作为当前像素点；在当前像素点的周围选择一个圆形邻域，领域的范围为16个像素点，将像素点按照对称的位置顺序编号，计算当前像素点与邻域内像素点的灰度差值；如果有超过连续12个像素点的灰度值大于或小于当前像素点灰度值加上或减去阈值20，那么当前像素点被认为是一个角点；对图像中的每个像素点都按照上述步骤进行检测，将检测到的角点作为特征点返回；

特征描述子提取：首先选择半径为10像素的圆形区域作为计算范围，选定的圆形区域内，均匀地选择16个采样点；对于每个采样点，计算3x3区域内像素的灰度质心，根据灰度质心信息，得出特征点的主要旋转方向；在特征点周围的区域内选取一组采样点对，其中采样点对的数量设为128，计算两个采样点的灰度值之差，将连续的灰度值转化为二进制编码，将所有采样点对的二进制编码组合起来，形成一个描述子。

作为本技术方案的进一步改进，所述特征处理单元根据不同的图片采取不同的操作，具体包括：

当特征处理单元接收到数据存储单元发送的图片数据时，特征处理单元提取图片的特征点和特征描述子作为每个图片数据的特征列，并将数据发送给标签处理单元进行标签处理；

当特征处理单元接收到待绘画图片单元发送的图片数据时，特征处理单元提取图片的特征点和特征描述子作为每个图片数据的特征列，并将数据发送给绘画生成模块中的风格迁移单元进行风格转换；

当特征处理单元接收到风格融合选取单元发送的风格指令时，根据所选取的风格标签提取数据存储单元中对应的图片数据，根据图片数据提取图片的特征点和特征描述子，并将每个特征点和特征描述子所对应的取值进行相加除以标签的数量，并将数据发送给标签处理单元进行标签处理。

作为本技术方案的进一步改进，所述标签处理单元根据特征处理单元发送的图片数据转换对应的标签数值，具体包括：

将图片中的标签列特征值改为数值类型，创建一个对应的二进制向量，将向量的长度设为标签总数，在每个向量中，只有对应的标签位置上的值为1，其余位置的值为0。

作为本技术方案的进一步改进，所述模型训练单元根据图片数据利用生成网络算法训练模型，过程如下：

创建生成器和判别器：构建生成器和判别器网络，生成器生成与输入特征点和特征描述子相匹配的图像，判别器判断生成器生成的图像和真实图像之间的区别，其中真实图像为标签对应风格的图像；

训练生成器和判别器：固定判别器的权重和参数，将输入的特征点和特征描述子传递给生成器，生成器生成一张图像；

判别器的反馈：将生成的图像和真实图像一起传递给判别器，判别器根据它们的差异对两者进行评价，并输出一个分数，分数是由判别器中所有层的计算和权重的线性组合得到输出实数值，实数值经过sigmoid激活函数进行非线性转换，将其范围压缩到0到1之间的概率值；

更新生成器：根据判别器的反馈，计算生成的图像与真实图像之间的差异，利用该差异调整生成器的权重和参数，使生成的图像接近真实图像，其中调整生成器权重和参数使用梯度下降的方法来更新；

迭代训练：重复执行以上步骤，交替地训练生成器和判别器，直到判别器的概率值大于0.7时，模型训练完成。

与现有技术相比，本发明的有益效果是：

1.该基于图像特征点识别自动绘制的AI智能绘画系统的原理是通过对各个网站的艺术风格图片的收集，通过对图片特征点和特征描述子的提取，发送给生成对抗网络算法进行模型训练，再根据用户所发送的图片利用训练好的模型对特征点和特征描述子进行调整，最后根据特征点和特征描述子进行图像重建，绘制出风格图片，该过程省去了专业艺术家或设计师所需要提供的知识和经验，减少人工设计成本。

2.该基于图像特征点识别自动绘制的AI智能绘画系统中，根据用户指定的多种艺术风格进行融合，利用前端用户所指定的艺术风格，系统根据艺术风格的标签，对相关艺术风格图片的特征点和特征描述子进行平均操作，并将该数据发送给模型进行模型训练，让模型可以输出具有艺术风格融合的特征点和特征描述子，使得系统满足用户所想要的风格图片，增加了系统的学习和进化能力。

附图说明

图1为本发明的整体模块示意图；

图2为本发明的数据收集模块单元示意图；

图3为本发明的数据处理模块单元示意图；

图4为本发明的模型生成模块单元示意图；

图5为本发明的绘画生成模块单元示意图；

图中：100、数据收集模块；101、图片收集单元；102、待绘画图片单元；103、风格融合选取单元；200、数据处理模块；201、数据存储单元；202、特征处理单元；203、标签处理单元；300、模型生成模块；301、数据拆分单元；302、模型训练单元；303、模型评估单元；304、模型调优单元；400、绘画生成模块；401、风格迁移单元；402、图像重建单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，本发明提供一种技术方案：基于图像特征点识别自动绘制的AI智能绘画系统，包括数据收集模块100、数据处理模块200、模型生成模块300和绘画生成模块400。

为了训练模型，需要大量的艺术风格图片数据，首先，数据收集模块100中的图片收集单元101根据艺术家个人网站、在线艺术画廊和个人博客相关途径收集不同艺术风格的作品，并给不同艺术风格的图片添加标签列特征，例如，当图片风格为油画时，风格标签设为油画；当图片风格为水彩画时，风格标签设为油画；当图片风格为素描时，风格标签设为素描，为了方便使用，图片收集单元101将图片数据发送给数据处理模块200中的数据存储单元201进行存储。

为了收集用户的需求，数据收集模块100中的待绘画图片单元102利用前端页面接收用户上传的图片，将用户上传的图片发送给数据处理模块200中的特征处理单元202；风格融合选取单元103利用前端页面接收用户选择的风格，并将选择的风格指令发送给特征处理单元202。为了让数据适合于模型的输入类型，数据存储单元201将存储的数据发送给特征处理单元202。

特征处理单元202用于提取图片当中的特征点和特征描述子，特征描述子用于描述特征点周边区域的特征信息，提取过程如下：

特征点提取：首先将图像转换为灰度图像，选择灰度图像中的一个像素点作为当前像素点；在当前像素点的周围选择一个圆形邻域，领域的范围为16个像素点，将像素点按照对称的位置顺序编号，计算当前像素点与邻域内像素点的灰度差值；如果有超过连续12个像素点的灰度值大于或小于当前像素点灰度值加上或减去阈值20，那么当前像素点被认为是一个角点；对图像中的每个像素点都按照上述步骤进行检测，将检测到的角点作为特征点返回；

特征描述子提取：首先选择半径为10像素的圆形区域作为计算范围，选定的圆形区域内，均匀地选择16个采样点；对于每个采样点，计算3x3区域内像素的灰度质心，根据灰度质心信息，得出特征点的主要旋转方向；在特征点周围的区域内选取一组采样点对，其中采样点对的数量设为128，计算两个采样点的灰度值之差，将连续的灰度值转化为二进制编码，将所有采样点对的二进制编码组合起来，形成一个描述子。

为了让艺术风格进行多样的融合，需要对数据进行不同的特征和标签处理，特征处理单元202将根据不同的指令对数据进行不同的处理，具体包括：

当特征处理单元202接收到数据存储单元201发送的图片数据时，特征处理单元202将提取图片的特征点和特征描述子作为每个图片数据的特征列，为了让模型进行训练，特征处理单元202将特征数据发送给标签处理单元203进行标签处理，标签处理单元203将图片中的标签列特征值改为数值类型，创建一个对应的二进制向量，将向量的长度设为标签总数，在每个向量中，只有对应的标签位置上的值为1，其余位置的值为0，例如，[1,0,0]表示油画风格，[0,1,0]表示水彩画风格，[0,0,1]表示素描风格；标签处理单元203将处理好的数据发送给模型生成模块300中的数据拆分单元301进行模型训练；

当特征处理单元202接收到待绘画图片单元102时，特征处理单元202提取待绘画图片中的特征点和特征描述子作为待绘画图片的特征列，并将数据发送给绘画生成模块400中的风格迁移单元401进行风格转换；

当特征处理单元202接收到风格融合选取单元103发送的风格指令时，根据所选取的风格标签提取数据存储模块201中对应的图片数据，根据图片数据提取图片的特征点和特征描述子，并将每个特征点和特征描述子所对应的取值进行相加除以标签的数量，即对用户指定的艺术风格的特征点和描述子进行平均操作，并将数据发送给标签处理单元203进行标签处理，标签处理单元203将所选取风格标签位置的值设为1，其余设为0，例如，[1,1,0]表示油画和水彩画的风格融合，[0,1,1]表示水彩画和素描的风格融合，将处理好的数据发送给模型生成模块300进行模型的更新。

模型生成模块300中的数据拆分单元301，数据拆分单元301将数据的特征和标签分割开来，并将特征数据和标签数据的百分之八十作为训练集，百分之二十作为测试集。

数据拆分单元301将训练集发送给模型训练单元302进行训练，将测试集发送给模型评估单元303进行检测评估，模型训练单元302使用机器学习算法中的生成对抗网络算法进行模型训练，训练过程如下：

创建生成器和判别器：首先构建两个网络，一个是生成器和一个是判别器，生成器负责生成与输入特征点和特征描述子相匹配的图像，判别器负责判断生成器生成的图像和真实图像之间的区别，其中真实图像为标签对应风格的图像；

训练生成器和判别器：训练过程中，首先固定判别器的权重和参数，只训练生成器，将输入的特征点和特征描述子传递给生成器，生成器生成一张图像；

判别器的反馈：将生成的图像和真实图像一起传递给判别器，判别器根据它们的差异对两者进行评价，并输出一个分数，分数是由判别器中所有层的计算和权重的线性组合得到输出实数值，实数值经过sigmoid激活函数进行非线性转换，将其范围压缩到0到1之间的概率值；

更新生成器：根据判别器的反馈，计算生成的图像与真实图像之间的差异，利用该差异调整生成器的权重和参数，使生成的图像接近真实图像，其中调整生成器权重和参数使用梯度下降的方法来更新；

迭代训练：重复执行以上步骤，交替地训练生成器和判别器，直到判别器的概率值大于0.7时，模型则训练完成。

模型训练单元302将训练好的模型发送给模型评估单元303进行评估，模型评估单元303利用训练好的模型对测试集进行检测评估，过程如下：

计算出模型预测的标签数组与测试集标签数组之间准确预测的样本数目，将准确预测的样本数目除以测试集的样本数目乘以百分比得到准确率，当准确率≥百分之90，则该模型训练成功，将该模型发实时监测和响应模块进行应用，否则，将模型发送给模型调优单元304进行调优。

模型调优单元304通过增加网络的深度、宽度和调整神经元数量参数值来对模型进行调优，将调整好的参数发送给模型训练单元302重新进行模型训练，直到模型评估中的准确率≥百分之90。

模型评估单元303将训练好的模型发送给风格迁移单元401进行应用，风格迁移单元401接收特征处理单元202发送的待绘画图片，将待绘画图片的特征点和特征描述子输入到已训练好的生成器中，根据用户指定的风格对待绘画图片的特征点和特征描述子进行数值转换，将转换后的数据特征发送给图像重建单元402。

图像重建单元402根据转换后的特征数据对数据进行图像重建，过程如下：

首先将待重建图像的特征点与参考图像的特征点进行匹配；对于成功匹配的特征点对（即在待重建图像和参考图像之间找到了对应关系），将每个特征点的位置信息记录下来，形成特征点对；利用特征点对，可以进行三角剖分，将图像分割为多个三角形区域；基于三角形区域的形变，使用相似三角形方法，将待重建图像中的每个三角形形变到与参考图像中对应三角形一致的形状；通过图像映射方法，将每个重建的三角形区域中的纹理从参考图像中提取和映射到相应的三角形区域中；最后，使用颜色校正和边缘平滑技术在完善图像质量，并将图像输出到前端显示器中。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：包括数据收集模块（100）、数据处理模块（200）、模型生成模块（300）和绘画生成模块（400），其中：

所述数据收集模块（100）用于收集各种艺术风格图片和接收用户定制需求，并将图片数据和需求发送给数据处理模块（200）；

所述数据处理模块（200）用于对图片数据进行特征提取和标签处理，并将训练数据和待绘制图片分别发送给模型生成模块（300）和绘画生成模块（400）；

所述模型生成模块（300）根据训练数据利用机器学习算法来训练模型，将训练好的模型发送给绘画生成模块（400）；

所述绘画生成模块（400）利用训练好的模型和待绘制图片数据对图片进行风格转换。

2.根据权利要求1所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述数据收集模块（100）包括图片收集单元（101）、待绘画图片单元（102）和风格融合选取单元（103），所述图片收集单元（101）用于收集不同艺术风格图片数据，根据艺术家个人网站、在线艺术画廊和个人博客相关途径收集不同艺术风格的作品；所述待绘画图片单元（102）用于接收前端页面获取的用户待绘画图片，将图片发送给特征处理单元（202）；所述风格融合选取单元（103）用于接收前端页面获取的用户选择风格，将选择的风格指令发送给特征处理单元（202）。

3.根据权利要求1所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述数据处理模块（200）包括数据存储单元（201）、特征处理单元（202）和标签处理单元（203），所述数据存储单元（201）用于储存图片收集单元（101）收集的不同艺术风格图片，并将图片数据发送给特征处理单元（202）进行特征处理；所述特征处理单元（202）用于提取图片的特征点和特征描述子作为特征列；所述标签处理单元（203）用于将图片数据的标签列转换为数值类型。

4.根据权利要求1所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述模型生成模块（300）包括数据拆分单元（301）、模型训练单元（302）、模型评估单元（303）和模型调优单元（304），所述数据拆分单元（301）接收标签处理单元（203）发送的图片数据，用于将数据集的特征和标签分割开来，并将特征数据和标签数据的百分之八十作为训练集，百分之二十作为测试集，将训练集发送给模型训练单元（302），将测试集发送给模型评估单元（303）；所述模型训练单元（302）使用机器学习算法中的生成对抗网络模型根据训练集进行模型训练，并将训练好的模型发送给模型评估单元（303）；所述模型评估单元（303）接收数据拆分单元（301）和模型训练单元（302）分别发送的测试集和模型，用于计算模型在测试集上的准确率，其中：

准确率≥百分之90时，所述模型评估单元（303）将模型发送给绘画生成模块（400）中的风格迁移单元（401）；

准确率＜百分之90时，所述模型评估单元（303）将模型发送给模型调优单元（304）进行调优；所述模型调优单元（304）接收模型评估单元（303）发送的模型，用于调整模型中的参数。

5.根据权利要求1所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述绘画生成模块（400）包括风格迁移单元（401）和图像重建单元（402），所述风格迁移单元（401）接收特征处理单元（202）和模型评估单元（303）分别发送的待绘制图片数据和训练好的模型，用于调整图片中的特征点和特征描述子；所述图像重建单元（402）接收风格迁移单元（401）调整过的图片数据，用于将图片数据中的特征点和特征描述子进行图像重建。

6.根据权利要求3所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述特征处理单元（202）根据图像中的像素点提取特征点和特征描述子，具体包括：

特征点提取：首先将图像转换为灰度图像，选择灰度图像中的一个像素点作为当前像素点；在当前像素点的周围选择一个圆形邻域，领域的范围为16个像素点，将像素点按照对称的位置顺序编号，计算当前像素点与邻域内像素点的灰度差值；如果有超过连续12个像素点的灰度值大于或小于当前像素点灰度值加上或减去阈值20，那么当前像素点被认为是一个角点；对图像中的每个像素点都按照上述步骤进行检测，将检测到的角点作为特征点返回；

特征描述子提取：首先选择半径为10像素的圆形区域作为计算范围，选定的圆形区域内，均匀地选择16个采样点；对于每个采样点，计算3x3区域内像素的灰度质心，根据灰度质心信息，得出特征点的主要旋转方向；在特征点周围的区域内选取一组采样点对，其中采样点对的数量设为128，计算两个采样点的灰度值之差，将连续的灰度值转化为二进制编码，将所有采样点对的二进制编码组合起来，形成一个描述子。

7.根据权利要求3所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述特征处理单元（202）根据不同的图片采取不同的操作，具体包括：

当特征处理单元（202）接收到数据存储单元（201）发送的图片数据时，特征处理单元（202）提取图片的特征点和特征描述子作为每个图片数据的特征列，并将数据发送给标签处理单元（203）进行标签处理；

当特征处理单元（202）接收到待绘画图片单元（102）发送的图片数据时，特征处理单元（202）提取图片的特征点和特征描述子作为每个图片数据的特征列，并将数据发送给绘画生成模块（400）中的风格迁移单元（401）进行风格转换；

当特征处理单元（202）接收到风格融合选取单元（103）发送的风格指令时，根据所选取的风格标签提取数据存储单元（201）中对应的图片数据，根据图片数据提取图片的特征点和特征描述子，并将每个特征点和特征描述子所对应的取值进行相加除以标签的数量，并将数据发送给标签处理单元（203）进行标签处理。

8.根据权利要求3所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述标签处理单元（203）根据特征处理单元（202）发送的图片数据转换对应的标签数值，具体包括：

将图片中的标签列特征值改为数值类型，创建一个对应的二进制向量，将向量的长度设为标签总数，在每个向量中，只有对应的标签位置上的值为1，其余位置的值为0。

9.根据权利要求4所述的基于图像特征点识别自动绘制的AI智能绘画系统，其特征在于：所述模型训练单元（302）根据图片数据利用生成网络算法训练模型，过程如下：

创建生成器和判别器：构建生成器和判别器网络，生成器生成与输入特征点和特征描述子相匹配的图像，判别器判断生成器生成的图像和真实图像之间的区别，其中真实图像为标签对应风格的图像；

训练生成器和判别器：固定判别器的权重和参数，将输入的特征点和特征描述子传递给生成器，生成器生成一张图像；

判别器的反馈：将生成的图像和真实图像一起传递给判别器，判别器根据它们的差异对两者进行评价，并输出一个分数，分数是由判别器中所有层的计算和权重的线性组合得到输出实数值，实数值经过sigmoid激活函数进行非线性转换，将其范围压缩到0到1之间的概率值；

更新生成器：根据判别器的反馈，计算生成的图像与真实图像之间的差异，利用该差异调整生成器的权重和参数，使生成的图像接近真实图像，其中调整生成器权重和参数使用梯度下降的方法来更新；

迭代训练：重复执行以上步骤，交替地训练生成器和判别器，直到判别器的概率值大于0.7时，模型训练完成。