CN116010636A - 一种基于美术图像标签的检索推送方法及其用途 - Google Patents

Abstract

本发明公开了一种基于美术图像标签的检索推送方法，包括以下步骤：构建标签模型数据库：利用不同科目、各个类别的训练样本，进行不同标签内容的训练，对训练样本进行分类和归类，获得标签模型数据库‑检索推送：将美术作品图像样本上传至训练完毕的标签模型数据库，而后提取美术作品图像样本的知识点标签，再检索与之相关联的美术作品，而后推送相关联的美术作品‑实时更新：标签模型数据库实时记录输入的美术作品图像样本的知识点标签，并进行共性标签和模型构建，后续加大此类内容的推送‑生成用户画像。本发明采用上述基于美术图像标签的检索推送方法，能够适应美术学习等视觉专业性强等特点，有效提高美术艺考生的学习效率，降低学习难度。

Description

一种基于美术图像标签的检索推送方法及其用途

技术领域

本发明涉及一种图像识别及信息推送技术，尤其涉及一种基于美术图像标签的检索推送方法及其用途。

背景技术

随着人们的生活水平的不断提高，人们对自身的素质要去不断提高；越来越多的人关注自身才艺的培养。随着素质教育的普及，越来越多的学生投身美术学习的道路上。其中美术作为一项实用艺术广受欢迎，为进行针对性的学习，在美术学习过程中，经常需要检索相关美术作品。除此之外，美术专业本身乃至与美术专业相关的设计专业，都存在着检索高度精准的美术图像的工作需要，如学生进行视觉研究，人工智能美术图像的训练等，都需要基于美术图像语义中的某一特定领域进行大量的图像收集工作，但现有针对图像的检索方式较为粗放，市面上尚未出现专门根据美术图像进行检索的方式。因此，现有的检索方式和图像检索工具满足不了此类专业性较强的工作需要，给现有的美术工作者、美术专业及其设计专业、人工智能视觉领域的研究者乃至机构带来了较大困扰。

现有检索方法：

普遍为相关字、文字描述和关键词的搜索，该方法具有其局限性，无法适用于美术图像等视觉性和专业性较强的科目和学习上。现下虽然已经出现了如淘宝、百度等图片识别功能，但该功能局限于相似度的推荐，如拍摄该物品的图片搜索该物品则只能推送一样或相似度较高的物品。此类图像方法同样不适用于美术图像等视觉性和专业性较强的科目和学习。

而技术上述方的内容推送方法：

如抖音。则是根据通过大数据计算，实现内容个人化阅读，通过给用户贴标签和内容贴标签进行数据收集。(如：(1)个人资料；(2)关键词搜索的记录；(3)浏览的比较多的类目视频；(4)点赞视频数据，评论数据，通讯录的圈子关系等。)该方式虽能够大程度根据用户喜好进行推送，但针对如美术艺考等专业学科领域在一定程度上存在缺陷。如只能根据用户喜好和标签进行推送，其方式则过于粗放，无法针对用户画面存在的具体问题以及图像所直观传达知识点标签进行精准推送，更无法关联该画面存在问题相关的知识点标签和学习资料。难以针对特定学科语义场景进行分析和精准推送，起到提高学习效率的需要。

发明内容

针对上述现有的检索方式和个性化内容推送方式不能完全适应美术教育的需要和学生美术学习进程的问题，本发明基于人工智能、深度学习、强化学习、大数据等技术，面向美术教育中的重要环节——美术考试、教学、图像检索、知识学习和巩固，为美术学习者提供了一种便捷高效的美术知识点标签推送及检索服务，为美术教育机构提供了一种学生学习数据可视化的方式，为美术教培软件提供了一种新型的美术图像检索及推送机制。

为实现上述目的，本发明提供了基于美术图像标签的检索推送方法，包括以下步骤：

S1、构建标签模型数据库

利用不同科目、各个类别的训练样本，进行不同标签内容的训练，并按照知识点标签对数据库内的训练样本进行分类和归类，获得标签模型数据库；

S2、检索推送

检索：将美术作品图像样本上传至训练完毕的标签模型数据库，而后提取美术作品图像样本的知识点标签，再检索与之相关联的美术作品，而后根据提取的美术作品图像样本的知识点标签，分别对美术作品图像样本进行判定；

推送：根据用户上传的美术作品图像样本和检索图像的标签数据推送相关联的美术作品；

S3、实时更新

标签模型数据库实时记录输入的美术作品图像样本的知识点标签，并根据多次上传的美术作品图像样本进行共性标签和模型构建，后续加大此类内容的推送，且推送的内容根据用户实时上传的美术作品图像样本实时更新，在此过程中若使用者后续更改上传其他类与原先图像科目无关的新图像，则将进行基于该科目图像的新模型构建；

S4、生成用户画像

当用户使用一段时间后，对用户上传的美术作品图像样本、检索图像的标签数据进行综合分析，生成用户画像。

优选的，步骤S1中具体包括以下步骤：

首先，通过收集一定量的美术作品图像，并且对于美术作品图像的知识点标签进行标注，构成训练数据集，再通过自监督的方式进行训练，得到有学习能力的图像标注系统；

同时考虑到图像数量极大，无法对于大量图像进行人力标注，因此需要再通过半监督学习的方式，对数据库中不断输入的未标注的美术作品图像与已标注的图像一起训练，半监督学习通过不断对于输入的无标注美术作品图像进行预测并标注，形成伪标签，并入训练数据集，继续进行学习，以增强本系统的鲁棒性，新的训练数据库为：

D＝{(x₁,y₁),…,(x_l,y_l),x_l+1,…,x_m}

其中有l个样本是有标注的，还有m-l个样本是无标注的。

优选的，步骤S2中的知识点标签包括直观知识和间接知识；

所述直观知识包括经美术作品图像样本直接读取的科目信息知识、物品信息知识、主色调知识、色彩冷暖关系知识、黑白灰关系知识、空间知识、技法知识、刻画程度知识、物动态知识、人物特征知识、五官比例知识、人物特征知识、形体块面知识、结构透视知识、色阶关系知识、画纸磨损情况；

所述间接知识包括用文本知识和视频知识。

优选的，步骤S2中的物品信息知识提取具体包括以下步骤：首先训练卷积神经网络，然后输入美术作品图像样本，利用深度可分离卷积神经网络对美术作品图像内容进行识别，并将不同形态的物品进行提取，而后利用SoftMax分类器对美术作品图像上的物品贴上标签，再利用多头注意力机制对该美术作品图像样本中涉及物品赋予该学科属性标签；

当美术作品图像样本为素描静物时，包括以下步骤：

首先需要对于输入的训练样本进行素描静物的目标检测，通过素描图像的静物检测及标签数据对于yolov5网络模型进行训练，然后在yolov5网络的Neck网络通过PANET结构进行掩模预测，再利用GOU_Loss作为素描静物检测的目标函数进行优化，得到最优的yolov5素描图像的静物检测模型，最后通过非极大值抑制处理，输出预测静物类别以及静物预测区域信息，并按照静物区域坐标进行裁剪并输出，训练完成后，对于输入的样本通过加载上述最优的yolov5素描图像的静物检测模型参数进行预测，得到预测静物类别，并按照静物区域坐标裁剪输入素描图像，输出样本素描图像中的各静物图像以及学科属性标签；

其中，GIOU_Loss的目标函数如下：

式中，A、B为预测的两个IOU框的面积，C代表包围A、B的最小面积。

优选的，步骤S2中的黑白灰关系知识提取具体包括以下步骤：

输入美术作品图像样本，将黑白图片或者由彩色图片转换的黑白图片进行明度关系提取，根据不同明度色块的在画面中的面积占比，判断该画面整体为何种明度画面，即判断黑白灰关系，并基于此给予明度标签和优秀等级标签；

当美术作品图像样本为水粉静物时，包括以下步骤：

首先，需要将输入的水粉静物样本利用灰度图生成算法生成灰度图，利用亮度RGB分量近似RGB再除以3，并加上色度值UV求取平均值，得到图像灰度值I1，以获得感知和结构上良好的灰度图像质量，计算公式如下：

Y＝(0.299×R)+(0.587×G)+(0.114×B)

U＝(B-Y)×0.565

V＝(R-Y)×0.713

UV＝U+V

R1＝R×0.299

R2＝R×0.587

R3＝R×0.114

G1＝G×0.299

G2＝G×0.587

G3＝G×0.114

B1＝B×0.299

B2＝B×0.587

B3＝B×0.114

R4＝(R1+R2+R3)/3

G4＝(G1+G2+G3)/3

B4＝(B1+B2+B3)/3

I1＝(R4+G4+B4+UV)/4

END

再将图像等分成10个矩形色块，并通过K-means聚类算法计算每个色块的主灰度，而后提取主灰度的K-means聚类算法，对于每个色块的像素点灰度值进行聚类，需要对矩形色块内的每个像素点灰度值与其对应聚类中心灰度值的距离平方之和求最小，即

式中，n代表色块中像素点的坐标，C(n)代表该像素的灰度值，N代表每个色块内的像素点数量，K代表预设聚类数；

然后，根据该聚类算法将该色块中像素点最多的簇视为主灰度簇，并根据算法求得的聚类中心对应的灰度值视为该色块的主灰度；

最后，通过预设阈值给每个色块一个黑白灰属性定义，并根据上述计算出的每个色块的主灰度依据阈值得到色块的黑白灰属性，计算各灰度色块的矩形面积占比，取最大色块面积的黑白灰属性为该水粉静物样本的标签。

优选的，步骤S2中的色彩冷暖关系知识和主色调知识提取具体包括以下步骤：输入美术作品图像样本，对该样本进行颜色色块的提取，因其色彩绘画采用混合颜料调制的间色，故将各个提取出来的间色色块对照RGB颜色对照表获得该颜色的数值，而后根据本样本中不同颜色的数值进行对照，划定数值范围，与该数值接近纯色数值则归纳为同一色调，最后，按照不同色调在本样本中所占据的面积进行对比，面积最大的色调为主色调，从而判断该样本的具体色调以及冷暖色调；

当美术作品图像样本为水粉静物时，包括以下步骤：

首先，将图像等分成30个矩形色块，并通过K-means聚类算法计算每个色块的主RGB颜色值，提取主RGB的K-means聚类算法，对于每个色块的像素点颜色进行聚类，对矩形色块内的每个像素点RGB值与其对应聚类中心RGB值的距离平方之和求最小，即

式中，n代表色块中像素点的坐标，C(n)代表该像素的RGB值，N代表每个色块内的像素点数量，K代表预设聚类数；

然后，根据该聚类算法将该色块中像素点最多的簇视为主色调簇，并根据算法求得的聚类中心对应的RGB值视为该色块的主RGB值；

最后，通过预设阈值给每个色块一个色调及冷暖属性定义，并根据上述计算出的每个色块的主RGB值依据阈值得到色块的主色调，计算各色调色块的矩形面积占比，取最大色块面积的色调属性为该水粉静物样本的主色调标签，并依据冷暖色调的定义给出该样本的冷暖色调标签。

优选的，步骤S2中的空间知识提取具体包括以下步骤：

输入美术作品图像样本，提该样本取中心区域的最黑和最白的明亮并对比，得到一个对比度的数值，同时提取该样本四周模糊区域的最黑和最白的明亮并对比，得到另一个对比度的数值，将两个对比度进行比较，若小于设定值，则判定空间感弱，否则判定空间感强；

当美术作品图像样本为素描静物时，包括以下步骤：

首先，将输入图像样本等分成36个图像区域，并将环中心区域以及主体中心区域视为中心区域，四周区域视为模糊区域，以此将36个图像区域分成中心区域和模糊区域各自进行分析；

其次，对各区域图像的灰度值或者RGB值进行聚类，考虑到需要提取各区域的明暗程度，将该问题视为2类的聚类问题，通过K-means聚类算法进行聚类，K-means聚类算法对于每个区域的像素点颜色进行聚类，对各区域内的每个像素点灰度值或者RGB值与其对应聚类中心灰度值或者RGB值的距离平方之和求最小，即

式中，n代表各区域像素点的坐标，C(n)代表该像素的灰度值或者RGB值，N代表每个区域内的像素点数量，K代表预设聚类数，K取2；

再根据算法求得的两类聚类中心对应的灰度值或者RGB值分别视为该色块的主明度值、主暗度值；

最后，对于中心区域、模糊区域两块区域的主明度、主暗度分别求差值，得到两种区域的主明暗对比度，再计算中心区域、模糊区域的主明暗对比度之差，并通过阈值二值化，得到两种区域明暗对比差异性特征，如果主明暗对比度差值大于该阈值，则给该作品打上空间感强的标签，如果小于该阈值，则给该作品打上空间感弱的标签。

优选的，步骤S2中的技法知识提取具体包括以下步骤：

输入美术作品图像样本，划定该样本中主体物位置，提取主体物面积范围，再提取该主体物的亮部，对比数据库中已录入的技法情况，判断该样本的笔触情况，若笔触或排线清晰不模糊，走线硬朗，笔触明确，则该画作为优，否则为差；

当美术作品图像样本为素描静物或者色彩静物时，包括以下步骤：

首先，基于训练样本将各个笔触的形状图像以及笔触类别标签构建成笔触分类数据库，同时将各种排线方法的形状图像以及排线类别标签构建成排线分类数据库，再通过多支路集成CNN输入样本进行训练，并优化交叉熵损失函数得到最优的笔触识别、排线识别模型，其中，交叉熵损失函数如下：

其次，对于输入样本图像的主体物中心区域进行检测，得到图像中各物体的大致区域；

最后，通过K-means聚类方法，得到图像中最亮以及最暗的坐标点，提取出最亮部的图像区域，再通过上述训练好的多支路集成CNN识别该图像区域的笔触类别或者排线类别，并且将识别出来的图像区域视为清晰笔触/排线，未识别出的图像区域视为不清晰笔触/排线。

优选的，步骤S2中的文本知识提取具体包括以下步骤：

首先，需要通过训练好的CTPN网络模型对于输入图像进行文字目标检测，该网络在VGG16模型的最后一个卷积映射中密集滑动一个3×3空间窗口，每一行的顺序窗口由一个双向LSTM循环连接，其中每个窗口的卷积特征3×3×C被用作256D BLSTM的输入，且RNN层与512D全连接层相连，其次是输出层，共同预测k个锚点的文本/非文本评分、y轴坐标和偏移量，网络最终输出连续固定宽度的精细文本框，并将图片依据预测的文本框进行裁剪，得到图像的文本区域；

其次，再通过训练好的CRNN-CTC网络对于上述检测到的文本区域的文字进行识别，该网络首先通过CNN进行下采样，得到文本图像的特征图，再通过RNN对于特征图的序列编码进行特征提取，将编码映射至图像文本的预测，并通过特征描述层输出图像中的文本信息；

最终，输出样本图像中的各区域中的文本信息，作为该图像的文本知识标签。

基于美术图像标签的检索推送方法的用途，用于美术教学机构；

所述标签模型数据库为基于美术教学机构所有学员上传的美术画面图像构建的模型，生成所有学员用户画像，便于掌握所有学员的学习进度、学习情况，调整教学大纲和进行针对性教学。

因此，本发明的有益效果如下：

1、解决了现有检索方法局限于相关字眼、文字描述和关键词的搜索，无法适用于美术图像等视觉性和专业性较强等科目问题。

2、解决了现有图像检索功能局限于图像相似度，如检索某一物品的图片进行搜索，则只能推送相似度较高的物品等问题。从而实现检索美术科目类图像能够分析和构建图像语义数据库，精准定位该图像所蕴含的学科领域知识、如：背景知识、技法知识、点评内容、符号元素等知识。从而达到学生只需上传画作，便可精准定位此类画作存在的问题和检索该画作学科领域的相关知识的目的，提高学生学习效率。

3、解决了现有推荐机制局限于给用户和内容贴标签，根据用户喜好和标签进行推送，无法适用于美术艺考画面等特定专业学科领域。即本发明则能够针对美术类画面数据进行数据库搭建及数据建模，可以针对用户画面存在的具体问题进行精准推送和关联该画面存在问题相关的知识点标签和学习资料，针对特定学科语义场景进行分析和精准推送，起到辅助用户进行个性化的美术学习和提高学习效率的作用。

4、符合当下教育数字化转型和教育信息化的需求，实现了美术学习过程数据的收集和信息场景搭建，应用和融合数字技术，树立数字化意识和思维、培养学生美术学习数字化能力和方法，构建智慧美术教育发展生态。

本发明的出现顺应了当前教育数字化转型和教育信息化的需求，实现了美术学习过程数据的收集和信息场景搭建，应用和融合数字技术，树立数字化意识和思维、培养学生美术学习数字化能力和方法、构建智慧美术教育发展生态、提供了一种针对美术教育的数字治理体系和机制。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实施例1的提取过程图；

图2为本发明的实施例2的提取过程图；

图3为本发明的实施例3的提取过程图；

图4为本发明的实施例4的提取过程图；

图5为本发明的实施例5的提取过程图；

图6为本发明的实施例6的提取过程图；

图7为本发明的实施例7的提取过程图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本发明包括以下步骤：

S1、构建标签模型数据库

利用不同科目、各个类别的训练样本，进行不同标签内容的训练，并按照知识点标签对数据库内的训练样本进行分类和归类，获得标签模型数据库；

优选的，步骤S1中具体包括以下步骤：

首先，通过收集一定量的美术作品图像，并且对于美术作品图像的知识点标签进行标注，构成训练数据集，再通过自监督的方式进行训练，得到有学习能力的图像标注系统；

同时考虑到图像数量极大，无法对于大量图像进行人力标注，因此需要再通过半监督学习的方式，对数据库中不断输入的未标注的美术作品图像与已标注的图像一起训练，半监督学习通过不断对于输入的无标注美术作品图像进行预测并标注，形成伪标签，并入训练数据集，继续进行学习，以增强本系统的鲁棒性，新的训练数据库为：

D＝{(x₁,y₁),…,(x_l,y_l),x_l+1,…,x_m}

其中有l个样本是有标注的，还有m-l个样本是无标注的。

需要说明的是，如输入多张素描图像，则系统会根据素描图像所提取的多个标签形成多个标签大类数据库，多个标签数据库构建形成整个系统的数据库。标签数据库之间也相互关联，便于调用。当数据库中已有大量不同的知识点和标签内容后，单张图片便能实现单个数据模型的构建。

S2、检索推送

检索：将美术作品图像样本上传至训练完毕的标签模型数据库，而后提取美术作品图像样本的知识点标签，再检索与之相关联的美术作品，而后根据提取的美术作品图像样本的知识点标签，分别对美术作品图像样本进行判定；

推送：根据用户上传的美术作品图像样本和检索图像的标签数据推送相关联的美术作品；

优选的，步骤S2中的知识点标签包括直观知识和间接知识；

所述直观知识包括经美术作品图像样本直接读取的科目信息知识、物品信息知识、主色调知识、色彩冷暖关系知识、黑白灰关系知识、空间知识、技法知识、刻画程度知识、物动态知识、人物特征知识、五官比例知识、人物特征知识、形体块面知识、结构透视知识、色阶关系知识、画纸磨损情况；即直观知识为依据美术作品图像可直接判断该美术作品图像优良的相关知识信息；

所述间接知识包括用文本知识和视频知识。如科目知识、技法知识(文字部分)、绘画过程知识、文字注释知识、过程讲解知识、分数知识、画作问题知识等需根据画面进行文字或视频进行间接转译的知识，即依据美术作品图像难以直接判断该美术作品图像的相关知识信息。

需要说明的是，同时，由于美术作品的特殊性和感性特征，范畴难以定量。因此，本实施例知识的范围限定于美术联考领域，其提取依据源于美术联考中考试的评分和教学规范以及长期以来约定俗成的惯例，但不应解读为对本发明的限制。

优选的，步骤S2中的物品信息知识提取具体包括以下步骤：首先训练卷积神经网络，然后输入美术作品图像样本，利用深度可分离卷积神经网络对美术作品图像内容进行识别，并将不同形态的物品进行提取，而后利用SoftMax分类器对美术作品图像上的物品贴上标签，如“鸭子”再利用多头注意力机制对该美术作品图像样本中涉及物品赋予该学科属性标签如“素描静物——鸭子”；

以此类推，如输入速写画面则提取人物信息，如“中年男人”、“老年妇女”、“女青年”等标签，输入色彩头像画面则提取人物头像信息，如“中年妇女头像”、“青年男性头像”等。

需要说明的是，以上物品及人物知识不止于单个标签，如速写画面提取信息之后赋予了“中年男人”标签，但并不局限于此类标签，仍可赋予其他标签，如“站着的中年男人”、“手里拿着物品的中年男人”等。此类标签的赋予，依据训练样本数量和内容，卷积神经网络不断进行训练并进行分类。样本越多，其提取共性规律越多，则同一图片中的标签越多。

同时，此处仅以素描静物进行举例，该方法还适用于色彩静物、色彩头像、素描头像、速写等科目的美术图像。

需要说明的是，以上物品及人物知识不止于单个标签，如速写画面提取信息之后赋予了“中年男人”标签，但并不局限于此类标签，仍可赋予其他标签，如“站着的中年男人”、“手里拿着物品的中年男人”等。此类标签的赋予，依据训练样本数量和内容，卷积神经网络不断进行训练并进行分类。样本越多，其提取共性规律越多，则同一图片中的标签越多。

图1为本发明的实施例1的提取过程图，如图1所示，实施例1：当美术作品图像样本为素描静物时，包括以下步骤：

首先需要对于输入的训练样本进行素描静物的目标检测，通过素描图像的静物检测及标签数据对于yolov5网络模型进行训练，然后在yolov5网络的Neck网络通过PANET结构进行掩模预测，再利用GOU_Loss作为素描静物检测的目标函数进行优化，得到最优的yolov5素描图像的静物检测模型，最后通过非极大值抑制处理，输出预测静物类别以及静物预测区域信息，并按照静物区域坐标进行裁剪并输出，训练完成后，对于输入的样本通过加载上述最优的yolov5素描图像的静物检测模型参数进行预测，得到预测静物类别，并按照静物区域坐标裁剪输入素描图像，输出样本素描图像中的各静物图像以及学科属性标签；

其中，GIOU_Loss的目标函数如下：

式中，A、B为预测的两个IOU框的面积，C代表包围A、B的最小面积。

优选的，步骤S2中的黑白灰关系知识提取具体包括以下步骤：

输入美术作品图像样本，将黑白图片或者由彩色图片转换的黑白图片进行明度关系提取，根据不同明度色块的在画面中的面积占比，判断该画面整体为何种明度画面，即判断黑白灰关系，并基于此给予明度标签和优秀等级标签；需要说明的是黑白灰关系不局限于素描和速写图片中、色彩类图片也都具有其黑白灰属性，色彩中黑白灰的关系就是色彩的明度关系。

图2为本发明的实施例2的提取过程图，如图2所示，实施例2：当美术作品图像样本为水粉静物时，包括以下步骤：

首先，需要将输入的水粉静物样本利用灰度图生成算法生成灰度图，利用亮度RGB分量近似RGB再除以3，并加上色度值UV求取平均值，得到图像灰度值I1，以获得感知和结构上良好的灰度图像质量，计算公式如下：

Y＝(0.299×R)+(0.587×G)+(0.114×B)

U＝(B-Y)×0.565

V＝(R-Y)×0.713

UV＝U+V

R1＝R×0.299

R2＝R×0.587

R3＝R×0.114

G1＝G×0.299

G2＝G×0.587

G3＝G×0.114

B1＝B×0.299

B2＝B×0.587

B3＝B×0.114

R4＝(R1+R2+R3)/3

G4＝(G1+G2+G3)/3

B4＝(B1+B2+B3)/3

I1＝(R4+G4+B4+UV)/4

END

再将图像等分成10个矩形色块，并通过K-means聚类算法计算每个色块的主灰度，而后提取主灰度的K-means聚类算法，对于每个色块的像素点灰度值进行聚类，需要对矩形色块内的每个像素点灰度值与其对应聚类中心灰度值的距离平方之和求最小，即

式中，n代表色块中像素点的坐标，C(n)代表该像素的灰度值，N代表每个色块内的像素点数量，K代表预设聚类数；

然后，根据该聚类算法将该色块中像素点最多的簇视为主灰度簇，并根据算法求得的聚类中心对应的灰度值视为该色块的主灰度；

最后，通过预设阈值给每个色块一个黑白灰属性定义，并根据上述计算出的每个色块的主灰度依据阈值得到色块的黑白灰属性，计算各灰度色块的矩形面积占比，取最大色块面积的黑白灰属性为该水粉静物样本的标签。

优选的，步骤S2中的色彩冷暖关系知识和主色调知识提取具体包括以下步骤：输入美术作品图像样本，对该样本进行颜色色块的提取，因其色彩绘画采用混合颜料调制的间色，故将各个提取出来的间色色块对照RGB颜色对照表获得该颜色的数值，而后根据本样本中不同颜色的数值进行对照，划定数值范围，与该数值接近纯色数值则归纳为同一色调，最后，按照不同色调在本样本中所占据的面积进行对比，面积最大的色调为主色调，从而判断该样本的具体色调以及冷暖色调；

其中冷暖色指色彩心理上的冷热感觉。红、橙、黄、棕等色往往给人热烈、兴奋、热情、温和的感觉，所以将其称为暖色。绿、蓝、紫等色往往给人镇静、凉爽、开阔，通透的感觉，所以将其称为冷色。而黑白灰为中性色。每一张用于美术联考的色彩作品都需具备色彩冷暖关系及主色调意识。

需要说明的是，此处可视化知识主要适用于水粉、水彩等种类的色彩图像中。

图3为本发明的实施例3的提取过程图，如图3所示，实施例3：当美术作品图像样本为水粉静物时，包括以下步骤：

首先，将图像等分成30个矩形色块，并通过K-means聚类算法计算每个色块的主RGB颜色值，提取主RGB的K-means聚类算法，对于每个色块的像素点颜色进行聚类，对矩形色块内的每个像素点RGB值与其对应聚类中心RGB值的距离平方之和求最小，即

式中，n代表色块中像素点的坐标，C(n)代表该像素的RGB值，N代表每个色块内的像素点数量，K代表预设聚类数；

然后，根据该聚类算法将该色块中像素点最多的簇视为主色调簇，并根据算法求得的聚类中心对应的RGB值视为该色块的主RGB值；

最后，通过预设阈值给每个色块一个色调及冷暖属性定义，并根据上述计算出的每个色块的主RGB值依据阈值得到色块的主色调，计算各色调色块的矩形面积占比，取最大色块面积的色调属性为该水粉静物样本的主色调标签，并依据冷暖色调的定义给出该样本的冷暖色调标签。

优选的，步骤S2中的空间知识提取具体包括以下步骤：

输入美术作品图像样本，提该样本取中心区域的最黑和最白的明亮并对比，得到一个对比度的数值，同时提取该样本四周模糊区域的最黑和最白的明亮并对比，得到另一个对比度的数值，将两个对比度进行比较，若小于设定值，则判定空间感弱，否则判定空间感强；

画面营造出有秩序的空间感的同时，既也是营造虚实感的体现。画面的空间感和虚实感知识的体现，即按照“近实远虚”、“物品焦点处实，背景虚”、“近大远小”、“亮实暗虚”、“方实圆虚”等规律。“实”即此处画面清晰，明朗。“虚”即此处画面模糊，不清晰。如图4中心区域为最清晰、最明确、明度对比最大，若是色彩作品，则中心区色相、颜色变化越丰富。由中心区到环中心过渡区、四周模糊区，对比度清晰度都会依次下降，从而体现画面节奏感、空间感、虚实层次。基于此画面特性，系统会提取美术作品的中心区域和其他区域的图像从明度、清晰度、色相饱和度进行比较。若不同区域的对比图像明度、清晰度、色相饱和度变化较为接近，则该作品虚实关系不明确、空间感推敲不到位。

图4为本发明的实施例4的提取过程图，如图4所示，实施例4：当美术作品图像样本为素描静物时，包括以下步骤：

首先，将输入图像样本等分成36个图像区域，并将环中心区域以及主体中心区域视为中心区域，四周区域视为模糊区域，以此将36个图像区域分成中心区域和模糊区域各自进行分析；

其次，对各区域图像的灰度值或者RGB值进行聚类，考虑到需要提取各区域的明暗程度，将该问题视为2类的聚类问题，通过K-means聚类算法进行聚类，K-means聚类算法对于每个区域的像素点颜色进行聚类，对各区域内的每个像素点灰度值或者RGB值与其对应聚类中心灰度值或者RGB值的距离平方之和求最小，即

式中，n代表各区域像素点的坐标，C(n)代表该像素的灰度值或者RGB值，N代表每个区域内的像素点数量，K代表预设聚类数，K取2；

再根据算法求得的两类聚类中心对应的灰度值或者RGB值分别视为该色块的主明度值、主暗度值；

最后，对于中心区域、模糊区域两块区域的主明度、主暗度分别求差值，得到两种区域的主明暗对比度，再计算中心区域、模糊区域的主明暗对比度之差，并通过阈值二值化，得到两种区域明暗对比差异性特征，如果主明暗对比度差值大于该阈值，则给该作品打上空间感强的标签，如果小于该阈值，则给该作品打上空间感弱的标签。

优选的，步骤S2中的技法知识提取具体包括以下步骤：

输入美术作品图像样本，划定该样本中主体物位置，提取主体物面积范围，再提取该主体物的亮部，对比数据库中已录入的技法情况，判断该样本的笔触情况，若笔触或排线清晰不模糊，走线硬朗，笔触明确，则该画作为优，否则为差；

图5本发明的实施例5的提取过程图，如图5所示，实施例5：当美术作品图像样本为素描静物或者色彩静物时，包括以下步骤：

首先，基于训练样本将各个笔触的形状图像以及笔触类别标签构建成笔触分类数据库，同时将各种排线方法的形状图像以及排线类别标签构建成排线分类数据库，再通过多支路集成CNN输入样本进行训练，并优化交叉熵损失函数得到最优的笔触识别、排线识别模型，其中，交叉熵损失函数如下：

其次，对于输入样本图像的主体物中心区域进行检测，得到图像中各物体的大致区域；

最后，通过K-means聚类方法，得到图像中最亮以及最暗的坐标点，提取出最亮部的图像区域，再通过上述训练好的多支路集成CNN识别该图像区域的笔触类别或者排线类别，并且将识别出来的图像区域视为清晰笔触/排线，未识别出的图像区域视为不清晰笔触/排线。

需要说明的是，本实施例仅列举以上5种直观知识进行举例说明，但不代表直观知识仅限于此。本发明开发思路即是将图像所能传达的抽象视觉感知识和美术美感信息，总结人类在绘画时的感知经验，设计出理性、富有逻辑的方法论进行机器训练，通过这些方法让机器能够感知，便于后续的知识点关联和推送。

图6本发明的实施例6的提取过程图，如图6所示，实施例6：优选的，步骤S2中的文本知识提取具体包括以下步骤：

首先，需要通过训练好的CTPN网络模型对于输入图像进行文字目标检测，该网络在VGG16模型的最后一个卷积映射中密集滑动一个3×3空间窗口，每一行的顺序窗口由一个双向LSTM循环连接，其中每个窗口的卷积特征3×3×C被用作256D BLSTM的输入，且RNN层与512D全连接层相连，其次是输出层，共同预测k个锚点的文本/非文本评分、y轴坐标和偏移量，网络最终输出连续固定宽度的精细文本框，并将图片依据预测的文本框进行裁剪，得到图像的文本区域；

其次，再通过训练好的CRNN-CTC网络对于上述检测到的文本区域的文字进行识别，该网络首先通过CNN进行下采样，得到文本图像的特征图，再通过RNN对于特征图的序列编码进行特征提取，将编码映射至图像文本的预测，并通过特征描述层输出图像中的文本信息；

最终，输出样本图像中的各区域中的文本信息，作为该图像的文本知识标签。

S3、实时更新

标签模型数据库实时记录输入的美术作品图像样本的知识点标签，并根据多次上传的美术作品图像样本进行共性标签和模型构建，后续加大此类内容的推送，且推送的内容根据用户实时上传的美术作品图像样本实时更新，在此过程中若使用者后续更改上传其他类与原先图像科目无关的新图像，则将进行基于该科目图像的新模型构建；

S4、生成用户画像

当用户使用一段时间后，对用户上传的美术作品图像样本、检索图像的标签数据进行综合分析，生成用户画像。

本发明在适用对象为普通学习者时，还具有“错题集”功能，使用者若在错题集中上传图片时，本发明将基于该图像所识别标签，推荐具有同类标签图像的优秀画面和相关资料及视频，从而大大提高美术艺考生的学习效率，降低学习难度。

需要说明的是，数据库中的不同训练样本的单个数据模型相同的知识点相互关联。由于每张图片所具有的知识点标签类型、内容、数量不尽相同，系统能够顺利识别的标签数量也不尽相同。故模型之间的关联性以能够顺利识别出来的相同标签数量进行组合排序。同时根据重要性将标签划分为大标签和小标签。

若大标签数量不同：如“可视化知识-物品分类标签”为大标签，“物品分类标签——瓦罐”为小标签。模型之间关联逻辑顺序遵循“大标签”到“小标签”的顺序，关联性以相同标签数量进行排列。如输入一张色彩图像，则系统针对图像内容进行识别并尽可能的多提取图像所传达的知识点标签，并将该图片所提取的多个标签组成单张图片数据模型，大标签数相同数越多表示关联越密切，设置为优先推送。

图7为本发明的实施例7的提取过程图，如图7所示，实施例7：以色彩水粉静物图像为例：输入一张水粉静物的图像，按照总体小标签数量原则进行检索，依据数据库中的单个数据模型实现以图搜图，按照可视化知识和非可视化知识的分类浮现与该图片相关、类似但不相同的图像和相关的文字、视频资料。此时，图片的排序会按照相同的总体小标签数量依次排列，若作者点击推荐的某一张图片，则相同将会基于两张图片的共同标签继续推荐，且若使用者继续点击，则相同标签数量会越来越少，其定位趋于精准，越相同、精准的资料排越前，越不精准的资料排越后相反。

若大标签数量相同的图像，则按照设定的逻辑进行排列，具体逻辑为：

1、按照总体小标签数量进行设置：模型大标签数量相同，但大标签数量下属小标签数量不一，则小标签相同数越多表示关联度越紧密，在检索中系统中也优先推送。

2、按照大标签优先度中小标签相同的数量进行排列：优先以第一大标签中的小标签的相同数进行排列，当第一大标签中小标签相同时则以第二大标签中小标签中的相同数为基准进行依次排列。

需要说明的是，此处大标签的排列推送顺序可人为设定。但出于美术艺考学习的专业性，其设定逻辑应依照联考美术侧重点进行排列，故本系统的默认推送顺序设置也以联考美术考察侧重点及内容进行说明。

以广东省色彩科目评分标准和占分比例为例(此处括号内内容是撰写者根据联考评分要点归纳的标签，但仅列举部分，不限于此。进行设置)：

符合试题规定及要求；有明确的色调意识和良好的色彩感觉，构图合理，色彩关系明确生动，画面富有美感；色彩与形体结合紧密，表现生动，形体刻画深入，画面整体效果好。其中：

1.构图：15％(科目信息知识、物品信息知识、空间知识等)

2.结构与比例：35％(结构透视知识、空间知识等)

3.细节与刻画：25％(刻画程度知识、黑白灰关系知识等)

4.表现手法：25％(技法知识、虚实知识等)

故基于此：默认系统设定大标签顺可依次为：1.结构透视知识、2.空间知识、3.刻画程度知识、4.黑白灰关系知识、5.技法知识、6.虚实知识。

实施例8：图片的排序按照大标签优先度中小标签相同的数量进行排列，假设系统设定大标签顺序依次为：1.科目信息；2.物品信息；3.黑白灰关系知识...6.刻画程度知识...

输入一张色彩静物图像，则图像识别科目信息为色彩静物标签，画面具有瓦罐、苹果、白盘、橘子、木板等物品信息小标签，则系统会推荐按照输入图像推送同为色彩静物且画面具有瓦罐、苹果、白盘、橘子、木板等物品信息小标签的图像，在一二大标签相关的图像及视频、文字介绍资料位于前排，后续为各标签相关信息。若使用者此时不点击第1、2标签相关图像信息，假设是点击到第6标签的图像信息，则系统接下来将会更改侧重点推送第6标签与图像的共性图片。

基于美术图像标签的检索推送方法的用途，用于美术教学机构；

所述标签模型数据库为基于美术教学机构所有学员上传的美术画面图像构建的模型，生成所有学员用户画像，便于掌握所有学员的学习进度、学习情况，调整教学大纲和进行针对性教学。

需要说明的是，由本领域公知常识可知美术有素描、色彩、速写等大类别，如色彩又细分为：水粉画、水彩画、油画等带有颜色的画种，为说明本发明，本实施例仅在上述知识点的提取过程中进行了对某一画作的举例说明，本领域技术人员应当能毫无疑问的得到相同类型画作的处理过程，故上述实施例应当理解为对技术方案的说明而不应理解为对技术方案的限制。

还需要说明的是，因美术画面作为一种由不同元素、符号所结合成的学科语义，具有专业性、艺术性和强烈视觉性等学科特点。故随着数据的不断增多，单张画面数据所能反应的美术知识和赋予的知识标签数量太过庞大，其所传达的信息也十分复杂。故本发明在此仅列举具有特殊性的直观和间接知识加以佐证，其余未论证知识其根本思路一致，如适用于需要精准美术数据的机构、数据训练师以及人工智能等，运用不同算法对图像信息进行识别，归纳可视化和非可视化内容，总结规律，形成标签形成数据集，便于后续使用时进行知识点关联推送、管理和检索。因此，本发明可以大大提高美术艺考生的学习效率，降低学习难度。同时，本发明有利于构建智慧美术教育发展生态、形成美术教育数字治理体系和机制，促进美术教育场景数字化转型。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于美术图像标签的检索推送方法，其特征在于：包括以下步骤：

S1、构建标签模型数据库

利用不同科目、各个类别的训练样本，进行不同标签内容的训练，并按照知识点标签对数据库内的训练样本进行分类和归类，获得标签模型数据库；

S2、检索推送

检索：将美术作品图像样本上传至训练完毕的标签模型数据库，而后提取美术作品图像样本的知识点标签，再检索与之相关联的美术作品，而后根据提取的美术作品图像样本的知识点标签，分别对美术作品图像样本进行判定；

推送：根据用户上传的美术作品图像样本和检索图像的标签数据推送相关联的美术作品；

S3、实时更新

标签模型数据库实时记录输入的美术作品图像样本的知识点标签，并根据多次上传的美术作品图像样本进行共性标签和模型构建，后续加大此类内容的推送，且推送的内容根据用户实时上传的美术作品图像样本实时更新，在此过程中若使用者后续更改上传其他类与原先图像科目无关的新图像，则将进行基于该科目图像的新模型构建；

S4、生成用户画像

当用户使用一段时间后，对用户上传的美术作品图像样本、检索图像的标签数据进行综合分析，生成用户画像。

2.根据权利要求1所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S1中具体包括以下步骤：

首先，通过收集一定量的美术作品图像，并且对于美术作品图像的知识点标签进行标注，构成训练数据集，再通过自监督的方式进行训练，得到有学习能力的图像标注系统；

同时考虑到图像数量极大，无法对于大量图像进行人力标注，因此需要再通过半监督学习的方式，对数据库中不断输入的未标注的美术作品图像与已标注的图像一起训练，半监督学习通过不断对于输入的无标注美术作品图像进行预测并标注，形成伪标签，并入训练数据集，继续进行学习，以增强本系统的鲁棒性，新的训练数据库为：

D＝{(x₁,y₁),…,(x_l,y_l),x_l+1,…,x_m}

其中有l个样本是有标注的，还有m-l个样本是无标注的。

3.根据权利要求1所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的知识点标签包括直观知识和间接知识；

所述直观知识包括经美术作品图像样本直接读取的科目信息知识、物品信息知识、主色调知识、色彩冷暖关系知识、黑白灰关系知识、空间知识、技法知识、刻画程度知识、物动态知识、人物特征知识、五官比例知识、人物特征知识、形体块面知识、结构透视知识、色阶关系知识、画纸磨损情况；

所述间接知识包括用文本知识和视频知识。

4.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的物品信息知识提取具体包括以下步骤：首先训练卷积神经网络，然后输入美术作品图像样本，利用深度可分离卷积神经网络对美术作品图像内容进行识别，并将不同形态的物品进行提取，而后利用SoftMax分类器对美术作品图像上的物品贴上标签，再利用多头注意力机制对该美术作品图像样本中涉及物品赋予该学科属性标签；

当美术作品图像样本为素描静物时，包括以下步骤：

首先需要对于输入的训练样本进行素描静物的目标检测，通过素描图像的静物检测及标签数据对于yolov5网络模型进行训练，然后在yolov5网络的Neck网络通过PANET结构进行掩模预测，再利用GOU_Loss作为素描静物检测的目标函数进行优化，得到最优的yolov5素描图像的静物检测模型，最后通过非极大值抑制处理，输出预测静物类别以及静物预测区域信息，并按照静物区域坐标进行裁剪并输出，训练完成后，对于输入的样本通过加载上述最优的yolov5素描图像的静物检测模型参数进行预测，得到预测静物类别，并按照静物区域坐标裁剪输入素描图像，输出样本素描图像中的各静物图像以及学科属性标签；

其中，GIOU_Loss的目标函数如下：

式中，A、B为预测的两个IOU框的面积，C代表包围A、B的最小面积。

5.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的黑白灰关系知识提取具体包括以下步骤：

输入美术作品图像样本，将黑白图片或者由彩色图片转换的黑白图片进行明度关系提取，根据不同明度色块的在画面中的面积占比，判断该画面整体为何种明度画面，即判断黑白灰关系，并基于此给予明度标签和优秀等级标签；

当美术作品图像样本为水粉静物时，包括以下步骤：

首先，需要将输入的水粉静物样本利用灰度图生成算法生成灰度图，利用亮度RGB分量近似RGB再除以3，并加上色度值UV求取平均值，得到图像灰度值I1，以获得感知和结构上良好的灰度图像质量，计算公式如下：

Y＝(0.299×R)+(0.587×G)+(0.114×B)

U＝(B-Y)×0.565

V＝(R-Y)×0.713

UV＝U+V

R1＝R×0.299

R2＝R×0.587

R3＝R×0.114

G1＝G×0.299

G2＝G×0.587

G3＝G×0.114

B1＝B×0.299

B2＝B×0.587

B3＝B×0.114

R4＝(R1+R2+R3)/3

G4＝(G1+G2+G3)/3

B4＝(B1+B2+B3)/3

I1＝(R4+G4+B4+UV)/4

END

再将图像等分成10个矩形色块，并通过K-means聚类算法计算每个色块的主灰度，而后提取主灰度的K-means聚类算法，对于每个色块的像素点灰度值进行聚类，需要对矩形色块内的每个像素点灰度值与其对应聚类中心灰度值的距离平方之和求最小，即

式中，n代表色块中像素点的坐标，C(n)代表该像素的灰度值，N代表每个色块内的像素点数量，K代表预设聚类数；

然后，根据该聚类算法将该色块中像素点最多的簇视为主灰度簇，并根据算法求得的聚类中心对应的灰度值视为该色块的主灰度；

最后，通过预设阈值给每个色块一个黑白灰属性定义，并根据上述计算出的每个色块的主灰度依据阈值得到色块的黑白灰属性，计算各灰度色块的矩形面积占比，取最大色块面积的黑白灰属性为该水粉静物样本的标签。

6.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的色彩冷暖关系知识和主色调知识提取具体包括以下步骤：输入美术作品图像样本，对该样本进行颜色色块的提取，因其色彩绘画采用混合颜料调制的间色，故将各个提取出来的间色色块对照RGB颜色对照表获得该颜色的数值，而后根据本样本中不同颜色的数值进行对照，划定数值范围，与该数值接近纯色数值则归纳为同一色调，最后，按照不同色调在本样本中所占据的面积进行对比，面积最大的色调为主色调，从而判断该样本的具体色调以及冷暖色调；

当美术作品图像样本为水粉静物时，包括以下步骤：

首先，将图像等分成30个矩形色块，并通过K-means聚类算法计算每个色块的主RGB颜色值，提取主RGB的K-means聚类算法，对于每个色块的像素点颜色进行聚类，对矩形色块内的每个像素点RGB值与其对应聚类中心RGB值的距离平方之和求最小，即

式中，n代表色块中像素点的坐标，C(n)代表该像素的RGB值，N代表每个色块内的像素点数量，K代表预设聚类数；

然后，根据该聚类算法将该色块中像素点最多的簇视为主色调簇，并根据算法求得的聚类中心对应的RGB值视为该色块的主RGB值；

最后，通过预设阈值给每个色块一个色调及冷暖属性定义，并根据上述计算出的每个色块的主RGB值依据阈值得到色块的主色调，计算各色调色块的矩形面积占比，取最大色块面积的色调属性为该水粉静物样本的主色调标签，并依据冷暖色调的定义给出该样本的冷暖色调标签。

7.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的空间知识提取具体包括以下步骤：

输入美术作品图像样本，提该样本取中心区域的最黑和最白的明亮并对比，得到一个对比度的数值，同时提取该样本四周模糊区域的最黑和最白的明亮并对比，得到另一个对比度的数值，将两个对比度进行比较，若小于设定值，则判定空间感弱，否则判定空间感强；

当美术作品图像样本为素描静物时，包括以下步骤：

首先，将输入图像样本等分成36个图像区域，并将环中心区域以及主体中心区域视为中心区域，四周区域视为模糊区域，以此将36个图像区域分成中心区域和模糊区域各自进行分析；

其次，对各区域图像的灰度值或者RGB值进行聚类，考虑到需要提取各区域的明暗程度，将该问题视为2类的聚类问题，通过K-means聚类算法进行聚类，K-means聚类算法对于每个区域的像素点颜色进行聚类，对各区域内的每个像素点灰度值或者RGB值与其对应聚类中心灰度值或者RGB值的距离平方之和求最小，即

式中，n代表各区域像素点的坐标，C(n)代表该像素的灰度值或者RGB值，N代表每个区域内的像素点数量，K代表预设聚类数，K取2；

再根据算法求得的两类聚类中心对应的灰度值或者RGB值分别视为该色块的主明度值、主暗度值；

最后，对于中心区域、模糊区域两块区域的主明度、主暗度分别求差值，得到两种区域的主明暗对比度，再计算中心区域、模糊区域的主明暗对比度之差，并通过阈值二值化，得到两种区域明暗对比差异性特征，如果主明暗对比度差值大于该阈值，则给该作品打上空间感强的标签，如果小于该阈值，则给该作品打上空间感弱的标签。

8.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的技法知识提取具体包括以下步骤：

输入美术作品图像样本，划定该样本中主体物位置，提取主体物面积范围，再提取该主体物的亮部，对比数据库中已录入的技法情况，判断该样本的笔触情况，若笔触或排线清晰不模糊，走线硬朗，笔触明确，则该画作为优，否则为差；

当美术作品图像样本为素描静物或者色彩静物时，包括以下步骤：

首先，基于训练样本将各个笔触的形状图像以及笔触类别标签构建成笔触分类数据库，同时将各种排线方法的形状图像以及排线类别标签构建成排线分类数据库，再通过多支路集成CNN输入样本进行训练，并优化交叉熵损失函数得到最优的笔触识别、排线识别模型，其中，交叉熵损失函数如下：

其次，对于输入样本图像的主体物中心区域进行检测，得到图像中各物体的大致区域；

最后，通过K-means聚类方法，得到图像中最亮以及最暗的坐标点，提取出最亮部的图像区域，再通过上述训练好的多支路集成CNN识别该图像区域的笔触类别或者排线类别，并且将识别出来的图像区域视为清晰笔触/排线，未识别出的图像区域视为不清晰笔触/排线。

9.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的文本知识提取具体包括以下步骤：

首先，需要通过训练好的CTPN网络模型对于输入图像进行文字目标检测，该网络在VGG16模型的最后一个卷积映射中密集滑动一个3×3空间窗口，每一行的顺序窗口由一个双向LSTM循环连接，其中每个窗口的卷积特征3×3×C被用作256DBLSTM的输入，且RNN层与512D全连接层相连，其次是输出层，共同预测k个锚点的文本/非文本评分、y轴坐标和偏移量，网络最终输出连续固定宽度的精细文本框，并将图片依据预测的文本框进行裁剪，得到图像的文本区域；

其次，再通过训练好的CRNN-CTC网络对于上述检测到的文本区域的文字进行识别，该网络首先通过CNN进行下采样，得到文本图像的特征图，再通过RNN对于特征图的序列编码进行特征提取，将编码映射至图像文本的预测，并通过特征描述层输出图像中的文本信息；

最终，输出样本图像中的各区域中的文本信息，作为该图像的文本知识标签。

10.一种如上述权利1-9任一项所述的基于美术图像标签的检索推送方法的用途，其特征在于：用于美术教学机构；

所述标签模型数据库为基于美术教学机构所有学员上传的美术画面图像构建的模型，生成所有学员用户画像，便于掌握所有学员的学习进度、学习情况，调整教学大纲和进行针对性教学。

Images