CN116778182A

CN116778182A - 一种基于多尺度特征融合的素描作品评级方法及模型

Info

Publication number: CN116778182A
Application number: CN202310809641.0A
Authority: CN
Inventors: 陈壹华; 李俊杰; 梁军; 余松森
Original assignee: South China Normal University
Current assignee: South China Normal University
Priority date: 2023-07-03
Filing date: 2023-07-03
Publication date: 2023-09-19

Abstract

本发明提供一种基于多尺度特征融合的素描作品评级方法及模型，用于对复杂素描作品进行评分，通过提取了素描作品在多尺度特征网络的各个阶段生成的多尺度特征，并对底层特征进行上采样，使得融合的特征图融合了具有定位信息的高分辨率的底层特征与具有语义信息的抽象高层特征，充分考虑到复杂素描图像的特点，捕获不同尺度下的目标特征，从而提高分类准确率，利用层间双线性交叉池化的方法聚合特征图的信息，最后使用特征拼接去融合多个特征，经过这种多尺度特征融合方法，最终提升了评级的准确性，且结果具有可靠性。

Description

一种基于多尺度特征融合的素描作品评级方法及模型

技术领域

本发明涉及人工智能领域，特别是涉及一种基于多尺度特征融合的素描作品评级方法领域。

背景技术

随着人工智能技术的普及，教育系统为了提升自身的系统化水平，也逐渐引入了人工智能技术。例如书法智能评分系统集合图像处理技术、深度学习技术、增强现实技术、智能机器人技术为一体，达到了为智能书法学习、书法等级考试训练提供一套完整解决方案的目的。

但是，在各个领域已步入智能时代的同时，当前艺考中素描作品评分工作仍采用人工检阅的方式，即评委手工评卷。评委首先对所有素描作品进行分档评级，分为优良中差四个档次，确定好作品所属档次后，后续的作品评分则不能超过档次所在的分数范围。评委再在各个档次的作品堆中，手持评分表，在摊开在地面上的素描作品答卷旁来回走动，逐个作品进行评分，属于极为繁琐的方式。这种人工评阅方式在我国美术院校招生录取工作中仍然普遍采用，对于评卷工作的压力与开销很大；同时后期录入评分表的工作量很大，周期也很长，还存在评分表的手写字体潦草、难以辨认导致的错录、漏录问题。

因此，为了提高评阅试卷的效率、保护考试作品，利用人工智能技术对素描作品进行快速、准确、智能阅卷评级的需求已然迫在眉睫。

素描作品评级的问题本质上可以转化为图像多分类问题。随着机器学习在实际场景应用的日趋频繁，然而监督学习方法需要大量标注数据来训练模型，但标注数据的获取是一项耗时且繁琐的任务。深度学习算法是主流的人工智能算法之一，它提供了一种自动学习模式特征的方法，并将特征学习融入模型建立的过程中，从而减少了人工设计特征所带来的不完备性。在特定条件下，现基于深度学习的某些机器学习应用已经取得了超越现有算法的识别或分类性能。在此基础上，现有技术通常基于卷积神经网络进行构建。

现有的素描评级方法有：

基于VGG-16的双线性卷积特征方法：利用在ImageNet数据集上预训练的AlexNet模型，提取其第6层全连接层的输出作为卷积特征，在此基础上进行双线性池化，对得到的高维特征使用tensor sketch进行特征降维，对最终得到的特征进行分类。

基于Resnet50的迁移学习方法：通过迁移学习再将模型的高层和低层的特征融合在一起，增强模型对图片细节的感知能力。

上述方法虽然能够对素描作品进行评级分类，但也存在着各自的不足之处，主要有：

(1)基于VGG-16的双线性卷积特征方法使用的分类算法为线性SVM，而SVM理论都使用固定惩罚系数C，但是正负样本的两种错误造成的损失是不一样的，正确率不够高，数据集的标注也未提及，导致最终结果不可靠。

(2)基于Resnet50的迁移学习方法数据集偏少，只由一位美术老师进行数据集的标注致使其主观性太强，结果不可靠。利用五折交叉验证得到的每一折的结果不稳定，相差较大。

以上方法对于复杂素描作品无法充分、有效提取其中的特征，因此无法适应对复杂素描作品的准确评级。

发明内容

因此，本发明提出一种基于多尺度特征融合的素描作品评级方法，其基于多尺度特征融合技术，来完成素描作品不同尺度下的特征之间的融合与交互，从而使得到的特征图能够让高层特征图利用底层特征图的细节信息，从而能准确的对素描作品进行评级。

本申请是通过如下技术方案实现的：

一方面，本申请提供一种基于多尺度特征融合的素描作品评级方法，其包括：

对一数据集中的素描作品进行预处理，并对预处理后的素描作品进行特征提取，得到素描作品不同分辨率的第一特征集C＝{C1，C2...Cn}，n＝1，2，....k....；其中k为正整数，所述第一特征集中的第一特征按照分辨率从高到低排序；

对第一特征集中分辨率最低的第一特征Cn进行卷积，得到对应的第二特征Mn；

对第m个第一特征进行卷积后，与上采样处理后的第二特征Mm+1进行特征融合处理，得到对应的第二特征Mm；其中，m初始值为n-1；

判断判断m是否小于等于1，是，则完成特征提取；否，则m赋值m-1，并重复前一个步骤；

对所述第二特征集中的每一第二特征逐一进行平滑处理，得到第三特征集；

对第三特征集中的每一第三特征两两之间进行逐元素积，得到的所有特征组成第四特征集；

将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理；

对所述第四特征集中池化后的所有第四特征进行拼接，得到最终特征；

将最终特征经过softmax函数处理，得到作品分类。

进一步地，在将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理前，还包括：

将所述第四特征集中的每一第四特征通过注意力机制分配权重。

进一步地，所述第一特征集中不包括分辨率最高的第一特征C1。

进一步地，在模型训练阶段，将最终特征经过softmax函数处理前，还包括：

最终特征经过dropout处理，在训练过程中随机地关闭一部分神经元。

进一步地，所述第二特征集中不同分辨率的第二特征通过特征金字塔进行上采样。

另一方面，本申请还提供一种基于多尺度特征融合的素描作品评级模型，其包括：

预处理层：对一数据集中的素描作品进行预处理，并对预处理后的素描作品进行特征提取，得到素描作品不同分辨率的第一特征集C＝{C1，C2...Cn}，n＝1，2，....k....；其中k为正整数，所述第一特征集中的第一特征按照分辨率从高到低排序；

特征卷积层：用于对第一特征集中分辨率最低的第一特征Cn进行卷积，得到对应的第二特征Mn；

特征融合层：用于对第m个第一特征进行卷积后，与上采样处理后的第二特征Mm+1进行特征融合处理，得到对应的第二特征Mm；其中，m初始值为n-1；

判断层：用于判断判断m是否小于等于1，是，则完成特征提取；否，则m赋值m-1，并重复前一个步骤；

平滑处理层：用于对所述第二特征集中的每一第二特征逐一进行平滑处理，得到第三特征集；

特征捕获层：用于对第三特征集中的每一第三特征两两之间进行逐元素积，得到的所有特征组成第四特征集；

池化层：将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理；

特征拼接层：用于对所述第四特征集中池化后的所有第四特征进行拼接，得到最终特征；

分类层：将最终特征经过softmax函数处理，得到作品分类。

进一步地，还包括：

权重更新层：用于将所述第四特征集中的每一第四特征通过注意力机制分配权重。

进一步地，在模型训练阶段，所述模型还包括：

随机失活层：用于最终特征经过dropout处理，在训练过程中随机地关闭一部分神经元。

另一方面，本申请还提供一种计算机设备包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上任一项所述的一种基于多尺度特征融合的素描作品评级方法的步骤。

另一方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的一种基于多尺度特征融合的素描作品评级方法的步骤。

本申请提供一种基于多尺度特征融合的素描作品评级方法及模型，用于对复杂素描作品进行评分，利用Resnet-50在各个阶段生成的多尺度特征，基于FPN(特征金字塔结构)融合了具有定位信息的高分辨率的底层特征与具有语义信息的抽象高层特征，充分考虑到复杂素描图像的特点，捕获不同尺度下的目标特征，从而提高分类准确率。此外，通过将不同尺度的特征图融合在一起还能提升模型的性能，融合后提供更全面的目标特征，从而更准确地进行分类。使用SE注意力机制对这些特征图的通道维度进行加权后，利用层间双线性交叉池化的方法聚合特征图的信息，最后使用特征拼接去融合多个特征，进行多分类输出，同时使用dropout防止模型过拟合。经过这种多尺度特征融合方法，最终提升了评级的准确性，且结果具有可靠性。

本申请为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本申请提供的一种基于多尺度特征融合的素描作品评级方法的流程图；

图2为本申请提供的一种基于多尺度特征融合的素描作品评级模型的结构框图；

图3为本申请提供的一示例性的多尺度特征融合的素描作品评级方法优化后的流程图；

图4为本申请提供的一示例性的多尺度特征融合的素描作品评级模型训练过程的结构框图。

具体实施方式

针对现有的素描评级方法模型无法对复杂的素描作品无法充分、有效提取其中的特征，导致无法适应对复杂素描作品的准确评级的问题。本申请将基于多尺度特征融合技术，来完成素描作品不同尺度下的特征之间的融合与交互，从而使得到的特征图能够让高层特征图利用底层特征图的细节信息，从而能准确的对素描作品进行评级。请参阅图1和图2，图1为本申请提供的一种基于多尺度特征融合的素描作品评级方法的流程图；图2为执行图1所示方法的一种基于多尺度特征融合的素描作品评级模型的结构框图。本申请的一种基于多尺度特征融合的素描作品评级方法具体包括：

S10：对一数据集中的素描作品进行预处理，并对预处理后的素描作品进行特征提取，得到素描作品不同分辨率的第一特征集C＝{C1，C2...Cn}，n＝1，2，....k....；其中k为正整数，所述第一特征集中的第一特征按照分辨率从高到低排序。步骤S10由预处理层10执行。

输入一数据集，数据集内包含多个待评分分类的素描作品，预处理包括随机裁剪、水平翻转、旋转、归一化、随机擦除、明暗变化、色调变化等，使数据量得到扩充。得到一组新的素描作品，将素描作品逐个输入至一个多尺度特征网络中，在本申请中，以Resnet50作为特征提取网络，经过逐层卷积，一个素描作品可以依次提取到C1、C2、C3、C4、C5这几个不同分辨率的第一特征。其中C1的分辨率最高，C5的分辨率最低。

S20：对第一特征集中分辨率最低的第一特征Cn进行卷积，得到对应的第二特征Mn。步骤S20由特征卷积层20执行。

Cn是在对应的第一特征集中，分辨率最低的尺度，通过对Cn进行1×1卷积降低通道数量得到对应的第二特征Mn，在本申请中即将C5通过卷积获得M5。

S30：对第m个第一特征进行卷积后，与上采样处理后的第二特征Mm+1进行特征融合处理，得到对应的第二特征Mm；其中，m初始值为n-1。步骤S30由特征融合层30执行。

而对于C4，首先同样进行1×1卷积降低通道数量，再与经过上采样后的第二特征M5进行特征融合得到对应的第二特征M4，在本申请中，采用特征金字塔结构(FeaturePyramid Network)对第二特征M4进行上采样，FPN本身通过在底层特征图中添加额外的连接来允许高层特征图与底层特征图进行交互，使得高层特征图能够利用底层特征图中的细节信息。而上采样，则将底层特征图的尺寸提高到与高层特征图相同，这进一步加强了特征图之间的交互和信息传递

S40：判断判断m是否小于等于1，是，则完成特征提取；否，则m赋值m-1，并重复步骤S30，步骤S40由判断层40执行。

为了完成对第一特征集中的每一个特征完成高层特征图与底层特征图之间的交互，加强特征图之间的信息传递，依次对第一特征图中的不同尺度的第一特征进行卷积变换与特征金字塔上采样，从而融合不同尺度特征图之间的信息。本申请由一第一特征与第二特征集中分辨率低于该第一特征，且分辨率最接近该第一特征的第二特征上采样后的中间特征进行融合，得到该第一特征对应的第二特征，即重复步骤S20和S30，直至所有的第一特征集中的第一特征全部完成交互。

S50：对所述第二特征集中的每一第二特征逐一进行平滑处理，得到第三特征集。步骤50由平滑处理层50执行。

最近邻插值算法导致存在灰度不连续，在灰度变化的位置可能会出现明显的锯齿状，因通过平滑处理将特征灰度变化区域之间的特征值连续化，使得特征图更加准确。

S60：对第三特征集中的每一第三特征两两之间进行逐元素积，得到的所有特征组成第四特征集。步骤S60由特征捕获层60执行。

逐元素积计算两个特征向量对应位置元素的乘积，逐元素积操作会保留每个位置上特征向量的相关性和比例关系。通过计算两个特征向量对应位置的乘积，可以捕捉到它们之间的交互模式和相关性。逐元素积操作用于捕捉特征之间的空间信息。

S70：将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理。步骤S70由池化层70执行。

池化后的第四特征集能够其特征结构方便输入到全连接层。

S80：对所述第四特征集中池化后的所有第四特征进行拼接，得到最终特征。步骤S80由特征拼接层80执行。

S90：将最终特征经过softmax函数处理，得到作品分类。步骤S90由分类层90执行。

请参阅图3和图4，在另一个优选的实施例中，将所述第四特征集中的所有特征进行池化，完成信息聚合前，还包括步骤S70.a：将所述第四特征集中的每一第四特征通过注意力机制分配权重。步骤S70.a由权重更新层70.a执行。

通过注意力机制获取不同特征之间的权重比值，根据权重比值对不同通道的特征进行自适应的重标定，通过此种方式，使得模型在对素描作品的分类中，不断自我优化，以提高模型对有用特征的关注程度，从而改善模型的性能，提高素描作品分类的准确度。

请参阅图3和图4，在另一个优选的实施例中，所述一种基于多尺度特征融合的素描作品评级模型。在训练阶段，将最终特征经过softmax函数处理前，还包括

步骤S90.a：最终特征经过dropout处理，在训练过程中随机地关闭一部分神经元。步骤S90.a由随机失活层90.a执行。

在前向传播和反向传播中按比例缩放激活值，从而减少网络的复杂性和合作适应，避免神经网络的过拟合，增加网络的鲁棒性和泛化能力。

在另一个实施例中，所述第一特征集中不包括分辨率最高的第一特征C1。

素描作品经过Resnet50进行特征提取得到分辨率最高的第一特征C1，其分辨率过高，包含的语义信息少，对作品的评分分类影响不大，但对其对计算资源的消耗与其他第一特征一致，因此，将其剔除第一特征集，提高资源的利用率。

基于上述的同一发明构思，本申请还提供一种电子设备，可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。该设备包括一个或多个处理器和存储器，其中处理器用于执行程序实现上述一种基于多尺度特征融合的素描作品评级方法；存储器用于存储可由所述处理器执行的计算机程序。

基于同一发明构思，本申请还提供一种计算机可读存储介质，与前述一种基于多尺度特征融合的素描作品评级方法的实施例相对应，所述计算机可读存储介质其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所记载的一种基于多尺度特征融合的素描作品评级方法的步骤。

本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims

1.一种基于多尺度特征融合的素描作品评级方法，其特征在于，包括：

将最终特征经过softmax函数处理，得到作品分类。

2.根据权利要求1所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于，在将所述第四特征集中的每一第四特征进行池化，实现特征的展平处理前，还包括：

3.根据权利要求2所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于：

所述第一特征集中不包括分辨率最高的第一特征C1。

4.根据权利要求3所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于，在模型训练阶段，将最终特征经过softmax函数处理前，还包括：

5.根据权利要求4所述的一种基于多尺度特征融合的素描作品评级方法，其特征在于，所述第二特征集中不同分辨率的第二特征通过特征金字塔进行上采样。

6.一种基于多尺度特征融合的素描作品评级模型，其特征在于，包括：

分类层：将最终特征经过softmax函数处理，得到作品分类。

7.根据权利要求6所述的一种基于多尺度特征融合的素描作品评级模型，其特征在于，还包括：

8.根据权利要求7所述的一种基于多尺度特征融合的素描作品评级模型，其特征在于，在模型训练阶段，所述模型还包括：

9.一种计算机设备，其特征在于，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至5任一项所述的一种基于多尺度特征融合的素描作品评级方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的一种基于多尺度特征融合的素描作品评级方法的步骤。