CN109710804B - 一种教学视频图像知识点降维分析方法 - Google Patents

Abstract

本发明提供了一种教学视频图像知识点降维分析方法，步骤如下，S1，采集图像数据进行归一化预处理，建立教学图像数据库；S2，构建改进卷积神经网络模型，并进行预训练和参数调整；S3，对待检索的教学图像进行采集和预处理；S4，用S2构建模型对S1建立的教学图像，及S3待检索的教学图像进行特征向量提取，得到待检索的图像特征库；S5，用主成分分析法对S4提取的高维特征向量分别进行降维处理；S6，对待检索图像的特征向量与图像数据库图像中的每一个特征向量做相似性度量后返回相似度较高的特征索引，从图像库中找到相对的图片，得到前Topk张图片，得到检索结果；提高了图像的检索精度，并解决了目前技术中存在的图像检索准确率低、消耗时间长的问题。

Description

一种教学视频图像知识点降维分析方法

技术领域

本发明涉及计算机视觉与图像识别技术领域，具体涉及一种教学视频图像知识点降维分析方法。

背景技术

随着互联网技术和多媒体技术的迅速发展，在线教学视频逐渐成为一种有效补充课堂教学的重要学习方式。随着用户群体的剧增和技术要求的日益多样化，教学视频的图像检索与分析成为研究的重要内容之一。为了能够更好地实现在线教学视频的精准查询，且满足人们的需求，研究人员提出了有效的解决方法，这些方法可以归纳为基于内容的图像检索和基于文本的图像检索。由于基于文本的图像检索出现较早且技术不够成熟，因此不能很好地完成图像相似性检索。随后出现的基于内容的图像检索模式迅速发展，并被广泛应用于教学视频图像检索中。但随着数据时代的快速发展，图像数据爆发式增长其内容也变得复杂多样，因此基于内容的检索技术已经不能实现用户的检索需求。

在申请公布号为CN105095468A的专利文献中公开了一种新型的图像检索方法及系统，在大数据时代下和深度学习理论得到应用的前提下，可以预先建立图像和视频检索库，也可以对现有互联网上的图像和视频库作为库进行检索。用户可以通过上传图片到云端，利用云计算强大的处理能力，快速检索到用户想要的图像和视频信息。深度学习理论在图像处理领域有较好的应用，对光照、遮挡和毛发等干扰有较强的去干扰能力，提高了图像和视频检索的准确性；但是其需要采用云计算的强大能力进行处理，适用范围较窄，不能适应于教学视频的检索。

在授权公告号CN104680143B的专利中公开了一种用于视频侦查的快速图像检索方法，包括：获得背景模型；获得运动目标；获得候选目标匹配对，完成运动目标的跟踪处理；根据目标图像中各个像素的概率确定图片的信息量，将图片信息量最大值对应的目标图像作为目标最优图像输出；计算目标最优图像的特征，特征包括HSV直方图、颜色自相关图、颜色矩、小波矩和梯度方向直方图，根据压缩感知理论对特征矢量进行降维；根据图像的各个特征矢量计算各个样本图片与目标最优图像的相似度，根据相似性对各个样本图片进行目标排序，得到检索结果。通过提供一种新的运动目标最优图片选取策略，进一步减少因为跟踪问题及选择无效图片而造成的信息丢失；但是，该方法一般不能完全检测出运动物体的所有像素点，常常在检测到的运动物体内部出现“空洞”现象，导致无法根据目标图像各个像素的概率来确定图片的完整信息量，从而给图像检索的准确度带来巨大的影响，因此该方法不适应于教学视频的检索。

近年来深度学习在诸多领域都得到了很好的应用，其中卷积神经网络通过多隐藏层来提取图形特征，在提取特征的过程中图像的底层特征逐渐转化成高层语义，这很好地减少了两者间的“语义鸿沟”问题，如He等学者在卷积神经网络的过渡层中添加金字塔池化层来实现图像的检测，并获得了很好的检索效果。本发明利用卷积层和池化层的融合层来提高图像检索效率，利用卷积层之间的全连接层降低特征信息的损失，并在一定程度上减少了网络参数，降低了网络模型的过拟合，提高了教学图像的检索性能。

发明内容

有鉴于此，本发明提供一种教学视频图像知识点降维分析方法，解决了目前技术中存在的图像检索准确率低、消耗时间长的问题。

为解决上述问题，本发明提供一种教学视频图像知识点降维分析方法，包括以下步骤：

步骤1，采集图像数据并进行归一化预处理，建立教学图像数据库；

步骤2，构建改进卷积神经网络模型，并对该模型进行预训练和参数调整；

步骤3，对待检索的教学图像进行采集和预处理；

步骤4，用步骤2构建的改进卷积神经网络模型对步骤1建立的教学图像数据库中的教学图像，及步骤3待检索的教学图像进行特征向量提取，得到待检索的图像特征库；

步骤5，用主成分分析法对步骤4提取的高维特征向量分别进行降维处理；

步骤6，对待检索图像的特征向量与图像数据库图像中的每一个特征向量做相似性度量后返回相似度较高的特征索引，然后从图像库中找到相对应的图片，依照递减的规律进行排序并显示出前Topk张图片，得到检索结果。

进一步地，所述步骤1，建立教学数据库的方法包括以下步骤：

步骤1.1，根据基于内容分析的方法提取教学视频中的关键帧，构成用于检索的教学图像库；

步骤1.2，将经步骤1.1采集的所有图像统一缩放至32*32像素，并对其进行归一化预处理；

步骤1.3，将经步骤1.2预处理后的所有教学图像分为训练集图像数据、测试集图像数据，并将训练集图像数据和测试集图像数据存入图像数据库中。

进一步地，步骤2所述的模型包括第一层输入层、第二层卷积层Conv1、第三层全连接层Fc1、第四层卷积层Conv2、第五层全连接层Fc2和第六层输出层，得到构建的改进卷积神经网络模型；

对步骤2构建的改进卷积神经网络模型进行参数初始化，同时将训练集图像数据输入到初始化后的改进卷积神经网络模型中，并对所述改进卷积神经网络模型进行训练以及参数调整。

进一步地，所述步骤3中具体为：从名师讲堂或国家级视频公开课中采集一张教学图像，将其设置为34*34，然后通过keras框架的Image Data Generator函数对待检索的图像从灰度和角度两个方面进行数据提升。

进一步地，所述步骤4将步骤1获取的教学图像数据库和步骤3采集的待检索的教学图像作为输入步骤2训练好的改进卷积神经网络模型，对于任一输入模型中的图片I_i按照卷积核大小为k*k进行全覆盖取图像块，得到S＝(n-k+1)*(n-k+1)个图像块，每个图像块按列向量排列，表示为x_i,1,x_i,2,x_i,3…,x_i,_s；

最后形成检索图像特征库X_i＝[x_i1,x_i2,…x_ij,...,x_in]i＝1,2,…,M，M为从图像数据库中提取的特征向量的个数，记待检索图像的特征向量为F_i＝[f_i1,f_i2,…f_ij…f_in]。

步骤5具体为：将步骤4提取的图像特征库和待检索图像的特征向量分别进行主成分降维处理，包括以下步骤是：①数据标准化处理；②计算相关系数矩阵R；③计算特征值λ_i及对应的特征向量e_i；④计算方差贡献率，第k个主成分方差为

计算累计方差贡献率，主成分F1,F2,…,Fm的累计方差贡献率为

⑤选择主成分，若特征值大于1，累计贡献率达到85％，则选取相对应的主成分；组成参数集F1,F2,…,Fp代替原来的参数集X＝(X₁,X₂,…,X_m)。

步骤6具体为：根据步骤4提取的特征向量，计算待检索图像的特征向量与图像数据库中的图像的特征向量之间的相似度，将图像数据库中的图像按相似度值从大到小进行排列，排序后，提取出与最大相似度相对应的前Top k幅图像，即为要检索的相似度最高的图像其中，相似度计算方法是：

由于上式计算结果的取值范围在(-1,1)之间，因此将结果归一化到(0,1)之间，Score＝0.5+0.5*Sim(a,b)；公式所求得的值越接近1，说明两个向量越相似。

采用上述技术方案后，本发明具有如下有益效果：

1.本发明采用改进卷积神经网络模型,该模型学习能力强，避免了图像缩放、旋转、平移等因素对检索结果造成的影响，适应能力强；

2.使用较小的数据集对改进的网络模型进行微调，提高了模型的检索精度；

3.模型能够自动学习图像特征,避免了人工选取特征的局限性,减少了复杂的人工操作,学习与适应能力更强；

4.本发明利用卷积层和池化层的融合层来提高图像检索效率，利用卷积层之间的全连接层来降低特征信息的损失，并在一定程度上减少了网络参数。有效解决了图像检索准确率低，消耗时间长等问题。

附图说明

图1是本发明一种教学视频图像知识点降维分析方法的实现流程图；

图2是本发明一种教学视频图像知识点降维分析方法改进卷积神经网络的结构图；

图3是本发明一种教学视频图像知识点降维分析方法的部分教学图像top 6检索结果对比表；

图4是本发明一种教学视频图像知识点降维分析方法的对应教学图像检索方法的查准率对比表；

图5是本发明一种教学视频图像知识点降维分析方法的对应教学图像检索方法的查全率对比图；

图6是本发明一种教学视频图像知识点降维分析方法的对应教学图像检索方法的平均查准率对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图1-6，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示,本发明公开了一种教学视频图像知识点降维分析方法，主要按照以下步骤实施：

步骤1，采集图像数据并进行归一化预处理，建立教学图像数据库；其按照以下步骤实施：

步骤1.1，根据基于内容分析的方法提取教学视频中的关键帧，构成用于检索的教学图像库；首先实验中使用的数据库为名师讲堂及国家级视频公开课中下载的教学视频，从中选取50个数学学科教学视频并对其进行结构化；使用基于内容分析的方法对其中的304个知识点提取关键帧且每个知识点最多提取三个关键帧，最终得到912关键帧的图像集；

步骤1.2，将经步骤1.1采集的所有图像集统一缩放至32*32像素，并对其进行预处理，主要为图像灰度化、图像放缩和图像归一化；利用Matlab将图像集中所有教学图像的知识点内容用密度稀疏图表达出来，从而构成密度稀疏图像集；

步骤1.3，将经步骤1.2预处理后的所有教学图像分为训练集图像数据、测试集图像数据，并将训练集图像数据和测试集图像数据存入图像数据库中。

步骤2，构建改进卷积神经网络模型，并对该模型进行预训练和参数调整；

构建模型包括第一层输入层、第二层卷积层Conv1、第三层全连接层Fc1、第四层卷积层Conv2、第五层全连接层Fc2和第六层输出层；其中第一层输入层的输入图像宽设为32、高设为32以及三个颜色通道R、G、B值；第二层卷积层Conv1计算出每个神经元的权重与它们所连接的输入数据的局部之间的点积；其中滤波器的尺寸设置为5×5,个数设为20，步长为2，第三层全连接层Fc1，该层设计有250个神经元。第四层卷积层Conv2，感受野为5×5，步长尺寸为2×2，这一层的特征图数目为45；第五层全连接层Fc2，该层设有100个神经元。

所述改进卷积神经网络模型的网络结构如图2所示；

对改进卷积神经网络模型进行参数初始化，同时将训练集图像数据输入到初始化后的改进卷积神经网络模型中，并对该模型进行训练以及参数调整；其具体为：在第二层卷积层Conv1中,使用有训练数据集训本发明提出的网络的权值，在训练过程中，用高斯分布G(μ,δ)(μ＝0,δ＝0.01)随机初始化所有网络参数，整个网络的参数调整采用随机梯度下降，参数的设置为：动量设置为0.9、权重衰减系数设置为0.0005，并在迭代的过程中设置学习率的初始值为0.01，并在训练过程中动态调整。为防止因网络参数过多而出现的过拟合问题，每层参数的丢弃概率设置为0.5。第二层卷积层Conv1、第四层卷积层Conv2以及第五层全连接层Fc2的初始学习速率为0.001，第六层输出层的学习速率为0.01；

在所述改进卷积神经网络模型被训练和参数调整后,将测试集图像数据输入到该模型中。在训练一段时间后，预训练模型的检索精度最后稳定在98％左右时，采用测试数据集进一步验证该模型的检索精度，当测试样本集验证该网络时，其检索精度达到98％以上。

步骤3,对待检索的教学图像进行采集和预处理；从名师讲堂、国家级视频公开课中采集一张教学图像，将其设置为32*32，然后通过keras框架的Image Data Generator函数对待检索的图像从灰度和角度两个方面进行数据提升。

步骤4，用步骤2构建的教学图像卷积神经网络模型对步骤1建立的图像数据库中的图像及步骤3待检索图像进行特征向量提取；具体为：用步骤2构建的教学图像卷积神经网络模型对步骤1建立的图像数据库中的图像提取特征向量，构建特征库，图像数据库中的图像的特征向量为X_i＝[x_i1,x_i2,...x_ij,...,x_in]i＝1,2,…,M，M为从图像数据库中提取的特征向量的个数；对步骤3中采集的待检索图像同样提取特征向量,记待检索图像的特征向量为F_i＝[f_i1,f_i2,…f_ij…f_in]。

步骤5，用主成分分析法对步骤4提取的高维特征向量分别进行降维处理；主要步骤是①数据标准化处理；②计算相关系数矩阵R；③计算特征值λ_i及对应的特征向量e_i；④计算方差贡献率，第k个主成分方差为

计算累计方差贡献率，主成分F₁,F₂,…,F_m的累计方差贡献率为

⑤选择主成分，若特征值大于1，累计贡献率达到85％，则选取相对应的主成分。组成参数集F₁,F₂,…,F_p代替原来的参数集X＝(X₁,X₂,…,X_m)。

步骤6，对待检索图像的特征向量与图像数据库图像中的每一个特征向量进行余弦相似性计算，并对数据库图像按照余弦相似性由大到小的顺序排列,按顺序将对应的Topk教学图像反馈给用户,完成检索实施例中为什么没有摘要中说的索引？特征索引是通过余弦相似度比较并且直接根据较高的索引找到对应的图片，真正返回的是图片并非索引；具体为：根据步骤5提取的特征向量,计算待检索图像的特征向量与图像数据库中的图像的特征向量之间的余弦相似性,将图像数据库中的图像按相似度由大到小进行排列,排序后,提取出与最大相似度值相对应的几幅图像,即为要检索的相似度最高的图像，其中,余弦相似值计算方法为：

本发明的第二层和第四层均为卷积与池化融合的卷积层，用于提高图像检索的速度与效率，第三层换为全连接层，用于防止过拟合，并在一定程度上减少了网络参数，提高图像的检索性能。

进一步的实施方式：

本实施例是对经过Matlab处理过的教学视频图像知识点的稀疏密度图进行了检索，检索出了Top 6，如图3所示。

如图4所示，通过表中数据可以看出，本发明对比于传统的LeNet-5图像检索方法其检索效果大幅度提升，检索性能也优于原卷积神经网络模型方法CNN。其检索性能比传统方法提高了8％～27.3％。

如图5图6所示，一种教学视频图像知识点降维分析方法检索性能，根据前100或50幅最为相似的教学图像求得的查全率和平均查准率对比曲线图，从图5可以看出，随着返回图像数目的增加，本发明的查全率始终高于其他几种方法。在图6中本发明的平均查准率仅受返回图像数量所带来的综合检索性能的影响只有3％左右，其检索性能远优于传统的检索方法。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种教学视频图像知识点降维分析方法，其特征在于：包括以下步骤：

步骤1，采集图像数据并进行归一化预处理，建立教学图像数据库；

步骤2，构建改进卷积神经网络模型，并对该模型进行预训练和参数调整；

步骤3，对待检索的教学图像进行采集和预处理；

步骤4，用步骤2构建的改进卷积神经网络模型对步骤1建立的教学图像数据库中的教学图像，及步骤3待检索的教学图像进行特征向量提取，得到待检索的图像特征库；

步骤5，用主成分分析法对步骤4提取的高维特征向量分别进行降维处理；

步骤6，对待检索图像的特征向量与图像数据库图像中的每一个特征向量做相似性度量后返回相似度较高的特征索引，然后从图像库中找到相对应的图片，依照递减的规律进行排序并显示出前Top

张图片，得到检索结果；

所述步骤2中模型包括第一层输入层、第二层卷积层Conv1、第三层全连接层Fc1、第四层卷积层Conv2、第五层全连接层Fc2和第六层输出层，得到构建的改进卷积神经网络模型；对所述构建的改进卷积神经网络模型进行参数初始化，同时将训练集图像数据输入到初始化后的改进卷积神经网络模型中，并对所述改进卷积神经网络模型进行训练以及参数调整；

所述步骤3中具体为：从名师讲堂或国家级视频公开课中采集一张教学图像，将其设置为34*34，然后通过keras 框架的Image Data Generator 函数对待检索的图像从灰度和角度两个方面进行数据提升；

所述步骤4将步骤1获取的教学图像数据库和步骤3采集的待检索的教学图像作为输入步骤2训练好的改进卷积神经网络模型，对于任一输入模型中的图片

按照卷积核大小为

进行全覆盖取图像块，得到

个图像块，每个图像块按列向量排列，表示为

；最后形成检索图像特征库

，

为从图像数据库中提取的特征向量的个数，记待检索图像的特征向量为

；

所述步骤5具体为：将步骤4提取的图像特征库和待检索图像的特征向量分别进行主成分降维处理，包括以下步骤是：①数据标准化处理；②计算相关系数矩阵

；③计算特征值

及对应的特征向量

；④计算方差贡献率，第

个主成分方差为

，计算累计方差贡献率，主成分F1,F2,…,Fm的累计方差贡献率为

；⑤选择主成分，若特征值大于1，累计贡献率达到85%，则选取相对应的主成分；组成参数集F1,F2,…,Fp代替原来的参数集

。

2.如权利要求1所述的教学视频图像知识点降维分析方法，其特征在于：所述步骤1，建立教学数据库的方法包括以下步骤：

步骤1.1，根据基于内容分析的方法提取教学视频中的关键帧，构成用于检索的教学图像库；

步骤1.2，将经步骤1.1采集的所有图像统一缩放至32*32像素，并对其进行归一化预处理；

步骤1.3，将经步骤1.2预处理后的所有教学图像分为训练集图像数据、测试集图像数据，并将训练集图像数据和测试集图像数据存入图像数据库中。

3.如权利要求1所述的教学视频图像知识点降维分析方法，其特征在于：步骤6具体为：根据步骤4提取的特征向量，计算待检索图像的特征向量与图像数据库中的图像的特征向量之间的相似度，将图像数据库中的图像按相似度值从大到小进行排列，排序后，提取出与最大相似度相对应的前Top k幅图像，即为要检索的相似度最高的图像其中，相似度计算方法是：

由于上式计算结果的取值范围在（-1,1）之间，因此将结果归一化到（0,1）之间，

；公式所求得的值越接近1，说明两个向量越相似。

Images