CN117714691A - 一种ar增强现实钢琴教学用自适应传输系统 - Google Patents

Abstract

本发明涉及视频传输技术领域，具体涉及一种AR增强现实钢琴教学用自适应传输系统，包括：数据采集模块，用于采集原始数据；数据分析模块，用于根据原始数据中相邻帧数据的相同区域中像素点的差异，获取相邻帧数据的相同区域之间的相似程度，以及帧数据中所有区域中各个灰度级的重要性；尺度选取模块，用于根据所有帧数据的所有区域的不同层数据之间的差异以及帧数据中所有区域中各个灰度级的重要性，得到所有帧数据的所有区域的金字塔最佳尺度层；数据压缩模块，用于根据所有帧数据的所有区域的金字塔最佳尺度层进行压缩，对所有帧数据的所有区域进行压缩。本发明对所有帧数据进行分析压缩，提高压缩效果的质量。

Description

一种AR增强现实钢琴教学用自适应传输系统

技术领域

本发明涉及视频传输技术领域，具体涉及一种AR增强现实钢琴教学用自适应传输系统。

背景技术

视频数据的传输一般是利用运动矢量估计来进行视频数据量的压缩，以此来提升传输速度，较为常用的一种运动矢量估计的方法为金字塔光流法，其通过对于原始视频数据进行分区域金字塔降采样遍历尺度层传播优化光流进行运动矢量的估计，而在钢琴教学视频中，大多数区域是不需要进行整体的降采样的遍历的，因为其为背景信息，获得背景的变化不大，进行整体的降采样层的遍历无疑大大的增加了计算量，使得整体的钢琴教学视频传输的效率下降，增加了钢琴教学的时间传输成本，但传统的通过金字塔降采样对数据进行压缩，会导致细节信息丢失、运动估计不准确等缺点，即传统的通过金字塔降采样对数据进行压缩的效果不佳，导致数据传输的效果差。

发明内容

本发明提供一种AR增强现实钢琴教学用自适应传输系统，以解决现有的问题：传统的通过金字塔降采样对数据进行压缩的效果不佳。

本发明的一种AR增强现实钢琴教学用自适应传输系统采用如下技术方案：

包括以下模块：

数据采集模块，用于获取原始数据，原始数据中包括若干帧数据，每个帧数据包括若干像素点；

数据分析模块，用于根据原始数据中相邻帧数据的相同区域中像素点的差异，获取相邻帧数据的相同区域之间的相似程度；根据相邻帧数据的相同区域中各个灰度级的像素点之间的差异，获取帧数据中所有区域中各个灰度级的重要性；

尺度选取模块，用于利用金字塔降采样获取所有帧数据的所有区域的所有层数据，根据所有帧数据的所有区域的不同层数据之间的差异以及帧数据中所有区域中各个灰度级的重要性，获取所有帧数据的所有区域的所有层数据的重要信息损失量；根据所有帧数据的所有区域的所有层数据的重要信息损失量结合相邻帧数据的相同区域之间的相似程度，获取所有帧数据的所有区域的所有层数据的金字塔层的自适应参数；根据所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，从所有帧数据的所有区域的所有层数据中选择金字塔最佳尺度层，得到所有帧数据的所有区域的金字塔最佳尺度层；

数据压缩模块，用于根据所有帧数据的所有区域的金字塔最佳尺度层进行压缩，对所有帧数据的所有区域进行压缩并传输。

优选的，所述根据原始数据中相邻帧数据的相同区域中像素点的差异，获取相邻帧数据的相同区域之间的相似程度，包括的具体方法为：

获取所有帧数据；然后预设一个大小为的滑动窗口，并将滑动窗口的滑动步长设为；对于第帧数据，利用滑动窗口遍历第帧数据，并将第帧数据中每个滑动窗口作为第帧数据中的每个区域，获取所有帧数据中的每个区域；

对于第帧数据与第帧数据的第个区域，根据第帧数据与第帧数据的第个区域中所有像素点的灰度值，获取第帧数据与第帧数据的第个区域之间的相似程度，其具体的计算公式为：

式中，表示第帧数据与第帧数据的第个区域之间的相似程度；表示第帧数据的第个区域中灰度值最大的像素点的灰度值；表示第帧数据的第个区域中灰度值最小的像素点的灰度值；表示第帧数据的第个区域中灰度值最大的像素点的灰度值；表示第帧数据的第个区域中灰度值最小的像素点的灰度值；表示第帧数据的第个区域中所有像素点的灰度均值；表示第帧数据的第个区域中所有像素点的灰度均值；表示第帧数据与第帧数据的第个区域之间的相似因子；表示绝对值运算；表示以自然常数为底数的指数函数。

优选的，所述根据相邻帧数据的相同区域中各个灰度级的像素点之间的差异，获取帧数据中所有区域中各个灰度级的重要性，包括的具体方法为：

统计第帧数据与第帧数据的第个区域中灰度级为的像素点的数量，分别记为与，并将第帧数据的第个区域中灰度级为的像素点所组成的区域记为；将第帧数据的第个区域中灰度级为的像素点所组成的区域记为；分别拟合出与的形心位置；并将的形心位置与的形心位置之间的欧氏距离记为，根据、、以及第帧数据中像素点的灰度值，获取第帧数据的第个区域中灰度级的重要性。

优选的，所述根据、、以及第帧数据中像素点的灰度值，获取第帧数据的第个区域中灰度级的重要性，包括的具体计算公式为：

式中，表示第帧数据的第个区域中灰度级的重要性；表示第帧数据中第个灰度级为的像素点的八邻域内所有像素点的灰度均值；表示第帧数据中灰度级为的像素点的数量；表示以自然常数为底数的指数函数。

优选的，所述获取所有帧数据的所有区域的所有层数据，根据所有帧数据的所有区域的不同层数据之间的差异以及帧数据中所有区域中各个灰度级的重要性，获取所有帧数据的所有区域的所有层数据的重要信息损失量，包括的具体方法为：

第帧数据的第个区域进行金字塔降采样，得到若干层数据；对于第帧数据的第个区域的第层数据，首先将灰度级相同的像素点记为同一种像素点，根据第帧数据的第个区域与第帧数据的第个区域的第层数据中同种像素点的之间的数量差异、第帧数据的第个区域与第帧数据的第个区域的第层数据中像素点种类数量之间的差异，以及第帧数据的第个区域中灰度级的重要性，获取第帧数据的第个区域的第层数据的重要信息损失量。

优选的，所述获取第帧数据的第个区域的第层数据的重要信息损失量，包括的具体方法为：

将第帧数据的第个区域中像素点的种类数量与第帧数据的第个区域的第层数据中像素点的种类数量之间的比值记为第一特征；

将第帧数据的第个区域中灰度值为的像素点的数量与第帧数据的第个区域的第层数据中灰度值为的像素点的数量之间的差，记为损失数量，将损失数量与第帧数据的第个区域中灰度级的重要性之间的积，记为第帧数据的第个区域中灰度级的损失程度；

获取第帧数据的第个区域中所有灰度级的损失程度，将第帧数据的第个区域中所有灰度级的损失程度的累加和记为第二特征；

将第二特征与第二特征的积，作为第帧数据的第个区域的第层数据的重要信息损失量。

优选的，所述根据所有帧数据的所有区域的所有层数据的重要信息损失量结合相邻帧数据的相同区域之间的相似程度，获取所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，包括的具体方法为：

对于第帧数据的第个区域的第层数据；首先对第帧数据的第个区域进行金字塔降采样，得到若干层数据；然后，获取第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度；根据第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度，计算第帧数据的第个区域的第层数据的金字塔层的自适应参数。

优选的，所述根据第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度，计算第帧数据的第个区域的第层数据的金字塔层的自适应参数，包括的具体计算公式为：

式中，表示第帧数据的第个区域的第层数据的金字塔层的自适应参数；表示第帧数据与第帧数据的第个区域之间的相似程度；表示金字塔降采样得到的所有层数据的层数数量；表示金字塔降采样得到的所有层数据中第层数据的索引数值；表示第帧数据的第个区域的第层数据的重要信息损失量；表示线性归一化函数；表示以自然常数为底数的指数函数。

优选的，所述根据所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，从所有帧数据的所有区域的所有层数据中选择金字塔最佳尺度层，包括的具体方法为：

对于第帧数据的第个区域，获取第帧数据的第个区域的每层数据的金字塔层的自适应参数，将第帧数据的第个区域的每层数据的金字塔层的自适应参数中最小的金字塔层的自适应参数，所对应的层数据作为第帧数据的第个区域的金字塔最佳尺度层。

优选的，所述根据所有帧数据的所有区域的金字塔最佳尺度层进行压缩，对所有帧数据的所有区域进行压缩并传输，包括的具体方法为：

对于第帧数据与第帧数据的第个区域；首先获取第帧数据的金字塔最佳尺度层与第帧数据的第个区域的金字塔最佳尺度层，分别记为与；

然后利用光流法在第帧数据与第帧数据的第个区域的金字塔最佳尺度层进行光流计算，得到第帧数据与第帧数据的第个区域的光流；

利用运动矢量估计法对第帧数据与第帧数据的第个区域的光流进行运动矢量估计，得到第帧数据与第帧数据的第个区域的估计结果；

最后利用GZIP压缩算法根据第帧数据与第帧数据的第个区域的估计结果进行压缩，并利用网络进行传输。

本发明的技术方案的有益效果是：本申请通过对相邻帧数据中相同区域中的像素点进行分析，获取相邻帧数据的相同区域之间的相似程度，与帧数据中所有区域中各个灰度级的重要性；再根据金字塔降采样获取所有帧数据的所有区域的所有层数据，根据不同层数据之间各个灰度级的重要性，获取所有层数据的重要信息损失量，再结合相邻帧数据的相同区域之间的相似程度，获取金字塔最佳尺度层，根据金字塔最佳尺度层对所有帧数据进行压缩，即可避免原始数据中细节的丢失、运动估计不准确的问题，使提高的压缩结果的质量，达到在提高数据传输效率的同时使数据的质量得到保证。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种AR增强现实钢琴教学用自适应传输系统的结构框图；

图2为本发明对原始数据进行压缩的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种AR增强现实钢琴教学用自适应传输系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种AR增强现实钢琴教学用自适应传输系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种AR增强现实钢琴教学用自适应传输系统的结构框图，该系统包括以下模块：

数据采集模块101，用于获取原始数据，原始数据中包括若干帧数据，每个帧数据包括若干像素点。

需要说明的是，本实施例作为一种AR增强现实钢琴教学用自适应传输系统，其主要目的是对AR增强现实的钢琴教学视频进行压缩传输，因此首先需要采集钢琴教学视频。

利用多个高清摄像机组成教学视频的采集系统对于教学老师的教学动作进行采集，得到钢琴教学视频记为原始数据。

数据分析模块102，用于根据原始数据中相邻帧数据的相同区域中像素点的差异，获取相邻帧数据的相同区域之间的相似程度；根据相邻帧数据的相同区域中各个灰度级的像素点之间的差异，获取帧数据中所有区域中各个灰度级的重要性。

需要进说明的是，在通过利用金字塔光流法对于原始数据进行压缩的时候，因为光流算法无法处理灰度发生改变时的不同区域的运动矢量的估计，所以通过对视频进行帧间的金字塔下降采样进行视频帧的尺度变化，获得多个帧间的不同尺度的数据，而后从最小尺度的数据进行光流计算，然后传播至上一个尺度进行光流优化以此类推知道原始的视频帧进行光流获取进行运动矢量的估计，而在此过程中，不同的区域其实灰度的变化程度是不一定相同并且变化程度不一定较大，而算法的本身是对于所有的区域进行统一程度的计算，使得在整体的过程中浪费了大量的算力，进而使得原始数据的压缩时间成本大幅度的上升，使得整体的压缩效率变低。

需要进一步说明的是，为了能够对原始数据有着更好的压缩效果，本实施例通过在原有的金字塔光流法的基础上，首先通过对于连续帧相同区域进行数据灰度差异的计算，获得进行金字塔尺度层获取的初始描述参数，而后通过分析原始数据对应的区域之中的不同的灰度级的像素点的重要程度进行不同尺度下的金字塔层的重要信息损失量的计算，以每一个金字塔尺度层中的重要信息损失量对于获得初始描述参数进行修正，并利用修正后的初始描述参数进行金字塔光流法的最佳运动矢量估计的尺度层的获取。

具体的，获取所有帧数据；然后预设一个大小为的滑动窗口，并将滑动窗口的滑动步长设为，的具体取值可结合实际情况自行设置，在本实施例中以进行叙述；对于第帧数据，利用滑动窗口遍历第帧数据，并将第帧数据中每个滑动窗口作为第帧数据中的每个区域，获取所有帧数据中的每个区域；

对于第帧数据与第帧数据的第个区域，根据第帧数据与第帧数据的第个区域中所有像素点的灰度值，获取第帧数据与第帧数据的第个区域之间的相似程度，其具体的计算公式为：

式中，表示第帧数据与第帧数据的第个区域之间的相似程度；表示第帧数据的第个区域中灰度值最大的像素点的灰度值；表示第帧数据的第个区域中灰度值最小的像素点的灰度值；表示第帧数据的第个区域中灰度值最大的像素点的灰度值；表示第帧数据的第个区域中灰度值最小的像素点的灰度值；表示第帧数据的第个区域中所有像素点的灰度均值；表示第帧数据的第个区域中所有像素点的灰度均值；表示第帧数据与第帧数据的第个区域之间的相似因子；表示绝对值运算；表示以自然常数为底数的指数函数。

需要说明的是，表示的是第帧数据与第帧数据的第个区域之间的相似程度，即的值越大，则第帧数据的第个区域与第帧数据的第个区域之间的差异就越小；而金字塔光流法是基于光流法进行研究的，而光流法是假设灰度不变原则，所以第帧原始数据的第个区域与第帧原始数据对应的灰度差异度越小，则说明连续两帧之间的运动矢量估计越简单；在物理意义上即表示在原始数据中的第帧数据与第帧数据的第个区域动作变化对于灰度的影响较小，进而进行金字塔的尺度层进行选择的时候，应该选择较大的尺度进行运动矢量的估计，能够避免大量的计算；因此第帧数据与第帧数据的第个区域之间的相似程度越高，则在后续进行金字塔层的尺度选择时应该选择更大的尺度。

得到连续帧间数据的相同区域之间的相似程度。

需要进一步说明的是，连续帧间数据的相同区域之间的相似程度仅能够在原始数据的层面上反映出连续帧间数据的相同区域的变化，而无法判断金字塔所处理之后的不同尺度下的金子塔层的灰度变化，而金字塔光流法是通过对于金子塔的不同尺度之间进行光流获取并传播优化的，并且在金字塔对原始数据进行降采样处理的时候，往往会有一部分的信息的丢失，所以在最佳的金字塔尺度层进行匹配的时候，仅利用连续帧间数据的相同区域之间的相似程度进行最佳金字塔的尺度层的计算，往往不够准确，所以本实施例对于原始数据中的不同的灰度级的像素点进行重要性，估计并且利用估计结果进行不同的尺度下的金子塔的重要信息损失量的计算，以获得的不同的尺度下的金子塔尺度层的重要信息损失量进行初始的金字塔自适应层数的可能性参数的修正。

具体的，对于第帧数据的第个区域中灰度级的重要性；统计第帧数据与第帧数据的第个区域中灰度级为的像素点的数量，分别记为与，并将第帧数据的第个区域中灰度级为的像素点所组成的区域记为；将第帧数据的第个区域中灰度级为的像素点所组成的区域记为；分别拟合出与的形心位置，由于获取形心位置的具体过程作为一种公知的现有技术，故在本实施例不再进行赘述；并将的形心位置与的形心位置之间的欧氏距离记为，根据、、以及第帧数据中像素点的灰度值，获取第帧数据的第个区域中灰度级的重要性，其具体的计算公式为：

式中，表示第帧数据的第个区域中灰度级的重要性；表示第帧数据的第个区域中灰度级为的像素点的数量；表示第帧数据的第个区域中灰度级为的像素点的数量；表示的形心位置与的形心位置之间的欧氏距离；表示第帧数据中第个灰度级为的像素点的八邻域内所有像素点的灰度均值；表示第帧数据中灰度级为的像素点的数量；表示以自然常数为底数的指数函数。

需要说明的是，原始数据表示未经过处理的钢琴教学老师的原始教学动作，而在教学的过程中，原始数据中的重要数据在一定程度上分为两类，一种是背景像素点，一类是前景像素点，其中的前景像素点的重要性往往是教与背景像素点更重要，而在钢琴教学的视频中，前景像素点具有这明显的特征，其中第一个特征为动态像素点，即相邻帧中发生了运动的像素点，因为其表示了教学教师的具体行为动作，另一类为边缘像素点，其对于教学教师的具体行为动作有着明显的分割作用，所以本实施例基于上述两个特征对于第个区域中的不同灰度级的像素点进行中重要性的计算。

需要进一步说明的是，第帧数据与第帧数据的第个区域中灰度级为的像素点，具体为如果相邻两帧的第个区域中的像素的拟合形心位置差异越小，则说明灰度级为的像素点移动较小，为非重要像素点的可能性较大，同时为防止因前景像素点在一帧内位移出第个区域，导致相邻两帧数据的第个区域中的像素的拟合形心位置差异越小，因此通过利用灰度级为的像素点在相邻两帧数据的第个区域中的数量比值作为置信度；而后利用第帧整体图像中，灰度级为的像素点与八邻域像素点的关系进行粗略判断灰度级为的像素点是否为边缘像素点，具体的逻辑为根据灰度级为的像素点与邻域像素点的差异值进行判断，该值越大，说明灰度级为的像素点为边缘像素点的可能性越大，反之则相反。因此的值越大，则说明第帧数据的第个区域中灰度级为的像素点就越可能为前景像素点，即第帧数据的第个区域中灰度级为的像素点就越重要。

至此，得到所有帧数据的所有每个灰度级的重要性。

尺度选取模块103，用于利用金字塔降采样获取所有帧数据的所有区域的所有层数据，根据所有帧数据的所有区域的不同层数据之间的差异以及帧数据中所有区域中各个灰度级的重要性，获取所有帧数据的所有区域的所有层数据的重要信息损失量；根据所有帧数据的所有区域的所有层数据的重要信息损失量结合相邻帧数据的相同区域之间的相似程度，获取所有帧数据的所有区域的所有层数据的金字塔层的自适应参数；根据所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，从所有帧数据的所有区域的所有层数据中选择金字塔最佳尺度层，得到所有帧数据的所有区域的金字塔最佳尺度层。

需要说明的是，在利用金字塔降采样算法对于相邻帧数据的相同区域的原始数据进行降采样处理时，随着尺度越来越小在每一次降采样的过程中，总会有不同的像素点损失，对应的为存在信息的损失；结合数据分析模块102中帧数据的每个灰度级的重要性，计算金字塔降采样中的每层数据的重要信息损失量。

需要进一步说明的是，金字塔降采样中的每层数据中的像素点的总灰度级种类数量，与原始数据中的像素点的总灰度级种类数量差距越大，且同一灰度级的重要的像素点的总个数差距越多，则金字塔降采样中的每层数据的重要信息损失量越大，故可以以此为依据计算金字塔降采样中的每层数据的重要信息损失量。

具体的，首先对第帧数据的第个区域进行金字塔降采样，得到若干层数据，由于金字塔降采样的具体过程作为一种公知的现有技术，故在本实施例中不再进行赘述；对于第帧数据的第个区域的第层数据，首先将灰度级相同的像素点记为同一种像素点，根据第帧数据的第个区域与第帧数据的第个区域的第层数据中同种像素点的之间的数量差异、第帧数据的第个区域与第帧数据的第个区域的第层数据中像素点种类数量之间的差异，以及第帧数据的第个区域中灰度级的重要性，获取第帧数据的第个区域的第层数据的重要信息损失量，其具体的计算过程为：

式中，表示第帧数据的第个区域的第层数据的重要信息损失量；表示第帧数据的第个区域中像素点的种类数量；表示第帧数据的第个区域的第层数据中像素点的种类数量；表示第帧数据的第个区域中灰度级的重要性；表示第帧数据的第个区域中灰度值为的像素点的数量；表示第帧数据的第个区域的第层数据中灰度值为的像素点的数量；表示绝对值运算。

需要说明的是，的值越大则说明第帧数据的第个区域的第层数据所损失的信息量就越多。在得到所有帧数据的每个区域的每层数据的重要信息损失量后，即可根据所有帧数据的每个区域的每层数据的重要信息损失量，与连续帧间数据的相同区域之间的相似程度，获取所有帧数据的所有区域的所有层数据的金字塔层的自适应参数。

具体的，对于第帧数据的第个区域的第层数据；首先对第帧数据的第个区域进行金字塔降采样，得到若干层数据；由于金字塔降采样的具体过程作为一种公知的现有技术，故在本实施例中不再进行赘述；然后，获取第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度；根据第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度，计算第帧数据的第个区域的第层数据的金字塔层的自适应参数，其具体的计算过程为：

式中，表示第帧数据的第个区域的第层数据的金字塔层的自适应参数；表示第帧数据与第帧数据的第个区域之间的相似程度；表示金字塔降采样得到的所有层数据的层数数量；表示金字塔降采样得到的所有层数据中第层数据的索引数值；表示第帧数据的第个区域的第层数据的重要信息损失量；表示线性归一化函数；表示以自然常数为底数的指数函数。

需要说明的是，越大，则说明在后续的金字塔最佳尺度层的获取的时候，大概率是需要以较大尺度的金字塔层来作为最佳的尺度层进行运动矢量的估计，所以第层为较大的尺度的金字塔层的时候，需要进行其对应的信息损失量的损失大小的关注，如果该层损失的重要信息较多时，则需要大幅度对于初始最佳金字塔层的自适应参数进行修正，使得选择的金字塔的最佳层的尺度更趋近于小尺度的金字塔层，以此来保证运动矢量估计的准确性；

进一步的，中为用来量化第个尺度的金字塔层的量化定位，尺度越小，金字塔光流法进行运动矢量估计容错越大，因此的值越大，说明第层的尺度越大，如果该层的信息损失量较大的时候，利用该层作为金字塔最优尺度层进行运动估计时的容错越小，所以需要调节的幅度较大，在此基础上乘以该层的重要信息损失量，该值越大，说明第层重要信息损失的越多，并且尺度越大，越需要更大的幅度的调节；在中的值越大，则说明更趋近于较大尺度层，而较大尺度层需要更大的容错。

需要进一步说明的是，在得到所有帧数据的所有区域的所有层数据的金字塔层的自适应参数后，即可根据所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，获取所有帧数据的所有区域的金字塔最佳尺度层。

具体的，对于第帧数据的第个区域；首先对第帧数据的第个区域进行金字塔降采样，得到若干层数据；由于金字塔降采样的具体过程作为一种公知的现有技术，故在本实施例中不再进行赘述；获取第帧数据的第个区域的每层数据的金字塔层的自适应参数，将第帧数据的第个区域的每层数据的金字塔层的自适应参数中最小的金字塔层的自适应参数，所对应的层数据作为第帧数据的第个区域的金字塔最佳尺度层。

至此，通过上述方法得到所有帧数据的所有区域的金字塔最佳尺度层。

数据压缩模块104，用于根据所有帧数据的所有区域的金字塔最佳尺度层进行压缩，对所有帧数据的所有区域进行压缩并传输。

需要说明的是，在尺度选取模块103得到所有帧数据的每个区域的金字塔最佳尺度层后，即可利用金字塔光流法对原始数据进行压缩。

具体的，对于第帧数据与第帧数据的第个区域；首先获取第帧数据的金字塔最佳尺度层与第帧数据的第个区域的金字塔最佳尺度层，分别记为与；

然后利用光流法在第帧数据与第帧数据的第个区域的金字塔最佳尺度层进行光流计算，得到第帧数据与第帧数据的第个区域的光流；由于光流法作为一种公知的现有技术，故在本实施例中不再进行赘述；

利用运动矢量估计法对第帧数据与第帧数据的第个区域的光流进行运动矢量估计，得到第帧数据与第帧数据的第个区域的估计结果，由于运动适量估计法作为一种公知的现有技术，故在本实施例中不再进行赘述；

最后利用GZIP压缩算法根据第帧数据与第帧数据的第个区域的估计结果进行压缩，由于GZIP压缩算法作为一种公知的现有技术，故在本实施例中不再进行赘述；同理对所有帧数据的所有区域进行压缩，并利用网络进行传输。

本实施例对原始数据进行压缩的流程图，如图2所示。

至此，本实施例完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种AR增强现实钢琴教学用自适应传输系统，其特征在于，该系统包括以下模块：

数据采集模块，用于获取原始数据，原始数据中包括若干帧数据，每个帧数据包括若干像素点；

数据分析模块，用于根据原始数据中相邻帧数据的相同区域中像素点的差异，获取相邻帧数据的相同区域之间的相似程度；根据相邻帧数据的相同区域中各个灰度级的像素点之间的差异，获取帧数据中所有区域中各个灰度级的重要性；

尺度选取模块，用于利用金字塔降采样获取所有帧数据的所有区域的所有层数据，根据所有帧数据的所有区域的不同层数据之间的差异以及帧数据中所有区域中各个灰度级的重要性，获取所有帧数据的所有区域的所有层数据的重要信息损失量；根据所有帧数据的所有区域的所有层数据的重要信息损失量结合相邻帧数据的相同区域之间的相似程度，获取所有帧数据的所有区域的所有层数据的金字塔层的自适应参数；根据所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，从所有帧数据的所有区域的所有层数据中选择金字塔最佳尺度层，得到所有帧数据的所有区域的金字塔最佳尺度层；

数据压缩模块，用于根据所有帧数据的所有区域的金字塔最佳尺度层进行压缩，对所有帧数据的所有区域进行压缩并传输；

所述根据原始数据中相邻帧数据的相同区域中像素点的差异，获取相邻帧数据的相同区域之间的相似程度，包括的具体方法为：

获取所有帧数据；然后预设一个大小为的滑动窗口，并将滑动窗口的滑动步长设为；对于第帧数据，利用滑动窗口遍历第帧数据，并将第帧数据中每个滑动窗口作为第帧数据中的每个区域，获取所有帧数据中的每个区域；

对于第帧数据与第帧数据的第个区域，根据第帧数据与第帧数据的第个区域中所有像素点的灰度值，获取第帧数据与第帧数据的第个区域之间的相似程度，其具体的计算公式为：

式中，表示第帧数据与第帧数据的第个区域之间的相似程度；表示第帧数据的第个区域中灰度值最大的像素点的灰度值；表示第帧数据的第个区域中灰度值最小的像素点的灰度值；表示第帧数据的第个区域中灰度值最大的像素点的灰度值；表示第帧数据的第个区域中灰度值最小的像素点的灰度值；表示第帧数据的第个区域中所有像素点的灰度均值；表示第帧数据的第个区域中所有像素点的灰度均值；表示第帧数据与第帧数据的第个区域之间的相似因子；表示绝对值运算；表示以自然常数为底数的指数函数；

所述根据相邻帧数据的相同区域中各个灰度级的像素点之间的差异，获取帧数据中所有区域中各个灰度级的重要性，包括的具体方法为：

统计第帧数据与第帧数据的第个区域中灰度级为的像素点的数量，分别记为与，并将第帧数据的第个区域中灰度级为的像素点所组成的区域记为；将第帧数据的第个区域中灰度级为的像素点所组成的区域记为；分别拟合出与的形心位置；并将的形心位置与的形心位置之间的欧氏距离记为，根据、、以及第帧数据中像素点的灰度值，获取第帧数据的第个区域中灰度级的重要性；

所述根据、、以及第帧数据中像素点的灰度值，获取第帧数据的第个区域中灰度级的重要性，包括的具体计算公式为：

式中，表示第帧数据的第个区域中灰度级的重要性；表示第帧数据中第个灰度级为的像素点的八邻域内所有像素点的灰度均值；表示第帧数据中灰度级为的像素点的数量；表示以自然常数为底数的指数函数。

2.根据权利要求1所述一种AR增强现实钢琴教学用自适应传输系统，其特征在于，所述获取所有帧数据的所有区域的所有层数据，根据所有帧数据的所有区域的不同层数据之间的差异以及帧数据中所有区域中各个灰度级的重要性，获取所有帧数据的所有区域的所有层数据的重要信息损失量，包括的具体方法为：

第帧数据的第个区域进行金字塔降采样，得到若干层数据；对于第帧数据的第个区域的第层数据，首先将灰度级相同的像素点记为同一种像素点，根据第帧数据的第个区域与第帧数据的第个区域的第层数据中同种像素点的之间的数量差异、第帧数据的第个区域与第帧数据的第个区域的第层数据中像素点种类数量之间的差异，以及第帧数据的第个区域中灰度级的重要性，获取第帧数据的第个区域的第层数据的重要信息损失量。

3.根据权利要求2所述一种AR增强现实钢琴教学用自适应传输系统，其特征在于，所述获取第帧数据的第个区域的第层数据的重要信息损失量，包括的具体方法为：

将第帧数据的第个区域中像素点的种类数量与第帧数据的第个区域的第层数据中像素点的种类数量之间的比值记为第一特征；

将第帧数据的第个区域中灰度值为的像素点的数量与第帧数据的第个区域的第层数据中灰度值为的像素点的数量之间的差，记为损失数量，将损失数量与第帧数据的第个区域中灰度级的重要性之间的积，记为第帧数据的第个区域中灰度级的损失程度；

获取第帧数据的第个区域中所有灰度级的损失程度，将第帧数据的第个区域中所有灰度级的损失程度的累加和记为第二特征；

将第二特征与第二特征的积，作为第帧数据的第个区域的第层数据的重要信息损失量。

4.根据权利要求1所述一种AR增强现实钢琴教学用自适应传输系统，其特征在于，所述根据所有帧数据的所有区域的所有层数据的重要信息损失量结合相邻帧数据的相同区域之间的相似程度，获取所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，包括的具体方法为：

对于第帧数据的第个区域的第层数据；首先对第帧数据的第个区域进行金字塔降采样，得到若干层数据；然后，获取第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度；根据第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度，计算第帧数据的第个区域的第层数据的金字塔层的自适应参数。

5.根据权利要求4所述一种AR增强现实钢琴教学用自适应传输系统，其特征在于，所述根据第帧数据的第个区域的第层数据的重要信息损失量，以及第帧数据与第帧数据的第个区域之间的相似程度，计算第帧数据的第个区域的第层数据的金字塔层的自适应参数，包括的具体计算公式为：

式中，表示第帧数据的第个区域的第层数据的金字塔层的自适应参数；表示第帧数据与第帧数据的第个区域之间的相似程度；表示金字塔降采样得到的所有层数据的层数数量；表示金字塔降采样得到的所有层数据中第层数据的索引数值；表示第帧数据的第个区域的第层数据的重要信息损失量；表示线性归一化函数；表示以自然常数为底数的指数函数。

6.根据权利要求1所述一种AR增强现实钢琴教学用自适应传输系统，其特征在于，所述根据所有帧数据的所有区域的所有层数据的金字塔层的自适应参数，从所有帧数据的所有区域的所有层数据中选择金字塔最佳尺度层，包括的具体方法为：

对于第帧数据的第个区域，获取第帧数据的第个区域的每层数据的金字塔层的自适应参数，将第帧数据的第个区域的每层数据的金字塔层的自适应参数中最小的金字塔层的自适应参数，所对应的层数据作为第帧数据的第个区域的金字塔最佳尺度层。

7.根据权利要求1所述一种AR增强现实钢琴教学用自适应传输系统，其特征在于，所述根据所有帧数据的所有区域的金字塔最佳尺度层进行压缩，对所有帧数据的所有区域进行压缩并传输，包括的具体方法为：

对于第帧数据与第帧数据的第个区域；首先获取第帧数据的金字塔最佳尺度层与第帧数据的第个区域的金字塔最佳尺度层，分别记为与；

然后利用光流法在第帧数据与第帧数据的第个区域的金字塔最佳尺度层进行光流计算，得到第帧数据与第帧数据的第个区域的光流；

利用运动矢量估计法对第帧数据与第帧数据的第个区域的光流进行运动矢量估计，得到第帧数据与第帧数据的第个区域的估计结果；

最后利用GZIP压缩算法根据第帧数据与第帧数据的第个区域的估计结果进行压缩，并利用网络进行传输。