CN116975312A - 一种智慧校园教育数据管理系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种智慧校园教育数据管理系统，包括：数据采集模块，用于获取数据构建字典，优先级计算模块，根据字典中字符串的出现频次得到字符串的优先级，削减因子计算模块，将数据进行分段得到分段数据，根据最近数据中字符串的出现频次和得到字符串的局部频率波动程度，得到字符串优先级的削减因子，换出优先级计算模块，根据字符串优先级的削减因子得到换出优先级，字典更新编码模块，更新的字典对数据进行编码存储。本发明根据LZW字典中字符串在数据中的出现频率波动情况自适应计算换出优先级，使局部频率较低的字符串更优先换出，防止LZW字典中同一字符频繁地换入换出造成不必要的资源浪费。

Description

一种智慧校园教育数据管理系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种智慧校园教育数据管理系统。

背景技术

智慧校园数据管理系统是一种用于管理和处理学校内部数据的系统，该系统可以涵盖学生信息管理、教务管理、教学资源管理、校园安全管理等多个方面。智慧校园教育数据对每一个学生都有一份结构化的数据需要存储，总数据存储量大，故需要一种数据的优化存储方式。

常用的LZW编码是一种较高压缩效率的无损压缩方法，通过构建字典的方式实现数据的压缩。但LZW算法在字典编满后通过全局频率计算获取字典中的换出字符串，数据中局部出现频率较高但是在其他位置出现频率较少的字符或字符串全局频率可能高于一些其他常用字符而长时间占用字典空间，在对其出现频率较低的部分进行编码时，容易造成字典空间浪费。

因此需要根据LZW字典中字符串在数据中的出现频率波动情况自适应计算换出优先级，使局部频率较低的字符串更优先换出，防止LZW字典中同一字符频繁地换入换出造成不必要的资源浪费。

发明内容

本发明提供一种智慧校园教育数据管理系统，以解决现有的问题。

本发明的一种智慧校园教育数据管理系统采用如下技术方案：

本发明一个实施例提供了一种智慧校园教育数据管理系统，该系统包括以下模块：

数据采集模块，用于获取智慧校园教育数据，所述智慧校园教育数据属于结构化数据；

优先级计算模块，用于根据智慧校园教育数据构建LZW算法的字典，所述字典中包含若干字符串，所述若干字符串包括两类字符串，分别是原有字符串和换入字符串，根据字典中字符串的出现频次得到字符串的优先级；

削减因子计算模块，用于计算字符串的局部频率波动程度，所述字符串的局部频率波动程度包括原有字符的局部频率波动程度和换入字符的局部频率波动程度，包括：

将智慧校园教育数据进行分段处理，得到若干个分段数据，获取字典空间编满时已读入的所有分段数据，根据字典空间编满时已读入的所有分段数据得到最近数据，根据字符串在最近数据中的出现频次以及字符串在字典空间编满时已读入的所有分段数据中的出现频次，得到原有字符串的局部频率波动程度；

根据字符串的优先级获取初始数据和新的最近数据，根据字符串在初始数据中的出现频次以及字符串在新的最近数据中的出现频次，得到换入字符串的局部频率波动程度；

根据字符串在分段数据中的出现频次得到字符串波动程度的变化情况；

根据字符串的局部频率波动程度和字符串波动程度的变化情况，得到字符串优先级的削减因子；

换出优先级计算模块，用于根据字符串优先级的削减因子和字符串的优先级得到字符串的换出优先级；

字典更新编码模块，用于根据换出优先级得对智慧校园教育数据进行编码并存储。

进一步地，所述将智慧校园教育数据进行分段处理，得到若干个分段数据，包括的具体步骤如下：

所述智慧校园教育数据属于结构化数据，将智慧校园教育数据进行分段处理，得到若干个分段数据。

进一步地，所述根据字典空间编满时已读入的所有分段数据得到最近数据，包括的具体步骤如下：

在字典空间第一次编满时已读入的所有分段数据中选取最靠后的个分段数据作为最近数据/>为预设的参考值。

进一步地，所述根据字符串在最近数据中的出现频次以及字符串在字典空间编满时已读入的所有分段数据中的出现频次，得到原有字符串的局部频率波动程度，包括的具体步骤如下：

其中，为字典中第d个字符串在最近数据的局部频率波动程度，记为第d个原有字符串的局部频率波动程度，/>为字典中第d个字符串在最近数据的出现频次，/>为字典中第d个字符串在字典空间第一次编满时已读入的所有分段数据的出现频次，/>为字典空间第一次编满时已读入的所有分段数据的分段个数，/>为预设的参考值。

进一步地，所述根据字符串的优先级获取初始数据和新的最近数据，包括的具体步骤如下：

在字典空间编满时，获取首次出现在字典中的字符串，将首次出现的字符串记为第一字符串，将首次出现第一字符串的分段数据作为起始段，将起始段到目前读入数据段之间的所有分段数据作为初始数据，选取初始数据中最靠后的个分段数据作为新的最近数据，/>为预设的参考值。

进一步地，所述根据字符串在初始数据中的出现频次以及字符串在新的最近数据中的出现频次，得到换入字符串的局部频率波动程度，包括的具体步骤如下：

对于字典空间编满时并进行换入换出后首次出现的字符串，记为第r个字符串；

其中，为字典中第r个字符串在新的最近数据中的局部频率波动程度，记为第r个换入字符串的局部频率波动程度，/>为字典中第r个字符串在新的最近数据中的出现频次，/>为字典中第r个字符串在初始数据中的出现频次，/>为初始数据中分段数据的分段个数，/>为预设的参考值，/>为取最大值。

进一步地，所述根据字符串在分段数据中的出现频次得到字符串波动程度的变化情况，包括的具体步骤如下：

对于字典内的任意一个字符串记为TQ，将TQ所在的任意一个分段数据记为YB，将YB前一个分段数据记为YA，将TQ在YB中的出现频次与TQ在YA中的出现频次差值的绝对值作为TQ波动程度的变化情况，记为字符串波动程度的变化情况。

进一步地，所述根据字符串的局部频率波动程度和字符串波动程度的变化情况，得到字符串优先级的削减因子，包括的具体步骤如下：

其中，为字典内第/>个字符串优先级的削减因子，/>为字典内第/>个字符串的局部频率波动程度，/>为预设系数，/>为字典内第/>个字符串波动程度的变化情况。

进一步地，所述根据字符串优先级的削减因子和字符串的优先级得到字符串的换出优先级，包括的具体步骤如下：

将字典内第个字符串优先级的削减因子与字典内第/>个字符串的优先级进行相乘，将相乘结果作为字典内第/>个字符串的换出优先级。

进一步地，所述根据换出优先级得对智慧校园教育数据进行编码并存储，包括的具体步骤如下：

对于字典内所有字符串的换出优先级，根据换出优先级对字典内字符串进行排序，得到优先级排序表，字典更新时只需要将优先级排序表中换出优先级最高的字符串从字典中换出，得到更新后的字典，根据更新后的字典对智慧校园教育数据进行编码得到编码数据，将编码数据进行存储。

本发明的技术方案的有益效果是：本发明根据LZW字典中字符串在数据中的出现频率波动情况自适应计算换出优先级，使局部频率较高且总体频次低的字符串更优先换出，保证重要的字符串优先存入字典中，防止不重要的字符串占用字典的存储空间，保证了智慧校园教育数据编码存储的高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种智慧校园教育数据管理系统的系统框架图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种智慧校园教育数据管理系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种智慧校园教育数据管理系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种智慧校园教育数据管理系统的系统框架图，该系统包括以下模块：

数据采集模块：

需要说明的是，本实施例的目的是：通过LZW编码算法随数据进行编码压缩时，当算法字典编满时，通过分析字典内字符串的局部频率和整体聚集区间，计算字符串的优先级削减因子对其频率优先级进行修正，获取字符串的换出优先级，根据换出优先级计算获取换出的字典内最理想字符串，使字典空间得到最优利用程度，开始处理前，首先需要采集数据。

请参阅图1，其示出了本发明一个实施例提供的一种智慧校园教育数据管理系统的系统框架图，该系统包括以下模块：

数据采集模块：

需要说明的是，本实施例的目的是：通过LZW编码算法随数据进行编码压缩时，当算法字典编满时，通过分析字典内字符串的局部频率和整体聚集区间，计算字符串的优先级削减因子对其频率优先级进行修正，获取字符串的换出优先级，根据换出优先级计算获取换出的字典内最理想字符串，使字典空间得到最优利用程度，开始处理前，首先需要采集数据。

具体的，智慧校园教育数据是一种结构化的数据，主要是指收集和记录校园内学生的基本信息、思想发展、学业水平、身心成长、业余生活等信息，以便为学校提供决策支持和数据分析的依据，以促进教育教学的改进和优化。这些信息包括但不限于学习成绩、考试成绩、出勤情况、奖惩记录、考取证书、技能竞赛、心理测评等。可通过线上填表收集静态数据，通过日常教师评估以及记录对学生行为数据进行采集，得到智慧校园教育数据。

至此，得到了智慧校园教育数据。

需要说明的是，LZW通过字典的方式进行数据的编码与压缩，该算法通过事先预设空间的方式获取一个占用空间大小固定的字典。在字典内空间占满后通过字典内字符串在历史编码过程中出现的频率简单计算优先级将频率较低的字符串从字典内清空，再进行新的字符串的编码。在智慧校园教育数据中，存在大量仅在某一段内出现频率较高，而在其他区域频率较低的字符串，在这样的字符串出现频率较低处对其编码时，可能会长时间占用字典内空间，造成字典空间的浪费。

故通过分析字符串的局部频率计算其是否存在聚集区间，再根据字符串出现频率的波动情况计算获取换出优先级，根据字典内全部字符串的换出优先级确定应该从字典内去除的字符串。通过这样的方式防止了字典内同一字符串频繁地换入与换出，更加精准的预测了字典内字符串后续出现的概率。

优先级计算模块：

需要说明的是，在本实施例中，针对频率对字符串优先级进行分析，统计字符串的历史出现频率作为初始优先级，并在后续计算削减因子对其进行自适应修正。

具体的，构建LZW字典对智慧校园教育数据进行压缩，根据一般字典构建规则，使用智慧校园教育数据全部字符集大小的二倍作为预设字典空间大小，每当一个字符被读入，判断该字符与前置字符或字符组组成的新字符串是否已存在字典中，不存在则纳入字典，已在字典中则将其频次加一，最终可以获得字典内每一个字符串的出现频次。

需要说明的是，传统LZW算法在字典内空间占满后通过字典内字符串在历史编码过程中出现的频率简单计算优先级将频率较低的字符串从字典内清空，再进行新的字符串的换入。

本实施例中通过计算字典中字符串的优先级和字符串的局部频率波动程度来对字典中的字符串进行换入换出处理，对于字典中字符串的优先级和字符串的局部频率波动程度本实施例主要分为两种情况：已在字典中的字符串的优先级和字符串的局部频率波动程度和字典空间编满新加入字典的字符串的优先级和字符串的局部频率波动程度。

在计算字符串的局部频率波动程度时，本实施例字符串的局部频率波动程度包括原有字符的局部频率波动程度和换入字符的局部频率波动程度。

具体的，当字典空间编满时（也即第一次编满），统计字典中所有字符串的出现频率，根据字符串的出现频率计算字符串的优先级，具体如下：

其中，为字典内第i个字符串的优先级，/>为字典内第i个字符串的出现频率，字典内第i个字符串的出现频率可通过字典内第i个字符串的出现频次和字典内所有字符串的出现频次之比得到。

越大，说明第i个字符串在整体上在智慧校园教育数据出现的频次低，说明该字符串在整个智慧校园教育数据中不重要。

需要说明的是，本实施例中主要包含两类字符串，分别为原有字符串和换入字符串，原有字符串为字典空间第一次编满时，所存贮的字符串，换入字符串为字典空间第一次编满后新换入的字符串，上述计算的是原有字符串的优先级。

至此，得到了字符串的优先级。

削减因子计算模块：

需要说明的是，智慧校园教育数据中存在一些字符串仅在全部数据的其中一段存在，例如学生数据中的班级，集体获奖情况在个人中的记录相关字符串等都属于局部频率较高而其他区域频率较低甚至为零的情况，通过字符串频率波动对这些字符进行检索，对其频率较低区域进行编码时通过削减因子降低字符串的优先级。

进一步需要说明的是，智慧校园教育数据属于结构化数据，在对其横向遍历进行LZW编码时，会产生的周期性变化规律，而所述局部频率较高字符串也会在其中周期性出现，将局部高频字符串的高频区域视为该字符串的聚集区间，根据最近一段读入字符中字符串出现频率和历史全部记录中字符串出现频率获取该字符串在最近一段字符中的频率波动情况，即需要获取字符串的局部频率波动程度，字符串的局部频率波动程度包括原有字符的局部频率波动程度和换入字符的局部频率波动程度。

具体的，根据智慧校园教育数据的结构化特性，将智慧校园教育数据进行分段处理，得到若干个分段数据，每条结构数据归为一段分段数据。

在字典空间编满时已读入的所有分段数据（第一次编满），在字典空间编满时已读入的所有分段数据中选取最靠后的个分段数据作为最近数据，/>为预设的参考值，本实施例中/>的取值为10，具体实施时可以设置为其他值。

具体的，根据字符串在最近数据中的出现频次和字典空间编满时已读入的所有分段数据中的出现频次得到原有字符串的局部频率波动程度，具体如下：

其中，为字典中第d个字符串在最近数据的局部频率波动程度，记为第d个原有字符串的局部频率波动程度，/>为字典中第d个字符串在最近数据的出现频次，/>为字典中第d个字符串在字典空间第一次编满时已读入的所有分段数据的出现频次，/>为字典空间第一次编满时已读入的所有分段数据的分段个数，/>为预设的参考值。

需要说明的是，在编码过程中，当字典内容进行过换入与换出后，需要计算本来不在字典中而后续被换入字典字符串的优先级，即新的字符串，因为其整体频次和局部频次均为一，故将已读入的所有分段数据用于计算该字符串的波动程度有较大的偏差。

具体的，在字典空间编满时（第一次编满），根据字符串的优先级进行换入换出后首次出现的字符串，将首次出现的字符串记为第一字符串，将首次出现第一字符串的分段数据作为起始段，将起始段到目前读入数据段之间的所有分段数据作为初始数据，选取初始数据中最靠后的个分段数据作为新的最近数据，/>为预设的参考值，需要说明的是，初始数据中包含的分段数据的个数要大于/>。需要说明的是，根据字符串的优先级进行换入换出为现有方法，本实施例不再赘述。

对于字典空间编满时并进行换入换出后首次出现的字符串，根据字符串在初始数据中的出现频次和新的最近数据中的出现频次得到换入字符串的局部频率波动程度，具体如下：

其中，为字典中第r个字符串在新的最近数据中的局部频率波动程度，记为第r个换入字符串的局部频率波动程度，/>为字典中第r个字符串在新的最近数据中的出现频次，/>为字典中第r个字符串在初始数据中的出现频次，/>为初始数据中分段数据的分段个数，/>为预设的参考值，/>为取最大值。

具体的，此时，字符串的优先级计算也不同，具体如下：

其中，为字典内第r个字符串的优先级，/>为初始数据中第r个字符串的出现频次，/>为初始数据中分段数据的分段个数，/>为初始数据中第j个分段数据中所有字符串的出现频次。

需要说明的是，分析字符串在最近两段数据中出现频率变化情况，该变化情况可以反映字符串的变化趋势，根据波动程度的局部变化预测其优先级的调整范围，以实现对字符串优先级的动态调整。

具体的，对于字典内的任意一个字符串记为TQ，将TQ所在的任意一个分段数据记为YB，将YB前一个分段数据记为YA，将TQ在YB中的出现频次与TQ在YA中的出现频次差值的绝对值作为TQ波动程度的变化情况，记为字符串波动程度的变化情况。同理可以获取每一个字符串波动程度的变化情况。

进一步地，将字符串波动程度的变化情况记为，根据字符串的局部频率波动程度和字符串波动程度的变化情况得到字符串优先级的削减因子，具体如下：

其中，为字典内第/>个字符串优先级的削减因子，/>为字典内第/>个字符串的局部频率波动程度，/>为预设系数，本实施例中以预设系数/>为例进行叙述，/>为字典内第/>个字符串波动程度的变化情况。

至此，得到了字符串优先级的削减因子。

换出优先级计算模块：

需要说明的是，在获取各字符串的削减因子后，通过削减因子对字符串的优先级进行修正，获取字符串的换出优先级。

具体的，根据字符串优先级的削减因子和字符串的优先级得到字符串的换出优先级，具体如下：

其中，为字典内第/>个字符串的换出优先级，/>为字典内第/>个字符串优先级的削减因子，/>为字典内第/>个字符串的优先级。

至此，得到了字符串的换出优先级。

字典更新编码模块：

具体的，获取字典内所有字符串的换出优先级，根据换出优先级对字典内字符串进行排序，得到优先级排序表，字典更新时只需要将优先级排序表中换出优先级最高的字符串从字典中换出，得到更新后的字典，根据更新后的字典对智慧校园教育数据进行编码，同理当再次出现字典空间编满时并进行换入换出后首次出现的字符串，获取字符串的换出优先级，再次按照字符串的换出优先级大小，将换出优先级最高的字符串从字典中换出，同时对更新后的字典继续进行更新并对智慧校园教育数据进行编码，直至将智慧校园教育数据全部编码完成，得到最终编码数据，将最终编码数据进行存储。需要说明的是，根据更新的字典对智慧校园教育数据进行编码为现有方法，本实施例不再进行具体赘述。

至此，完成对智慧校园教育数据存储管理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智慧校园教育数据管理系统，其特征在于，该系统包括以下模块：

数据采集模块，用于获取智慧校园教育数据，所述智慧校园教育数据属于结构化数据；

优先级计算模块，用于根据智慧校园教育数据构建LZW算法的字典，所述字典中包含若干字符串，所述若干字符串包括两类字符串，分别是原有字符串和换入字符串，根据字典中字符串的出现频次得到字符串的优先级；

削减因子计算模块，用于计算字符串的局部频率波动程度，所述字符串的局部频率波动程度包括原有字符的局部频率波动程度和换入字符的局部频率波动程度，包括：

将智慧校园教育数据进行分段处理，得到若干个分段数据，获取字典空间编满时已读入的所有分段数据，根据字典空间编满时已读入的所有分段数据得到最近数据，根据字符串在最近数据中的出现频次以及字符串在字典空间编满时已读入的所有分段数据中的出现频次，得到原有字符串的局部频率波动程度；

根据字符串的优先级获取初始数据和新的最近数据，根据字符串在初始数据中的出现频次以及字符串在新的最近数据中的出现频次，得到换入字符串的局部频率波动程度；

根据字符串在分段数据中的出现频次得到字符串波动程度的变化情况；

根据字符串的局部频率波动程度和字符串波动程度的变化情况，得到字符串优先级的削减因子；

换出优先级计算模块，用于根据字符串优先级的削减因子和字符串的优先级得到字符串的换出优先级；

字典更新编码模块，用于根据换出优先级得对智慧校园教育数据进行编码并存储。

2.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述将智慧校园教育数据进行分段处理，得到若干个分段数据，包括的具体步骤如下：

所述智慧校园教育数据属于结构化数据，将智慧校园教育数据进行分段处理，得到若干个分段数据。

3.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字典空间编满时已读入的所有分段数据得到最近数据，包括的具体步骤如下：

在字典空间第一次编满时已读入的所有分段数据中选取最靠后的个分段数据作为最近数据，/>为预设的参考值。

4.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字符串在最近数据中的出现频次以及字符串在字典空间编满时已读入的所有分段数据中的出现频次，得到原有字符串的局部频率波动程度，包括的具体步骤如下：

；

其中，为字典中第d个字符串在最近数据的局部频率波动程度，记为第d个原有字符串的局部频率波动程度，/>为字典中第d个字符串在最近数据的出现频次，/>为字典中第d个字符串在字典空间第一次编满时已读入的所有分段数据的出现频次，/>为字典空间第一次编满时已读入的所有分段数据的分段个数，/>为预设的参考值。

5.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字符串的优先级获取初始数据和新的最近数据，包括的具体步骤如下：

在字典空间编满时，获取首次出现在字典中的字符串，将首次出现的字符串记为第一字符串，将首次出现第一字符串的分段数据作为起始段，将起始段到目前读入数据段之间的所有分段数据作为初始数据，选取初始数据中最靠后的个分段数据作为新的最近数据，为预设的参考值。

6.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字符串在初始数据中的出现频次以及字符串在新的最近数据中的出现频次，得到换入字符串的局部频率波动程度，包括的具体步骤如下：

对于字典空间编满时并进行换入换出后首次出现的字符串，记为第r个字符串；

；

其中，为字典中第r个字符串在新的最近数据中的局部频率波动程度，记为第r个换入字符串的局部频率波动程度，/>为字典中第r个字符串在新的最近数据中的出现频次，/>为字典中第r个字符串在初始数据中的出现频次，/>为初始数据中分段数据的分段个数，/>为预设的参考值，/>为取最大值。

7.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字符串在分段数据中的出现频次得到字符串波动程度的变化情况，包括的具体步骤如下：

对于字典内的任意一个字符串记为TQ，将TQ所在的任意一个分段数据记为YB，将YB前一个分段数据记为YA，将TQ在YB中的出现频次与TQ在YA中的出现频次差值的绝对值作为TQ波动程度的变化情况，记为字符串波动程度的变化情况。

8.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字符串的局部频率波动程度和字符串波动程度的变化情况，得到字符串优先级的削减因子，包括的具体步骤如下：

；

其中，为字典内第/>个字符串优先级的削减因子，/>为字典内第/>个字符串的局部频率波动程度，/>为预设系数，/>为字典内第/>个字符串波动程度的变化情况。

9.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据字符串优先级的削减因子和字符串的优先级得到字符串的换出优先级，包括的具体步骤如下：

将字典内第个字符串优先级的削减因子与字典内第/>个字符串的优先级进行相乘，将相乘结果作为字典内第/>个字符串的换出优先级。

10.根据权利要求1所述一种智慧校园教育数据管理系统，其特征在于，所述根据换出优先级得对智慧校园教育数据进行编码并存储，包括的具体步骤如下：

对于字典内所有字符串的换出优先级，根据换出优先级对字典内字符串进行排序，得到优先级排序表，字典更新时只需要将优先级排序表中换出优先级最高的字符串从字典中换出，得到更新后的字典，根据更新后的字典对智慧校园教育数据进行编码得到编码数据，将编码数据进行存储。