CN109145062A - 一种自学习的信息分类处理装置 - Google Patents

Abstract

本发明涉及一种自学习的信息分类处理装置，用于对表格数据进行分类，每一表格数据具有数据格式特征以及数据类型特征，包括自动分类模块、第一差异分类模块、第二差异分类模块以及全差异模块；所述自动分类模块配置有第一分类策略，所述第一分类策略用于将数据格式特征相同且数据类型相同的表格数据划分至同一组别；就可以简单的对数据进行分类，而配合自学习的方式，可以直接提取归纳数据，将数据完成格式统一，较为简单便利，优化整个数据存储的结构，且方便大数据系统调取数据。

Description

一种自学习的信息分类处理装置

技术领域

本发明涉及一种数据处理装置,更具体地说，涉及一种自学习的信息分类处理装置。

背景技术

数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等。而对数据需要进行分类统计，而不同的系统对应的数据的格式，目前存在无法统一的问题，以账目表的数据而言，数据会存在两个特征，一个是类型特征，例如X年X月X日、进账就是该账目的数据的类型特征，还有各一个是格式特征，例如金额小数点位数、或是金额币种，都是属于格式特征，而如果对大量的数据进行统计，如果两个特征存在差异，就无法识别出对应的数据，更不能说将数据进行归纳，造成非常大的数据浪费。

现有技术1：CN106021360A公开了一种自主学习优化MapReduce处理数据的方法和装置，包括：在一作业中，对reduce计算前的数据按照预设的方式取样，并将取得的取样键形成学习文件存储到目录为其对应的作业标签信息的学习文件夹中；在后续作业中，根据其作业标签信息查找对应的学习文件夹，如果有，则直接调用学习文件夹中的处理结果来优化本次处理；如果没有，则形成新的学习文件并存储，本发明的自主学习优化MapReduce处理数据的方法和装置，通过获取reduce计算前的数据的取样键进行取样学习，然后对后续作业的数据通过作业标签判断是否由与其对应的学习文件，从而确定是否调用学习文件的处理结果使用，学习方法简单，可快速、高效地重复处理类似数据的工作。

现有技术2：CN106097810A公开了一种数学自主学习系统，该数学自主学习系统包括中央控制系统、存储下载和人机交互子系统、操作子系统、声音输出子系统、备份子系统和显示子系统；所述中央控制系统通过无线通讯单元与存储下载和人机交互子系统双向电性连接，且中央控制系统通过CAN总线系统分别与操作子系统、声音输出子系统、备份子系统和显示子系统双向电性连接。该数学自主学习系统智能方便，均采用无线连接，增加了老师在教室内移动的空间，加强了与学生之间的现场互动，并且可以随时监督学生的学习，通过学生学号来与学生学习终端来一一对应，提高学生学习兴趣的同时，也便于老师对于学生学习的进度和和完成练习的好坏来对每位学生制定不同的指导方案，学习系统中的数据通过无线通讯单元分别传递到局域网单元和移动互联网上，局域网单元将学生学习终端和学习系统连接，使得学生现场学习变得简单便捷，数据经过移动互联网上传至云服务器单元，学生的移动终端和远程终端均可以通过数字媒体下载服务器对学习内容下载学习，实现了网络教学的资源共享化，并且在学生请假过程中，也可以通过对学习系统中的内容下载学习，避免因为缺课造成的学习落后的现象，自动截屏单元可以将播放中的图片进行截屏操作，老师可以标注为重点，便于讨论和讲解。

然而，上述现有技术的数据处理方法和自主学习均较为复杂，并不能简单的对数据进行分类，急需一种可以简单的对数据进行分类，而配合自学习的方式，可以直接提取归纳数据，将数据完成格式统一，较为简单便利，优化整个数据存储的结构，且方便大数据系统调取数据的技术。

发明内容

有鉴于此，本发明目的是提供一种自学习的信息分类处理装置，以解决上述问题。

为了解决上述技术问题，本发明的技术方案是：一种自学习的信息分类处理装置，用于对表格数据进行分类，每一表格数据具有数据格式特征以及数据类型特征，包括自动分类模块、第一差异分类模块、第二差异分类模块以及全差异模块；

所述自动分类模块配置有第一分类策略，所述第一分类策略用于将数据格式特征相同且数据类型相同的表格数据划分至同一组别；

所述第一差异分类模块配置有第二分类策略，所述第二分类策略包括第一筛选步骤、第一辅助分类步骤、修改步骤以及第一自学习步骤；所述第一筛选步骤筛选出若干第一分类组，每一第一分类组包括有相同的数据格式特征并具有不同的数据类型特征的表格数据；所述第一辅助分类步骤通过第一辅助策略生成第一关联信息，所述第一关联信息用于关联两个以上不同的数据类型特征，并将被关联的所述数据类型特征配置为一主类型特征以及至少一个次类型特征；所述修改步骤包括在第一分类组内，根据所述第一关联信息获取具有次类型特征的表格数据，将所述次类型特征的表格数据的数据类型特征修改为对应的主类型特征；所述第一自学习步骤包括存储第一辅助分类步骤生成的所述第一关联信息，根据第一关联信息将具有次类型特征的表格数据的数据类型特征修改为对应的主类型特征；

所述第二差异分类模块配置有第三分类策略，所述第三分类策略包括第二筛选步骤、第二辅助分类步骤以及格式转化步骤以及第二自学习步骤；所述第二筛选步骤筛选出若干第二分类组，每一第二分类组内包括有不同的数据格式特征并具有相同的数据类型特征的表格数据；所述第二辅助分类步骤通过第二辅助策略生成第二关联信息，所述第二关联信息用于关联不同的两个以上不同的数据格式特征，并将被关联的数据格式特征配置为一主格式特征以及至少一个次格式特征；所述转化步骤包括在第二分类组内，根据所述第二关联信息获取具有次格式特征的表格数据，将所述次格式特征的表格数据的数据格式转化为主格式特征对应的数据格式，并将所述表格数据的数据格式特征修改为主格式特征；所述第二自学习步骤包括存储所述第二辅助分类步骤生成的第二关联信息，根据第二关联信息将具有次格式特征的表格数据的数据格式转化为主格式特征对应的格式，并修改对应的数据格式特征为主格式特征；

所述全差异模块配置有第四分类策略，所述第四分类策略包括第三自学习步骤，第一差异归纳步骤，第二差异归纳步骤以及差异修正步骤，所述第三自学习步骤包括获取第一关联信息以及第二关联信息，根据所述第一关联信息和第二关联信息生成若干第三分类组，每一所述第三分类组对应设置有一主格式特征以及一主类型特征；所述第一差异归纳步骤将同时具有主格式特征和主类型特征的表格数据划分至对应的第三分类组；所述第二差异归纳步骤包括将同时具有该主格式特征对应的次格式特征以及该主类型特征对应的次类型特征的表格数据划分至对应的第三分类组；所述差异修正步骤包括在第三分类组中，将所述次类型特征的表格数据的数据类型特征修改为对应的主类型特征，将所述次格式特征的表格数据的数据格式转化为主格式特征对应的数据格式，并将所述表格数据的数据格式特征修改为主格式特征。

进一步地：还包括关联数据库，所述关联数据库存储有若干第一关联信息，每一第一关联信息具有对应的数据格式特征作为索引，所述第一辅助分类步骤包括根据对应的数据格式特征从所述关联数据库获取第一关联信息。

进一步地：还包括关联数据库，所述关联数据库存储有若干第二关联信息，每一第二关联信息具有对应的数据类别特征作为索引，所述第二辅助分类步骤包括根据对应的数据类别特征从所述关联数据库获取第二关联信息。

进一步地：还包括输入端，用户可通过所述输入端输入信息，所述第一辅助分类步骤还包括根据所述用户端输入的信息形成所述第一关联信息。

进一步地：还包括输入端，用户可通过所述输入端输入信息，所述第二辅助分类步骤还包括根据所述用户端输入的信息形成所述第二关联信息。

进一步地：所述信息分类装置连接于云数据库，所述信息分类装置设置有抓取策略，通过所述抓取策略从所述云数据库中抓取所述第一关联信息以及第二关联信息。

进一步地：对应一第二关联信息，确定第二关联信息对应的主格式特征的方法为，统计该第二关联信息对应的数据文件中每一不同的数据格式特征出现次数，以出现次数最多的数据格式特征作为主格式特征。

进一步地：对应一第一关联信息，确定第一关联信息对应的主类型特征的方法为，统计该第一关联信息对应的数据文件中每一不同的数据类型特征出现次数，以出现次数最多的数据类型特征作为主类型特征。

进一步地：对应一第二关联信息，确定第二关联信息对应的主格式特征的方法为，用户通过一终端从对应的数据格式特征中选择一主格式特征。

进一步地：对应一第一关联信息，确定第一关联信息对应的主类型特征的方法为，从对应的数据格式特征中随机确定一主类型特征。

本发明技术效果主要体现在以下方面：通过这样的方式，就可以简单的对数据进行分类，而配合自学习的方式，可以直接提取归纳数据，将数据完成格式统一，较为简单便利，优化整个数据存储的结构，且方便大数据系统调取数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1：本发明的自学习的信息分类处理装置的系统架构原理图；

图2：本发明的自学习的信息分类处理装置的第二分类策略步骤原理图；

图3：本发明的自学习的信息分类处理装置的第三分类策略步骤原理图；

图4：本发明的自学习的信息分类处理装置的第四分类策略步骤原理图。

附图标记：1、自动分类模块；2、第一差异分类模块；3、第二差异分类模块；4、全差异模块；11、输入端；12、云数据库；a1、第一筛选步骤；a2、第一辅助分类步骤；a3、修改步骤；a4、第一自学习步骤；b1、第二筛选步骤；b2、第二辅助分类步骤；b3、转化步骤；b4、第二自学习步骤；c1、第三自学习步骤；c2、第一差异归纳步骤；c3、第二差异归纳步骤；c4、差异修正步骤；。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，对本发明的具体实施方式作进一步详述，以使本发明技术方案更易于理解和掌握。

参照图1所示，一种自学习的信息分类处理装置，用于对表格数据进行分类，每一表格数据具有数据格式特征以及数据类型特征，包括自动分类模块1、第一差异分类模块2、第二差异分类模块3以及全差异模块4；四个模块分别进行对不同情况的数据进行分类，而本装置可以设置为终端或服务器，应用于对数据库内的数据进行分类。

所述自动分类模块1配置有第一分类策略，所述第一分类策略用于将数据格式特征相同且数据类型相同的表格数据划分至同一组别；第一分类策略较为简单，通过比对数据就可以实现，不做赘述。

所述第一差异分类模块2配置有第二分类策略，所述第二分类策略包括第一筛选步骤a1、第一辅助分类步骤a2、修改步骤a3以及第一自学习步骤a4；所述第一筛选步骤a1筛选出若干第一分类组，每一第一分类组包括有相同的数据格式特征并具有不同的数据类型特征的表格数据；所述第一辅助分类步骤a2通过第一辅助策略生成第一关联信息，所述第一关联信息用于关联两个以上不同的数据类型特征，并将被关联的所述数据类型特征配置为一主类型特征以及至少一个次类型特征；所述修改步骤a3包括在第一分类组内，根据所述第一关联信息获取具有次类型特征的表格数据，将所述次类型特征的表格数据的数据类型特征修改为对应的主类型特征；所述第一自学习步骤a4包括存储第一辅助分类步骤a2生成的所述第一关联信息，根据第一关联信息将具有次类型特征的表格数据的数据类型特征修改为对应的主类型特征；而第一差异分类模块2就可以起到对数据的分类作用，就可以筛选出不同类型特征但是具有相同的格式特征的数据，这样一来，再通过第一关联信息进行关联，就完成了对数据的处理。在另一个实施例中，还包括关联数据库，所述关联数据库存储有若干第一关联信息，每一第一关联信息具有对应的数据格式特征作为索引，所述第一辅助分类步骤a2包括根据对应的数据格式特征从所述关联数据库获取第一关联信息。关联数据库根据用户提前输入，例如关联课程和上课内容为第一关联信息，也就是说，将具有数据类型特征为课程和数据类型特征为上课内容的数据判断为同一组内的数据。在另一个实施例中，还包括输入端11，用户可通过所述输入端11输入信息，所述第一辅助分类步骤a2还包括根据所述用户端输入的信息形成所述第一关联信息。通过输入端11输入第一关联信息进行配置，根据实际产生的数据情况可以实时进行判断修正。在另一个实施例中，对应一第一关联信息，确定第一关联信息对应的主类型特征的方法为，从对应的数据格式特征中随机确定一主类型特征。所以根据这样设置，具有加密的效果，提高数据安全性。而筛选步骤可以起到一个提高数据效率的作用。

所述第二差异分类模块3配置有第三分类策略，所述第三分类策略包括第二筛选步骤b1、第二辅助分类步骤b2以及格式转化步骤b3以及第二自学习步骤b4；所述第二筛选步骤b1筛选出若干第二分类组，每一第二分类组内包括有不同的数据格式特征并具有相同的数据类型特征的表格数据；所述第二辅助分类步骤b2通过第二辅助策略生成第二关联信息，所述第二关联信息用于关联不同的两个以上不同的数据格式特征，并将被关联的数据格式特征配置为一主格式特征以及至少一个次格式特征；所述转化步骤b3包括在第二分类组内，根据所述第二关联信息获取具有次格式特征的表格数据，将所述次格式特征的表格数据的数据格式转化为主格式特征对应的数据格式，并将所述表格数据的数据格式特征修改为主格式特征；所述第二自学习步骤b4包括存储所述第二辅助分类步骤b2生成的第二关联信息，根据第二关联信息将具有次格式特征的表格数据的数据格式转化为主格式特征对应的格式，并修改对应的数据格式特征为主格式特征；在另一个实施例中，还包括关联数据库，所述关联数据库存储有若干第二关联信息，每一第二关联信息具有对应的数据类别特征作为索引，所述第二辅助分类步骤b2包括根据对应的数据类别特征从所述关联数据库获取第二关联信息。在另一个实施例中，还包括输入端11，用户可通过所述输入端11输入信息，所述第二辅助分类步骤b2还包括根据所述用户端输入的信息形成所述第二关联信息。在另一个实施例中，对应一第一关联信息，确定第一关联信息对应的主类型特征的方法为，统计该第一关联信息对应的数据文件中每一不同的数据类型特征出现次数，以出现次数最多的数据类型特征作为主类型特征。根据这样设置，可以起到一个确定最优最准确的类型的作用。在另一个实施例中，对应一第二关联信息，确定第二关联信息对应的主格式特征的方法为，统计该第二关联信息对应的数据文件中每一不同的数据格式特征出现次数，以出现次数最多的数据格式特征作为主格式特征。而在另一个实施例中，对应一第二关联信息，确定第二关联信息对应的主格式特征的方法为，用户通过一终端从对应的数据格式特征中选择一主格式特征。

所述全差异模块配置有第四分类策略，所述第四分类策略包括第三自学习步骤c1，第一差异归纳步骤c2，第二差异归纳步骤c3以及差异修正步骤c4，所述第三自学习步骤c1包括获取第一关联信息以及第二关联信息，根据所述第一关联信息和第二关联信息生成若干第三分类组，每一所述第三分类组对应设置有一主格式特征以及一主类型特征；所述第一差异归纳步骤c2将同时具有主格式特征和主类型特征的表格数据划分至对应的第三分类组；所述第二差异归纳步骤c3包括将同时具有该主格式特征对应的次格式特征以及该主类型特征对应的次类型特征的表格数据划分至对应的第三分类组；所述差异修正步骤c4包括在第三分类组中，将所述次类型特征的表格数据的数据类型特征修改为对应的主类型特征，将所述次格式特征的表格数据的数据格式转化为主格式特征对应的数据格式，并将所述表格数据的数据格式特征修改为主格式特征。所述信息分类装置连接于云数据库12，所述信息分类装置设置有抓取策略，通过所述抓取策略从所述云数据库12中抓取所述第一关联信息以及第二关联信息。抓取的方式需要通过具体的算法进行抓取，需要说明的是，通过云数据库12进行抓取数据，具有自学习的效果。而全差异模块就将第一关联信息和第二关联信息保存，作为分类的依据，通过构建第三分类组，进行分类，较为简单合理，而可以对格式不同且同时类型不同的数据进行归类。

当然，以上只是本发明的典型实例，除此之外，本发明还可以有其它多种具体实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (10)

1.一种自学习的信息分类处理装置，其特征在于：用于对表格数据进行分类，每一表格数据具有数据格式特征以及数据类型特征，包括自动分类模块、第一差异分类模块、第二差异分类模块以及全差异模块；

所述自动分类模块配置有第一分类策略，所述第一分类策略用于将数据格式特征相同且数据类型相同的表格数据划分至同一组别；

所述第一差异分类模块配置有第二分类策略，所述第二分类策略包括第一筛选步骤、第一辅助分类步骤、修改步骤以及第一自学习步骤；所述第一筛选步骤筛选出若干第一分类组，每一第一分类组包括有相同的数据格式特征并具有不同的数据类型特征的表格数据；所述第一辅助分类步骤通过第一辅助策略生成第一关联信息，所述第一关联信息用于关联两个以上不同的数据类型特征，并将被关联的所述数据类型特征配置为一主类型特征以及至少一个次类型特征；所述修改步骤包括在第一分类组内，根据所述第一关联信息获取具有次类型特征的表格数据，将所述次类型特征的表格数据的数据类型特征修改为对应的主类型特征；所述第一自学习步骤包括存储第一辅助分类步骤生成的所述第一关联信息，根据第一关联信息将具有次类型特征的表格数据的数据类型特征修改为对应的主类型特征；

所述第二差异分类模块配置有第三分类策略，所述第三分类策略包括第二筛选步骤、第二辅助分类步骤以及格式转化步骤以及第二自学习步骤；所述第二筛选步骤筛选出若干第二分类组，每一第二分类组内包括有不同的数据格式特征并具有相同的数据类型特征的表格数据；所述第二辅助分类步骤通过第二辅助策略生成第二关联信息，所述第二关联信息用于关联不同的两个以上不同的数据格式特征，并将被关联的数据格式特征配置为一主格式特征以及至少一个次格式特征；所述转化步骤包括在第二分类组内，根据所述第二关联信息获取具有次格式特征的表格数据，将所述次格式特征的表格数据的数据格式转化为主格式特征对应的数据格式，并将所述表格数据的数据格式特征修改为主格式特征；所述第二自学习步骤包括存储所述第二辅助分类步骤生成的第二关联信息，根据第二关联信息将具有次格式特征的表格数据的数据格式转化为主格式特征对应的格式，并修改对应的数据格式特征为主格式特征；

所述全差异模块配置有第四分类策略，所述第四分类策略包括第三自学习步骤，第一差异归纳步骤，第二差异归纳步骤以及差异修正步骤，所述第三自学习步骤包括获取第一关联信息以及第二关联信息，根据所述第一关联信息和第二关联信息生成若干第三分类组，每一所述第三分类组对应设置有一主格式特征以及一主类型特征；所述第一差异归纳步骤将同时具有主格式特征和主类型特征的表格数据划分至对应的第三分类组；所述第二差异归纳步骤包括将同时具有该主格式特征对应的次格式特征以及该主类型特征对应的次类型特征的表格数据划分至对应的第三分类组；所述差异修正步骤包括在第三分类组中，将所述次类型特征的表格数据的数据类型特征修改为对应的主类型特征，将所述次格式特征的表格数据的数据格式转化为主格式特征对应的数据格式，并将所述表格数据的数据格式特征修改为主格式特征。

2.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：还包括关联数据库，所述关联数据库存储有若干第一关联信息，每一第一关联信息具有对应的数据格式特征作为索引，所述第一辅助分类步骤包括根据对应的数据格式特征从所述关联数据库获取第一关联信息。

3.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：还包括关联数据库，所述关联数据库存储有若干第二关联信息，每一第二关联信息具有对应的数据类别特征作为索引，所述第二辅助分类步骤包括根据对应的数据类别特征从所述关联数据库获取第二关联信息。

4.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：还包括输入端，用户可通过所述输入端输入信息，所述第一辅助分类步骤还包括根据所述用户端输入的信息形成所述第一关联信息。

5.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：还包括输入端，用户可通过所述输入端输入信息，所述第二辅助分类步骤还包括根据所述用户端输入的信息形成所述第二关联信息。

6.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：所述信息分类装置连接于云数据库，所述信息分类装置设置有抓取策略，通过所述抓取策略从所述云数据库中抓取所述第一关联信息以及第二关联信息。

7.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：对应一第二关联信息，确定第二关联信息对应的主格式特征的方法为，统计该第二关联信息对应的数据文件中每一不同的数据格式特征出现次数，以出现次数最多的数据格式特征作为主格式特征。

8.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：对应一第一关联信息，确定第一关联信息对应的主类型特征的方法为，统计该第一关联信息对应的数据文件中每一不同的数据类型特征出现次数，以出现次数最多的数据类型特征作为主类型特征。

9.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：对应一第二关联信息，确定第二关联信息对应的主格式特征的方法为，用户通过一终端从对应的数据格式特征中选择一主格式特征。

10.如权利要求1所述的一种自学习的信息分类处理装置，其特征在于：对应一第一关联信息，确定第一关联信息对应的主类型特征的方法为，从对应的数据格式特征中随机确定一主类型特征。