CN115618842B - 一体化智慧校园数据中台系统 - Google Patents
一体化智慧校园数据中台系统 Download PDFInfo
- Publication number
- CN115618842B CN115618842B CN202211609543.4A CN202211609543A CN115618842B CN 115618842 B CN115618842 B CN 115618842B CN 202211609543 A CN202211609543 A CN 202211609543A CN 115618842 B CN115618842 B CN 115618842B
- Authority
- CN
- China
- Prior art keywords
- data
- message
- standard
- service system
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 238000009960 carding Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2053—Education institution selection, admissions, or financial aid
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及智慧校园领域，公开了一种一体化智慧校园数据中台系统，可以将校内、区域级大规模的数据汇总和集中处理，并且可以根据消息量自适应地进行消息收发调度。该系统包括智慧校园数据采集和分类存储模块，自适应消息收发调度模块。智慧校园数据采集和分类存储模块被配置为对数据进行规范化采集以及对采集的数据按照业务系统的主题进行分仓并进行标准化处理。自适应消息收发调度模块被配置为构建多级消息中间件架构，根据业务系统的数据流量情况自适应分配分类业务消息中间件。
Description
技术领域
本申请涉及智慧校园领域，具体涉及一种一体化智慧校园数据中台系统。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是已被公开的现有技术。
随着教育信息化技术发展，部分学校在推进校园信息化建设时都购买相关基础设备、信息化应用系统等，但大多是“按需、逐个、独立”的建设模式，由于各应用系统独立部署，各系统的数据统计口径不一、数据格式不兼容、数据更新滞后，造成校园数据鸿沟和数据孤岛架构，进而无法对数据进行统一的处理分析以及形成有效的可共享数据，不利于应用层智慧决策功能进行大数据分析和利用。
发明内容
本申请的目的在于提供一种一体化智慧校园数据中台系统，该系统可以将各个校园内和区域内大规模的数据统一处理分析，并根据数据的消息量自适应收发调度。
本申请公开了一种一体化智慧校园数据中台系统，包括：
智慧校园数据采集和分类存储模块，自适应消息收发调度模块；
所述智慧校园数据采集和分类存储模块被配置为对数据进行规范化采集以及对采集的所述数据按照业务系统的主题进行分仓并进行标准化处理；
所述自适应消息收发调度模块被配置为构建多级消息中间件架构，根据所述业务系统的数据流量情况自适应分配分类业务消息中间件。
在一个优选例中，所述自适应消息收发调度模块被进一步配置为：
在智慧校园的各业务系统之间构建中央消息中间件，该中央消息中间件用于为所述各业务系统提供统一发送消息的服务；
根据预设时间段内统计所得的所述各业务系统正常运行所产生的消息量以及消息消费时间计算当前消息中间件的消息处理效率；
如果判定所述消息处理效率低于预设阈值，则构建第一分类消息中间件，将当前消息量最多的业务系统划分至第一分类消息中间件，并判断第一分类消息中间件的消息处理效率是否大于预设阈值；
若不大于，则构建第二分类消息中间件分担所述当前消息量最多的业务系统的消息量；若大于，则将与该业务系统属于同一主题数据仓库的当前消息量最多的业务系统划分至第一分类消息中间件，并判断第一分类消息中间件的消息处理效率是否超过所述预设阈值；
若超过，则将其他主题数据仓库的当前消息量最多的业务系统划分至第一分类消息中间件；若不超过，则继续构建新的分类消息中间件分担所述中央消息中间件的消息量，直至所述中央消息中间件的消息处理效率高于所述预设阈值。
在一个优选例中，所述智慧校园数据采集和分类存储模块被进一步配置为：
基于标准化数据接口与协议采集智慧校园数据，并根据所述智慧校园数据的产生阶段构建多维度的数据仓库；
将所述数据仓库按智慧校园业务主题分成多个所述主题数据仓库，并将所述智慧校园数据存入其中；以及
将所述主题数据仓库中的数据根据设计的数据智能映射模型进行标准化处理。
在一个优选例中，所述构建多维度的数据仓库进一步包括：
人工划分构建初始的主题数据仓库；
将新增的业务系统的数据存入预先构建的新建数据仓库，并计算所述新增的业务系统的数据与所述主题数据仓库的主题相似度；
根据所述消息中间件的日志信息统计所述新增的业务系统与所述主题数据仓库的业务系统之间的消息紧密度；以及
根据所述主题相似度和所述消息紧密度，计算所述新增的业务系统与所述主题数据仓库的关联度并判定入库。
在一个优选例中，所述消息紧密度的计算公式为：
；
其中，
是指第i个所述新增的业务系统与第j个所述主题数据仓库的业务系统之间的消息紧密度；
是指第i个所述新增的业务系统与第j个所述主题数据仓库的第m个业务系统的消息消费次数总和；v是第j个所述主题数据仓库存储有v个业务系统的数据；z是平衡系数，与所述主题数据仓库的业务系统总数量成反相关关系，被配置为平衡所述主题数据仓库中业务系统总数量对所述消息紧密度的影响程度。
在一个优选例中，所述计算所述新增的业务系统与所述主题数据仓库的关联度并判定入库进一步包括：
所述关联度计算公式为：
，其中，
、
、
分别是指第i个所述新增的业务系统与第j个所述主题数据仓库的关联度、所述主题相似度、所述消息紧密度，w、t是权重系数；
当所述关联度大于预设的阈值时，选取关联度最大的主题数据仓库作为所述新增的业务系统的入库数据仓库，并判断新增的数据表与所述入库数据仓库下各表的数据表相似度是否高于设定阈值；若高于，则将新增的数据存入所述数据表相似度最高的数据表；若低于，则将新增的数据作为新表直接存入所述入库数据仓库；
当所述关联度小于预设的阈值时，为所述新增的业务系统新建主题数据仓库，将新增的数据表直接存入所述新建主题数据仓库。
在一个优选例中，所述将所述主题数据仓库中的数据根据设计的数据智能映射模型进行标准化处理进一步包括：
获取所述主题数据仓库中数据的标准字段并分类，梳理所述标准字段的同义词，根据所述分类和梳理的结果构建同义词表；
基于所述同义词表，计算预匹配字段与所述标准字段的相似度；以及
将所述相似度与预设的阈值进行比较，并将大于所述预设的阈值的各个所述标准字段作为待匹配字段，并对所述待匹配字段进行降序排序，将所述相似度最高的所述标准字段作为所述预匹配字段的匹配字段。
在一个优选例中，所述计算预匹配字段与所述标准字段的相似度的计算公式为：
其中，S表示所述预匹配字段与所述标准字段的相似度；
表示两个字段中含有相同字的个数；
表示所述预匹配字段的字数；
表示所述标准字段的字数；
表示第i个相同字的重要度；
表示所述预匹配字段与所述标准字段第j个词语的同义度，其计算方法为遍历同义词表，若与该标准字段词语同义则其值取1，否则取0；
表示第i个相同字在所述标准字段对应的同义词中出现的次数；
表示所述标准字段对应的同义词总数；
、
、
分别为预设的阈值。
在一个优选例中，还包括：
根据所述消息总量，计算所述消息处理效率高于所述预设阈值时所需增加的最少所述分类消息中间件的个数。
在一个优选例中，所述多维度的数据仓库包括：标准基础数据库、标准轨迹数据库以及标准大数据结果数据库；
所述标准基础数据库被配置为存储和处理智慧校园固有属性的数据；所述标准轨迹数据库被配置为存储和处理业务运行数据；所述标准大数据结果数据库被配置为，存储和处理对所述标准基础数据库和所述标准轨迹数据库中的数据进一步处理得到的数据；
所述多维度的数据仓库的每层数据库仅对当前层数据进行处理，上层数据库包含了下层数据库进行数据加工所需要的全量数据。
本申请的实施方式中，通过构建智慧校园数据采集和分类存储模块可以实现对各个校园内、区域内大规模业务系统的数据的统一采集和分类存储，并且构建了自适应消息收发调度模块使得能够根据数据的消息量自行调节收发调度，从而实现各业务系统间高效通信；
进一步地，在自适应消息收发调度模块中可以根据消息处理需求自行构建分类消息中间件，提高了业务系统通信高峰时的消息处理效率；
进一步地，采用了主题相似度结合消息紧密度综合判断的方式，实现了新增业务系统的数据智能入库；
进一步地，通过设计数据智能映射模型，可以将各个校园内、区域内不同源数据库中的数据标准化处理，实现校园内、区域内的数据互联互通。
上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案（这些技术方案均应该视为在本说明书中已经记载），除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请的一个实施方式的系统结构示意图；
图2是根据本申请的一个实施方式的多维度的数据仓库的架构示意图；
图3是根据本申请的一个实施方式的构建多维度的数据仓库的流程示意图；
图4是根据本申请的一个实施方式的同义词表示意图；
图5是根据本申请的一个实施方式的二级消息中间件的架构示意图；
图6是根据本申请的一个实施方式的自适应消息收发调度模块的实现流程示意图；
图7是根据本申请的一个实施方式的分类消息中间件的构建流程示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
术语解释：
MySQL：一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
Json：JavaScript Object Notation,JS对象简谱，是一种轻量级的数据交换格式。它是基于ECMAScript（European Computer Manufacturers Association, 欧洲计算机协会制定的js规范）的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
图1所示为一体化智慧校园数据中台系统的系统结构示意图，该系统包括智慧校园数据采集和分类存储模块，自适应消息收发调度模块。智慧校园数据采集和分类存储模块被配置为对数据进行规范化采集以及对采集的数据按照业务系统的主题进行分仓并进行标准化处理。自适应消息收发调度模块被配置为构建多级消息中间件架构，根据业务系统的数据流量情况自适应分配分类业务消息中间件。
智慧校园数据采集和分类存储模块还可以被进一步配置为：
基于标准化数据接口与协议采集智慧校园数据，并根据智慧校园数据的产生阶段构建多维度的数据仓库。将数据仓库按智慧校园业务主题分成多个主题数据仓库，并将智慧校园数据存入其中。以及将主题数据仓库中的数据根据设计的数据智能映射模型进行标准化处理。
其中，标准化数据接口与协议是指基于《CELTS-33高等学校管理信息标准》构建的多维度的智慧校园数据标准体系，包括信息标准、编码标准、管理规范、实施规范、维护规范等。
采集到的智慧校园数据包括用统一标准建设的智慧校园各类业务应用系统所产生的数据、第三方其他厂商所开发的各类应用系统的数据以及学校以往收集归纳的各类历史档案数据等。
多维度的数据仓库包括标准基础数据库、标准轨迹数据库以及标准大数据结果数据库，其架构如图2所示。结合智慧校园的业务需求，针对三大数据库分别构建对应业务主题的标准化数据仓库，从而实现不同主体、不同阶段、不同业务主题数据的划分和分仓存储。标准基础数据库可以存储和处理（处理操作可以包括数据清洗、数据归集等）智慧校园固有属性的数据，例如，用户账号信息、学校教室信息、教学资源等；标准轨迹数据库可以存储和处理（处理操作可以包括数据清洗、数据归集等）业务运行数据，例如，用户数据轨迹、硬件数据轨迹、资源数据轨迹以及各轨迹数据的阶段性汇总数据等；在标准大数据结果数据库中，可以存储并对标准基础数据库和标准轨迹数据库中的数据进一步处理（处理操作可以包括据挖掘、数据统计与分析、轨迹数据关联等）得到结果数据，例如学生作业完成率，学生成绩排名等。
构建多维度的数据仓库的过程中可以进一步包括采取人工划分方式构建初始主题数据仓库，主题数据仓库可以包括：学校基础信息、教学资源、学生校园活动、信息化设备、学生成绩、校园后勤安防、教师教学活动等。同时根据后期各类新增业务系统或新开发智慧业务系统，采用主题相似度结合消息紧密度判断的方式，实现新增业务系统的数据智能入库，具体实现的方式如图3所示：
在步骤301中，由人工划分构建初始的主题数据仓库。
在步骤302中，将新增的业务系统的数据存入预先构建的新建数据仓库，采用向量空间模型算法，计算新增的业务系统的数据与主题数据仓库的主题相似度。
在步骤303中，根据消息中间件的日志信息统计新增的业务系统与主题数据仓库的业务系统之间的消息紧密度。
在步骤304中，根据主题相似度和消息紧密度，计算新增的业务系统与主题数据仓库的关联度并判定入库。
步骤303中提到的消息紧密度的计算公式为：
。
其中，
是指第i个新增的业务系统与第j个主题数据仓库的业务系统之间的消息紧密度；
是指第i个新增的业务系统与第j个主题数据仓库的第m个业务系统的消息消费次数总和；v是第j个主题数据仓库存储有v个业务系统的数据；z是平衡系数，与主题数据仓库的业务系统总数量成反相关关系，被配置为平衡主题数据仓库中业务系统总数量对消息紧密度的影响程度。
步骤304中提到的关联度计算公式为：
，其中，
、
、
分别是指第i个新增的业务系统与第j个主题数据仓库的关联度、主题相似度、消息紧密度，w、t是权重系数。
步骤304还可以进一步包括：当关联度大于预设的阈值时，选取关联度最大的主题数据仓库作为新增的业务系统的入库数据仓库，并判断新增的数据表与入库数据仓库下各表的数据表相似度是否高于设定阈值（数据表相似度的计算方法可以参照步骤302）；若高于，则将新增的数据存入数据表相似度最高的数据表；若低于，则将新增的数据作为新表直接存入入库数据仓库；
当关联度小于预设的阈值时，为新增的业务系统新建主题数据仓库，将新增的数据表直接存入新建主题数据仓库。
当应用层查询学生出勤率时，可直接调用标准大数据结果数据库中对应主题仓库存储的处理后的学生考勤轨迹数据（计算数据来源于轨迹数据库中学生的课堂考勤、宿舍考勤及学校考勤数据等），若学生考勤轨迹数据缺失则可根据数据所属主题直接定位到标准轨迹数据库中的对应数据主题仓库；若学生用户数据缺失，则可根据数据所属主题直接定位到标准基础数据库中的对应主题数据仓库，便于定位问题，进行异常数据处理，同时调取数据也更加方便、快捷。
多维度的数据仓库的每层数据库仅对当前层数据进行处理，将标准基础数据库中的校园原始数据与轨迹数据、大数据结果数据等分离，当对轨迹数据及大数据结果数据进行处理时，不会影响标准基础数据中的原始数据，实现真实数据与统计数据解耦，例如，删除学校某教师的在线教学频次数据时，仅会删除该教师在标准大数据结果数据库中对应主题数据仓库中的数据，不影响该教师在标准轨迹数据库中对应主题数据仓库中的相关数据。
上层数据库包含了下层数据库进行数据加工所需要的全量数据，避免每个数据都需要重新从源系统抽取数据进行加工，如应用层查询学生出勤率时，可直接从标准轨迹数据库中调取学生考勤轨迹数据进行处理，无需再次统计学生的各项考勤轨迹数据。
将主题数据仓库中的数据根据设计的数据智能映射模型进行标准化处理可以进一步包括：获取主题数据仓库中数据的标准字段并分类，梳理标准字段的同义词，根据分类和梳理的结果构建同义词表。基于同义词表，计算预匹配字段与标准字段的相似度。以及将相似度与预设的阈值进行比较，并将大于预设的阈值的各个标准字段作为待匹配字段，并对待匹配字段进行降序排序，将相似度最高的标准字段作为预匹配字段的匹配字段。其中，可以首先判断不同源数据库中的数据所归属的主题数据仓库，进行数据规范与标准化的一致性判断，若一致，则可以直接存储至对应主题数据仓库。
在同义词表的构建中，可以获取各主题数据仓库中数据的标准字段，并根据数据库的主题对标准字段进行分类。其次，通过对海量校园数据的分析、词典查阅、网络爬虫等方式，梳理各主题数据库标准字段的同义词（同义词包括：同近义词、缩略词以及同近义的英文单词等）。最后，根据标准字段分类结果及标准字段同义词梳理结果，构造标准字段同义词表。部分标准字段同义词表如图4所示。
计算预匹配字段与标准字段的相似度的公式如下：
其中，S表示预匹配字段与标准字段的相似度；
表示两个字段中含有相同字的个数；
表示预匹配字段的字数；
表示标准字段的字数；
表示第i个相同字的重要度；
表示预匹配字段与标准字段第j个词语的同义度，其计算方法为遍历同义词表，若与该标准字段词语同义则其值取1，否则取0；
表示第i个相同字在标准字段对应的同义词中出现的次数；
表示标准字段对应的同义词总数；
、
、
分别为预设的阈值。
上述提到的基于设计的标准化数据接口与协议针对数据的标准化采集，可以实现全方位、统一地采集学校归档数据、智慧校园业务数据以及第三方应用系统数据，另外基于全方位采集的智慧校园各项数据，对数据进行分仓存储及标准化处理，首先基于构建的多维度数据仓库，实现数据的精细化存储，方便各项数据的查找调用，其次针对不同源数据，设计智能化映射模型，在保证字段映射准确率的情况下，实现不同源数据的自动标准化处理，避免手动映射数据字段。最后，基于上述标准化的处理架构实现全校数据的互联互通，是后续校园各项智慧应用的重要支撑。
例如，可根据学生在全校的消费记录判断该学生是否为贫困生，辅助学校有关部门决断；资源数据互联互通，可实现对所有资源数据的集中管理，便于统计及分析资源使用情况，指导学校高效建设、更新资源；可通过对学生的校园学习轨迹数据进行分析，获取学生的兴趣点与难点，帮助教师把握教学重点和教学难点，提升教学效果，同时可根据对全校不同教师教学方法和教学效果的横向对比，帮助教师学习教学方法，提高教学能力。
自适应消息收发调度模块可以根据各应用层及智慧决策应用层业务的需求，在对消息中间件消息体及部分规则进行约定的基础上，通过计算业务系统数据流量情况自适应地分配分类业务消息中间件，从而构建了中央消息中间件和分类消息中间件的二级消息中间件架构，如图5所示，最大程度地提高系统间的通信效率，有利于智慧决策应用层进行实时大数据分析与反馈。
其中，预先协定好各消息生产者、消息消费者（消息生产者为发送消息数据的业务子系统，消息消费者为接收消息数据的业务子系统）对于发送、接收的关系并在数据库中存储，同时分别将消息生产者和消息消费者的数据及绑定数据初始化到数据库，系统数据库采用MySQL，采用统一的约定规则实现各子系统间的高效通信。其中部分的约定规则可以如下所示：
a、参与系统的命名：采取业务系统的已有命名，统一命名标准。例如：物联网管控E00
b、消息类型的编码：
A、消息类型统一MS开头。例如：MS001：教室删除。
B、具体形式:系统ID.编码。例如：E00.MS001：表示物联网管控教室删除信息类型，如果是E01.MS001则代表其他系统教室删除信息类型。
c、传递的消息体格式：Json格式。
如图6所示，自适应消息收发调度模块还可以被进一步配置为：
在步骤601中，在智慧校园的各业务系统之间构建中央消息中间件，该中央消息中间件用于为各业务系统提供统一发送消息的服务；
在步骤602中，根据预设时间段内统计所得的各业务系统正常运行所产生的消息量以及消息消费时间计算当前消息中间件的消息处理效率；
在步骤603中，如果判定消息处理效率低于预设阈值，则构建第一分类消息中间件，将当前消息量最多的业务系统划分至第一分类消息中间件，并判断第一分类消息中间件的消息处理效率是否大于预设阈值；
若不大于，则进入步骤604，构建第二分类消息中间件分担当前消息量最多的业务系统的消息量；若大于，则进入步骤605，将与该业务系统属于同一主题数据仓库的当前消息量最多的业务系统划分至第一分类消息中间件，并判断第一分类消息中间件的消息处理效率是否超过预设阈值；
若超过，则进入步骤606，将其他主题数据仓库的当前消息量最多的业务系统划分至第一分类消息中间件；若不超过，则进入步骤607，继续构建新的分类消息中间件分担中央消息中间件的消息量，直至中央消息中间件的消息处理效率高于预设阈值。
可选地，在步骤603之前，可以根据消息总量，计算消息处理效率高于预设阈值时所需增加的最少分类消息中间件的个数。
具体的分类消息中间件构建流程可以如图7所示：
在步骤701中，将各类业务系统根据其在预设时间段内各自所产生的消息量进行降序排序。
在步骤702中，将当前消息量最多的业务系统划分到第一个分类消息中间件中。
在步骤703中，判断该分类消息中间件的处理消息总量及其处理效率是否能满足预设阈值，若是，则回到步骤702进行下一个分类消息中间件的划分；否则进入步骤704。
在步骤704中，根据与该业务系统属于同一主题数据仓库的业务系统的消息量，对其进行降序排序，依次将各业务系统划分到该分类消息中间件中。
在步骤705中，判断该分类消息中间件的处理消息总量及其处理效率是否能满足预设阈值，若是，则回到步骤702进行下一个分类消息中间件的划分；否则进入步骤706。
在步骤706中，将其他主题数据仓库根据其与该业务系统主题数据仓库的关联度进行降序排序，并将其依次划分到该分类消息中间件中（其中每一个主题数据仓库的业务系统划分方式与步骤703相同）。
在步骤707中，判断该分类消息中间件的处理消息总量及其处理效率是否能满足预设阈值，若否，则回到步骤706中直至划分到该消息中间件的消息总量及其处理效率能够满足预设阈值为止。
在步骤708中，根据各分类消息中间件中划分好的业务系统，从数据库中获取各业务系统对于发送、接收关系的绑定数据，并初始化到对应分类消息中间件。
上述分类消息中间件的构建方法可根据消息处理需求自行构建，同时其根据各业务系统数据关联度的划分方式，考虑了各业务系统间的业务耦合度，极大程度地提高了消息处理效率。
针对智慧校园业务系统阶段性通信高峰以及部分业务系统通信需求量大而部分业务系统通信需求量小的问题，设计了上述自适应式二级消息中间件架构，其中，根据各业务系统间的通信需求构建中央消息中间件，根据消息需求量大小构建分类消息中间件。当校园业务系统未处于通信高峰时，则可仅由中央消息中间件与各消息消费者进行通信，当校园业务系统处于通信高峰时，则对于通信需求量小的业务系统，利用中央消息中间件进行通信，对于通信需求量大的业务系统，利用分类消息中间件进行通信。
可以通过一个具体的例子进行说明：教学资源存储服务器定期需要进行瘦身管理，需要统计大规模（千万级别数量）教学资源的各维度资源使用情况，而各资源对接的教学系统包含多个（例如：教材编辑系统、课件制作系统、试卷制作系统、作业系统、自学系统等等），因此该时间段内该业务通信需要求量非常庞大，若有多个通信需求大的类似业务同时通信，则仅有一个校园中央消息中间件无法满足并发性大量业务消息实时获取的需求。
由于各消息生产者、消息消费者之间发送、接收消息的关系已经预先协定好并在数据库中存储，因此接收各消息后，可针对消息消费者进行消息量统计，对于消息量小于设定阈值的则由中央消息中间件分发，对于消息量大于设定阈值的，则由分类消息中间件分发，分类消息中间件与分类消息消费者之间是一一对应关系，其中分类消息消费者为一或多个消息消费者。
在二级消息中间件的架构过程中，针对消息消费者进行消息量统计。由于消息消费者只有在接收并处理完上一条消息后才会继续接收并处理下一条消息，而在消息消费者处理完上一条消息前，消息生产者发送的消息都将暂时存储在消息中间件的消息队列中。根据消息消费者对消息量进行统计并分类，将各类消息由对应分类消息中间件进行分发，则对应消费消费者接收并处理完上条消息后，可直接处理该分类消息中间件中存储的同类消息，其获取消息更加快捷并且不会影响其它消息中间件消息的发送，如果根据消息生产者进行消息量统计及分类，则消息消费者需要从不同的消息中间件中获取消息，并且当该消息消费者未处理完上一条消息时，则需要该消息消费者处理的消息会在多个分类消息中间件的消息队列中存储，容易造成消息堵塞，影响其它消息发送。
结合上述处理，可以对智慧校园各项数据进行采集汇聚、治理加工，形成校园数据资产、数据共享服务，并可根据各智慧（AI）功能需求，获取全面、有效的、多维度、不同时空的数据，便于AI功能及不同类别数据服务的实现，如用户画像、BI数据可视化分析、大屏看板、教育环境监测、教学行为分析、设备故障监测及告警等，为教育决策者提供多维度的教育决策分析。
需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本申请中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在描述方法的步骤时使用的序号本身并不对这些步骤的顺序构成任何的限定。例如，序号大的步骤并非一定要在序号小的步骤之后执行，也可以是先执行序号大的步骤再执行序号小的步骤，还可以是并行执行，只要这种执行顺序对于本领域技术人员来说是合理的即可。又如，拥有连续编号序号的多个步骤（例如步骤101，步骤102，步骤103等）并不限制其他步骤可以在其间执行，例如步骤101和步骤102之间可以有其他的步骤。
本说明书包括本文所描述的各种实施例的组合。对实施例的单独提及（例如“一个实施例”或“一些实施例”或“优选实施例”）；然而，除非指示为是互斥的或者本领域技术人员很清楚是互斥的，否则这些实施例并不互斥。应当注意的是，除非上下文另外明确指示或者要求，否则在本说明书中以非排他性的意义使用“或者”一词。
在本说明书提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。
在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
Claims (9)
1.一种一体化智慧校园数据中台系统，其特征在于，包括：
智慧校园数据采集和分类存储模块，自适应消息收发调度模块；
所述智慧校园数据采集和分类存储模块被配置为对数据进行规范化采集以及对采集的所述数据按照业务系统的主题进行分仓并进行标准化处理；
所述自适应消息收发调度模块被配置为构建多级消息中间件架构，根据所述业务系统的数据流量情况自适应分配分类业务消息中间件；
所述自适应消息收发调度模块被配置为在智慧校园的各业务系统之间构建中央消息中间件，该中央消息中间件用于为所述各业务系统提供统一发送消息的服务；
根据预设时间段内统计所得的所述各业务系统正常运行所产生的消息量以及消息消费时间计算当前消息中间件的消息处理效率；
如果判定所述消息处理效率低于预设阈值，则构建第一分类消息中间件，将当前消息量最多的业务系统划分至第一分类消息中间件，并判断第一分类消息中间件的消息处理效率是否大于预设阈值；
若不大于，则构建第二分类消息中间件分担所述当前消息量最多的业务系统的消息量；若大于，则将与该业务系统属于同一主题数据仓库的当前消息量最多的业务系统划分至第一分类消息中间件，并判断第一分类消息中间件的消息处理效率是否超过所述预设阈值；
若超过，则将其他主题数据仓库的当前消息量最多的业务系统划分至第一分类消息中间件；若不超过，则继续构建新的分类消息中间件分担所述中央消息中间件的消息量，直至所述中央消息中间件的消息处理效率高于所述预设阈值。
2.如权利要求1所述的一体化智慧校园数据中台系统，其特征在于，所述智慧校园数据采集和分类存储模块被进一步配置为：
基于标准化数据接口与协议采集智慧校园数据，并根据所述智慧校园数据的产生阶段构建多维度的数据仓库；
将所述数据仓库按智慧校园业务主题分成多个所述主题数据仓库，并将所述智慧校园数据存入其中；以及
将所述主题数据仓库中的数据根据设计的数据智能映射模型进行标准化处理。
3.如权利要求2所述的一体化智慧校园数据中台系统，其特征在于，所述构建多维度的数据仓库进一步包括：
人工划分构建初始的主题数据仓库；
将新增的业务系统的数据存入预先构建的新建数据仓库，并计算所述新增的业务系统的数据与所述主题数据仓库的主题相似度；
根据所述消息中间件的日志信息统计所述新增的业务系统与所述主题数据仓库的业务系统之间的消息紧密度；以及
根据所述主题相似度和所述消息紧密度，计算所述新增的业务系统与所述主题数据仓库的关联度并判定入库。
4.如权利要求3所述的一体化智慧校园数据中台系统，其特征在于，所述消息紧密度的计算公式为：
；
其中，
是指第i个所述新增的业务系统与第j个所述主题数据仓库的业务系统之间的消息紧密度；
是指第i个所述新增的业务系统与第j个所述主题数据仓库的第m个业务系统的消息消费次数总和；v是第j个所述主题数据仓库存储有v个业务系统的数据；z是平衡系数，与所述主题数据仓库的业务系统总数量成反相关关系，被配置为平衡所述主题数据仓库中业务系统总数量对所述消息紧密度的影响程度。
5.如权利要求3所述的一体化智慧校园数据中台系统，其特征在于，所述计算所述新增的业务系统与所述主题数据仓库的关联度并判定入库进一步包括：
所述关联度计算公式为：
，其中，
、
、
分别是指第i个所述新增的业务系统与第j个所述主题数据仓库的关联度、所述主题相似度、所述消息紧密度，w、t是权重系数；
当所述关联度大于预设的阈值时，选取关联度最大的主题数据仓库作为所述新增的业务系统的入库数据仓库，并判断新增的数据表与所述入库数据仓库下各表的数据表相似度是否高于设定阈值；若高于，则将新增的数据存入所述数据表相似度最高的数据表；若低于，则将新增的数据作为新表直接存入所述入库数据仓库；
当所述关联度小于预设的阈值时，为所述新增的业务系统新建主题数据仓库，将新增的数据表直接存入所述新建主题数据仓库。
6.如权利要求2所述的一体化智慧校园数据中台系统，其特征在于，所述将所述主题数据仓库中的数据根据设计的数据智能映射模型进行标准化处理进一步包括：
获取所述主题数据仓库中数据的标准字段并分类，梳理所述标准字段的同义词，根据所述分类和梳理的结果构建同义词表；
基于所述同义词表，计算预匹配字段与所述标准字段的相似度；以及
将所述相似度与预设的阈值进行比较，并将大于所述预设的阈值的各个所述标准字段作为待匹配字段，并对所述待匹配字段进行降序排序，将所述相似度最高的所述标准字段作为所述预匹配字段的匹配字段。
7.如权利要求6所述的一体化智慧校园数据中台系统，其特征在于，所述计算预匹配字段与所述标准字段的相似度的计算公式为：
其中，S表示所述预匹配字段与所述标准字段的相似度；
表示两个字段中含有相同字的个数；
表示所述预匹配字段的字数；
表示所述标准字段的字数；
表示第i个相同字的重要度；
表示所述预匹配字段与所述标准字段第j个词语的同义度，其计算方法为遍历同义词表，若与该标准字段词语同义则其值取1，否则取0；
表示第i个相同字在所述标准字段对应的同义词中出现的次数；
表示所述标准字段对应的同义词总数；
、
、
分别为预设的阈值。
8.如权利要求1所述的一体化智慧校园数据中台系统，其特征在于，还包括：
根据消息总量，计算所述消息处理效率高于所述预设阈值时所需增加的最少所述分类消息中间件的个数。
9.如权利要求2所述的一体化智慧校园数据中台系统，其特征在于，所述多维度的数据仓库包括：标准基础数据库、标准轨迹数据库以及标准大数据结果数据库；
所述标准基础数据库被配置为存储和处理智慧校园固有属性的数据；所述标准轨迹数据库被配置为存储和处理业务运行数据；所述标准大数据结果数据库被配置为，存储和处理对所述标准基础数据库和所述标准轨迹数据库中的数据进一步处理得到的数据；
所述多维度的数据仓库的每层数据库仅对当前层数据进行处理，上层数据库包含了下层数据库进行数据加工所需要的全量数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211609543.4A CN115618842B (zh) | 2022-12-15 | 2022-12-15 | 一体化智慧校园数据中台系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211609543.4A CN115618842B (zh) | 2022-12-15 | 2022-12-15 | 一体化智慧校园数据中台系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115618842A CN115618842A (zh) | 2023-01-17 |
| CN115618842B true CN115618842B (zh) | 2023-04-11 |
Family
ID=84880024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211609543.4A Active CN115618842B (zh) | 2022-12-15 | 2022-12-15 | 一体化智慧校园数据中台系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115618842B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992528B (zh) * | 2024-04-07 | 2024-06-11 | 沈阳展播智慧科技有限公司 | 数字化展览管理平台的数据交互方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7643468B1 (en) * | 2004-10-28 | 2010-01-05 | Cisco Technology, Inc. | Data-center network architecture |
| WO2020232195A1 (en) * | 2019-05-14 | 2020-11-19 | Qomplx, Inc. | Method for midserver facilitation of long-haul transport of telemetry for cloud-based services |
| CN115208834A (zh) * | 2022-07-12 | 2022-10-18 | 武汉众邦银行股份有限公司 | 一种基于数据库存储过程设计的服务流量限制方法 |
| CN115269225A (zh) * | 2022-07-26 | 2022-11-01 | 联想(北京)有限公司 | 数据处理方法、装置及计算机设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546461B (zh) * | 2011-12-13 | 2014-06-25 | 中国电子科技集团公司第十五研究所 | 多层级消息中间件系统及其消息转发控制方法和装置 |
| CN109189764A (zh) * | 2018-09-20 | 2019-01-11 | 北京桃花岛信息技术有限公司 | 一种基于Hive的高校数据仓库分层设计方法 |
| CN112579148B (zh) * | 2020-12-17 | 2024-04-19 | 广州虎牙科技有限公司 | 基于业务代理的业务消息处理方法、装置及电子设备 |
| CN112583931B (zh) * | 2020-12-25 | 2022-09-02 | 北京百度网讯科技有限公司 | 消息处理方法、消息中间件、电子设备和存储介质 |
| CN114971954A (zh) * | 2021-11-18 | 2022-08-30 | 广东轻工职业技术学院 | 一种一体化智慧校园中台架构 |
| CN114003586A (zh) * | 2021-11-19 | 2022-02-01 | 华讯高科股份有限公司 | 一种智慧教育大数据平台建设方法 |
| CN114756088A (zh) * | 2022-03-14 | 2022-07-15 | 宁夏希望信息产业股份有限公司 | 基于数据中台技术的智慧校园平台 |
| CN115174502A (zh) * | 2022-06-30 | 2022-10-11 | 广东亿迅科技有限公司 | 一种api网关的流量控制方法、装置、设备及介质 |
-
2022
- 2022-12-15 CN CN202211609543.4A patent/CN115618842B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7643468B1 (en) * | 2004-10-28 | 2010-01-05 | Cisco Technology, Inc. | Data-center network architecture |
| WO2020232195A1 (en) * | 2019-05-14 | 2020-11-19 | Qomplx, Inc. | Method for midserver facilitation of long-haul transport of telemetry for cloud-based services |
| CN115208834A (zh) * | 2022-07-12 | 2022-10-18 | 武汉众邦银行股份有限公司 | 一种基于数据库存储过程设计的服务流量限制方法 |
| CN115269225A (zh) * | 2022-07-26 | 2022-11-01 | 联想(北京)有限公司 | 数据处理方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115618842A (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Polyakova et al. | Design of a socio-economic processes monitoring system based on network analysis and big data | |
| CN111787090B (zh) | 一种基于区块链技术的智慧法治平台 | |
| Gao | [Retracted] Research and Implementation of Intelligent Evaluation System of Teaching Quality in Universities Based on Artificial Intelligence Neural Network Model | |
| CN115618842B (zh) | 一体化智慧校园数据中台系统 | |
| CN116383198A (zh) | 基于大数据的决策分析方法及系统 | |
| Eilon et al. | Taxonomy of communications | |
| Okewu et al. | Design of a learning analytics system for academic advising in Nigerian universities | |
| Costa et al. | Towards integrating online social networks and business intelligence | |
| CN112650948B (zh) | 教育信息化评估的信息网构建方法、系统及应用 | |
| CN111353085A (zh) | 一种基于特征模型的云挖掘分析网络舆情方法 | |
| Siau | Knowledge discovery as an aid to organizational creativity | |
| CN111241288A (zh) | 一种大集中电力客户服务中心的突发事件感知系统以及构建方法 | |
| Lo et al. | An emperical study on application of big data analytics to automate service desk business process | |
| CN110990777A (zh) | 数据关联性分析方法及系统、可读存储介质 | |
| Ababneh et al. | Social media usage in education: big data perspective | |
| He et al. | Representation learning of knowledge graph for wireless communication networks | |
| CN112633621A (zh) | 一种基于paas平台的电网企业管理决策系统和方法 | |
| Pérez et al. | A new application for multi criteria decision making processes in e-government scenarios | |
| Shang et al. | Research on Humanistic Quality Higher Medical Education Based on Internet of Things and Intelligent Computing | |
| Al_Mashhadani et al. | Data mining management system optimization using swarm intelligence | |
| Casillas et al. | Knowledge extraction and representation of collaborative activity through ontology-based and Social Network Analysis technologies | |
| CN111400409B (zh) | 一种基于学生数据溯源的信息分析系统 | |
| Swanger et al. | ANGEL mining | |
| Han et al. | Study on multimedia network aided English teaching resource integration system based on cloud storage | |
| CN117648477A (zh) | 基于ai分析的服务信息管理系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |