CN109992626A - 一种多维数据模型的数据处理方法及装置 - Google Patents
一种多维数据模型的数据处理方法及装置 Download PDFInfo
- Publication number
- CN109992626A CN109992626A CN201910278316.XA CN201910278316A CN109992626A CN 109992626 A CN109992626 A CN 109992626A CN 201910278316 A CN201910278316 A CN 201910278316A CN 109992626 A CN109992626 A CN 109992626A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional database
- module
- mirror image
- multidimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种多维数据模型的数据处理装置，包括数据采集模块、数据处理器、多维数据库、镜像多维数据库、通讯服务器和用户服务端；数据处理器包括数据分析模块、无效数据去除模块、数据分类模块和数据发送模块；数据处理器与数据采集模块通讯连接；多维数据库设置多个；每个多维数据库均与对应的镜像多维数据库通讯连接；通讯服务器与镜像多维数据库通讯连接，通讯服务器与用户服务端通讯连接；用户服务端包括通讯模块、数据处理模块和显示输出模块；通讯模块与通讯服务器通讯连接，用于传输或接收数据信息；本发明中设置多个镜像多维数据库，保证用户正常访问的同时，不会丢失多维数据库中的数据，使用更加方便。
Description
技术领域
本发明涉及多维数据模型处理技术领域，尤其涉及一种多维数据模型的数据处理方法及装置。
背景技术
多维数据库是指将数据存放在一个门维数组中，而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询效率；后关系型数据库的主要特征是将多维处理和面向对象技术结合到关系数据库上。这种数据库使用强大而灵活的对象技术，将经过处理的多维数据模型的速度和可调整性结合起来。由于它独有的可兼容性，对于开发高性能的交换处理应用程序来说，后关系型数据库非常理想.在后关系型数据库管理系统中，采用了更现代化的多维模型，作为数据库引擎。并且，这种以稀疏数组为基础的独特的多维数据库架构，是从已成为国际标准的数据库语言基础上继承和发展的，是已积累了实践经验的先进而可靠的技术；但是现有技术中多维数据库存储的数据源较多，多个用户同时访问时会服务器负载较大，反应速度慢，同时存在宕机丢失数据的现象，影响用户的使用体验。
为解决上述问题，本申请中提出一种多维数据模型的数据处理方法及装置。
发明内容
(一)发明目的
为解决背景技术中存在的多维数据库存储的数据源较多，多个用户同时访问时会服务器负载较大，反应速度慢，同时存在宕机丢失数据的现象，影响用户的使用体验技术问题，本发明提出一种多维数据模型的数据处理方法及装置，本发明中，通过对每一个多维数据库设置镜像多维数据库，镜像多维数据库与对应的多维数据库中的内容一致，对数据库中的内容进行修改时，镜像多维数据库会自动同步；而当用户可以直接访问镜像多维数据库，即使一个镜像多维数据库出现宕机现象，不会影响多维数据库中保存的数据，更加安全；提高了用户的使用体验。
(二)技术方案
为解决上述问题，本发明提供了一种多维数据模型的数据处理装置，包括数据采集模块、数据处理器、多维数据库、镜像多维数据库、通讯服务器和用户服务端；
数据采集模块采集原始数据；
数据处理器包括数据分析模块、无效数据去除模块、数据分类模块和数据发送模块；数据处理器与数据采集模块通讯连接，用于接收数据采集模块采集到的原始数据；数据分析模块用于确定原始数据的维度和度量；无效数据去除模块用于去除无效以及重复数据；数据分类模块用于对数据的维度和度量进行分类；数据发送模块用于将数据发送至多维数据库中；
多维数据库设置多个，多维数据库用于将分类的数据进行存储；每个多维数据库均与对应的镜像多维数据库通讯连接，用于将多维数据库中存储的信息发送至镜像多维数据库中；
通讯服务器与镜像多维数据库通讯连接，通讯服务器与用户服务端通讯连接；用于将镜像多维数据库中的数据发送至用户服务端中；
用户服务端包括通讯模块、数据处理模块和显示输出模块；通讯模块与通讯服务器通讯连接，用于传输或接收数据信息；数据处理模块对数据进行处理，并将数据信号的格式转换为显示输出模块能直接显示的格式；显示输出模块用于将数据信号显示出来。
优选的，通讯服务器为RS232或RS485串口服务器，通讯服务器上集成有GSM或LTE通讯模块。
优选的，每个多维数据库的镜像多维数据库至少设置两个。
优选的，显示输出模块为PC机、手机、平板电脑、投影、触摸屏或拼接屏；
本发明还提出了一种多维数据模型的数据处理方法，包括以下具体步骤：
S1、采集原始数据，并将原始数据标记为A；
S2、对采集到的原始数据A进行分析，确定原始数据的维度以及度量。
S3、去除原始数据A中的无效以及重复的数据；
S4、根据S2中原始数据A的维度以及度量进行分类，分别编号A1、A2……An；建立多个多维数据库，分别编号B1、B2……Bn；将编号A1的数据存入编号B1的多维数据库，将编号A2的数据存入编号B2的多维数据库；以此类推将数据全部存入多维数据库中；
S5、对每一个多维数据库建立至少两个镜像多维数据库；
S6、建立至少一个多维数据展示模型；
S7、用户服务端向镜像多维数据库发送请求指令；
S8、对用户服务端发送的请求指令进行分析，并根据请求判断所需调取信息的关键词；
S9、根据S8中提取的关键词对镜像多维数据库进行检索；
S10、根据关键词被检索的频率确定数据展示的优先级；
S11、执行用户服务端发送的请求指令；
S12、获取所需要的数据信息，并将数据信息发送至至少一个多维数据展示模型中；
S13、获得指令执行结构；
S14、结束流程。
优选的，用户服务端发送的请求指令经过数字加密处理。
本发明的上述技术方案具有如下有益的技术效果：数据采集模块采集原始数据，并将原始数据标记为A；数据处理器中的数据分析模块对采集到的原始数据A进行分析，确定原始数据的维度以及度量；无效数据去除模块将原始数据A中无效数据以及重复数据删除；数据分类模块根据原始数据A的维度以及度量进行分类，分别编号A1、A2……An；建立多个多维数据库，分别编号B1、B2……Bn；将编号A1的数据存入编号B1的多维数据库，将编号A2的数据存入编号B2的多维数据库；以此类推将数据全部存入多维数据库中；对每一个多维数据库建立至少两个镜像多维数据库；建立至少一个多维数据展示模型；用户服务端实际使用时，向镜像多维数据库发送指令，例如“查找关于整流电路的学术论文”；根据指令提取关键词：“查找论文”和“整流电路”；对镜像多维数据库中关于“整流电路”的内容进行检索；根据镜像数据库中“整流电路”这一关键词被检索的频率确定数据展示的优先级，例如：“半波整流电路”被检索9672次，“全波整流电路”被检索7986次，“全波桥式整流电路”被检索18562次；则优先级展示顺序为“全波桥式整流电路”、“半波整流电路”、“全波整流电路”；之后执行用户请求指令，并将检索到的数据内容导入到相应的多维数据展示模型中，通过数据处理模块处理转化为显示输出模块能够直接显示的数据格式，显示输出模块将结果展示出来；本发明中，通过对每一个多维数据库设置镜像多维数据库，镜像多维数据库与对应的多维数据库中的内容一致，对数据库中的内容进行修改时，镜像多维数据库会自动同步；而当用户可以直接访问镜像多维数据库，即使镜像多维数据库出现宕机现象，不会影响多维数据库中保存的数据，更加安全；提高了用户的使用体验。
附图说明
图1为本发明提出的多维数据模型的数据处理方法的结构示意图。
图2为本发明提出的多维数据模型的数据处理装置的结构示意图。
附图标记：
1、数据采集模块；2、数据处理器；201、数据分析模块；202、数据分类模块；203、数据发送模块；204、无效数据去除模块；3、多维数据库；4、镜像多维数据库；5、通讯服务器；6、用户服务端；601、通讯；602、数据处理模块；603、显示输出模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1-2所示，本发明提出的一种多维数据模型的数据处理装置，包括数据采集模块1、数据处理器2、多维数据库3、镜像多维数据库4、通讯服务器5和用户服务端6；
数据采集模块1采集原始数据；
数据处理器2包括数据分析模块201、无效数据去除模块204、数据分类模块202和数据发送模块203；数据处理器2与数据采集模块1通讯连接，用于接收数据采集模块1采集到的原始数据；数据分析模块201用于确定原始数据的维度和度量；无效数据去除模块204用于去除无效以及重复数据；数据分类模块202用于对数据的维度和度量进行分类；数据发送模块203用于将数据发送至多维数据库3中；
多维数据库3设置多个，多维数据库3用于将分类的数据进行存储；每个多维数据库3均与对应的镜像多维数据库4通讯连接，用于将多维数据库3中存储的信息发送至镜像多维数据库4中；
通讯服务器5与镜像多维数据库4通讯连接，通讯服务器5与用户服务端6通讯连接；用于将镜像多维数据库4中的数据发送至用户服务端6中；
用户服务端6包括通讯模块601、数据处理模块602和显示输出模块603；通讯模块601与通讯服务器5通讯连接，用于传输或接收数据信息；数据处理模块602对数据进行处理，并将数据信号的格式转换为显示输出模块603能直接显示的格式；显示输出模块603用于将数据信号显示出来。
在一个可选的实施例中，通讯服务器5为RS232或RS485串口服务器，通讯服务器5上集成有GSM或LTE通讯模块。
在一个可选的实施例中，每个多维数据库3的镜像多维数据库4至少设置两个。
在一个可选的实施例中，显示输出模块603为PC机、手机、平板电脑、投影、触摸屏或拼接屏；
本发明还提出了一种多维数据模型的数据处理方法，包括以下具体步骤：
S1、采集原始数据，并将原始数据标记为A；
S2、对采集到的原始数据A进行分析，确定原始数据的维度以及度量。
S3、去除原始数据A中的无效以及重复的数据；
S4、根据S2中原始数据A的维度以及度量进行分类，分别编号A1、A2……An；建立多个多维数据库3，分别编号B1、B2……Bn；将编号A1的数据存入编号B1的多维数据库3，将编号A2的数据存入编号B2的多维数据库3；以此类推将数据全部存入多维数据库3中；
S5、对每一个多维数据库3建立至少两个镜像多维数据库4；
S6、建立至少一个多维数据展示模型；
S7、用户服务端6向镜像多维数据库4发送请求指令；
S8、对用户服务端6发送的请求指令进行分析，并根据请求判断所需调取信息的关键词；
S9、根据S8中提取的关键词对镜像多维数据库4进行检索；
S10、根据关键词被检索的频率确定数据展示的优先级；
S11、执行用户服务端6发送的请求指令；
S12、获取所需要的数据信息，并将数据信息发送至至少一个多维数据展示模型中；
S13、获得指令执行结构；
S14、结束流程。
在一个可选的实施例中，用户服务端6发送的请求指令经过数字加密处理。
本发明中，数据采集模块1采集原始数据，并将原始数据标记为A；数据处理器2中的数据分析模块201对采集到的原始数据A进行分析，确定原始数据的维度以及度量；无效数据去除模块204将原始数据A中无效数据以及重复数据删除；数据分类模块202根据原始数据A的维度以及度量进行分类，分别编号A1、A2……An；建立多个多维数据库3，分别编号B1、B2……Bn；将编号A1的数据存入编号B1的多维数据库3，将编号A2的数据存入编号B2的多维数据库3；以此类推将数据全部存入多维数据库3中；对每一个多维数据库3建立至少两个镜像多维数据库4；建立至少一个多维数据展示模型；用户服务端6实际使用时，向镜像多维数据库4发送指令，例如“查找关于整流电路的学术论文”；根据指令提取关键词：“查找论文”和“整流电路”；对镜像多维数据库4中关于“整流电路”的内容进行检索；根据镜像多维数据库4中“整流电路”这一关键词被检索的频率确定数据展示的优先级，例如：“半波整流电路”被检索9672次，“全波整流电路”被检索7986次，“全波桥式整流电路”被检索18562次；则优先级展示顺序为“全波桥式整流电路”、“半波整流电路”、“全波整流电路”；之后执行用户请求指令，并将检索到的数据内容导入到相应的多维数据展示模型中，通过数据处理模块602处理转化为显示输出模块603能够直接显示的数据格式，显示输出模块603将结果展示出来；本发明中，通过对每一个多维数据库3设置镜像多维数据库4，镜像多维数据库4与对应的多维数据库3中的内容一致，对数据库中的内容进行修改时，镜像多维数据库4会自动同步；而当用户可以直接访问镜像多维数据库4，即使一个镜像多维数据库4出现宕机现象，不会影响多维数据库3中保存的数据，更加安全；提高了用户的使用体验。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (6)
1.一种多维数据模型的数据处理装置，其特征在于，包括数据采集模块(1)、数据处理器(2)、多维数据库(3)、镜像多维数据库(4)、通讯服务器(5)和用户服务端(6)；
数据采集模块(1)采集原始数据；
数据处理器(2)包括数据分析模块(201)、无效数据去除模块(204)、数据分类模块(202)和数据发送模块(203)；数据处理器(2)与数据采集模块(1)通讯连接，用于接收数据采集模块(1)采集到的原始数据；数据分析模块(201)用于确定原始数据的维度和度量；无效数据去除模块(204)用于去除无效以及重复数据；数据分类模块(202)用于对数据的维度和度量进行分类；数据发送模块(203)用于将数据发送至多维数据库(3)中；
多维数据库(3)设置多个，多维数据库(3)用于将分类的数据进行存储；每个多维数据库(3)均与对应的镜像多维数据库(4)通讯连接，用于将多维数据库(3)中存储的信息发送至镜像多维数据库(4)中；
通讯服务器(5)与镜像多维数据库(4)通讯连接，通讯服务器(5)与用户服务端(6)通讯连接；用于将镜像多维数据库(4)中的数据发送至用户服务端(6)中；
用户服务端(6)包括通讯模块(601)、数据处理模块(602)和显示输出模块(603)；通讯模块(601)与通讯服务器(5)通讯连接，用于传输或接收数据信息；数据处理模块(602)对数据进行处理，并将数据信号的格式转换为显示输出模块(603)能直接显示的格式；显示输出模块(603)用于将数据信号显示出来。
2.根据权利要求1所述的多维数据模型的数据处理装置，其特征在于，通讯服务器(5)为RS232或RS485串口服务器，通讯服务器(5)上集成有GSM或LTE通讯模块。
3.根据权利要求1所述的多维数据模型的数据处理装置，其特征在于，每个多维数据库(3)的镜像多维数据库(4)至少设置两个。
4.根据权利要求1所述的多维数据模型的数据处理装置，其特征在于，显示输出模块(603)为PC机、手机、平板电脑、投影、触摸屏或拼接屏。
5.根据权利要求1-4任一项所述的一种多维数据模型的数据处理装置，还提出一种关于上述一种多维数据模型的数据处理方法，其特征在于，还包括以下具体步骤：
S1、采集原始数据，并将原始数据标记为A；
S2、对采集到的原始数据A进行分析，确定原始数据的维度以及度量。
S3、去除原始数据A中的无效以及重复的数据；
S4、根据S2中原始数据A的维度以及度量进行分类，分别编号A1、A2……An；建立多个多维数据库(3)，分别编号B1、B2……Bn；将编号A1的数据存入编号B1的多维数据库(3)，将编号A2的数据存入编号B2的多维数据库(3)；以此类推将数据全部存入多维数据库(3)中；
S5、对每一个多维数据库(3)建立至少两个镜像多维数据库(4)；
S6、建立至少一个多维数据展示模型；
S7、用户服务端(6)向镜像多维数据库(4)发送请求指令；
S8、对用户服务端(6)发送的请求指令进行分析，并根据请求判断所需调取信息的关键词；
S9、根据S8中提取的关键词对镜像多维数据库(4)进行检索；
S10、根据关键词被检索的频率确定数据展示的优先级；
S11、执行用户服务端(6)发送的请求指令；
S12、获取所需要的数据信息，并将数据信息发送至至少一个多维数据展示模型中；
S13、获得指令执行结构；
S14、结束流程。
6.根据权利要求5所述的多维数据模型的数据处理方法，其特征在于，用户服务端(6)发送的请求指令经过数字加密处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910278316.XA CN109992626A (zh) | 2019-04-09 | 2019-04-09 | 一种多维数据模型的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910278316.XA CN109992626A (zh) | 2019-04-09 | 2019-04-09 | 一种多维数据模型的数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109992626A true CN109992626A (zh) | 2019-07-09 |
Family
ID=67132689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910278316.XA Pending CN109992626A (zh) | 2019-04-09 | 2019-04-09 | 一种多维数据模型的数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109992626A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100854A (zh) * | 2022-06-17 | 2022-09-23 | 上海市城市建设设计研究总院（集团）有限公司 | 智能网联道路边缘节点的数据存储方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001357197A (ja) * | 2000-04-11 | 2001-12-26 | Sumitomo Heavy Ind Ltd | ポジション表示システム及びコンピュータ可読媒体 |
| CN203457183U (zh) * | 2013-09-30 | 2014-02-26 | 国家电网公司 | 银电联网集成系统 |
| CN104238534B (zh) * | 2014-10-20 | 2017-02-01 | 江苏海事职业技术学院 | 一种高炉煤气锅炉省煤器沸腾度在线监测装置和监测方法 |
| CN107092701A (zh) * | 2017-05-02 | 2017-08-25 | 山东浪潮通软信息科技有限公司 | 一种多维数据模型的数据处理方法及装置 |
| CN109446235A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工业大学（深圳） | 多维高效用序列模式处理方法、装置和计算机设备 |
-
2019
- 2019-04-09 CN CN201910278316.XA patent/CN109992626A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001357197A (ja) * | 2000-04-11 | 2001-12-26 | Sumitomo Heavy Ind Ltd | ポジション表示システム及びコンピュータ可読媒体 |
| CN203457183U (zh) * | 2013-09-30 | 2014-02-26 | 国家电网公司 | 银电联网集成系统 |
| CN104238534B (zh) * | 2014-10-20 | 2017-02-01 | 江苏海事职业技术学院 | 一种高炉煤气锅炉省煤器沸腾度在线监测装置和监测方法 |
| CN107092701A (zh) * | 2017-05-02 | 2017-08-25 | 山东浪潮通软信息科技有限公司 | 一种多维数据模型的数据处理方法及装置 |
| CN109446235A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工业大学（深圳） | 多维高效用序列模式处理方法、装置和计算机设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100854A (zh) * | 2022-06-17 | 2022-09-23 | 上海市城市建设设计研究总院（集团）有限公司 | 智能网联道路边缘节点的数据存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11775501B2 (en) | Trace and span sampling and analysis for instrumented software | |
| CN110569214B (zh) | 用于日志文件的索引构建方法、装置及电子设备 | |
| CN106250424B (zh) | 一种日志上下文内容的搜索方法、装置及系统 | |
| CN111640040A (zh) | 基于客户画像技术的供电客户价值评价方法及大数据平台 | |
| CN104537341B (zh) | 人脸图片信息获取方法和装置 | |
| CN111651751B (zh) | 安全事件的分析报告生成方法、装置、存储介质及设备 | |
| CN106326482A (zh) | 一种大数据可视化采集分析及文件转换系统和方法 | |
| CN103942268B (zh) | 搜索与应用相结合的方法、设备以及应用接口 | |
| JP2009251686A (ja) | 文書検索装置 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN107766234A (zh) | 一种基于移动设备的网页健康度的测评方法、装置及系统 | |
| CN111488594A (zh) | 一种基于云服务器的权限检查方法、装置、存储介质及终端 | |
| CN105721519B (zh) | 一种网页数据采集方法、装置及系统 | |
| EP3789882B1 (en) | Automatic configuration of logging infrastructure for software deployments using source code | |
| CN114817243A (zh) | 数据库联合索引的建立方法、装置、设备及存储介质 | |
| CN115510249A (zh) | 一种知识图谱的构建方法及装置、电子设备、存储介质 | |
| CN109697676A (zh) | 基于社交群的用户分析及应用方法和装置 | |
| CN112256682A (zh) | 一种多维异构数据的数据质量检测方法及装置 | |
| CN111343416B (zh) | 一种分布式图像分析方法、系统及存储介质 | |
| CN112822121A (zh) | 流量识别方法、流量确定方法、知识图谱建立方法 | |
| CN109992626A (zh) | 一种多维数据模型的数据处理方法及装置 | |
| CN104462461B (zh) | 对表单进行排查空值处理的方法及装置 | |
| JP2018081403A (ja) | インシデント管理システム、インシデント管理方法およびコンピュータプログラム | |
| CN103886033B (zh) | 用于安全产业链的智能垂直搜索装置和方法 | |
| CN114064606A (zh) | 数据库迁移方法、装置、设备、存储介质和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |
|
| RJ01 | Rejection of invention patent application after publication |