CN115499381A - 企业数据管理系统及方法 - Google Patents
企业数据管理系统及方法 Download PDFInfo
- Publication number
- CN115499381A CN115499381A CN202211246945.2A CN202211246945A CN115499381A CN 115499381 A CN115499381 A CN 115499381A CN 202211246945 A CN202211246945 A CN 202211246945A CN 115499381 A CN115499381 A CN 115499381A
- Authority
- CN
- China
- Prior art keywords
- data
- packets
- identity token
- priority
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013523 data management Methods 0.000 title claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 28
- 108091026890 Coding region Proteins 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 11
- 239000002994 raw material Substances 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims 2
- 238000012913 prioritisation Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 abstract description 6
- 238000007726 management method Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
- H04L47/2433—Allocation of priorities to traffic types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Bioethics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了企业数据管理系统及方法，属于数据管理技术领域，具体包括：数据采集模块、数据排列模块、数据处理模块和数据库，其中：数据采集模块，用于将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；数据传输模块，用于提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次将数据包传输至数据处理模块；数据处理模块，用于对所述数据包依次进行处理并存储至数据库；本发明通过身份令牌对数据进行整避免文件在传输过程中，发生数据混乱，通过对数据进行优先级排序，对不同的数据进行优先级传输，从而提升了数据传输的效率。
Description
技术领域
本发明涉及数据管理技术领域，具体涉及企业数据管理系统及方法。
背景技术
随着企业的逐步发展，企业的规模越来越大，在企业的原料供应、生产以及营销过程中时时刻刻产生着庞大的数据量，为了便于利用大数据对企业进行集中管理，因此需要对企业的综合数据进行统一传输存储，从而方便根据企业大数据对企业进行合理的日常管理工作以及长远的发展规划；
然而在数据传输的过程中，由于数据过多以及未合理筛选数据，导致数据冗余，传输效率低下，以及数据传输过程发生数据混乱，无法确保所传输数据的安全性，从而导致企业综合数据管理工作无法正常进行。
发明内容
本发明的目的在于提供企业数据管理系统及方法，解决以下技术问题：
在数据传输的过程中，由于数据过多以及未合理筛选数据，导致数据冗余，传输效率低下，以及数据传输过程发生数据混乱，无法确保所传输数据的安全性，从而导致企业综合数据管理工作无法正常进行。
本发明的目的可以通过以下技术方案实现：
企业数据管理系统，包括数据采集模块、数据排列模块、数据处理模块和数据库，其中：
数据采集模块，用于将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；
数据传输模块，用于提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次将数据包传输至数据处理模块；
数据处理模块，用于对所述数据包依次进行处理并存储至数据库。
作为本发明进一步的方案：所述数据采集模块赋予的身份令牌通过特定编码序列区分所述数据包，如果若干数据包之间存在部分相同的数据信息，则该若干数据包对应的特定编码序列中也存在部分相同的编码序列，所述身份令牌还包括相应数据包的数据数量、数据长度和等待时长。
作为本发明进一步的方案：所述数据传输模块优先级排序的具体过程为：
提取数据包的数据数量并标记为N；
提取数据包的数据长度并标记为L；
提取数据包的等待时长并标记为T；
根据优先级公式
得到优先值YX，其中a、b、c为预设权重系数，且a＜b＜c，将所述优先值YX由小到大依次进行排序，排序越靠前的所述优先值YX对应的数据包的优先级越高，优先级最高的数据包优先进行传输和处理。
作为本发明进一步的方案：所述数据采集模块采集的数据信息为多个单项数据的数据组合，每个单项数据都对应着一段编码序列，所述数据组合包括采集时间和工段信息，以及原料信息、过程信息和成品信息中的任一项。
作为本发明进一步的方案：所述数据库自动生成若干个子分区，任一所述子分区仅用于存储特定数据组合的数据包。
作为本发明进一步的方案：所述采集时间的最小单位精确到天，所述数据库每隔一天自动生成新的子分区。
作为本发明进一步的方案：还包括数据检索模块，用于根据单项或多项数据关键词对数据库中存储的所述数据包进行检索，并将检索结果调用至系统前端。
企业数据管理方法，包括以下步骤：
将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；
提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次传输所述数据包；
对传输后的所述数据包依次进行处理并存储。
本发明的有益效果：
(1)本发明首先通过身份令牌对数据进行整合，生成对应的数据包，通过身份令牌可有效避免文件在传输过程中，发生数据混乱，同时也保证了数据传输过程中的安全性，提升了数据传输的整体效果；然后通过对数据进行优先级排序，根据优先级排列结果，对不同的数据进行优先级传输，从而提升了数据传输的效率，并通过数据库的自适应分区对数据实现了高效清晰的存储管理；
(2)由于每组数据包为单独完整的数据，先对数据进行分组，然后获取数据包的数据数量、数据长度和等待时长，根据先小后大、先快后慢、先旧后新的优先级顺序进行传输，也即是分批次进行传输，于是系统能够在传输后续批次数据的同时对已传输批次的数据进行处理，从而实现了边传输数据，边处理数据，提高了系统对数据的处理效率；由于系统只能对完整的数据进行处理(或者对完整数据的处理效率较高)，如果不对数据进行分组，选择将数据一次性传输，或者未按照先小后大，先快后慢的顺序，就会造成系统前期花费大量的时间用于传输数据，而无法同时处理数据，系统效率相对较低。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的企业数据管理系统的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为企业数据管理系统，包括数据采集模块、数据排列模块、数据处理模块和数据库，其中：
数据采集模块，用于将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；
数据传输模块，用于提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次将数据包传输至数据处理模块；
数据处理模块，用于对所述数据包依次进行处理并存储至数据库。
在数据传输的过程中，由于数据过多以及未合理筛选数据，导致数据冗余，传输效率低下，以及数据传输过程发生数据混乱，无法确保所传输数据的安全性，从而导致企业综合数据管理工作无法正常进行；且数据在存储后，重新调用整理也较为麻烦；
于是本发明首先通过身份令牌对数据进行整合，生成对应的数据包，通过身份令牌可有效避免文件在传输过程中，发生数据混乱，同时也保证了数据传输过程中的安全性，提升了数据传输的整体效果；然后通过对数据进行优先级排序，根据优先级排列结果，对不同的数据进行优先级传输，从而提升了数据传输的效率，并通过数据库的自适应分区对数据实现了高效清晰的存储管理。
在本发明的一种优选的实施例中，所述数据采集模块赋予的身份令牌通过特定编码序列区分所述数据包，如果若干数据包之间存在部分相同的数据信息，则该若干数据包对应的特定编码序列中也存在部分相同的编码序列，所述身份令牌还包括相应数据包的数据数量、数据长度和等待时长；
本发明通过一串特定的编码序列对数据包进行区别，作为身份识别的密钥，并且通过部分相同编码序列对应的数据信息，便于对拥有相同特征数据信息的数据包进行统一传输以及管理存储，也方便了后续进行检索查阅工作，身份令牌中还包括有数据包的特征信息。
在本实施例的一种优选的情况中，所述数据传输模块优先级排序的具体过程为：
提取数据包的数据数量并标记为N；
提取数据包的数据长度并标记为L；
提取数据包的等待时长并标记为T；
根据优先级公式
得到优先值YX，其中a、b、c为预设权重系数，且a＜b＜c，将所述优先值YX由小到大依次进行排序，排序越靠前的所述优先值YX对应的数据包的优先级越高，优先级最高的数据包优先进行传输和处理；
由于每组数据包为单独完整的数据，先对数据进行分组，然后获取数据包的数据数量、数据长度和等待时长，根据先小后大、先快后慢、先旧后新的优先级顺序进行传输，也即是分批次进行传输，于是系统能够在传输后续批次数据的同时对已传输批次的数据进行处理，从而实现了边传输数据，边处理数据，提高了系统对数据的处理效率；由于系统只能对完整的数据进行处理(或者对完整数据的处理效率较高)，如果不对数据进行分组，选择将数据一次性传输，或者未按照先小后大，先快后慢、先旧后新的传输顺序，就会造成系统前期花费大量的时间用于传输数据，而无法同时处理数据，系统效率相对较低。
在本发明的另一种优选的实施例中，所述数据采集模块采集的数据信息为多个单项数据的数据组合，每个单项数据都对应着一段编码序列，所述数据组合包括采集时间和工段信息，以及原料信息、过程信息和成品信息中的任一项；
数据信息为多个单项数据的数据集合，即为一套完整数据的组合，每个数据包都是一个处理单元，偏于数据处理单元对其进行高效的处理，而其中每个单项数据都对应着一段编码序列，从而将多个维度的企业数据整合在一串编码序列中，从而实现了对企业数据的明确管理。
在本实施例的一种优先的情况中，所述数据库自动生成若干个子分区，任一所述子分区仅用于存储特定数据组合的数据包；
值得注意的是，所述采集时间的最小单位精确到天，所述数据库每隔一天自动生成新的子分区；
通过数据库的自适应分区，每天根据企业数据生成新的对应分区，对企业的每天的、每条产线的、以及原料信息、过程信息和成品信息进行分类存储，实现了对企业数据高效清晰的存储管理，便于对数据的查找，同时也避免了数据在传输中产生混乱。
在本发明的另一种优选的实施例中，还包括数据检索模块，用于根据单项或多项数据关键词对数据库中存储的所述数据包进行检索，并将检索结果调用至系统前端；
通过设置数据检索模块，在需要调取数据进行查阅时，能够通过数据关键词或者特定序列进行检索，由于数据库设置有多个子分区，能够自动排除不相关的数据量，从而提高了数据的检索效率。
企业数据管理方法，包括以下步骤：
将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；
提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次传输所述数据包；
对传输后的所述数据包依次进行处理并存储。
上述公式均是去量纲取其数值计算，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (8)
1.企业数据管理系统，其特征在于，包括数据采集模块、数据排列模块、数据处理模块和数据库，其中：
数据采集模块，用于将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；
数据传输模块，用于提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次将数据包传输至数据处理模块；
数据处理模块，用于对所述数据包依次进行处理并存储至数据库。
2.根据权利要求1所述的企业数据管理系统，其特征在于，所述数据采集模块赋予的身份令牌通过特定编码序列区分所述数据包，如果若干数据包之间存在部分相同的数据信息，则该若干数据包对应的特定编码序列中也存在部分相同的编码序列，所述身份令牌还包括相应数据包的数据数量、数据长度和等待时长。
3.根据权利要求2所述的企业数据管理系统，其特征在于，所述数据传输模块优先级排序的具体过程为：
提取数据包的数据数量并标记为N；
提取数据包的数据长度并标记为L；
提取数据包的等待时长并标记为T；
根据优先级公式
得到优先值YX，其中a、b、c为预设权重系数，且a＜b＜c，将所述优先值YX由小到大依次进行排序，排序越靠前的所述优先值YX对应的数据包的优先级越高，优先级最高的数据包优先进行传输和处理。
4.根据权利要求2所述的企业数据管理系统，其特征在于，所述数据采集模块采集的数据信息为多个单项数据的数据组合，每个单项数据都对应一段编码序列，所述数据组合包括采集时间和工段信息，以及原料信息、过程信息和成品信息中的任一项。
5.根据权利要求4所述的企业数据管理系统，其特征在于，所述数据库自动生成若干个子分区，任一所述子分区仅用于存储特定数据组合的数据包。
6.根据权利要求5所述的企业数据管理系统，其特征在于，所述采集时间的最小单位精确到天，所述数据库每隔一天自动生成新的子分区。
7.根据权利要求4所述的企业数据管理系统，其特征在于，还包括数据检索模块，用于根据单项或多项数据关键词对数据库中存储的所述数据包进行检索，并将检索结果调用至系统前端。
8.企业数据管理方法，其特征在于，包括以下步骤：
将录入的数据根据数据信息进行分类并生成数据包，并为每个数据包赋予特定的身份令牌；
提取所述身份令牌，根据所述身份令牌对相应的数据包进行优先级排序，并根据优先级排序结果依次传输所述数据包；
对传输后的所述数据包依次进行处理并存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211246945.2A CN115499381A (zh) | 2022-10-12 | 2022-10-12 | 企业数据管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211246945.2A CN115499381A (zh) | 2022-10-12 | 2022-10-12 | 企业数据管理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115499381A true CN115499381A (zh) | 2022-12-20 |
Family
ID=84473868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211246945.2A Pending CN115499381A (zh) | 2022-10-12 | 2022-10-12 | 企业数据管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115499381A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739537A (zh) * | 2012-06-26 | 2012-10-17 | 中兴通讯股份有限公司 | 以太网数据包的转发方法及装置 |
| CN103916330A (zh) * | 2014-03-24 | 2014-07-09 | 中国电子科技集团公司第三十研究所 | 一种ip数据优先级设置方法 |
| CN104202774A (zh) * | 2014-09-18 | 2014-12-10 | 东南大学 | 一种可靠实时的工业无线局域网传输方法 |
| WO2016090539A1 (zh) * | 2014-12-08 | 2016-06-16 | 华为技术有限公司 | 一种数据传输方法及设备 |
| CN109039949A (zh) * | 2018-07-24 | 2018-12-18 | 合肥工业大学 | 无线片上网络中基于优先级的动态无线介质访问控制方法 |
| CN209085657U (zh) * | 2017-08-02 | 2019-07-09 | 强力物联网投资组合2016有限公司 | 用于与化工生产工艺有关的或工业环境的数据收集系统 |
| CN113392646A (zh) * | 2021-07-07 | 2021-09-14 | 上海软中信息技术有限公司 | 一种数据中台系统、构建方法及装置 |
| CN114338481A (zh) * | 2022-02-24 | 2022-04-12 | 重庆伏特猫科技有限公司 | 一种基于Netty框架的终端设备数据采集系统 |
| RU2776658C1 (ru) * | 2021-10-05 | 2022-07-22 | Федеральное государственное казенное военное образовательное учреждение высшего образования Академия Федеральной службы охраны Российской Федерации | Способ вероятностного приоритетного обслуживания очередей и устройство его реализующее |
-
2022
- 2022-10-12 CN CN202211246945.2A patent/CN115499381A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739537A (zh) * | 2012-06-26 | 2012-10-17 | 中兴通讯股份有限公司 | 以太网数据包的转发方法及装置 |
| CN103916330A (zh) * | 2014-03-24 | 2014-07-09 | 中国电子科技集团公司第三十研究所 | 一种ip数据优先级设置方法 |
| CN104202774A (zh) * | 2014-09-18 | 2014-12-10 | 东南大学 | 一种可靠实时的工业无线局域网传输方法 |
| WO2016090539A1 (zh) * | 2014-12-08 | 2016-06-16 | 华为技术有限公司 | 一种数据传输方法及设备 |
| CN209085657U (zh) * | 2017-08-02 | 2019-07-09 | 强力物联网投资组合2016有限公司 | 用于与化工生产工艺有关的或工业环境的数据收集系统 |
| CN109039949A (zh) * | 2018-07-24 | 2018-12-18 | 合肥工业大学 | 无线片上网络中基于优先级的动态无线介质访问控制方法 |
| CN113392646A (zh) * | 2021-07-07 | 2021-09-14 | 上海软中信息技术有限公司 | 一种数据中台系统、构建方法及装置 |
| RU2776658C1 (ru) * | 2021-10-05 | 2022-07-22 | Федеральное государственное казенное военное образовательное учреждение высшего образования Академия Федеральной службы охраны Российской Федерации | Способ вероятностного приоритетного обслуживания очередей и устройство его реализующее |
| CN114338481A (zh) * | 2022-02-24 | 2022-04-12 | 重庆伏特猫科技有限公司 | 一种基于Netty框架的终端设备数据采集系统 |
Non-Patent Citations (1)
| Title |
|---|
| 汤晓勇: "一种面向智能油气田数据资产管理的数据编码方法及应用", 《天然气与石油》, pages 120 - 124 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104917627B (zh) | 一种用于大型服务器集群的日志集群扫描与分析方法 | |
| CN108011823A (zh) | 多域流表的多级化方法及装置、多级流表查找方法及装置 | |
| CN109033462A (zh) | 在大数据存储的存储设备中确定低频数据项的方法及系统 | |
| CN103198099A (zh) | 基于云计算的面向电信业务的数据挖掘应用方法 | |
| CN110209942B (zh) | 一种基于大数据的科技信息智能推送系统 | |
| CN106649385B (zh) | 基于HBase数据库的数据排序方法和装置 | |
| CN104123329B (zh) | 搜索方法和装置 | |
| US20200293543A1 (en) | Method and apparatus for transmitting data | |
| CN115499381A (zh) | 企业数据管理系统及方法 | |
| CN109189765A (zh) | 田间调查记录方法、装置及可读存储介质 | |
| CN113850541A (zh) | 一种基于sql数据库的库存驱动的光缆订单分配方法 | |
| CN112711582A (zh) | 一种数据源清洗集成化主数据管理平台 | |
| CN112241410A (zh) | 数据存储方法、数据索引的构建方法、装置、计算机设备 | |
| CN111046077A (zh) | 数据的获取方法及装置、存储介质、终端 | |
| CN107277095A (zh) | 会话分割方法及装置 | |
| CN109271104A (zh) | 一种用于确定大数据存储系统的运行状态的方法及系统 | |
| CN103748578B (zh) | 数据分布的方法、装置及系统 | |
| CN112860899A (zh) | 标签生成方法、装置、计算机设备和计算机可读存储介质 | |
| CN113485992A (zh) | 数据处理方法及装置 | |
| CN107577690B (zh) | 海量信息数据的推荐方法及推荐装置 | |
| CN115309731A (zh) | 一种基于大数据的漏洞采集系统 | |
| EP3983954A1 (en) | Rule induction to find and describe patterns in data | |
| CN109240988A (zh) | 用于避免大数据存储系统进入访问失衡状态的方法及系统 | |
| CN109766254B (zh) | It系统运维监控数据辅助预处理方法和系统 | |
| CN114840474B (zh) | 专利索引数据库的数据迁移方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |