CN113608863A - 一种海量数据分布式采集方法及系统 - Google Patents

一种海量数据分布式采集方法及系统 Download PDF

Info

Publication number
CN113608863A
CN113608863A CN202110729697.6A CN202110729697A CN113608863A CN 113608863 A CN113608863 A CN 113608863A CN 202110729697 A CN202110729697 A CN 202110729697A CN 113608863 A CN113608863 A CN 113608863A
Authority
CN
China
Prior art keywords
data
acquisition
module
distributed
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110729697.6A
Other languages
English (en)
Inventor
程婧
徐军
李军
章书乐
詹开洪
何宁波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Internet Technology Wuhan Co ltd
Datang Telecom Convergence Communications Co Ltd
Original Assignee
Datang Internet Technology Wuhan Co ltd
Datang Telecom Convergence Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Internet Technology Wuhan Co ltd, Datang Telecom Convergence Communications Co Ltd filed Critical Datang Internet Technology Wuhan Co ltd
Priority to CN202110729697.6A priority Critical patent/CN113608863A/zh
Publication of CN113608863A publication Critical patent/CN113608863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及数据采集技术领域，提供了一种海量数据分布式采集方法及系统，该方法包括如下步骤：获取待采集的海量数据集；按业务需求将所述海量数据集划分为多个业务模块；对各业务模块进行重要等级划分，得到各业务模块的重要等级；设置各业务模块中的数据的采集优先级；根据所述各模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。本发明基于业务模块的重要等级与模块中数据的采集优先级得到的采集次序，在获取边缘设备海量数据时，通过采集次序值进行分布式数据采集，提升数据采集效率并保证数据处理质量。

Description

一种海量数据分布式采集方法及系统
技术领域
本发明涉及数据采集技术领域，具体是一种海量数据分布式采集方法及系统。
背景技术
在制造业，随着工业互联网时代的到来，数据采集是实现万物互联的基础，一般系统通过边缘设备对硬件设备进行数据采集，然后上传至云服务端进行处理和展示，而面对海量数据，传统数据采集方式效率较低，无法响应快速变化的需求。例如设备温度监测曲线，传统的数据采集方法，每次都重复采集设备的整套数据，绝大多数的采集数据对需求并无用处，并且对服务器的性能是个巨大的考验，特别是在网络状况差的情况下，负载更为严重，大大增加数据展示和处理质量失败的可能性，直接影响用户体验性。
发明内容
为了解决传统数据采集方法效率低且无法响应需求快速变化的技术问题，本发明提供一种海量数据分布式采集方法及系统，能够根据业务需求的紧迫性选择性的进行数据采集，保证数据采集效率及质量。
为了实现上述目的，本发明提供一种海量数据分布式采集方法，包括以下步骤：
步骤1、获取待采集的海量数据集；
步骤2、按业务需求将所述海量数据集划分为多个业务模块；
步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；
步骤4、设置各业务模块中的数据的采集优先级；
步骤5、根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。
优选地，所述数据采集次序满足：
F＝T+K
其中，T为重要等级，K为数据的采集优先级，F为数据采集次序；
当F≥6时，采集次序为优先，当3≤F≤5时，采集次序为次优先，当F≤2时，采集次序为普通。
优选地，所述各业务模块的重要等级划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。
优选地，设置各业务模块中的数据的采集优先级由高到低，采集优先级依次减小，对应数值为4、3、2、1。
优选地，在所述根据所述数据采集次序进行数据采集的过程中，还包括：
将当前采集的数据进行显示；
将当前采集的数据进行传输；
将当前采集的数据进行存储。
此外，为了实现上述目的，本发明还提供了一种海量数据分布式采集系统，包括数据采集设备与云服务端；
所述数据采集设备包括以下模块：
获取模块，用于获取待采集的海量数据集；
分级模块，按业务需求将所述海量数据集划分为多个业务模块；并对各业务模块进行重要等级划分，得到各业务模块的重要等级；
设置模块，用于设置各业务模块中的数据的采集优先级；
采集模块，用于根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行数据采集。
所述云服务端包括以下模块：
显示模块，用于将当前采集的数据进行显示；
传输模块，用于将当前采集的数据进行传输；
存储模块，用于将当前采集的数据进行存储。
本发明提供的一种海量数据分布式采集方法及系统，基于业务模块的重要等级与模块中数据的采集优先级得到的采集次序，在获取边缘设备海量数据时，通过采集次序值进行分布式数据采集，提升数据采集效率并保证数据处理质量。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图：
图1是本发明一种海量数据分布式采集方法的执行流程图；
图2是本发明一种海量数据分布式采集系统的结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1，本实施例所公开的一种海量数据分布式采集方法，包括如下步骤：
步骤1、获取待采集的海量数据集；
步骤2、按业务需求将所述海量数据集划分为多个业务模块；
步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；
步骤4、设置各业务模块中的数据的采集优先级；
步骤5、根据所述各模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。
所述各模块重要等级T划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。
所述各模块中的数据的采集优先级K依次减小，分为：四级、三级、二级、一级，对应数值为4、3、2、1。
在本实施例中，所述模块的重要等级T、模块中数据的采集优先级K整体构成本发明数据采集次序F，满足：
F＝T+K；
具体的采集次序参考表1，分为三种：
表1采集次序规则
采集次序 F取值范围
优先 F≥6
次优先 3≤F≤5
普通 F≤2
在本实施例中，在所述根据所述数据采集次序进行分布式数据采集的过程中，还包括：
将当前采集的数据进行显示；
将当前采集的数据进行传输；
将当前采集的数据进行存储。
参考图2，本实施例所公开的一种海量数据分布式采集系统，包括数据采集设备与云服务端。其中，数据采集设备包括获取模块、分级模块、设置模块、采集模块，云服务端包括显示模块、传输模块、存储模块。
具体地：
获取模块，设在待数据采集的设备上或与待数据采集的设备通信相连，以用于获取需要进行数据采集的数据集；获取模块与分级模块通信相连，以用于将采集的原始数据按业务需求进行划分；
分级模块，设在获取模块与设置模块之间，用于对所述数据集中的业务模块进行重要等级划分，根据业务需求，将数据采集的数据集按模块进行划分，并标记重要性，分为：非常重要、重要、一般和不重要；
设置模块，连接分级模块，用于对所述各业务模块中的数据设置数据的采集优先级，根据业务需求，将各模块中的数据按采集优先级进行划分并标记，分为：四级、三级、二级、一级；
采集模块，设在分级模块和设置模块之上，用于根据采集次序进行数据采集，采集次序根据数据所在的业务模块重要等级和数据的采集优先级的数值之和来定义级别，数值之和越大，采集次序越优先；反之，数值之和越小，采集次序越靠后。
云服务端包括以下模块：
显示模块，用于实时显示当前采集的数据及数据采集状态，分为：未采集、采集中、已采集；
传输模块，连接数据采集系统内的各个模块，用于数据在整套系统中的传输扭转；
存储模块，用于将已采集的数据进行存储，作为后续数据分析的数据基础库。
下面结合具体的示例对本实施中的采集次序的计算做出进一步的说明。
设置涉及数据采集的模块分别为：水表、电表、设备温度，重要等级分别为：不重要、重要、非常重要，对应数值1、3、4；
设置水表-每小时水量、电表-每小时电量、设备温度-实时温度，采集优先级分别为：一级、二级、四级，对应数值1、2、4；
根据公式：采集次序F＝模块重要等级T+数据的采集优先级K
水表-每小时水量(F)＝1+1＝2；
电表-每小时电量(F)＝3+2＝5；
设备温度-实时温度(F)＝4+4＝8；
根据表1可知
设备温度-实时温度(F)≥6，优先采集；
电表-每小时电量(F)＝5，次优先采集；
水表-每小时水量(F)＝2，普通采集。
在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种海量数据分布式采集方法，其特征在于，包括以下步骤：
步骤1、获取待采集的海量数据集；
步骤2、按业务需求将所述海量数据集划分为多个业务模块；
步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；
步骤4、设置各业务模块中的数据的采集优先级；
步骤5、根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。
2.如权利要求1所述的海量数据分布式采集方法，其特征在于，所述数据采集次序满足：
F＝T+K
其中，T为重要等级，K为数据的采集优先级，F为数据采集次序；
当F≥6时，采集次序为优先，当3≤F≤5时，采集次序为次优先，当F≤2时，采集次序为普通。
3.如权利要求1所述的海量数据分布式采集方法，其特征在于，所述各业务模块的重要等级划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。
4.如权利要求1所述的海量数据分布式采集方法，其特征在于，设置各业务模块中的数据的采集优先级由高到低，采集优先级依次减小，分为：四级、三级、二级、一级，对应数值为4、3、2、1。
5.如权利要求1所述的海量数据分布式采集方法，其特征在于，在所述根据数据采集次序进行分布式数据采集的过程中，还包括：
将当前采集的数据进行显示；
将当前采集的数据进行传输；
将当前采集的数据进行存储。
6.一种海量数据分布式采集系统，采用如权利要求1-5任一项所述的海量数据分布式采集方法，其特征在于，包括数据采集设备与云服务端；
所述数据采集设备包括以下模块：
获取模块，用于获取待采集的海量数据集；
分级模块，用于按业务需求将所述海量数据集划分为多个业务模块；并对各业务模块进行重要等级划分，得到各业务模块的重要等级；
设置模块，用于设置各业务模块中的数据的采集优先级；
采集模块，用于根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集；
所述云服务端包括以下模块：
显示模块，用于将当前采集的数据进行显示；
传输模块，用于将当前采集的数据进行传输；
存储模块，用于将当前采集的数据进行存储。
CN202110729697.6A 2021-06-29 2021-06-29 一种海量数据分布式采集方法及系统 Pending CN113608863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110729697.6A CN113608863A (zh) 2021-06-29 2021-06-29 一种海量数据分布式采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110729697.6A CN113608863A (zh) 2021-06-29 2021-06-29 一种海量数据分布式采集方法及系统

Publications (1)

Publication Number Publication Date
CN113608863A true CN113608863A (zh) 2021-11-05

Family

ID=78336939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110729697.6A Pending CN113608863A (zh) 2021-06-29 2021-06-29 一种海量数据分布式采集方法及系统

Country Status (1)

Country Link
CN (1) CN113608863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116032974A (zh) * 2023-02-15 2023-04-28 易电务(北京)科技有限公司 分布式边缘系统数据采集方法及子系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098745A (zh) * 2009-12-15 2011-06-15 普天信息技术研究院有限公司 一种优先级归一化的服务质量无线资源控制方法和装置
CN103916330A (zh) * 2014-03-24 2014-07-09 中国电子科技集团公司第三十研究所 一种ip数据优先级设置方法
CN107580340A (zh) * 2016-07-05 2018-01-12 普天信息技术有限公司 一种v2x网络中的资源调度方法
CN107733976A (zh) * 2017-08-31 2018-02-23 国网安徽省电力公司芜湖供电公司 一种用于采集电网自动化业务系统状态的调度方法
CN108173778A (zh) * 2017-12-27 2018-06-15 中国电力科学研究院有限公司 基于业务分类的电力信息采集系统数据处理方法
CN108683611A (zh) * 2018-05-17 2018-10-19 国网山东省电力公司经济技术研究院 基于ptn网络的电力通信业务流量分类控制方法及系统
CN110430598A (zh) * 2019-07-08 2019-11-08 新华三技术有限公司成都分公司 服务质量QoS的控制方法及相关装置
CN110768910A (zh) * 2018-07-25 2020-02-07 视联动力信息技术股份有限公司 数据传输方法和装置
US20200358705A1 (en) * 2019-05-07 2020-11-12 Getac Technology Corporation Priority-based data transmission method and system thereof
CN112379994A (zh) * 2021-01-07 2021-02-19 武汉中原电子信息有限公司 一种多维度用电数据采集调度方法及系统
CN112565109A (zh) * 2020-12-28 2021-03-26 常州信息职业技术学院 一种工业数据传输方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098745A (zh) * 2009-12-15 2011-06-15 普天信息技术研究院有限公司 一种优先级归一化的服务质量无线资源控制方法和装置
CN103916330A (zh) * 2014-03-24 2014-07-09 中国电子科技集团公司第三十研究所 一种ip数据优先级设置方法
CN107580340A (zh) * 2016-07-05 2018-01-12 普天信息技术有限公司 一种v2x网络中的资源调度方法
CN107733976A (zh) * 2017-08-31 2018-02-23 国网安徽省电力公司芜湖供电公司 一种用于采集电网自动化业务系统状态的调度方法
CN108173778A (zh) * 2017-12-27 2018-06-15 中国电力科学研究院有限公司 基于业务分类的电力信息采集系统数据处理方法
CN108683611A (zh) * 2018-05-17 2018-10-19 国网山东省电力公司经济技术研究院 基于ptn网络的电力通信业务流量分类控制方法及系统
CN110768910A (zh) * 2018-07-25 2020-02-07 视联动力信息技术股份有限公司 数据传输方法和装置
US20200358705A1 (en) * 2019-05-07 2020-11-12 Getac Technology Corporation Priority-based data transmission method and system thereof
CN110430598A (zh) * 2019-07-08 2019-11-08 新华三技术有限公司成都分公司 服务质量QoS的控制方法及相关装置
CN112565109A (zh) * 2020-12-28 2021-03-26 常州信息职业技术学院 一种工业数据传输方法及系统
CN112379994A (zh) * 2021-01-07 2021-02-19 武汉中原电子信息有限公司 一种多维度用电数据采集调度方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈之虹, 盛寿麟, 陶惠良: "分布式数据采集系统的性能研究", 微电子学与计算机, no. 07 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116032974A (zh) * 2023-02-15 2023-04-28 易电务(北京)科技有限公司 分布式边缘系统数据采集方法及子系统
CN116032974B (zh) * 2023-02-15 2023-11-28 易电务(北京)科技有限公司 分布式边缘系统数据采集方法及子系统

Similar Documents

Publication Publication Date Title
CN108020752B (zh) 一种基于多源贯通相关性的配线线损诊断方法及系统
CN107478455B (zh) 一种适用于威布尔分布型产品的定时截尾可靠性试验方法
CN104202220B (zh) 压力测试方法和装置
CN104615765A (zh) 一种移动用户上网记录的数据处理方法及装置
CN113608863A (zh) 一种海量数据分布式采集方法及系统
CN115358203A (zh) 一种测试报告方法、装置、电子设备和存储介质
CN103902798A (zh) 数据预处理方法
CN117033278B (zh) 一种用于多类型接口的数据传输方法及系统
CN115374019B (zh) 分布式ui测试用例的测试方法、系统及计算机存储介质
CN110690982B (zh) 一种电信网络管理性能数据关联分析方法及系统
CN106304084B (zh) 信息处理方法及装置
CN113795032B (zh) 室分隐形故障的判断方法、装置、存储介质及设备
CN116578911A (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN115292202A (zh) 一种产品测试分析方法、装置、电子设备及存储介质
US9665795B2 (en) Method and apparatus for identifying root cause of defect using composite defect map
CN112685271A (zh) 压测数据处理方法、装置、电子设备及可读存储介质
CN111490889A (zh) 一种无线业务增长预估方法及装置
CN117591850B (zh) 基于扩展坞的数据处理方法、装置、电子设备及介质
WO2022252079A1 (zh) 数据处理方法及装置
CN116052404B (zh) 一种基于5g通信技术的电网数据交互系统
CN114095336B (zh) 端到端问题诊断方法及系统
CN201805430U (zh) 一种基于多线程的通讯设备生产测试装置
CN115936940A (zh) 一种基于大数据的数学仿真教学系统及方法
CN116933088A (zh) 一种二次设备故障数据生成方法、装置、电子设备及介质
CN115909745A (zh) 一种路测数据的显著性差异比对方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination