CN112905559B - 一种多源异构数据采集系统及采集方法 - Google Patents

一种多源异构数据采集系统及采集方法 Download PDF

Info

Publication number
CN112905559B
CN112905559B CN202110135421.5A CN202110135421A CN112905559B CN 112905559 B CN112905559 B CN 112905559B CN 202110135421 A CN202110135421 A CN 202110135421A CN 112905559 B CN112905559 B CN 112905559B
Authority
CN
China
Prior art keywords
data
acquisition
storage unit
module
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110135421.5A
Other languages
English (en)
Other versions
CN112905559A (zh
Inventor
魏强
漆光聪
王礼节
纪道成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Guanxiang Science And Technology Co ltd
Original Assignee
Sichuan Guanxiang Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Guanxiang Science And Technology Co ltd filed Critical Sichuan Guanxiang Science And Technology Co ltd
Priority to CN202110135421.5A priority Critical patent/CN112905559B/zh
Publication of CN112905559A publication Critical patent/CN112905559A/zh
Application granted granted Critical
Publication of CN112905559B publication Critical patent/CN112905559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种多源异构数据采集系统，包括数据采集模组、数据识别模块、数据存储模块、网络交换模块、采集操作管控系统和人机交互模块，具体的采集方法为：建立输入设备与数据采集设备之间的通信连接；根据推荐模式选择与输入设备连接的数据采集设备的采集接口；利用数据识别模块确定输入设备的数据来源，并且利用数据存储单元的数据库分割方式将输入设备的数据匹配保存在对应的存储单元；本发明可同步实现对多个数据源的采集工作，且在采集时通过识别数据源来区分保存数据，从而避免数据采集后发生数据紊乱的问题，减少数据二次分类操作，从而保证了数据采集的及时性和便利性。

Description

一种多源异构数据采集系统及采集方法
技术领域
本发明涉及数据采集技术领域，具体涉及一种多源异构数据采集系统及采集方法。
背景技术
随着信息化建设进程的推进，机房内设备的种类和数量越来越多，管理难度越来越大，传统人工管理模式难以满足保障任务的要求，因此急需实现机房自动化主动运维能力。对机房动力、环境、安防、消防等设备/传感器的数据进行自动采集、实时监控、智能控制和数据分析是提升机房智能化主动运维能力的重要手段。
多源异构数据采集装置是库房资源管控的关键信息采集设备，安装部署在信息机房内，对机房动力用电、环境、安防等前段的设备或传感器数据进行自动采集、处理和传输。接入控制单元支持具备通讯接口和通讯协议的各系列发电机、电能表、配电柜、UPS、PDU插座、精密空调、除湿机、漏液、应急照明、温湿度等设备的信息采集。
但是现有的多源异构数据采集系统还存在的缺陷如下：采集接口与输入设备之间的匹配关系固定，当采集新的输入设备数据时，需要更改采集接口与输入设备之间的匹配关系，操作复杂，且数据的保存单元之间无联系，无法在采集数据后直接得到对应保存的数据库，需要数据的二次筛选整理工作，严重影响数据的实时显示和使用便利性。
发明内容
本发明的目的在于提供一种多源异构数据采集系统及采集方法，以解决现有技术中需要更改采集接口与输入设备之间的匹配关系，操作复杂，以及无法在采集数据后直接得到对应保存的数据库，需要数据的二次筛选整理工作，严重影响数据的实时显示和使用便利性的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种多源异构数据采集系统，包括：
数据采集模组，用于采集多个输入设备的实时数据；
数据识别模块，用于识别所述数据采集模组采集的实时数据来源；
数据存储模块，用于通过数据库容量监控和数据库分割的方式分别对应保存多个所述输入设备的实时数据；
网络交换模块；用于将所述输入设备的实时数据向所述数据存储模块传输；
采集操作管控系统，用于建立所述输入设备、所述数据采集模组与所述数据存储模块之间的数据采集路线；
人机交互模块；用于实现所述数据存储模块的配置管理和状态监控功能；
所述数据采集模组包括多个用于同步接收多个所述输入设备的实时数据的采集接口，每个所述采集接口新增所述输入设备后由所述数据识别模块进行数据来源分析，所述采集操作管控系统根据所述数据识别模块的数据来源分析结果调控所述数据存储模块分割新的存储单元来区分每个所述输入设备的实时数据。
作为本发明的一种优选方案，所述采集接口按照序列号区分标注名称，且所述采集接口与所述输入设备存在一对多的匹配关系，且同一个所述输入设备匹配多个所述存储单元，所述输入设备、所述采集接口和所述存储单元之间形成拓扑关联关系；
所述输入设备与所述采集接口之间为随机匹配关系，且所述存储单元与所述输入设备之间为固定匹配关系，所述输入设备在经过所述采集接口传输实时数据时，所述输入设备优先且随机选择连接所述输入设备数量最少的所述采集接口进行数据采集，所述数据识别模块识别所述输入设备的数据来源后调动对应的所述存储单元进行数据存储。
作为本发明的一种优选方案，所述数据采集模组连接有接口调配单元，所述接口调配单元用于统计每个所述采集接口接入的所述输入设备的数量，所述接口调配单元对比所有采集接口接入的所述输入设备的数量后，优先选择连接所述输入设备数量最少的所述采集接口主动推荐给所述输入设备，且在所有采集接口接入的所述输入设备的数量相同时，随机选择任意一个所述采集接口主动推荐给所述输入设备。
作为本发明的一种优选方案，所述输入设备的实时数据包含多个用于代表所述输入设备来源的特征参数，所述数据识别模块通过确定所述输入设备的特征参数后来区分所述输入设备的来源，且所述数据存储模块的存储单元通过不同的命名来区分不同的所述输入设备；
所述数据识别模块确定所述输入设备来源后，所述采集操作管控系统根据所述存储单元的命名与所述输入设备来源的匹配结果确定存储路径。
作为本发明的一种优选方案，所述采集操作管控系统根据所述存储单元的命名与所述输入设备来源的匹配结果确定存储路径的方式有两种；
当所述存储单元的命名与所述输入设备来源存在匹配结果时，所述输入设备的实时数据保存在匹配的所述存储单元内；
当所述存储单元的命名与所述输入设备来源无匹配结果时，所述输入设备的实时数据保存在所述数据存储模块分割的新的存储单元，且建立新的所述存储单元与所述输入设备来源之间的对应关系。
作为本发明的一种优选方案，所述数据存储模块内还设有容量克隆单元，所述容量克隆单元用于监控每个所述存储单元的剩余容量，且所述采集操作管控系统将所述容量克隆单元的监控结果与设定值进行对比，当容量克隆单元的监控结果与设定值相同时，所述采集操作管控系统调控所述数据存储模块分割新的存储单元以保证数据的及时采集存储，且所述数据存储模块分割的新的存储单元的命名和空间大小均与正在存储数据的所述存储单元相同。
为解决上述技术问题，本发明还进一步提供下述技术方案：一种多源异构数据采集方法，包括以下步骤：
步骤100、建立输入设备与数据采集设备之间的通信连接；
步骤200、根据推荐模式选择与所述输入设备连接的所述数据采集设备的采集接口；
步骤300、利用数据识别模块确定所述输入设备的数据来源，并且利用数据存储单元的数据库分割方式将所述输入设备的数据匹配保存在对应的存储单元。
作为本发明的一种优选方案，在所述步骤200中，所述输入设备与所述采集接口为随机分配关系以合理调控所有采集接口的顺序使用，并根据所述推荐模式选择出用于采集所述输入设备的实时数据的所述采集接口，具体的实现步骤为：
统计并对比每个所述采集接口上正在数据采集的所述输入设备数量；
当数据采集的所述输入设备数量不同时，优先选择进行数据采集的所述输入设备数量最少的所述采集接口与所述输入设备进行通信连接以实现数据采集；
其中，当进行数据采集的所述输入设备数量最少的所述采集接口至少为两个时，随机选择进行数据采集的所述输入设备数量最少的任一个所述采集接口进行数据采集；
当数据采集的所述输入设备数量相同时，随机选择进行数据采集的任一个所述采集接口与所述输入设备进行通信连接以实现数据采集。
作为本发明的一种优选方案，在所述步骤300中，所述数据识别模块用于识别所述输入设备的特征参数，且将具有相同特征参数的所述输入设备的实时数据保存到同一个存储单元内，建立所述输入设备的特征集合与所述存储单元的命名之间的匹配关系以方便检索查询，所述特征集合内的元素至少包含一个所述输入设备的特征参数；
在所述存储单元的容量达到设定值时新生成一个所述存储单元并按照克隆命名的方式确定新生成的所述存储单元名称。
作为本发明的一种优选方案，所述数据识别模块识别的所述特征参数无法与所述存储单元的命名匹配时，则所述数据识别模块识别到新输入设备，且立即新生成一个对应特征参数的存储单元以保存新输入设备的数据。
本发明与现有技术相比较具有如下有益效果：
本发明可同步实现对多个数据源的采集工作，且在采集时通过识别数据源来区分保存数据，从而避免数据采集后发生数据紊乱的问题，减少数据二次分类操作，从而保证了数据采集的及时性和便利性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的数据采集系统的结构框图；
图2为本发明实施例提供的数据采集方法的流程示意图。
图中的标号分别表示如下：
1-数据采集模组；2-数据识别模块；3-数据存储模块；4-网络交换模块；5-采集操作管控系统；6-人机交互模块；7-接口调配单元；8-容量克隆单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种多源异构数据采集系统，本实施方式可同步实现对多个数据源的采集工作，且在采集时通过识别数据源来区分保存数据，从而避免数据采集后发生数据紊乱的问题，减少数据二次分类操作，从而保证了数据采集的及时性和便利性。
具体包括数据采集模组1、数据识别模块2、数据存储模块3、网络交换模块4、采集操作管控系统5和人机交互模块6。
本实施方式提供485/422、IO、AI、DP、网络等硬件接口模块，能够对不同设备及应用系统的开关量、模拟量、运行状态、告警等数据进行实时获取，同时对这些模块提供模组化可扩展机制，根据实际需求动态增加接口。为满足汇聚多源异构数据，通过Modbus、SNMP、IPMI、TCP、HTTP、WebService等动态协议汇聚运维对象的数据。建立完善的消息分发体系，实现以不同数据传输形式分发消息到不同应用满足不同场景的需求，通过中间件、WebSocket、UDP、kafka等多种方式分发到需求目的地。
数据采集模组1用于采集多个输入设备的实时数据，采集对象输入设备包括机房前端被管控设备及传感器。
数据识别模块2用于识别数据采集模组1采集的实时数据来源。
数据存储模块3用于通过数据库容量监控和数据库分割的方式分别对应保存多个输入设备的实时数据。
网络交换模块4用于将输入设备的实时数据向数据存储模块3传输。
采集操作管控系统5用于建立输入设备、数据采集模组1与数据存储模块3之间的数据采集路线。
人机交互模块6用于实现数据存储模块3的配置管理和状态监控功能。
需要补充说明的是，本实施方式的采集操作管控系统5采用国产龙芯3A2000处理器，安装中标麒麟国产化操作系统，实现设备总体逻辑控制。利用GPIO端口实现对设备状态指示灯和操作控制，利用网络接口与数据采集模组1的CPU模块同性，实现采集数据的接收和处理，通过LVDS接口与显示屏连接，实现人机交互控制。
同时,通过USB转换2路CAN总线接口，实现CAN总线数据采集功能。数据采集模组1采用PLC模块，主要包括RS485/422、DCDC、I/0等，实现与前端传感器和设备连接，实现数据采集功能。
网络交换模块4采用5路网络交换通道，内部连接龙芯3A 2000嵌入式模块、PLCCPU模块对外提供与集成资源服务平台连接，实现数据上传和管理SNMP协议检测设备数据采集。
人机交互单元5主要包括显示屏、操作按钮和状态指示灯。
由于机房前端设备和传感器品牌多、技术状态各异，不可能预先在接入单元中固化所有的设备协议，设备采用动态协议配置技术，最大限度保证设备与前端传感器和设备的兼容性。设备协议配置功能为用户新增监测设备进行基础协议配置，达到配置协议后能正常采集数据信息。配置协议包括RS485、RS422、RS232、开关量信号、电压电流、CAN、TCP/UDP、SNMP、DL465、Modbus等协议配置。设备协议配置功能把监控设备分成三大类设备：
作为本实施方式的创新点，数据采集模组1包括多个用于同步接收多个输入设备的实时数据的采集接口，每个采集接口新增输入设备后由数据识别模块2进行数据来源分析，采集操作管控系统5根据数据识别模块2的数据来源分析结果调控数据存储模块3分割新的存储单元来区分每个输入设备的实时数据。
需要特别说明的是，采集接口按照序列号区分标注名称，且采集接口与输入设备存在一对多的匹配关系，且同一个输入设备匹配多个存储单元，输入设备、采集接口和存储单元之间形成拓扑关联关系。
输入设备与采集接口之间为随机匹配关系，且存储单元与输入设备之间为固定匹配关系，输入设备在经过采集接口传输实时数据时，输入设备优先且随机选择连接输入设备数量最少的采集接口进行数据采集，数据识别模块识别输入设备的数据来源后调动对应的存储单元进行数据存储。
本实施方式并没有设定采集接口与输入设备之间的固定通讯关系，而是随机分配任一个采集接口与任一个输入设备进行通讯连接，从而提高对多源数据采集的灵活度。
另外，本实施方式中的采集接口可以为实体有线接口，也可以为虚拟无线接口，对于虚拟无线接口来说，同一个接口可以连接至少一个输入设备，因此本实施不仅可以实现所有接口同步采集输入设备的实时数据，同时同一个接口连接的多个输入设备也可以同步采集，从而即使存在新增的输入设备，也可以实现对输入设备的采集工作。
还需要特别说明的是，当采集输入设备的实时数据时，本实施方式优选连接的输入设备数量最少的采集接口进行数据采集，从而合理的应用所有的采集接口，避免采集接口连接不均而影响数据采集效率。
具体的实现过程为：数据采集模组1连接有接口调配单元7，接口调配单元7用于统计每个采集接口接入的输入设备的数量，接口调配单元7对比所有采集接口接入的输入设备的数量后，优先选择连接输入设备数量最少的采集接口主动推荐给输入设备，且在所有采集接口接入的输入设备的数量相同时，随机选择任意一个采集接口主动推荐给输入设备。
输入设备的实时数据包含多个用于代表输入设备来源的特征参数，数据识别模块2通过确定输入设备的特征参数后来区分输入设备的来源，且数据存储模块3的存储单元通过不同的命名来区分不同的输入设备。
数据识别模块2确定输入设备来源后，采集操作管控系统5根据存储单元的命名与输入设备来源的匹配结果确定存储路径。
采集操作管控系统5根据存储单元的命名与输入设备来源的匹配结果确定存储路径的方式有两种。
当存储单元的命名与输入设备来源存在匹配结果时，输入设备的实时数据保存在匹配的存储单元内。
当存储单元的命名与输入设备来源无匹配结果时，输入设备的实时数据保存在数据存储模块3分割的新的存储单元，且建立新的存储单元与输入设备来源之间的对应关系。
也就是说，确定采集接口与输入设备之间的通讯连接后，数据识别模块2识别采集的实时数据的数据特征，并且从数据存储模块3内分割一个存储单元来存储对应输入设备的数据，直至存储单元内存满数据，再重新生成一个存储单元来存储对应的数据。
对应的实现原理为：数据存储模块3内还设有容量克隆单元8，容量克隆单元8用于监控每个存储单元的剩余容量，且采集操作管控系统5将容量克隆单元8的监控结果与设定值进行对比，当容量克隆单元8的监控结果与设定值相同时，采集操作管控系统5调控数据存储模块3分割新的存储单元以保证数据的及时采集存储，且数据存储模块3分割的新的存储单元的命名和空间大小均与正在存储数据的存储单元相同。
另外如图2所示，本实施方式还提供了一种多源异构数据采集方法，包括以下步骤：
步骤100、建立输入设备与数据采集设备之间的通信连接；
步骤200、根据推荐模式选择与输入设备连接的数据采集设备的采集接口；
步骤300、利用数据识别模块确定输入设备的数据来源，并且利用数据存储单元的数据库分割方式将输入设备的数据匹配保存在对应的存储单元。
在步骤200中，输入设备与采集接口为随机分配关系以合理调控所有采集接口的顺序使用，并根据推荐模式选择出用于采集输入设备的实时数据的采集接口，具体的实现步骤为：
统计并对比每个采集接口上正在数据采集的输入设备数量；
当数据采集的输入设备数量不同时，优先选择进行数据采集的输入设备数量最少的采集接口与输入设备进行通信连接以实现数据采集；
其中，当进行数据采集的输入设备数量最少的采集接口至少为两个时，随机选择进行数据采集的输入设备数量最少的任一个采集接口进行数据采集；
当数据采集的输入设备数量相同时，随机选择进行数据采集的任一个采集接口与输入设备进行通信连接以实现数据采集。
在步骤300中，数据识别模块用于识别输入设备的特征参数，且将具有相同特征参数的输入设备的实时数据保存到同一个存储单元内，建立输入设备的特征集合与存储单元的命名之间的匹配关系以方便检索查询，特征集合内的元素至少包含一个输入设备的特征参数；
在存储单元的容量达到设定值时新生成一个存储单元并按照克隆命名的方式确定新生成的存储单元名称。
数据识别模块识别的特征参数无法与存储单元的命名匹配时，则数据识别模块识别到新输入设备，且立即新生成一个对应特征参数的存储单元以保存新输入设备的数据。
本实施方式可同步实现对多个数据源的采集工作，且在采集时通过识别数据源来区分保存数据，从而避免数据采集后发生数据紊乱的问题，减少数据二次分类操作，从而保证了数据采集的及时性和便利性。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (8)

1.一种多源异构数据采集系统，其特征在于，包括：
数据采集模组(1)，用于采集多个机房内输入设备的实时数据；
数据识别模块(2)，用于识别所述数据采集模组(1)采集的实时数据来源；
数据存储模块(3)，用于通过数据库容量监控和数据库分割的方式分别对应保存多个所述输入设备的实时数据；
网络交换模块(4)；用于将所述输入设备的实时数据向所述数据存储模块(3)传输；
采集操作管控系统(5)，用于建立所述输入设备、所述数据采集模组(1)与所述数据存储模块(3)之间的数据采集路线；
人机交互模块(6)；用于实现所述数据存储模块(3)的配置管理和状态监控功能；
所述数据采集模组(1)包括多个用于同步接收多个所述输入设备的实时数据的采集接口，每个所述采集接口新增所述输入设备后由所述数据识别模块(2)进行数据来源分析，所述采集操作管控系统(5)根据所述数据识别模块(2)的数据来源分析结果调控所述数据存储模块(3)分割新的存储单元来区分每个所述输入设备的实时数据；
所述采集接口按照序列号区分标注名称，且所述采集接口与所述输入设备存在一对多的匹配关系，且同一个所述输入设备匹配多个所述存储单元，所述输入设备、所述采集接口和所述存储单元之间形成拓扑关联关系；
所述输入设备与所述采集接口之间为随机匹配关系，且所述存储单元与所述输入设备之间为固定匹配关系，所述输入设备在经过所述采集接口传输实时数据时，所述输入设备优先且随机选择连接所述输入设备数量最少的所述采集接口进行数据采集，所述数据识别模块识别所述输入设备的数据来源后调动对应的所述存储单元进行数据存储；
所述数据采集模组(1)连接有接口调配单元(7)，所述接口调配单元(7)用于统计每个所述采集接口接入的所述输入设备的数量，所述接口调配单元(7)对比所有采集接口接入的所述输入设备的数量后，优先选择连接所述输入设备数量最少的所述采集接口主动推荐给所述输入设备，且在所有采集接口接入的所述输入设备的数量相同时，随机选择任意一个所述采集接口主动推荐给所述输入设备。
2.根据权利要求1所述的一种多源异构数据采集系统，其特征在于：所述输入设备的实时数据包含多个用于代表所述输入设备来源的特征参数，所述数据识别模块(2)通过确定所述输入设备的特征参数后来区分所述输入设备的来源，且所述数据存储模块(3)的存储单元通过不同的命名来区分不同的所述输入设备；
所述数据识别模块(2)确定所述输入设备来源后，所述采集操作管控系统(5)根据所述存储单元的命名与所述输入设备来源的匹配结果确定存储路径。
3.根据权利要求2所述的一种多源异构数据采集系统，其特征在于：所述采集操作管控系统(5)根据所述存储单元的命名与所述输入设备来源的匹配结果确定存储路径的方式有两种；
当所述存储单元的命名与所述输入设备来源存在匹配结果时，所述输入设备的实时数据保存在匹配的所述存储单元内；
当所述存储单元的命名与所述输入设备来源无匹配结果时，所述输入设备的实时数据保存在所述数据存储模块(3)分割的新的存储单元，且建立新的所述存储单元与所述输入设备来源之间的对应关系。
4.根据权利要求3所述的一种多源异构数据采集系统，其特征在于：所述数据存储模块(3)内还设有容量克隆单元(8)，所述容量克隆单元(8)用于监控每个所述存储单元的剩余容量，且所述采集操作管控系统(5)将所述容量克隆单元(8)的监控结果与设定值进行对比，当容量克隆单元(8)的监控结果与设定值相同时，所述采集操作管控系统(5)调控所述数据存储模块(3)分割新的存储单元以保证数据的及时采集存储，且所述数据存储模块(3)分割的新的存储单元的命名和空间大小均与正在存储数据的所述存储单元相同。
5.一种基于权利要求1-4任一项所述多源异构数据采集系统的采集方法，其特征在于，包括以下步骤：
步骤100、建立输入设备与数据采集设备之间的通信连接；
步骤200、根据推荐模式选择与所述输入设备连接的所述数据采集设备的采集接口；
步骤300、利用数据识别模块确定所述输入设备的数据来源，并且利用数据存储单元的数据库分割方式将所述输入设备的数据匹配保存在对应的存储单元。
6.根据权利要求5所述的一种多源异构数据采集方法，其特征在于，在所述步骤200中，所述输入设备与所述采集接口为随机分配关系以合理调控所有采集接口的顺序使用，并根据所述推荐模式选择出用于采集所述输入设备的实时数据的所述采集接口，具体的实现步骤为：
统计并对比每个所述采集接口上正在数据采集的所述输入设备数量；
当数据采集的所述输入设备数量不同时，优先选择进行数据采集的所述输入设备数量最少的所述采集接口与所述输入设备进行通信连接以实现数据采集；
其中，当进行数据采集的所述输入设备数量最少的所述采集接口至少为两个时，随机选择进行数据采集的所述输入设备数量最少的任一个所述采集接口进行数据采集；
当数据采集的所述输入设备数量相同时，随机选择进行数据采集的任一个所述采集接口与所述输入设备进行通信连接以实现数据采集。
7.根据权利要求5所述的一种多源异构数据采集方法，其特征在于，在所述步骤300中，所述数据识别模块用于识别所述输入设备的特征参数，且将具有相同特征参数的所述输入设备的实时数据保存到同一个存储单元内，建立所述输入设备的特征集合与所述存储单元的命名之间的匹配关系以方便检索查询，所述特征集合内的元素至少包含一个所述输入设备的特征参数；
在所述存储单元的容量达到设定值时新生成一个所述存储单元并按照克隆命名的方式确定新生成的所述存储单元名称。
8.根据权利要求7所述的一种多源异构数据采集方法，其特征在于，所述数据识别模块识别的所述特征参数无法与所述存储单元的命名匹配时，则所述数据识别模块识别到新输入设备，且立即新生成一个对应特征参数的存储单元以保存新输入设备的数据。
CN202110135421.5A 2021-02-01 2021-02-01 一种多源异构数据采集系统及采集方法 Active CN112905559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110135421.5A CN112905559B (zh) 2021-02-01 2021-02-01 一种多源异构数据采集系统及采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110135421.5A CN112905559B (zh) 2021-02-01 2021-02-01 一种多源异构数据采集系统及采集方法

Publications (2)

Publication Number Publication Date
CN112905559A CN112905559A (zh) 2021-06-04
CN112905559B true CN112905559B (zh) 2022-02-11

Family

ID=76122469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110135421.5A Active CN112905559B (zh) 2021-02-01 2021-02-01 一种多源异构数据采集系统及采集方法

Country Status (1)

Country Link
CN (1) CN112905559B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296457B (zh) * 2021-07-27 2021-11-02 四川观想科技股份有限公司 一种智能化监控前端设备运维管控系统
CN115857899B (zh) * 2022-11-16 2023-12-15 电子科技大学 一种面向异构数据包的解析软件自动构建方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075963A (zh) * 2009-11-25 2011-05-25 中国移动通信集团贵州有限公司 一种移动业务数据采集分析方法及系统
CN106600438A (zh) * 2016-11-29 2017-04-26 东莞华南设计创新院 一种农业信息化服务系统
CN108762898A (zh) * 2018-04-09 2018-11-06 平安科技（深圳）有限公司 一种线程接口的管理方法、终端设备及计算机可读存储介质
CN109284296A (zh) * 2018-10-24 2019-01-29 北京云睿科技有限公司 一种大数据pb级分布式信息存储与检索平台
CN109766378A (zh) * 2018-12-26 2019-05-17 吕杨 一种多源异构水利水文数据共享系统
CN109799798A (zh) * 2019-01-23 2019-05-24 上海智共荟智能科技有限公司 一种应用于工业加工设备大数据集成采集系统及方法
CN111123873A (zh) * 2019-12-30 2020-05-08 江苏安控鼎睿智能科技有限公司 一种基于流处理技术的生产数据采集方法及系统
CN111817865A (zh) * 2019-04-10 2020-10-23 中国普天信息产业股份有限公司 一种监控网管设备的方法及监控系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665909B2 (en) * 2010-10-18 2017-05-30 Hewlett Packard Enterprise Development Lp Transaction classification rule generation
CN106131009A (zh) * 2016-07-08 2016-11-16 郭剑锋 一种数据采集端口扩展装置、系统及方法
CN111031127A (zh) * 2019-12-11 2020-04-17 北京利达科信环境安全技术有限公司 一种数据采集传输系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075963A (zh) * 2009-11-25 2011-05-25 中国移动通信集团贵州有限公司 一种移动业务数据采集分析方法及系统
CN106600438A (zh) * 2016-11-29 2017-04-26 东莞华南设计创新院 一种农业信息化服务系统
CN108762898A (zh) * 2018-04-09 2018-11-06 平安科技（深圳）有限公司 一种线程接口的管理方法、终端设备及计算机可读存储介质
CN109284296A (zh) * 2018-10-24 2019-01-29 北京云睿科技有限公司 一种大数据pb级分布式信息存储与检索平台
CN109766378A (zh) * 2018-12-26 2019-05-17 吕杨 一种多源异构水利水文数据共享系统
CN109799798A (zh) * 2019-01-23 2019-05-24 上海智共荟智能科技有限公司 一种应用于工业加工设备大数据集成采集系统及方法
CN111817865A (zh) * 2019-04-10 2020-10-23 中国普天信息产业股份有限公司 一种监控网管设备的方法及监控系统
CN111123873A (zh) * 2019-12-30 2020-05-08 江苏安控鼎睿智能科技有限公司 一种基于流处理技术的生产数据采集方法及系统

Also Published As

Publication number Publication date
CN112905559A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112905559B (zh) 一种多源异构数据采集系统及采集方法
CN104052631A (zh) 一种设备信息的采集方法、装置以及系统
CN105681442A (zh) 基于物联网的集群医疗监控控制系统及其控制方法
CN211149228U (zh) 一种基于群智能的建筑能耗采集系统
CN113037620B (zh) 一种智能边缘计算网关
CN102891756B (zh) 主动式电源管理系统及其管理方法
CN105698340A (zh) 机房空调的控制系统、模块化机房空调系统及其控制方法
CN104966330A (zh) 基于云计算机的远程机房智能巡检系统
CN109873859A (zh) 一种校园区域环境空气质量监测系统及方法
CN107968797B (zh) 一种视频传输方法、装置及系统
CN104991496A (zh) 一种机柜环境智能检测控制装置及其方法
CN106329725B (zh) 基于电力载波通信的设备管理与效能评估系统
CN107180393B (zh) 一种用于变电系统监控的集中式平台服务器
CN109462522A (zh) 一种终端外接设备的状态监测方法、终端及其系统
CN112615896B (zh) 基于物联网协议的变电站远程运维人机交互系统及方法
CN105791106A (zh) 一种支持并发访问服务的6LoWPAN家居网关及实现方法
CN112000659A (zh) 一种适用于配电台区智能终端设备的基础应用系统
CN103546565A (zh) 一种贴片机远程智能监控系统
CN206696678U (zh) 楼宇监控装置及系统
CN109933497A (zh) 一种数据中心运行监管系统
CN212628487U (zh) 一种智慧校园照明节能控制系统
CN213986631U (zh) 一种有电信控装置
CN112153623B (zh) 一种基于近距离无线通信的资产检测方法及系统
CN110853376B (zh) 智能网络交通信号灯
CN113596622A (zh) 一种基于lora无线通信技术的水表数据采集终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant