CN112925781A - 一种数据清洗统一方法、装置、设备和介质 - Google Patents
一种数据清洗统一方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN112925781A CN112925781A CN202110248748.3A CN202110248748A CN112925781A CN 112925781 A CN112925781 A CN 112925781A CN 202110248748 A CN202110248748 A CN 202110248748A CN 112925781 A CN112925781 A CN 112925781A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- terminal equipment
- service
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000004140 cleaning Methods 0.000 title claims abstract description 29
- 238000013499 data model Methods 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000004806 packaging method and process Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 51
- 238000013475 authorization Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 210000001503 joint Anatomy 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000009133 cooperative interaction Effects 0.000 claims description 8
- 230000008676 import Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000007792 addition Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000005406 washing Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000003032 molecular docking Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Telephonic Communication Services (AREA)
- Communication Control (AREA)
Abstract
本发明提供一种数据清洗统一方法、装置、设备和介质，包括接入智能建筑领域涉及的各种智能化系统的终端设备；获取终端设备的原始数据；依据设定的数据划分标准对原始数据进行划分，将各终端设备的通讯接口协议转换为统一的标准协议格式；依据划分后的数据信息和标准协议格式建立各终端设备的设备数据模型库，生成相应的设备数据模型；依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。本发明的优点：相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升，能够适用于中大型智能建筑群使用。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种数据清洗统一方法、装置、设备和介质。
背景技术
随着建筑智能化程度的不断提高，建筑内的智能化子系统和物联网终端越来越多，智能建筑领域所涉及的相关设备数量呈几何级倍增，设备在运行过程中产生的数据量可达EB级，海量级的数据使得管理难度持续增大。
智能化终端设备囊括成百上千种不同的类型、品牌、型号和各个系统，不同的协议使得各设备系统间的数据打通和整合变得十分困难。
由于不同设备的通讯协议不同，通讯响应的速率不同，信息通讯有时延，使得设备间的信息传输成本、计算成本和运维巡检成本不断攀升，有必要引入边缘计算，以降低成本。
为实现智慧建筑领域内不同设备间的设备联动和统一管理，要求不同的相关设备间可进行数据对接，设备信息可互通，产生的数据可共享，以此可进行统一分析决策，同时对设备进行生命周期的管理。
为了使设备产生的海量数据产生更多的价值，通过平台的数据挖掘技术，为运营决策提供有力支撑。当系统打通之后，由于没有形成统一的数据标准和管理机制，各家标准差异巨大，在上层应用的使用和第三方平台的开放对接上又有新的困难产生。
为了使智慧建筑下涉及的设备操作应用和运维服务更加的便捷有效，提供移动端的服务平台变得更为迫切。
目前，市场上通用的解决办法是先进行局部统一再上层集中。具体是先将设备按不同的区域进行划分，在同一区域内将同一厂家同种类型的设备进行集成后，将同一个区域内集成的子系统再上层集中，按照这种数据集成方法，集成的次数多，层次多，操作繁琐，实现复杂，开放性不足，系统的稳定性和实时性都受到严重影响；且在设备种类多、涉及厂家多的场景下还需要部署多个不同的实现方案。因此，现有方法采集的数据规模只能在万级别以下，仅适用于小型建筑，对于中大型智能建筑群，目前市场上还没有成熟的解决方案。
发明内容
本发明要解决的技术问题，在于提供一种数据清洗统一方法、装置、设备和介质，解决现有数据集成方法存在的稳定性、实时性差，适用范围小的问题。
第一方面，本发明提供了一种数据清洗统一方法，所述方法包括：
接入智能建筑领域涉及的各种智能化系统的终端设备；
获取各种智能化系统的终端设备的原始数据；
依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；
将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。
进一步的，所述原始数据至少包括终端设备的品牌信息、型号信息、协议管理信息和常用配置信息；在设定的数据划分标准中，至少包括品牌、型号和协议三个划分类别。
进一步的，所述设备数据模型的模型字段包括设备编号、设备名称、设备品牌、设备类型、外部设备编号或者设备型号，并且每一设备数据模型均与对应的终端设备进行绑定。
进一步的，在数据中心对外部提供统一的数据格式和标准接口服务时，根据业务和应用要求开放接口授权，设置安全认证机制，同时区分不同的接口设置分级权限。
进一步的，所述方法还包括：通过可视化的配置界面提供设备管理、配置管理和系统设置功能；
所述设备管理包括对终端设备进行增加、修改和删除操作，并以主从表的形式呈现对接时导入至设备数据模型中的终端设备的点位信息，所述点位信息至少包括点位ID、点位名称、属性名称、设备分类和协议名称；在导入终端设备的点位信息时，包括通过单个导入的方式将终端设备的点位信息导入至设备数据模型或者通过模板批量导入的方式将终端设备的点位信息导入至设备数据模型，并将终端设备的点位信息与设备数据模型中的属性进行关联；
所述配置管理包括对外部应用服务进行授权，并对外部应用服务和协议进行管理，协议管理至少包括删除、修改、增加协议类型和协议实例；外部应用服务管理包括统计服务调用次数、查看外部应用服务日志和事件日志；
所述系统设置包括对菜单、部门、角色和用户进行管理。
进一步的，所述方法还包括：当终端设备与外部应用服务进行对接交互时，记录整个对接交互过程的操作详情信息；当外部应用服务调用标准接口服务时，自动记录服务的使用日志；当采集到终端设备的数据信息时，自动记录采集的数据信息。
进一步的，所述方法还包括：通过状态板块对接口服务的调用进行图形化展示，所述状态板块至少包括服务运行状态板块和事件回调状态板块。
第二方面，本发明提供了一种数据清洗统一装置，所述装置包括设备接入模块、数据获取模块、数据划分模块、模型生成模块、数据清洗模块和对外服务模块；
所述设备接入模块，用于接入智能建筑领域涉及的各种智能化系统的终端设备；
所述数据获取模块，用于获取各种智能化系统的终端设备的原始数据；
所述数据划分模块，用于依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
所述模型生成模块，用于依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
所述数据清洗模块，用于依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；
所述对外服务模块，用于将统一格式的数据汇集至数据中心，由数据中心对外提供统一的数据格式和标准接口服务。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的方法、装置、设备和介质，能够将不同品牌、不同型号等各种智能化系统的终端设备协议转化为软件应用平台的通用协议，并根据业务和应用需求开放接口授权，将IoT通讯能力开放给外部应用服务使用，相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升，能够适用于中大型智能建筑群使用；同时可以提供可视化的配置界面，使原本复杂的配置逻辑变得简单易懂，提高使用效率；因此本发明的技术方案可以成为连接各种智能化系统的终端设备与软件应用平台的重要桥梁，能够为后续获取终端设备的数据、实现远程控制终端设备、跨系统联动和业务数据融合打下坚实的基础。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中一种数据清洗统一方法的执行流程图；
图2为本发明实施例二中一种数据清洗统一装置的结构示意图；
图3为本发明实施例三中电子设备的结构示意图；
图4为本发明实施例四中介质的结构示意图。
具体实施方式
本申请实施例通过提供一种数据清洗统一方法、装置、设备和介质，用以解决现有数据集成方法存在的稳定性、实时性差，适用范围小的问题，相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升。
本申请实施例中的技术方案，总体思路如下：通过打通智能建筑领域涉及的各种智能化系统终端设备的通讯及统一数据标准，将各类终端设备的基础数据转换成通用的标准协议，同时根据业务和应用需求开放接口授权，设置安全认证机制，将IoT通讯能力开放给外部应用服务使用。
实施例一
本实施例提供一种数据清洗统一方法，如图1所示，所述方法包括：
接入智能建筑领域涉及的各种智能化系统的终端设备；
获取各种智能化系统的终端设备的原始数据；
依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；通过使用设备数据模型对运行产生的数据信息进行清洗封装，能够有效消除数据格式错误、数据缺项、数据内容不匹配等问题；
将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。
通过采用本发明的技术方案，能够将不同品牌、不同型号等各种智能化系统的终端设备协议转化为软件应用平台的通用协议，并根据业务和应用需求开放接口授权，将IoT通讯能力开放给外部应用服务使用，相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升，能够适用于中大型智能建筑群使用；同时可以提供可视化的配置界面，使原本复杂的配置逻辑变得简单易懂，提高使用效率；因此本发明的技术方案可以成为连接各种智能化系统的终端设备与软件应用平台的重要桥梁，能够为后续获取终端设备的数据、实现远程控制终端设备、跨系统联动和业务数据融合打下坚实的基础。
在本发明实施例中，接入智能建筑领域涉及的各种智能化系统的终端设备时，通过网口、串口转换器等与各种智能化系统的终端设备(即基础IoT设备)进行对接，从终端设备上获取原始数据。
在本发明实施例中，所述原始数据至少包括终端设备的品牌信息、型号信息、协议管理信息和常用配置信息，以为后续建立设备数据模型提供基础数据。当然，本发明在具体实施时，并不仅限于获取以上信息内容，还可以根据实际需要获取其他的信息内容。
在本发明实施例中，在设定的数据划分标准中，至少包括品牌、型号和协议三个划分类别，以便于根据划分的类别进行协议转换和建立设备数据模型。
在本发明实施例中，在将各种终端设备的通讯接口协议转换为统一的标准协议格式时，将各种终端设备的通讯接口协议转换为标准易用的HTTP协议格式。
在接入各种智能化系统的终端设备时，由于不同品牌的终端设备具有各自的通讯协议或者私有化协议，如OPC、Bacnet、ModBus、HTTP、MQTT、厂家自有SDK、DLL动态链接库等，设备系统彼此之间存在协议壁垒，造成对接打通困难。本发明通过将各种终端设备的通讯接口协议均转换成标准易用的HTTP协议格式，由于HTTP协议格式是软件应用平台中使用十分广泛、标准又易用的协议格式，因此能够为后续数据使用、传输、第三方应用平台对接等带来极大的方便，使设备之间的信息传输成本、计算成本、运维巡检成本都得到降低。
在本发明实施例中，所述设备数据模型的模型字段包括设备编号、设备名称、设备品牌、设备类型、外部设备编号或者设备型号，并且每一设备数据模型均与对应的终端设备进行绑定，实现虚拟的设备数据模型与实际的终端设备的关联。当然，本发明在具体实施时，并不仅限于包括以上模型字段内容，还可以根据实际需要设置其他的模型字段内容。
在本发明实施例中，数据中心对外部提供的标准接口服务是基于统一标准的API，支持HTTP、Socket、MQTT、WebService、RESTful等多种协议；数据中心对外部具体提供的接口服务可以包括设备信息接口、报警信息接口、运行状态采集接口、设备模型属性接口、历史数据接口、事件回调接口等。
在本发明实施例中，在数据中心对外部提供统一的数据格式和标准接口服务时，根据业务和应用要求开放接口授权，设置安全认证机制，同时区分不同的接口设置分级权限，即对不同的接口设置不同的权限级别，保证只有达到指定权限级别的应用才能够调用对应的服务接口。
本发明在具体实施时，权限管理拥有完整的系统授权体系，根据部门-角色-用户-授权，能够实现根据项目实际需求分配用户权限，也能够对外部应用服务对接使用的数据权限进行管控，以保证系统使用和对接的安全。在外部应用服务需要调用标准接口服务时，通过授权管理为该外部应用服务配置授权码，外部应用服务通过授权码验证后才能够调用所需的接口服务。通过采用区分不同的接口设置分级权限，可以实现根据不同的权限级别获得不同的接口服务，在具体使用时，只有满足接口服务的权限要求才能够调用对应的接口服务。
在本发明实施例中，所述方法还包括：通过可视化的配置界面提供设备管理、配置管理和系统设置功能；通过采用可视化的配置界面，使得用户可以使用简单的配置逻辑进行自行配置，能够降低复杂性，为实际的使用带来极大的方便；
所述设备管理包括对终端设备进行增加、修改和删除操作，并以主从表的形式呈现对接时导入至设备数据模型中的终端设备的点位信息，所述点位信息至少包括点位ID、点位名称、属性名称、设备分类和协议名称；在导入终端设备的点位信息时，包括通过单个导入的方式将终端设备的点位信息导入至设备数据模型或者通过模板批量导入的方式将终端设备的点位信息导入至设备数据模型，并将终端设备的点位信息与设备数据模型中的属性进行关联，实现虚拟的设备数据模型与实际的终端设备的关联，以快速实现数据标准化，大大降低终端设备对接的操作难度；通过单个导入的方式效率比较低，而通过模板批量导入的方式能够提升效率；下面以新增终端设备为例进行说明：例如，增加门禁管理系统，首先需要添加门禁设备的分类，设备的分类是可以修改或删除的，添加门禁设备的品牌(如霍尼韦尔)、型号、设置编码等建立设备数据模型库，生成相应的设备数据模型；然后将终端设备的点位信息导入至设备数据模型中；
所述配置管理包括对外部应用服务进行授权，并对外部应用服务和协议进行管理，协议管理至少包括删除、修改、增加协议类型和协议实例；外部应用服务管理包括统计服务调用次数、查看外部应用服务日志和事件日志，并支持查看历史数据；同时，还可以对状态码进行配置，当外部应用服务调用接口服务时，系统可以根据配置返回相应的状态码给外部应用服务，以便于了解调用的处理情况，如调用成功等；
所述系统设置包括对菜单、部门、角色和用户进行管理；例如可以新增、修改、删除各项菜单，增添功能数据、部门数据、角色数据等；也可以在个人中心界面创建用户名、密码、手机号和邮箱号，并建立代码库，可以新增、修改、删除代码编码和代码名称，代码类别(含行政区划和建筑层级)，同时设置数据权限，记录完整操作日志。同时，系统设置还可包括常用配置、打包管理、调度配置、数据字典等。
在本发明实施例中，所述方法还包括：当终端设备与外部应用服务进行对接交互时，记录整个对接交互过程的操作详情信息，以减轻管理人员审计、调试压力，能够实现快速定位对接问题；当外部应用服务调用标准接口服务时，自动记录服务的使用日志，所述使用日志包括请求时间、响应时间、耗时、请求数据、异常信息等，以方便开发、部署或管理人员进行查阅和问题跟踪；当采集到终端设备的数据信息时，自动记录采集的数据信息，包括自动记录采集的设备分类、设备名称、采集时间等信息，可用于终端设备对接调试和问题回溯。
在本发明实施例中，所述方法还包括：通过状态板块对接口服务的调用进行图形化展示，所述状态板块至少包括服务运行状态板块和事件回调状态板块。本发明在具体实施时，系统首页显示图形化的操作界面，用户在首页上可一目了然的查看今日的服务调用(服务调用次数/每分钟)和事件推送；在事件回调状态板块，可以查看系统类别、调用次数以及成功率；在服务运行状态板块，可对服务调用量进行实时监控，可以查看系统类别、服务名称和调用次数。
在本发明实施例中，还包括提供定时任务调度状态查看功能。系统提供设定的定时任务运行状态指标，所述定时任务运行状态指标包括任务名称、任务组名、启用状态、是否并发及是否立即执行，方便用户能够及时了解定时任务的运行情况，并根据需要进行调度。
本发明的技术方案在具体部署时，主要的部署方式包括以下四种：一是本地部署，为业主保证数据的安全性、私有性，系统部署在本地机房，通过局域网实现通讯；二是云部署，系统可上云部署，通过互联网通讯，实现集团的全国数据汇聚并统一管理；三是嵌入服务器，定制服务器一体机，功能相对强大且并发量大，单个项目在网络互通的前提下，只需要部署一台；四是嵌入小型机，系统可嵌入工控机或网关，实现设备通讯能力，部署落地灵活，可代替传统网关嵌入开发，走量，适合酒店等业态部署。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了一种数据清洗统一装置，如图2所示，所述装置包括设备接入模块、数据获取模块、数据划分模块、模型生成模块、数据清洗模块和对外服务模块；
所述设备接入模块，用于接入智能建筑领域涉及的各种智能化系统的终端设备；
所述数据获取模块，用于获取各种智能化系统的终端设备的原始数据；
所述数据划分模块，用于依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
所述模型生成模块，用于依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
所述数据清洗模块，用于依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；通过使用设备数据模型对运行产生的数据信息进行清洗封装，能够有效消除数据格式错误、数据缺项、数据内容不匹配等问题；
所述对外服务模块，用于将统一格式的数据汇集至数据中心，由数据中心对外提供统一的数据格式和标准接口服务。
通过采用本发明的技术方案，能够将不同品牌、不同型号等各种智能化系统的终端设备协议转化为软件应用平台的通用协议，并根据业务和应用需求开放接口授权，将IoT通讯能力开放给外部应用服务使用，相较于现有的数据集成方法，在实时性、稳定性和扩展性方面都得到显著的提升，能够适用于中大型智能建筑群使用；同时可以提供可视化的配置界面，使原本复杂的配置逻辑变得简单易懂，提高使用效率；因此本发明的技术方案可以成为连接各种智能化系统的终端设备与软件应用平台的重要桥梁，能够为后续获取终端设备的数据、实现远程控制终端设备、跨系统联动和业务数据融合打下坚实的基础。
在本发明实施例中，接入智能建筑领域涉及的各种智能化系统的终端设备时，通过网口、串口转换器等与各种智能化系统的终端设备(即基础IoT设备)进行对接，从终端设备上获取原始数据。
在本发明实施例中，所述原始数据至少包括终端设备的品牌信息、型号信息、协议管理信息和常用配置信息，以为后续建立设备数据模型提供基础数据。当然，本发明在具体实施时，并不仅限于获取以上信息内容，还可以根据实际需要获取其他的信息内容。
在本发明实施例中，在设定的数据划分标准中，至少包括品牌、型号和协议三个划分类别，以便于根据划分的类别进行协议转换和建立设备数据模型。
在本发明实施例中，在将各种终端设备的通讯接口协议转换为统一的标准协议格式时，将各种终端设备的通讯接口协议转换为标准易用的HTTP协议格式。
在接入各种智能化系统的终端设备时，由于不同品牌的终端设备具有各自的通讯协议或者私有化协议，如OPC、Bacnet、ModBus、HTTP、MQTT、厂家自有SDK、DLL动态链接库等，设备系统彼此之间存在协议壁垒，造成对接打通困难。本发明通过将各种终端设备的通讯接口协议均转换成标准易用的HTTP协议格式，由于HTTP协议格式是软件应用平台中使用十分广泛、标准又易用的协议格式，因此能够为后续数据使用、传输、第三方应用平台对接等带来极大的方便，使设备之间的信息传输成本、计算成本、运维巡检成本都得到降低。
在本发明实施例中，所述设备数据模型的模型字段包括设备编号、设备名称、设备品牌、设备类型、外部设备编号或者设备型号，并且每一设备数据模型均与对应的终端设备进行绑定，实现虚拟的设备数据模型与实际的终端设备的关联。当然，本发明在具体实施时，并不仅限于包括以上模型字段内容，还可以根据实际需要设置其他的模型字段内容。
在本发明实施例中，数据中心对外部提供的标准接口服务是基于统一标准的API，支持HTTP、Socket、MQTT、WebService、RESTful等多种协议；数据中心对外部具体提供的接口服务可以包括设备信息接口、报警信息接口、运行状态采集接口、设备模型属性接口、历史数据接口、事件回调接口等。
在本发明实施例中，在数据中心对外部提供统一的数据格式和标准接口服务时，根据业务和应用要求开放接口授权，设置安全认证机制，同时区分不同的接口设置分级权限，即对不同的接口设置不同的权限级别，保证只有达到指定权限级别的应用才能够调用对应的服务接口。
本发明在具体实施时，权限管理拥有完整的系统授权体系，根据部门-角色-用户-授权，能够实现根据项目实际需求分配用户权限，也能够对外部应用服务对接使用的数据权限进行管控，以保证系统使用和对接的安全。在外部应用服务需要调用标准接口服务时，通过授权管理为该外部应用服务配置授权码，外部应用服务通过授权码验证后才能够调用所需的接口服务。通过采用区分不同的接口设置分级权限，可以实现根据不同的权限级别获得不同的接口服务，在具体使用时，只有满足接口服务的权限要求才能够调用对应的接口服务。
在本发明实施例中，所述装置还包括管理模块，用于通过可视化的配置界面提供设备管理、配置管理和系统设置功能；通过采用可视化的配置界面，使得用户可以使用简单的配置逻辑进行自行配置，能够降低复杂性，为实际的使用带来极大的方便；
所述设备管理包括对终端设备进行增加、修改和删除操作，并以主从表的形式呈现对接时导入至设备数据模型中的终端设备的点位信息，所述点位信息至少包括点位ID、点位名称、属性名称、设备分类和协议名称；在导入终端设备的点位信息时，包括通过单个导入的方式将终端设备的点位信息导入至设备数据模型或者通过模板批量导入的方式将终端设备的点位信息导入至设备数据模型，并将终端设备的点位信息与设备数据模型中的属性进行关联，实现虚拟的设备数据模型与实际的终端设备的关联，以快速实现数据标准化，大大降低终端设备对接的操作难度；通过单个导入的方式效率比较低，而通过模板批量导入的方式能够提升效率；下面以新增终端设备为例进行说明：例如，增加门禁管理系统，首先需要添加门禁设备的分类，设备的分类是可以修改或删除的，添加门禁设备的品牌(如霍尼韦尔)、型号、设置编码等建立设备数据模型库，生成相应的设备数据模型；然后将终端设备的点位信息导入至设备数据模型中；
所述配置管理包括对外部应用服务进行授权，并对外部应用服务和协议进行管理，协议管理至少包括删除、修改、增加协议类型和协议实例；外部应用服务管理包括统计服务调用次数、查看外部应用服务日志和事件日志，并支持查看历史数据；同时，还可以对状态码进行配置，当外部应用服务调用接口服务时，系统可以根据配置返回相应的状态码给外部应用服务，以便于了解调用的处理情况，如调用成功等；
所述系统设置包括对菜单、部门、角色和用户进行管理；例如可以新增、修改、删除各项菜单，增添功能数据、部门数据、角色数据等；也可以在个人中心界面创建用户名、密码、手机号和邮箱号，并建立代码库，可以新增、修改、删除代码编码和代码名称，代码类别(含行政区划和建筑层级)，同时设置数据权限，记录完整操作日志。同时，系统设置还可包括常用配置、打包管理、调度配置、数据字典等。
在本发明实施例中，所述装置还包括日志模块，用于当终端设备与外部应用服务进行对接交互时，记录整个对接交互过程的操作详情信息，以减轻管理人员审计、调试压力，能够实现快速定位对接问题；当外部应用服务调用标准接口服务时，自动记录服务的使用日志，所述使用日志包括请求时间、响应时间、耗时、请求数据、异常信息等，以方便开发、部署或管理人员进行查阅和问题跟踪；当采集到终端设备的数据信息时，自动记录采集的数据信息，包括自动记录采集的设备分类、设备名称、采集时间等信息，可用于终端设备对接调试和问题回溯。
在本发明实施例中，所述装置还包括数据展示模块，用于通过状态板块对接口服务的调用进行图形化展示，所述状态板块至少包括服务运行状态板块和事件回调状态板块。本发明在具体实施时，系统首页显示图形化的操作界面，用户在首页上可一目了然的查看今日的服务调用(服务调用次数/每分钟)和事件推送；在事件回调状态板块，可以查看系统类别、调用次数以及成功率；在服务运行状态板块，可对服务调用量进行实时监控，可以查看系统类别、服务名称和调用次数。
在本发明实施例中，还包括提供定时任务调度状态查看功能。系统提供设定的定时任务运行状态指标，所述定时任务运行状态指标包括任务名称、任务组名、启用状态、是否并发及是否立即执行，方便用户能够及时了解定时任务的运行情况，并根据需要进行调度。
本发明的技术方案在具体部署时，主要的部署方式包括以下四种：一是本地部署，为业主保证数据的安全性、私有性，系统部署在本地机房，通过局域网实现通讯；二是云部署，系统可上云部署，通过互联网通讯，实现集团的全国数据汇聚并统一管理；三是嵌入服务器，定制服务器一体机，功能相对强大且并发量大，单个项目在网络互通的前提下，只需要部署一台；四是嵌入小型机，系统可嵌入工控机或网关，实现设备通讯能力，部署落地灵活，可代替传统网关嵌入开发，走量，适合酒店等业态部署。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了一种电子设备，如图3所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供一种计算机可读存储介质，如图4所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (10)
1.一种数据清洗统一方法，其特征在于：所述方法包括：
接入智能建筑领域涉及的各种智能化系统的终端设备；
获取各种智能化系统的终端设备的原始数据；
依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；
将统一格式的数据汇集至数据中心，由数据中心对外部提供统一的数据格式和标准接口服务。
2.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述原始数据至少包括终端设备的品牌信息、型号信息、协议管理信息和常用配置信息；在设定的数据划分标准中，至少包括品牌、型号和协议三个划分类别。
3.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述设备数据模型的模型字段包括设备编号、设备名称、设备品牌、设备类型、外部设备编号或者设备型号，并且每一设备数据模型均与对应的终端设备进行绑定。
4.根据权利要求1所述的一种数据清洗统一方法，其特征在于：在数据中心对外部提供统一的数据格式和标准接口服务时，根据业务和应用要求开放接口授权，设置安全认证机制，同时区分不同的接口设置分级权限。
5.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述方法还包括：通过可视化的配置界面提供设备管理、配置管理和系统设置功能；
所述设备管理包括对终端设备进行增加、修改和删除操作，并以主从表的形式呈现对接时导入至设备数据模型中的终端设备的点位信息，所述点位信息至少包括点位ID、点位名称、属性名称、设备分类和协议名称；在导入终端设备的点位信息时，包括通过单个导入的方式将终端设备的点位信息导入至设备数据模型或者通过模板批量导入的方式将终端设备的点位信息导入至设备数据模型，并将终端设备的点位信息与设备数据模型中的属性进行关联；
所述配置管理包括对外部应用服务进行授权，并对外部应用服务和协议进行管理，协议管理至少包括删除、修改、增加协议类型和协议实例；外部应用服务管理包括统计服务调用次数、查看外部应用服务日志和事件日志；
所述系统设置包括对菜单、部门、角色和用户进行管理。
6.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述方法还包括：当终端设备与外部应用服务进行对接交互时，记录整个对接交互过程的操作详情信息；当外部应用服务调用标准接口服务时，自动记录服务的使用日志；当采集到终端设备的数据信息时，自动记录采集的数据信息。
7.根据权利要求1所述的一种数据清洗统一方法，其特征在于：所述方法还包括：通过状态板块对接口服务的调用进行图形化展示，所述状态板块至少包括服务运行状态板块和事件回调状态板块。
8.一种数据清洗统一装置，其特征在于：所述装置包括设备接入模块、数据获取模块、数据划分模块、模型生成模块、数据清洗模块和对外服务模块；
所述设备接入模块，用于接入智能建筑领域涉及的各种智能化系统的终端设备；
所述数据获取模块，用于获取各种智能化系统的终端设备的原始数据；
所述数据划分模块，用于依据设定的数据划分标准对获取到的原始数据进行划分，并将各种终端设备的通讯接口协议转换为统一的标准协议格式；
所述模型生成模块，用于依据划分后的数据信息和标准协议格式建立各种终端设备的设备数据模型库，生成相应的设备数据模型；
所述数据清洗模块，用于依据生成的设备数据模型对终端设备运行产生的数据信息进行清洗封装，生成统一格式的数据；
所述对外服务模块，用于将统一格式的数据汇集至数据中心，由数据中心对外提供统一的数据格式和标准接口服务。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110248748.3A CN112925781B (zh) | 2021-03-05 | 2021-03-05 | 一种数据清洗统一方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110248748.3A CN112925781B (zh) | 2021-03-05 | 2021-03-05 | 一种数据清洗统一方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112925781A true CN112925781A (zh) | 2021-06-08 |
| CN112925781B CN112925781B (zh) | 2023-07-07 |
Family
ID=76171791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110248748.3A Active CN112925781B (zh) | 2021-03-05 | 2021-03-05 | 一种数据清洗统一方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112925781B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113965599A (zh) * | 2021-09-24 | 2022-01-21 | 珠海许继芝电网自动化有限公司 | 基于通用管理业务模型的设备管理系统及方法 |
| CN114222009A (zh) * | 2021-12-15 | 2022-03-22 | 北京工业大学 | 一种工业通信多协议转换系统 |
| CN114595845A (zh) * | 2022-03-10 | 2022-06-07 | 北京百度网讯科技有限公司 | 设备信息管理方法、装置、电子设备及存储介质 |
| CN114900557A (zh) * | 2022-03-30 | 2022-08-12 | 中国科学院上海微系统与信息技术研究所 | 一种面向物联网网关的异构设备数据的处理装置和方法 |
| CN118012697A (zh) * | 2023-12-26 | 2024-05-10 | 中电信数智科技有限公司 | 云网it设备运维数据处理方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150188862A1 (en) * | 2013-12-27 | 2015-07-02 | Entefy Inc. | Apparatus and Method for Multi-Format Communication Composition |
| CN108616506A (zh) * | 2018-03-23 | 2018-10-02 | 中国科学院软件研究所 | 一种智能建筑实时数据分布式集成控制方法 |
| CN112311664A (zh) * | 2020-11-18 | 2021-02-02 | 昆高新芯微电子(江苏)有限公司 | 一种工业互联网数据交互方法、系统及工业网关 |
| CN112346347A (zh) * | 2020-10-19 | 2021-02-09 | 天筑科技股份有限公司 | 一种智能建筑集成管理系统及其信息处理方法 |
-
2021
- 2021-03-05 CN CN202110248748.3A patent/CN112925781B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150188862A1 (en) * | 2013-12-27 | 2015-07-02 | Entefy Inc. | Apparatus and Method for Multi-Format Communication Composition |
| CN108616506A (zh) * | 2018-03-23 | 2018-10-02 | 中国科学院软件研究所 | 一种智能建筑实时数据分布式集成控制方法 |
| CN112346347A (zh) * | 2020-10-19 | 2021-02-09 | 天筑科技股份有限公司 | 一种智能建筑集成管理系统及其信息处理方法 |
| CN112311664A (zh) * | 2020-11-18 | 2021-02-02 | 昆高新芯微电子(江苏)有限公司 | 一种工业互联网数据交互方法、系统及工业网关 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113965599A (zh) * | 2021-09-24 | 2022-01-21 | 珠海许继芝电网自动化有限公司 | 基于通用管理业务模型的设备管理系统及方法 |
| CN114222009A (zh) * | 2021-12-15 | 2022-03-22 | 北京工业大学 | 一种工业通信多协议转换系统 |
| CN114222009B (zh) * | 2021-12-15 | 2024-05-24 | 北京工业大学 | 一种工业通信多协议转换系统 |
| CN114595845A (zh) * | 2022-03-10 | 2022-06-07 | 北京百度网讯科技有限公司 | 设备信息管理方法、装置、电子设备及存储介质 |
| CN114900557A (zh) * | 2022-03-30 | 2022-08-12 | 中国科学院上海微系统与信息技术研究所 | 一种面向物联网网关的异构设备数据的处理装置和方法 |
| CN118012697A (zh) * | 2023-12-26 | 2024-05-10 | 中电信数智科技有限公司 | 云网it设备运维数据处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112925781B (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112925781A (zh) | 一种数据清洗统一方法、装置、设备和介质 | |
| Jain et al. | Cloud to edge: distributed deployment of process-aware IoT applications | |
| CN111861424A (zh) | 一种工业管理平台及工业管理系统 | |
| CN105843182A (zh) | 一种基于oms的电力调度事故预案系统及方法 | |
| CN105005274A (zh) | 管理过程控制系统中的大数据 | |
| CN114169579B (zh) | 核电工业互联网综合智能平台系统 | |
| CN109933416A (zh) | 一种应用数据的迁移方法、装置及存储介质 | |
| US5956508A (en) | Creation of manageable management collections using filters | |
| CN111159177A (zh) | 一种基于异构数据的数据融合方法、装置、设备及介质 | |
| CN109639756A (zh) | 一种终端网络关联关系展示和设备接入实时监测系统 | |
| CN110650174A (zh) | 一种分布式架构的mes系统及其客户端与服务端的交互方法 | |
| CN103399735A (zh) | 远程函数调用接口中间层开发方法 | |
| CN114518934A (zh) | 一种统一运维平台架构系统 | |
| CN116643542A (zh) | 一种基于低代码开发平台的油田站场数字孪生工艺组态方法、系统及装置 | |
| CN113467771A (zh) | 一种基于模型的工业边云协同系统和方法 | |
| CN115796758A (zh) | 一种工厂规则管理平台 | |
| CN112488502A (zh) | 一种标准的水资源管理一体化管控平台 | |
| CN115017484A (zh) | 访问控制方法以及装置 | |
| CN114741056A (zh) | 一种基于大数据和云计算的物联网管理平台 | |
| CN107426020A (zh) | 一种机床装备云端接入插件系统及其工作方法 | |
| CN113849561A (zh) | 一种基于区块链技术的赋能平台 | |
| CN114022306A (zh) | 一种地下水信息应用服务系统 | |
| CN117389545A (zh) | 一种基于低代码构建建筑行业智慧工地应用的方法 | |
| CN106354015A (zh) | 对角递归神经网络控制系统的远程监控与在线调试方法 | |
| CN107018160B (zh) | 一种基于层次化的制造资源和云化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |