CN107908703B - 一种计量数据管理系统 - Google Patents
一种计量数据管理系统 Download PDFInfo
- Publication number
- CN107908703B CN107908703B CN201711090606.9A CN201711090606A CN107908703B CN 107908703 B CN107908703 B CN 107908703B CN 201711090606 A CN201711090606 A CN 201711090606A CN 107908703 B CN107908703 B CN 107908703B
- Authority
- CN
- China
- Prior art keywords
- data
- metering
- measuring instrument
- module
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于计量器具管理技术领域,涉及一种计量数据管理系统;结构包括数据采集单元、数据存储单元、数据应用单元;数据采集单元采集计量器具所测量的数据信息,并对数据进行完整性校验后上传至数据存储单元,数据存储单元对数据进一步进行完整性校验,从校验通过的数据中提取计量器具唯一识别编码,并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,进行计量器具有效性验证,并对计量器具所测量的数据进行标识后进行分类存储;数据应用单元从数据存储单元提取数据,用于提供基础数据服务;对所测量数据进行两次完整性校验,并增加了基于计量器具有效性验证,提高了数据准确度,实现了数据的有效管理及应用。
Description
技术领域
本发明属于计量器具管理技术领域,具体涉及一种计量数据管理系统。
背景技术
计量数据是指使用计量器具经检测而出具的数据,也可以叫“量值”、“测量结果”、“测量数据”等,随着物联网技术以及互联网的发展,大大促进了各个行业的智能化程度,目前已经出现很多数据管理及分析挖掘的大数据平台及应用,其中有很大一部分数据来源于计量器具,这些系统通常都包含数据采集模块,数据采集模块主要功能是通过一些设备或者软件将计量器具计量的数据采集出来,传输到系统中进行利用,但现有技术中不能较好的对各种计量器具及数据进行统一的管理,且传统的对于计量数据验证的方式一般是针对所传输的数据是否完整,是否与原始数据一致等进行验证,而没有对产生这个数据的计量器具是否在有效期内进行验证,这种传统的数据验证方式很可能导致未在有效期内的计量器具提供的数据进入到数据管理系统,导致统计或者分析的结果不够准确,且数据信息的分类不便于用户查询或使用,因此设计一种既能够对数据完整性进行校验,又能确保计量器具在有效期内,提高数据的精确度,并将计量数据进行多种分类存储,便于用户查询或使用的数据管理系统很有应用前景。
发明内容
本发明的目的在于克服现有技术存在的缺点,设计一种计量数据管理系统,实现各种计量数据的统一管理,对所测量数据进行两次完整性校验,而且在此基础上对计量器具是否在有效期内进行验证,根据验证结果对其所测量的数据进行有效性标记,提高了统计数据的准确度,实现数据的有效管理、统计、分析和应用。
为了实现上述目的,本发明涉及的一种计量数据管理系统,其主体结构包括数据采集单元、数据存储单元和数据应用单元;所述数据采集单元用于采集计量器具所测量的数据信息,并将所测量的数据信息进行完整性校验,将通过校验的计量数据与系统存储的计量器具的唯一识别编码加密后上传至数据存储单元,数据存储单元对接收到的数据进行解密,对解密处理后的计量数据进一步进行完整性校验,从校验通过的数据中提取计量器具唯一识别编码,并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,进行计量器具有效性验证,并对计量器具所测量的数据进行标识,将验证后的数据及有效性标识进行分类存储,供数据应用单元使用;数据应用单元根据所需的应用类型,从数据存储单元提取数据,用于提供基础数据服务。
进一步的,所述的数据采集单元包括数据采集模块和数据接收校验模块;
数据采集模块:数据采集模块与现场计量器具进行无线连接,用于向现场计量器具发送采集指令,支持对MODBUS-RTU/TCP/ASCII、IEC60870-5-101/102/103/104、DNP3.0和CDT标准规约的解析;数据采集模块将采集到的原始计量器具的测量数据信息进行解析后形成计量器具的数据信息,并将解析后的数据信息经加密后传送至数据接收校验模块中进行接收和验证;
数据接收校验模块:用于将数据采集模块中加密后的数据信息进行接收和解密,并对解密后的数据进行完整性校验,数据接收校验模块使用CRC校验码进行数据完整性校验,对于校验未通过的数据将不进行处理,校验通过的数据进行数据解析,将数据解析成“测点名称(编号):值”的形式,解析后的计量数据和计量器具唯一识别编码、数据采集时间、数据长度、包含测点数量的数据及数据MD5值进行打包并加密,上传至数据存储单元。
进一步的,所述的数据存储单元划分为解密模块、验证模块、分类模块和存储模块;
解密模块:用以接收数据采集单元通过数据完整性校验并加密上传的数据,并对数据进行解密处理;
验证模块:对解密模块解密处理后的数据进行MD5计算,与上传的MD5值进行对比,校验MD5值是否一致,如果两个值一致则校验通过,否则视为校验不通过;校验未通过的数据舍弃,并向数据采集单元发送重新采集此部分数据的指令,能够选择重新采集该数据或结束采集该数据;校验通过的数据,从解密的数据中提取计量器具唯一识别编码,使用计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,计量器具信息包括计量器具的强检属性、用途、安装位置、所有者所属行业、所有者所属区域、数据精度、计量器具的计量日期和计量数据类别,并从所获取的强检属性中获取计量器具的强检类型、检定周期以及检定到期时间,对计量器具进行有效性验证过程如下:
强检类型包括强检和非强检两类,根据强检类型和计量器具的检定周期,对计量数据属性标记为以下四类:对于非强检类型的计量器具所测数据,数据标记为“非强检有效”;对于强检类计量器具所测数据,将计量器具检定到期时间与采集时间进行比较,如果采集时间小于等于检定到期时间,则数据标记为“强检有效”,如果采集时间大于检定到期时间,则数据标记为“强检无效”;如果验证模块未获得计量器具信息,则数据标记为“无计量器具信息”;
分类模块:用以对数据进行初步处理,对通过验证模块验证的数据信息提取计量数据信息,将计量数据按照组合成“测点-时间戳-值”的形式,根据已获取的计量数据信息和计量数据属性标记,将每个属性的计量数据均分为以下四类:累积数据、瞬时数据、阶段增量数据和用户自定义类型数据,并对数据进行标记,其中用户自定义类型数据能够根据使用者需要进行数据类型定义,例如定义为阶段平均数据、阶段最大值和阶段最小值,该分类有利于用户根据需要提取累积数据、瞬时数据、阶段增量数据和用户自定义类型数据,便于用户直接获取数据信息进行分析和使用;
存储模块:用以对经分类模块分类的计量数据进行存储,即将每个属性的计量数据以累积数据、瞬时数据、阶段增量数据和用户自定义类型数据为条目进行存储,其中,对于累积数据存储至累积值数据表中,并自动根据本次计量数据时间戳与上一次计量数据时间戳计算出两个时间间隔之间的数据差值,并存储到增量表中;对于瞬时数据存储至实时数据表中;对于阶段增量数据存储到增量表中,并自动计算累积值并存储到累积值数据表中;对于用户自定义数据类型,按照用户设定的存储方式进行存储;所有数据存储时均标记由验证模块进行校验的数据属性标记,保证了对有效检定周期内的计量器具进行数据存储。
进一步的,所述的数据应用单元从存储单元获取数据,用于提供基础数据服务;所述的基础数据包括:
原始计量数据:计量器具所测量的原始数据,包含计量器具唯一识别编码、测点名称(编号)、采集时间、测量值和数据有效性标记;
测点汇总数据:对于阶段增量数据进行按时间汇总,按照小时、日、周、旬、月、季度和年等进行的汇总数据;
阶段平均数据:对于瞬时数据进行按时间取平均值计算,按照小时、日、周、旬、月、季度和年等进行计算得到的阶段平均数据;
其他处理数据:根据数据的有效性标记分类、数据所属的行业分类、数据所属的区域等进行按时间阶段数据汇总或者取平均值等计算得到的数据;
由数据使用者自定义的计算数据:数据使用者能够根据需要进行自定义数据处理设置,包括自定义统计周期、自定义数据计算公式和自定义取值方式等。
进一步的,所述的数据应用单元分为数据提供者服务、行业应用、公共服务和大数据应用四类; 其中,所述的行业应用、公共服务和大数据应用三类数据应用中所涉及的数据,均需经过数据提供者授权并对数据进行脱敏处理,即在向非数据提供者提供数据应用服务时,对所提供的数据的敏感信息进行隐藏或者变形,保证在提供真实数据的同时不泄露数据提供者的敏感数据信息。
本发明与现有技术相比,取得的有益之处为:对所测量数据进行两次完整性校验,而且在此基础上对计量器具是否在有效期内进行验证,并根据验证结果对其所测量的数据进行有效性标记,保证了所测量数据的完整性,提高了统计数据的准确度,实现了计量数据的有效管理,实时统计、查询、分析和应用,特别是对强检计量器具及所测量数据的统一管理、查询、分析和应用,方便人们查询和使用;数据应用单元用于提供基础数据服务,方便不同行业的数据应用,能够有效提高基于计量数据的统计分析等结果的准确性。
附图说明
图1为本发明的结构原理示意图;
图2为本发明的计量数据有效性验证流程框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面通过具体实施例并结合附图对本发明作进一步说明。
实施例1:
本实施例所述的计量数据管理系统,其主体结构包括数据采集单元、数据存储单元和数据应用单元;所述数据采集单元用于采集计量器具所测量的数据信息,并将所测量的计量数据信息进行完整性校验,将通过校验的数据与系统存储的计量器具的唯一识别编码加密后上传至数据存储单元,数据存储单元对接收到的数据进行解密,对解密处理后的数据进一步进行完整性校验,从校验通过的数据中提取计量器具唯一识别编码,并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,进行计量器具有效性验证,并对计量器具所测量的数据进行标识,将验证后的数据及有效性标识进行分类存储,供数据应用单元使用;数据应用单元根据所需的应用类型,从数据存储单元提取数据,用于提供基础数据服务。
本实施例所述的数据采集单元包括数据采集模块和数据接收校验模块;
数据采集模块:数据采集模块与现场计量器具进行无线连接,用于向现场计量器具发送采集指令,支持对MODBUS-RTU/TCP/ASCII、IEC60870-5-101/102/103/104、DNP3.0和CDT标准规约的解析;数据采集模块将采集到的原始计量器具的测量数据信息进行解析后形成计量器具的数据信息,并将解析后的数据信息经加密后传送至数据接收校验模块中进行接收和验证;
数据接收校验模块:用于将数据采集模块中加密后的数据信息进行接收和解密,并对解密后的数据进行完整性校验,数据接收校验模块使用CRC校验码进行数据完整性校验,对于校验未通过的数据将不进行处理,校验通过的数据进行数据解析,将数据解析成“测点名称(编号):值”的形式,解析后的计量数据和计量器具唯一识别编码、数据采集时间、数据长度、包含测点数量的数据、数据MD5值进行打包并加密,上传至数据存储单元。
本实施例所述的数据存储单元划分为解密模块、验证模块、分类模块和存储模块;
解密模块:用以接收数据采集单元通过数据完整性校验并加密上传的数据,并对数据进行解密处理;
验证模块:对解密模块解密处理后的数据进行MD5计算,与上传的MD5值进行对比,校验MD5值是否一致,如果两个值一致则校验通过,否则视为校验不通过;校验未通过的数据舍弃,并向数据采集单元发送重新采集此部分数据的指令,能够选择重新采集该数据或结束采集该数据;校验通过的数据,从解密的数据中提取计量器具唯一识别编码,使用计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,计量器具信息包括计量器具的强检属性、用途、安装位置、所有者所属行业、所有者所属区域、数据精度、计量器具的计量日期和计量数据类别,并从所获取的强检属性中获取计量器具的强检类型、检定周期以及检定到期时间,对计量器具进行有效性验证过程如下:
强检类型包括强检和非强检两类,根据强检类型和计量器具的检定周期,对计量数据属性标记为以下四类:对于非强检类型的计量器具所测数据,数据标记为“非强检有效”;对于强检类计量器具所测数据,将计量器具检定到期时间与采集时间进行比较,如果采集时间小于等于检定到期时间,则数据标记为“强检有效”,如果采集时间大于检定到期时间,则数据标记为“强检无效”;如果验证模块未获得计量器具信息,则数据标记为“无计量器具信息”;
分类模块:用以对数据进行初步处理,对通过验证模块验证的数据信息提取计量数据信息,将计量数据按照组合成“测点-时间戳-值”的形式,根据已获取的计量数据信息和计量数据属性标记,将每个属性的计量数据均分为以下四类:累积数据、瞬时数据、阶段增量数据和用户自定义类型数据,并对数据进行标记,其中用户自定义类型数据能够根据使用者需要进行数据类型定义,例如定义为阶段平均数据、阶段最大值和阶段最小值,该分类有利于用户根据需要提取累积数据、瞬时数据、阶段增量数据和用户自定义类型数据,便于用户直接获取数据信息进行分析和使用;
存储模块:用以对经分类模块分类的计量数据进行存储,即将每个属性的计量数据以累积数据、瞬时数据、阶段增量数据和用户自定义类型数据为条目进行存储,其中,对于累积数据存储至累积值数据表中,并自动根据本次计量数据时间戳与上一次计量数据时间戳计算出两个时间间隔之间的数据差值,并存储到增量表中;对于瞬时数据存储至实时数据表中;对于阶段增量数据存储到增量表中,并自动计算累积值并存储到累积值数据表中;对于用户自定义数据类型,按照用户设定的存储方式进行存储;所有数据存储时均标记由验证模块进行校验的数据属性标记,保证了对有效检定周期内的计量器具进行数据存储。
本实施例所述的数据应用单元从存储单元获取数据,用于提供基础数据服务;所述的基础数据包括:
原始计量数据:计量器具所测量的原始数据,包含计量器具唯一识别编码、测点名称(编号)、采集时间、测量值和数据有效性标记;
测点汇总数据:对于阶段增量数据进行按时间汇总,按照小时、日、周、旬、月、季度和年等进行的汇总数据;
阶段平均数据:对于瞬时数据进行按时间取平均值计算,按照小时、日、周、旬、月、季度和年等进行计算得到的阶段平均数据;
其他处理数据:根据数据的有效性标记分类、数据所属的行业分类、数据所属的区域等进行按时间阶段数据汇总或者取平均值等计算得到的数据;
由数据使用者自定义的计算数据:数据使用者能够根据需要进行自定义数据处理设置,包括自定义统计周期、自定义数据计算公式和自定义取值方式等。
本实施例所述的数据应用单元分为数据提供者服务、行业应用、公共服务和大数据应用四类; 其中,所述的行业应用、公共服务和大数据应用三类数据应用中所涉及的数据,均需经过数据提供者授权并对数据进行脱敏处理,即在向非数据提供者提供数据应用服务时,对所提供的数据的敏感信息进行隐藏或者变形,保证在提供真实数据的同时不泄露数据提供者的敏感数据信息。
本实施例所述的数据提供者服务是指向为本系统提供数据的计量器具所有者提供的数据服务,服务内容包括采集自数据提供者所有的计量器具的数据查询,能够根据计量器具唯一识别编码、数据采集时间、计量数据属性标记和计量数据类型等条目进行查询,用于进一步数据统计分析、同行业指标数据分析以及区域指标数据分析等。
本实施例所述的行业应用是根据数据所属的行业向第三方提供基础数据服务,数据所属行业是指测量数据的计量器具所有者所属的行业或者领域,行业应用包括能源数据应用、安全数据应用、环保数据应用、质量数据应用以及其他行业的数据应用等,各行业数据应用的内容包括数据统计、分析、指标计算、挖掘、预测和区域汇总等。
本实施例所述的公共服务是本系统面向公众提供基础数据服务的应用,公共服务包括诚信计量数据以及与公众相关的数据查询等,通过计量器具唯一识别编码进行查询,由数据应用单元向存储单元发送查询指令,若存储单元内已存储该计量器具信息,则由数据应用单元直接调用,若存储单元未存储该计量器具信息,则存储单元通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息并上传至数据应用单元调用,实现公众查看计量器具是否在有效检定周期内的功能,且通过数据查询能够进行数据的溯源等。
本实施例所述的大数据应用是对计量数据的专业应用提供基础数据服务,为用户进行数据挖掘和趋势预测提供数据基础,运用基础数据建立不同行业数据的预测模型,对数据的变化趋势进行预测分析,让数据提供更高的价值。
本实施例所述的数据采集模块与现场计量器具进行连接的方式包括RS485/RS232、RJ45和以太网。
本实施例所述的计量器具公共服务平台为现有系统,与数据有效性验证模块进行数据通讯,并向其提供计量器具检定信息。
实施例2:
如图2所示,本实施例以实施例1中涉及的计量数据管理系统为例,其实现数据管理的具体步骤如下:
(1)、数据采集单元向现场计量器具发送采集指令进行测量数据采集,并对所测量的数据通过CRC校验进行数据完整性校验,通过校验,则进行打包并加密,上传至数据存储单元,进行下一步操作,校验不通过,则不做任何处理;保证了数据的安全性,防止非完整数据被采集至数据采集单元,保证所采集计量器具的数据完整性;
(2)、数据存储单元接收数据采集单元所传送的数据包;
(3)、对所接收到的数据包进行解密操作;
(4)、从解密后的数据包中解析出计量器具计量数据信息;
(5)、从解密后的数据包中解析出计量器具信息数据;
(6)、数据存储单元对计量数据进一步进行完整性校验,通过进行MD5计算,与上传的MD5值进行对比,两个值一致则校验通过,进行下一步操作,否则视为校验不通过,并向数据采集单元发送重新采集此部分数据的指令;两次校验进一步保证了数据的完整性,使计量器具的数据采集更加准确,提高了计量器具数据的准确度;
(7)、对计量器具进行有效性验证,接收步骤6经完整性校验通过的计量数据,并向计量器具公共服务平台发送验证请求,并上传解密后的计量器具唯一识别编码,接收由计量器具公共服务平台返回的计量器具信息,如果计量器具为非强检类型,则通过步骤8标记计量数据为“非强检有效”,如果计量器具为检定有效期内的计量器具,则通过步骤8标记计量数据为“强检有效”;如果计量器具未在检定有效期内,则通过步骤8标记计量数据为“强检无效”,如果未查找到相关计量器具信息,则通过步骤8标记计量数据为“无计量器具信息”;在计量器具的数据完整性校验基础上,进一步验证了计量器具的有效性,防止了未在有效期内的计量器具提供的数据进入到数据管理系统,提高了数据统计或者分析准确性,实现了数据的精确管理;
(8)、标记所采集数据的有效性属性:非强检有效、强检有效、强检无效和无计量器具信息;
(9)、对通过验证的数据信息提取计量数据信息,将计量数据按照组合成“测点-时间戳-值”的形式,将每个属性的计量数据均分为以下四类:累积数据、瞬时数据、阶段增量数据和用户自定义类型数据;
(10)、将分类后的计量数据存储至存储单元;该分类存储提高了数据的有效性管理、查询和分析的性能,实现了计量器具的数据分类管理,便于查询和使用;
(11)、数据应用单元为不同类型的应用提供基础数据服务,便于用户获得计量器具的数据信息,及时查询计量器具是否在有效期内。
上述具体实施方式仅是本发明的具体个案,本发明的专利保护范围包括但不限于上述具体实施方式的产品形态和式样,任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰,皆应落入本发明的专利保护范围。
Claims (5)
1.一种计量数据管理系统,主体结构包括数据采集单元、数据存储单元和数据应用单元;其特征在于:所述数据采集单元用于采集计量器具所测量的数据信息,并将所测量的计量数据信息进行完整性校验,将通过校验的数据与系统存储的计量器具的唯一识别编码加密后上传至数据存储单元,数据存储单元对接收到的数据进行解密,对解密处理后的数据进一步进行完整性校验,从校验通过的数据中提取计量器具唯一识别编码,并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,进行计量器具有效性验证,并对计量器具所测量的数据进行标识,将验证后的数据及有效性标识进行分类存储,供数据应用单元使用;数据应用单元根据所需的应用类型,从数据存储单元提取数据,用于提供基础数据服务;
所述的数据采集单元包括数据采集模块和数据接收校验模块;
数据采集模块:数据采集模块与现场计量器具进行无线连接,用于向现场计量器具发送采集指令,支持对MODBUS-RTU/TCP/ASCII、IEC60870-5-101/102/103/104、DNP3.0和CDT标准规约的解析;数据采集模块将采集到的原始计量器具的测量数据信息进行解析后形成计量器具的数据信息,并将解析后的数据信息经加密后传送至数据接收校验模块中进行接收和验证;
数据接收校验模块:用于将数据采集模块中加密后的数据信息进行接收和解密,并对解密后的数据进行完整性校验,数据接收校验模块使用CRC校验码进行数据完整性校验,对于校验未通过的数据将不进行处理,校验通过的数据进行数据解析,将数据解析成“测点名称:值”的形式,解析后的计量数据和计量器具唯一识别编码、数据采集时间、数据长度、包含测点数量的数据及数据MD5值进行打包并加密,上传至数据存储单元。
2.根据权利要求1所述的计量数据管理系统,其特征在于:所述的数据存储单元划分为解密模块、验证模块、分类模块和存储模块;
解密模块:用以接收数据采集单元通过数据完整性校验并加密上传的数据,并对数据进行解密处理;
验证模块:对解密模块解密处理后的数据进行MD5计算,与上传的MD5值进行对比,校验MD5值是否一致,如果两个值一致则校验通过,否则视为校验不通过;校验未通过的数据舍弃,并向数据采集单元发送重新采集此部分数据的指令,能够选择重新采集该数据或结束采集该数据;校验通过的数据,从解密的数据中提取计量器具唯一识别编码,使用计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息,计量器具信息包括计量器具的强检属性、用途、安装位置、所有者所属行业、所有者所属区域、数据精度、计量器具的计量日期和计量数据类别,并从所获取的强检属性中获取计量器具的强检类型、检定周期以及检定到期时间,对计量器具进行有效性验证过程如下:
强检类型包括强检和非强检两类,根据强检类型和计量器具的检定周期,对计量数据属性标记为以下四类:对于非强检类型的计量器具所测数据,数据标记为“非强检有效”;对于强检类计量器具所测数据,将计量器具检定到期时间与采集时间进行比较,如果采集时间小于等于检定到期时间,则数据标记为“强检有效”,如果采集时间大于检定到期时间,则数据标记为“强检无效”;如果验证模块未获得计量器具信息,则数据标记为“无计量器具信息”;
分类模块:用以对数据进行初步处理,对通过验证模块验证的数据信息提取计量数据信息,将计量数据按照组合成“测点-时间戳-值”的形式,根据已获取的计量数据信息和计量数据属性标记,将每个属性的计量数据均分为以下四类:累积数据、瞬时数据、阶段增量数据和用户自定义类型数据,并对数据进行标记,其中用户自定义类型数据能够根据使用者需要进行数据类型定义,定义为阶段平均数据、阶段最大值和阶段最小值;
存储模块:用以对经分类模块分类的计量数据进行存储,即将每个属性的计量数据以累积数据、瞬时数据、阶段增量数据和用户自定义类型数据为条目进行存储,其中,对于累积数据存储至累积值数据表中,并自动根据本次计量数据时间戳与上一次计量数据时间戳计算出两个时间间隔之间的数据差值,并存储到增量表中;对于瞬时数据存储至实时数据表中;对于阶段增量数据存储到增量表中,并自动计算累积值并存储到累积值数据表中;对于用户自定义数据类型,按照用户设定的存储方式进行存储;所有数据存储时均标记由验证模块进行校验的数据属性标记。
3.根据权利要求2所述的计量数据管理系统,其特征在于:所述的数据应用单元从存储单元获取数据,用于提供基础数据服务;所述的基础数据包括:
原始计量数据:计量器具所测量的原始数据,包含计量器具唯一识别编码、测点名称、采集时间、测量值和数据有效性标记;
测点汇总数据:对于阶段增量数据进行按时间汇总,按照小时、日、周、旬、月、季度和年进行的汇总数据;
阶段平均数据:对于瞬时数据进行按时间取平均值计算,按照小时、日、周、旬、月、季度和年进行计算得到的阶段平均数据;
其他处理数据:根据数据的有效性标记分类、数据所属的行业分类、数据所属的区域进行按时间阶段数据汇总或者取平均值计算得到的数据;
由数据使用者自定义的计算数据:数据使用者能够根据需要进行自定义数据处理设置,包括自定义统计周期、自定义数据计算公式和自定义取值方式;
所述的数据应用单元分为数据提供者服务、行业应用、公共服务和大数据应用四类;其中,所述的行业应用、公共服务和大数据应用三类数据应用中所涉及的数据,均需经过数据提供者授权并对数据进行脱敏处理,即在向非数据提供者提供数据应用服务时,对所提供的数据的敏感信息进行隐藏或者变形。
4.根据权利要求1所述的计量数据管理系统,其特征在于:所述的数据采集模块与现场计量器具进行连接的方式包括RS485/RS232、RJ45和以太网。
5.根据权利要求1所述的计量数据管理系统,其特征在于:实现数据管理的具体步骤如下:
(1)、数据采集单元向现场计量器具发送采集指令进行测量数据采集,并对所测量的数据通过CRC校验进行数据完整性校验,通过校验,则进行打包并加密,上传至数据存储单元,进行下一步操作,校验不通过,则不做任何处理;
(2)、数据存储单元接收数据采集单元所传送的数据包;
(3)、对所接收到的数据包进行解密操作;
(4)、从解密后的数据包中解析出计量器具计量数据信息;
(5)、从解密后的数据包中解析出计量器具信息数据;
(6)、数据存储单元对计量数据进一步进行完整性校验,通过进行MD5计算,与上传的MD5值进行对比,两个值一致则校验通过,进行下一步操作,否则视为校验不通过,并向数据采集单元发送重新采集此部分数据的指令;
(7)、对计量器具进行有效性验证,接收步骤(6)经完整性校验通过的计量数据,并向计量器具公共服务平台发送验证请求,并上传解密后的计量器具唯一识别编码,接收由计量器具公共服务平台返回的计量器具信息,如果计量器具为非强检类型,则通过步骤(8)标记计量数据为“非强检有效”,如果计量器具为检定有效期内的计量器具,则通过步骤(8)标记计量数据为“强检有效”;如果计量器具未在检定有效期内,则通过步骤(8)标记计量数据为“强检无效”,如果未查找到相关计量器具信息,则通过步骤(8)标记计量数据为“无计量器具信息”;在计量器具的数据完整性校验基础上,进一步验证了计量器具的有效性;
(8)、标记所采集数据的有效性属性:非强检有效、强检有效、强检无效和无计量器具信息;
(9)、对通过验证的数据信息提取计量数据信息,将计量数据按照组合成“测点-时间戳-值”的形式,将每个属性的计量数据均分为以下四类:累积数据、瞬时数据、阶段增量数据和用户自定义类型数据;
(10)、将分类后的计量数据存储至存储单元;
(11)、数据应用单元为不同类型的应用提供基础数据服务,便于用户获得计量器具的数据信息,及时查询计量器具是否在有效期内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711090606.9A CN107908703B (zh) | 2017-11-08 | 2017-11-08 | 一种计量数据管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711090606.9A CN107908703B (zh) | 2017-11-08 | 2017-11-08 | 一种计量数据管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107908703A CN107908703A (zh) | 2018-04-13 |
CN107908703B true CN107908703B (zh) | 2020-12-01 |
Family
ID=61843693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711090606.9A Active CN107908703B (zh) | 2017-11-08 | 2017-11-08 | 一种计量数据管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107908703B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597792A (zh) * | 2018-11-26 | 2019-04-09 | 深圳和而泰数据资源与云技术有限公司 | 数据处理方法及相关产品 |
US10839411B2 (en) * | 2018-12-21 | 2020-11-17 | Noodle Technology Inc. | Validation in a decentralized network |
CN110155840B (zh) * | 2019-05-22 | 2021-05-14 | 安徽奥里奥克科技股份有限公司 | 一种电梯数据采集管理系统 |
CN111071978B (zh) * | 2019-12-23 | 2021-10-15 | 航天科技控股集团股份有限公司 | 一种基于位置信息的加油枪检定信息录入系统及方法 |
CN111612956A (zh) * | 2020-04-20 | 2020-09-01 | 南京英锐创电子科技有限公司 | 人员追踪系统、人员追踪方法、装置和计算机设备 |
CN112380564A (zh) * | 2020-11-19 | 2021-02-19 | 河南海融软件有限公司 | 一种数据安全管理系统 |
CN114443921B (zh) * | 2022-02-09 | 2023-06-27 | 吉林农业科技学院 | 一种用于计算机大数据的处理方法及装置 |
CN114884731B (zh) * | 2022-05-07 | 2024-02-23 | 江苏红光仪表厂有限公司 | 一种用于工业自动化仪器仪表的信息远程传输系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080162943A1 (en) * | 2006-12-28 | 2008-07-03 | Ali Valiuddin Y | Biometric security system and method |
CN100589385C (zh) * | 2007-08-28 | 2010-02-10 | 浙江大学 | 基于数字签名的计量值认证方法 |
CN101515342A (zh) * | 2009-03-25 | 2009-08-26 | 西安计量技术研究院 | 计量检定技术机构样品器具信息唯一性的管理系统及方法 |
US8510195B2 (en) * | 2010-02-01 | 2013-08-13 | Syngenta Foundation For Sustainable Agriculture | System and method for providing a site-related weather insurance contract |
CN102479351B (zh) * | 2010-11-25 | 2015-11-25 | 西安计量技术研究院 | 一种对新建计量标准的智能化管理方法及系统 |
CN104580238A (zh) * | 2013-03-19 | 2015-04-29 | 成都秦川科技发展有限公司 | 嵌有信息安全管理模块的物联网智能热能表 |
-
2017
- 2017-11-08 CN CN201711090606.9A patent/CN107908703B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107908703A (zh) | 2018-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107908703B (zh) | 一种计量数据管理系统 | |
CN107809434B (zh) | 一种计量数据有效性验证系统及方法 | |
KR101239401B1 (ko) | 보안 시스템의 로그 분석 시스템 및 방법 | |
CN106934630B (zh) | 一种计量器具量值溯源方法 | |
CN106934627B (zh) | 一种电商行业作弊行为的检测方法及装置 | |
CN108009199A (zh) | 一种计量校准检定证书的检索方法及系统 | |
CN114363064B (zh) | 一种物联网业务适配的动态数据加密策略系统 | |
CN106209431A (zh) | 一种告警关联方法及网管系统 | |
CN114338752B (zh) | 一种第三方物联网平台设备智能化对接系统及方法 | |
CN113706100B (zh) | 配电网物联终端设备实时探测识别方法与系统 | |
CN106600303A (zh) | 评估广告投放合理性的方法和装置 | |
CN114389871A (zh) | 一种账号异常登录自动分析方法和装置 | |
CN113449339A (zh) | 日志收集方法、系统、计算机设备及计算机可读存储介质 | |
CN110659289B (zh) | 一种物资质量检测试验报告管理方法及系统 | |
CN107040532B (zh) | 一种使用验证码校验的数据评估装置 | |
CN113506096B (zh) | 一种基于工业互联网标识解析体系的系统间接口方法 | |
CN102928059B (zh) | 手持式电子计价秤防作弊监督检测方法及系统 | |
CN112633761B (zh) | 指标数据的查询方法、装置、设备及存储介质 | |
CN107273456B (zh) | 一种多维度分析智能终端特征的精准识别方法 | |
CN112699182A (zh) | 一种工程造价数据管理系统 | |
CN110830480A (zh) | 一种基于电力物联网的配电终端安全接入系统 | |
CN113157847B (zh) | 森林植物调查数据快速检核方法及装置 | |
CN112887324B (zh) | 电力监控系统的网络安全装置的策略配置管理系统 | |
CN113095426A (zh) | 一种加密流量分类方法、系统、设备及可读存储介质 | |
CN115357873B (zh) | 基于Vuforia技术的AR设备点检辅助系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A measurement data management system Effective date of registration: 20220715 Granted publication date: 20201201 Pledgee: Bank of Beijing Co.,Ltd. Jinan Branch Pledgor: JINAN DALU MECHANISM & ELECTRON CO.,LTD. Registration number: Y2022370000090 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |