CN116561151B - 物联网数据的可视化处理方法及装置 - Google Patents
物联网数据的可视化处理方法及装置 Download PDFInfo
- Publication number
- CN116561151B CN116561151B CN202310821855.XA CN202310821855A CN116561151B CN 116561151 B CN116561151 B CN 116561151B CN 202310821855 A CN202310821855 A CN 202310821855A CN 116561151 B CN116561151 B CN 116561151B
- Authority
- CN
- China
- Prior art keywords
- data
- chart
- online
- offline
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000013499 data model Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2393—Updating materialised views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及物联网技术领域,尤其涉及一种物联网数据的可视化处理方法及装置,包括:步骤S1、中控模块在接收到监控指令时从数据库中选取离线数据和在线数据;步骤S2、生成离线图表、在线图表;步骤S3、所述中控模块对各项数据进行评级;步骤S4、所述中控模块判定是否更新图表或是否存在不符合预设处理标准的图表;步骤S5、所述中控模块在判定存在不符合预设标准的图表时,生成新的离线图表或在线图表;步骤S6、所述中控模块完成图表生成后重复所述步骤S4以重新判定是否更新图表,本发明在判定存在不符合预设标准的图表时选取对应的处理方式重新生成对应的图表,在提高数据库中数据准确性的同时,提高了数据可视化过程的效率。
Description
技术领域
本发明涉及物联网技术领域,尤其涉及一种物联网数据的可视化处理方法及装置。
背景技术
物联网的数据可视化为高效理解大量数据提供了极大的方便,现有技术通过采集大量有相关证书的人员人脸照片做人脸识别数据模型,实现在线视频自动识别是否属于有证人员,做RT检测资料建立脱岗数据模型,实现在线视频的脱岗自动识别建立成品检测数据模型,实现在线视频的成品检测自动识别,但是对批计算和流计算的数据的控制精度低。
中国专利申请号:CN202111609089.8公开了一种可视化物联网系统,该发明适用于物联网技术领域,提供了一种可视化物联网系统,用于提供远程可视监管,采用以下结构:包括人脸识别模块、资源管理模块、视频预览模块、智能检测模块和统计分析模块,主要的功能需求是通过采集大量有相关证书的人员人脸照片做人脸识别数据模型,实现在线视频自动识别是否属于有证人员,做RT检测资料建立脱岗数据模型,实现在线视频的脱岗自动识别建立成品检测数据模型,实现在线视频的成品检测自动识别;由此可见,所述可视化物联网系统存在以下问题:对批计算和流计算的数据的控制精度低,导致数据准确度低,数据可视化过程的效率低。
发明内容
为此,本发明提供一种物联网数据的可视化处理方法及装置,用以克服现有技术中对批计算和流计算的数据的控制精度低,导致数据准确度低,数据可视化过程的效率低的问题。
为实现上述目的,本发明提供一种物联网数据的可视化处理方法,包括:
步骤S1、中控模块在接收到监控指令时从数据库中选取符合预设条件的历史数据并将获取的历史数据记为离线数据,中控模块将接收到监控指令时数据库接收到的数据记为在线数据;
步骤S2、所述中控模块分别将所述离线数据和所述在线数据输送至数据处理模块,数据处理模块根据离线数据生成离线图表,并根据在线数据生成在线图表;
步骤S3、所述中控模块将生成的所述离线图表与所述在线图表进行比对,依次获取离线图表与在线图表中各同项数据的数值的变化情况并根据各变化情况依次对各项数据进行评级;
步骤S4、所述中控模块根据针对所述各项数据的评级判定是否更新图表或者判定是否存在不符合预设处理标准的图表;
步骤S5、所述中控模块在判定存在不符合预设标准的图表时,根据所述各项数据的评级重新获取离线数据以生成新的离线图表或重新获取在线数据以生成新的在线图表;
步骤S6、所述中控模块完成对所述新的离线数据或所述新的在线数据的图表生成后重复所述步骤S4以重新判定是否更新图表。
进一步地,在所述步骤S3中,对于所述单项数据,所述中控模块将其在所述在线数据中的数值与其在所述离线数据中的数值的差值绝对值记为针对该项数据的一级差值并根据该一级差值确定针对该项数据的等级评级方式,其中:
第一等级评级方式为所述中控模块判定将该项数据评级为一级数据项;所述第一等级评级方式满足所述一级差值小于等于第一预设一级差值;
第二等级评级方式为所述中控模块判定将该项数据评级为二级数据项;所述第二等级评级方式满足所述一级差值大于所述第一预设一级差值且小于等于第二预设一级差值;
第三等级评级方式为所述中控模块判定将该项数据评级为三级数据项;所述第三等级评级方式满足所述一级差值大于所述第二预设一级差值。
进一步地,所述中控模块在完成对所述单项数据的等级的评级时统计各级别的数据的项数,并根据统计的各级别的数据项的项数判定生成的所述离线图表和所述在线图表是否符合预设处理标准的判定方式,其中:
第一判定方式为所述中控模块判定所述离线图表和所述在线图表均符合预设处理标准,并控制更新模块将在线图表以及与该在线图表对应的在线数据更新至所述数据库;所述第一判定方式满足评价为三级数据项的数据项的项数与所述离线图表和所述在线图表中数据项的总项数的比值小于等于第一预设比值;
第二判定方式为所述中控模块判定所述离线图表和所述在线图表均不符合预设处理标准,并根据所述二级数据项的项数与所述三级数据项的项数的差值修正生成在线图表的在线数据项数;所述第二判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于第一预设比值且小于等于第二预设比值;
第三判定方式为所述中控模块判定所述离线图表和所述在线图表均不符合预设处理标准,并根据所述一级数据项的项数与三级数据项的项数的差值调节生成离线图表的离线数据项数;所述第三判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于所述第二预设比值且小于等于第三预设比值;
第四判定方式为所述中控模块判定所述离线图表和所述在线图表中的数据项的项数不匹配,并根据单项数据在在线数据中的数值与其在离线数据中的数值的差值的正负判定所述在线图表的处理不符合预设标准的原因;所述第四判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于所述第三预设比值。
进一步地,所述中控模块在所述第二判定方式下将所述二级数据项的项数与所述三级数据项的项数的差值记为二级差值,并根据二级差值确定用以生成所述在线图表的在线数据的在线数据量的修正方式,其中:
第一修正方式为所述中控模块选用第一修正系数α1对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α1,其中S1为修正前的初始在线数据项数;所述第一修正方式满足所述二级差值大于等于第一预设二级差值;
第二修正方式为所述中控模块选用第二修正系数α2对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α2;所述第二修正方式满足所述二级差值小于所述第一预设二级差值且大于等于第二预设二级差值;
第三修正方式为所述中控模块选用第三修正系数α3对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α3;所述第三修正方式满足所述二级差值小于第二预设二级差值。
进一步地,所述中控模块在所述第三判定方式下将所述一级数据项的项数与三级数据项的项数的差值记为三级差值并根据三极差值确定针对用以生成离线图表的离线数据项数的调节方式,其中:
第一调节方式为所述中控模块选用第一调节系数β1对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β1,其中Q1为调节前的初始离线数据项数;所述第一调节方式满足所述三级差值大于等于第一预设三级差值;
第二调节方式为所述中控模块选用第二调节系数β2对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β2;所述第二调节方式满足所述三级差值小于所述第一预设三级差值且大于等于第二预设三级差值;
第三调节方式为所述中控模块选用第三调节系数β3对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β3;所述第三调节方式满足所述三级差值小于所述第二预设三级差值。
进一步地,所述中控模块在判定需对所述离线数据项数进行调节时,以接收所述监控指令的时间节点为基准,从该时间节点按照时间戳逆序以获取对应数量的数据以作为用以生成新的离线图表的离线数据;
所述中控模块在判定需对所述在线数据项数进行修正时,以接收所述监控指令的时间节点为基准,从该时间节点按照时间戳顺序以获取对应数量的数据以作为用以生成新的在线图表的在线数据。
进一步地,在所述第四判定方式下,若存在单项数据,该单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值为负值且该差值的绝对值大于预设临界一级差值,所述中控模块判定所述在线图表的处理不符合预设标准的原因为在线图表中存在删除的数据项,中控模块控制检测模块检测删除的数据项的类型,并从所述离线数据中筛除与测得的删除数据项的类型相同的数据项以控制数据处理模块重新生成离线图表,并将生成的离线图表与在线图表进行比对以判定生成的离线图表和在线图表是否符合预设处理标准。
进一步地,在所述第四判定方式下,若存在单项数据,该单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值为正值且该差值的绝对值大于预设临界一级差值,所述中控模块判定所述在线图表的处理不符合预设标准的原因为在线图表中存在新增的数据项,中控模块控制检测模块检测新增的数据项的类型,并从所述在线数据中筛除与测得的新增数据项的类型相同的数据项以控制数据处理模块重新生成在线图表,并将生成的在线图表与离线图表进行比对以判定生成的在线图表和离线图表是否符合预设处理标准。
进一步地,其特征在于,所述中控模块在所述步骤S1中以接收到监控指令的时间节点为基准,获取该时间节点之前预设回归时长内的数据并将其定义为离线数据,中控模块将该时间节点之后预设监控时长内获取的数据记为在线数据。
一种物联网数据的可视化处理装置,包括:
数据库,用以存储数据;
数据处理模块,其与所述数据库相连用于根据数据库存储的数据生成图表;
更新模块,其与所述数据库相连用于将对应的数据更新至数据库;
检测模块,其与所述数据库相连用于检测新增数据项或删除数据项的类型;
中控模块,其分别与所述数据库、所述数据处理模块、所述更新模块、所述检测模块相连,用以在接收到监控指令时根据选取的离线数据生成离线图表并根据获取的在线数据生成在线图表,以及,根据生成的离线图表与在线图表的比对结果判定是否更新图表或者判定是否存在不符合预设处理标准的图表,并在判定存在不符合预设标准的图表时,根据实际情况选取对应的处理方式重新生成对应的图表。
与现有技术相比,本发明的有益效果在于,本发明通过根据所述离线数据生成的离线图表和根据所述在线数据生成的在线图表的比对结果,判定是否更新图表或者判定是否存在不符合预设处理标准的图表,提高了对所述数据库中数据的控制精度,提高了数据库中数据的准确性,本发明在判定存在不符合预设标准的图表时,根据实际情况选取对应的处理方式重新生成对应的图表,在提高数据库中数据准确性的同时,提高了数据可视化过程的效率。
进一步地,本发明中所述中控模块根据所述单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值确定针对该项数据的等级,提高了对数据库中数据的控制精度,进一步提高了所述数据的准确性。
进一步地,本发明中所述中控模块根据统计的各级别的数据项的项数判定生成的所述离线图表和所述在线图表是否符合预设处理标准,并在判定所述离线图表和所述在线图表均不符合预设处理标准时,根据所述二级数据项的项数与所述三级数据项的项数的差值修正生成在线图表的在线数据项数或根据所述一级数据项的项数与三级数据项的项数的差值调节生成离线图表的离线数据项数,或,根据单项数据在在线数据中的数值与其在离线数据中的数值的差值判定所述在线图表的处理不符合预设标准的原因,提高了对离线数据和在线数据的准确性的控制精度;
所述中控模块在判定所述离线图表和所述在线图表均符合预设处理标准时,控制更新模块将在线图表以及与该在线图表对应的在线数据更新至所述数据库,在保证数据库中数据的准确性的同时,进一步提高了数据可视化过程的效率。
进一步地,本发明中所述中控模块根据所述二级数据项的项数与所述三级数据项的项数的差值修正用以生成所述在线图表的在线数据的在线数据项数,进一步提高了数据库中在线数据的准确性,在保证在线数据的准确性的同时,进一步提高了数据可视化过程的效率。
进一步地,本发明中所述中控模块根据所述一级数据项的项数与三级数据项的项数的三级差值调节用以生成离线图表的离线数据项数,进一步提高了数据库中离线数据的准确性,在保证离线数据的准确性的同时,进一步提高了数据可视化过程的效率。
进一步地,本发明中所述中控模块在判定需对所述离线数据项数进行调节时,以接收所述监控指令的时间节点为基准分别确定离线数据与在线数据的范围,提高了对离线数据和在线数据的控制精度,进一步提高了数据库中数据的准确性。
进一步地,本发明中所述中控模块根据单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值的正负判定所述在线图表的处理不符合预设标准的原因为在线图表中存在删除的数据项或新增的数据项,进一步提高了数据库中数据的准确性,在保证数据的准确性的同时,进一步提高了数据可视化过程的效率。
附图说明
图1为本发明所述物联网数据的可视化处理装置的结构框图;
图2为本发明所述物联网数据的可视化处理方法的流程图;
图3为本发明针对所述数据项的等级评级方式的流程图;
图4为本发明针对生成的所述离线图表和所述在线图表是否符合预设处理标准的判定方式的流程图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,其为本发明实施例物联网数据的可视化处理方法及装置的结构框图。
本发明实施例物联网数据的可视化处理装置,包括:
数据库,用以存储数据;
数据处理模块,其与所述数据库相连用于根据数据库存储的数据生成图表;
更新模块,其与所述数据库相连用于将对应的数据更新至数据库;
检测模块,其与所述数据库相连用于检测新增数据项或删除数据项的类型;
中控模块,其分别与所述数据库、所述数据处理模块、所述更新模块、所述检测模块相连,用以在接收到监控指令时根据选取的离线数据生成离线图表并根据获取的在线数据生成在线图表,以及,根据生成的离线图表与在线图表的比对结果判定是否更新图表或者判定是否存在不符合预设处理标准的图表,并在判定存在不符合预设标准的图表时,根据实际情况选取对应的处理方式重新生成对应的图表。
请参阅图2所示,其为本发明所述物联网数据的可视化处理方法的流程图。本发明实施例物联网数据的可视化处理方法,包括:
步骤S1、中控模块在接收到监控指令时从数据库中选取符合预设条件的历史数据并将获取的历史数据记为离线数据,中控模块将接收到监控指令时数据库接收到的数据记为在线数据;
步骤S2、所述中控模块分别将所述离线数据和所述在线数据输送至数据处理模块,数据处理模块根据离线数据生成离线图表,并根据在线数据生成在线图表;
步骤S3、所述中控模块将生成的所述离线图表与所述在线图表进行比对,依次获取离线图表与在线图表中各同项数据的数值的变化情况并根据各变化情况依次对各项数据进行评级;
步骤S4、所述中控模块根据针对所述各项数据的评级判定是否更新图表或者判定是否存在不符合预设处理标准的图表;
步骤S5、所述中控模块在判定存在不符合预设标准的图表时,根据所述各项数据的评级重新获取离线数据以生成新的离线图表或重新获取在线数据以生成新的在线图表;
步骤S6、所述中控模块完成对所述新的离线数据或所述新的在线数据的图表生成后重复所述步骤S4以重新判定是否更新图表。
本发明通过根据所述离线数据生成的离线图表和根据所述在线数据生成的在线图表的比对结果,判定是否更新图表或者判定是否存在不符合预设处理标准的图表,提高了对所述数据库中数据的控制精度,提高了数据库中数据的准确性,本发明在判定存在不符合预设标准的图表时,根据实际情况选取对应的处理方式重新生成对应的图表,在提高数据库中数据准确性的同时,提高了数据可视化过程的效率。
请参阅图3所示,其为本发明针对所述数据项的等级评级方式的流程图。
具体而言,在所述步骤S3中,对于所述单项数据,所述中控模块将其在所述在线数据中的数值与其在所述离线数据中的数值的差值绝对值记为针对该项数据的一级差值并根据该一级差值确定针对该项数据的等级评级方式,其中:
第一等级评级方式为所述中控模块判定将该项数据评级为一级数据项;所述第一等级评级方式满足所述一级差值小于等于第一预设一级差值;
第二等级评级方式为所述中控模块判定将该项数据评级为二级数据项;所述第二等级评级方式满足所述一级差值大于所述第一预设一级差值且小于等于第二预设一级差值;
第三等级评级方式为所述中控模块判定将该项数据评级为三级数据项;所述第三等级评级方式满足所述一级差值大于所述第二预设一级差值。
本发明中所述中控模块根据所述单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值确定针对该项数据的等级,提高了对数据库中数据的控制精度,进一步提高了所述数据的准确性。
请参阅图4所示,其为本发明针对生成的所述离线图表和所述在线图表是否符合预设处理标准的判定方式的流程图。
具体而言,所述中控模块在完成对所述单项数据的等级的评级时统计各级别的数据的项数,并根据统计的各级别的数据项的项数判定生成的所述离线图表和所述在线图表是否符合预设处理标准的判定方式,其中:
第一判定方式为所述中控模块判定所述离线图表和所述在线图表均符合预设处理标准,并控制更新模块将在线图表以及与该在线图表对应的在线数据更新至所述数据库;所述第一判定方式满足评价为三级数据项的数据项的项数与所述离线图表和所述在线图表中数据项的总项数的比值小于等于第一预设比值;
第二判定方式为所述中控模块判定所述离线图表和所述在线图表均不符合预设处理标准,并根据所述二级数据项的项数与所述三级数据项的项数的差值修正生成在线图表的在线数据项数;所述第二判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于第一预设比值且小于等于第二预设比值;
第三判定方式为所述中控模块判定所述离线图表和所述在线图表均不符合预设处理标准,并根据所述一级数据项的项数与三级数据项的项数的差值调节生成离线图表的离线数据项数;所述第三判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于所述第二预设比值且小于等于第三预设比值;
第四判定方式为所述中控模块判定所述离线图表和所述在线图表中的数据项的项数不匹配,并根据单项数据在在线数据中的数值与其在离线数据中的数值的差值的正负判定所述在线图表的处理不符合预设标准的原因;所述第四判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于所述第三预设比值。
本发明实施例中第一预设比值为0.05,第二预设比值为0.1,第三预设比值0.2。
本发明中所述中控模块根据统计的各级别的数据项的项数判定生成的所述离线图表和所述在线图表是否符合预设处理标准,并在判定所述离线图表和所述在线图表均不符合预设处理标准时,根据所述二级数据项的项数与所述三级数据项的项数的差值修正生成在线图表的在线数据项数或根据所述一级数据项的项数与三级数据项的项数的差值调节生成离线图表的离线数据项数,或,根据单项数据在在线数据中的数值与其在离线数据中的数值的差值判定所述在线图表的处理不符合预设标准的原因,提高了对离线数据和在线数据的准确性的控制精度;
所述中控模块在判定所述离线图表和所述在线图表均符合预设处理标准时,控制更新模块将在线图表以及与该在线图表对应的在线数据更新至所述数据库,在保证数据库中数据的准确性的同时,进一步提高了数据可视化过程的效率。
具体而言,所述中控模块在所述第二判定方式下将所述二级数据项的项数与所述三级数据项的项数的差值记为二级差值,并根据二级差值确定用以生成所述在线图表的在线数据的在线数据量的修正方式,其中:
第一修正方式为所述中控模块选用第一修正系数α1对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α1,其中S1为修正前的初始在线数据项数;所述第一修正方式满足所述二级差值大于等于第一预设二级差值;
第二修正方式为所述中控模块选用第二修正系数α2对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α2;所述第二修正方式满足所述二级差值小于所述第一预设二级差值且大于等于第二预设二级差值;
第三修正方式为所述中控模块选用第三修正系数α3对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α3;所述第三修正方式满足所述二级差值小于第二预设二级差值。
本发明实施例中α1为1.5,α2为1.3。
本发明中所述中控模块根据所述二级数据项的项数与所述三级数据项的项数的差值修正用以生成所述在线图表的在线数据的在线数据项数,进一步提高了数据库中在线数据的准确性,在保证在线数据的准确性的同时,进一步提高了数据可视化过程的效率。
具体而言,所述中控模块在所述第三判定方式下将所述一级数据项的项数与三级数据项的项数的差值记为三级差值并根据三极差值确定针对用以生成离线图表的离线数据项数的调节方式,其中:
第一调节方式为所述中控模块选用第一调节系数β1对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β1,其中Q1为调节前的初始离线数据项数;所述第一调节方式满足所述三级差值大于等于第一预设三级差值;
第二调节方式为所述中控模块选用第二调节系数β2对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β2;所述第二调节方式满足所述三级差值小于所述第一预设三级差值且大于等于第二预设三级差值;
第三调节方式为所述中控模块选用第三调节系数β3对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β3;所述第三调节方式满足所述三级差值小于所述第二预设三级差值。
本发明实施例中β1为0.9,β2为0.7。
本发明中所述中控模块根据所述一级数据项的项数与三级数据项的项数的三级差值调节用以生成离线图表的离线数据项数,进一步提高了数据库中离线数据的准确性,在保证离线数据的准确性的同时,进一步提高了数据可视化过程的效率。
具体而言,所述中控模块在判定需对所述离线数据项数进行调节时,以接收所述监控指令的时间节点为基准,从该时间节点按照时间戳逆序以获取对应数量的数据以作为用以生成新的离线图表的离线数据;
所述中控模块在判定需对所述在线数据项数进行修正时,以接收所述监控指令的时间节点为基准,从该时间节点按照时间戳顺序以获取对应数量的数据以作为用以生成新的在线图表的在线数据。
本发明中所述中控模块在判定需对所述离线数据项数进行调节时,以接收所述监控指令的时间节点为基准分别确定离线数据与在线数据的范围,提高了对离线数据和在线数据的控制精度,进一步提高了数据库中数据的准确性。
具体而言,在所述第四判定方式下,若存在单项数据,该单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值为负值且该差值的绝对值大于预设临界一级差值,所述中控模块判定所述在线图表的处理不符合预设标准的原因为在线图表中存在删除的数据项,中控模块控制检测模块检测删除的数据项的类型,并从所述离线数据中筛除与测得的删除数据项的类型相同的数据项以控制数据处理模块重新生成离线图表,并将生成的离线图表与在线图表进行比对以判定生成的离线图表和在线图表是否符合预设处理标准。
具体而言,在所述第四判定方式下,若存在单项数据,该单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值为正值且该差值的绝对值大于预设临界一级差值,所述中控模块判定所述在线图表的处理不符合预设标准的原因为在线图表中存在新增的数据项,中控模块控制检测模块检测新增的数据项的类型,并从所述在线数据中筛除与测得的新增数据项的类型相同的数据项以控制数据处理模块重新生成在线图表,并将生成的在线图表与离线图表进行比对以判定生成的在线图表和离线图表是否符合预设处理标准。
本发明中所述中控模块根据单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值的正负判定所述在线图表的处理不符合预设标准的原因为在线图表中存在删除的数据项或新增的数据项,进一步提高了数据库中数据的准确性,在保证数据的准确性的同时,进一步提高了数据可视化过程的效率。
具体而言,所述中控模块在所述步骤S1中以接收到监控指令的时间节点为基准,获取该时间节点之前预设回归时长内的数据并将其定义为离线数据,中控模块将该时间节点之后预设监控时长内获取的数据记为在线数据。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。 凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种物联网数据的可视化处理方法,其特征在于,包括:
步骤S1、中控模块在接收到监控指令时从数据库中选取符合预设条件的历史数据并将获取的历史数据记为离线数据,中控模块将接收到监控指令时数据库接收到的数据记为在线数据;
步骤S2、所述中控模块分别将所述离线数据和所述在线数据输送至数据处理模块,数据处理模块根据离线数据生成离线图表,并根据在线数据生成在线图表;
步骤S3、所述中控模块将生成的所述离线图表与所述在线图表进行比对,依次获取离线图表与在线图表中各同项数据的数值的变化情况并根据各变化情况依次对各项数据进行评级;
步骤S4、所述中控模块根据针对所述各项数据的评级判定是否更新图表或者判定是否存在不符合预设处理标准的图表;
步骤S5、所述中控模块在判定存在不符合预设标准的图表时,根据所述各项数据的评级重新获取离线数据以生成新的离线图表或重新获取在线数据以生成新的在线图表;
步骤S6、所述中控模块完成对所述新的离线数据或所述新的在线数据的图表生成后重复所述步骤S4以重新判定是否更新图表;
在所述步骤S3中,对于单项数据,所述中控模块将其在所述在线数据中的数值与其在所述离线数据中的数值的差值绝对值记为针对该项数据的一级差值并根据该一级差值确定针对该项数据的等级评级方式,其中:
第一等级评级方式为所述中控模块判定将该项数据评级为一级数据项;所述第一等级评级方式满足所述一级差值小于等于第一预设一级差值;
第二等级评级方式为所述中控模块判定将该项数据评级为二级数据项;所述第二等级评级方式满足所述一级差值大于所述第一预设一级差值且小于等于第二预设一级差值;
第三等级评级方式为所述中控模块判定将该项数据评级为三级数据项;所述第三等级评级方式满足所述一级差值大于所述第二预设一级差值;
所述中控模块在完成对所述单项数据的等级的评级时统计各级别的数据的项数,并根据统计的各级别的数据项的项数判定生成的所述离线图表和所述在线图表是否符合预设处理标准的判定方式,其中:
第一判定方式为所述中控模块判定所述离线图表和所述在线图表均符合预设处理标准,并控制更新模块将在线图表以及与该在线图表对应的在线数据更新至所述数据库;所述第一判定方式满足评价为三级数据项的数据项的项数与所述离线图表和所述在线图表中数据项的总项数的比值小于等于第一预设比值;
第二判定方式为所述中控模块判定针对所述在线图表的处理不符合预设处理标准,并根据所述二级数据项的项数与所述三级数据项的项数的差值修正生成在线图表的在线数据项数;所述第二判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于第一预设比值且小于等于第二预设比值;
第三判定方式为所述中控模块判定针对所述离线图表的处理不符合预设处理标准,并根据所述一级数据项的项数与三级数据项的项数的差值调节生成离线图表的离线数据项数;所述第三判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于所述第二预设比值且小于等于第三预设比值;
第四判定方式为所述中控模块判定所述离线图表和所述在线图表中的数据项的项数不匹配,并根据单项数据在在线数据中的数值与其在离线数据中的数值的差值的正负判定所述在线图表的处理不符合预设标准的原因;所述第四判定方式满足所述三级数据项的项数与所述数据项的总项数的比值大于所述第三预设比值;
所述中控模块在所述第二判定方式下将所述二级数据项的项数与所述三级数据项的项数的差值记为二级差值,并根据二级差值确定用以生成所述在线图表的在线数据的在线数据项数的修正方式,其中:
第一修正方式为所述中控模块选用第一修正系数α1对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α1,其中S1为修正前的初始在线数据项数;所述第一修正方式满足所述二级差值大于等于第一预设二级差值;
第二修正方式为所述中控模块选用第二修正系数α2对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α2;所述第二修正方式满足所述二级差值小于所述第一预设二级差值且大于等于第二预设二级差值;
第三修正方式为所述中控模块选用第三修正系数α3对生成在线图表的在线数据项数进行修正,设定修正后的在线数据项数S=S1×α3;所述第三修正方式满足所述二级差值小于第二预设二级差值;
所述中控模块在所述第三判定方式下将所述一级数据项的项数与三级数据项的项数的差值记为三级差值并根据三极差值确定针对用以生成离线图表的离线数据项数的调节方式,其中:
第一调节方式为所述中控模块选用第一调节系数β1对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β1,其中Q1为调节前的初始离线数据项数;所述第一调节方式满足所述三级差值大于等于第一预设三级差值;
第二调节方式为所述中控模块选用第二调节系数β2对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β2;所述第二调节方式满足所述三级差值小于所述第一预设三级差值且大于等于第二预设三级差值;
第三调节方式为所述中控模块选用第三调节系数β3对生成离线图表的离线数据项数进行调节,设定调节后的离线数据项数Q=Q1×β3;所述第三调节方式满足所述三级差值小于所述第二预设三级差值。
2.根据权利要求1所述的物联网数据的可视化处理方法,其特征在于,所述中控模块在判定需对所述离线数据项数进行调节时,以接收所述监控指令的时间节点为基准,从该时间节点按照时间戳逆序以获取对应数量的数据以作为用以生成新的离线图表的离线数据;
所述中控模块在判定需对所述在线数据项数进行修正时,以接收所述监控指令的时间节点为基准,从该时间节点按照时间戳顺序以获取对应数量的数据以作为用以生成新的在线图表的在线数据。
3.根据权利要求2所述的物联网数据的可视化处理方法,其特征在于,在所述第四判定方式下,若存在单项数据,该单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值为负值且该差值的绝对值大于预设临界一级差值,所述中控模块判定所述在线图表的处理不符合预设标准的原因为在线图表中存在删除的数据项,中控模块控制检测模块检测删除的数据项的类型,并从所述离线数据中筛除与测得的删除数据项的类型相同的数据项以控制数据处理模块重新生成离线图表,并将生成的离线图表与在线图表进行比对以判定生成的离线图表和在线图表是否符合预设处理标准。
4.根据权利要求3所述的物联网数据的可视化处理方法,其特征在于,在所述第四判定方式下,若存在单项数据,该单项数据在所述在线数据中的数值与其在所述离线数据中的数值的差值为正值且该差值的绝对值大于预设临界一级差值,所述中控模块判定所述在线图表的处理不符合预设标准的原因为在线图表中存在新增的数据项,中控模块控制检测模块检测新增的数据项的类型,并从所述在线数据中筛除与测得的新增数据项的类型相同的数据项以控制数据处理模块重新生成在线图表,并将生成的在线图表与离线图表进行比对以判定生成的在线图表和离线图表是否符合预设处理标准。
5.根据权利要求4所述的物联网数据的可视化处理方法,其特征在于,所述中控模块在所述步骤S1中以接收到监控指令的时间节点为基准,获取该时间节点之前预设回归时长内的数据并将其定义为离线数据,中控模块将该时间节点之后预设监控时长内获取的数据记为在线数据。
6.一种使用权利要求1-5任一项权利要求所述方法的物联网数据的可视化处理装置,其特征在于,包括:
数据库,用以存储数据;
数据处理模块,其与所述数据库相连用于根据数据库存储的数据生成图表;
更新模块,其与所述数据库相连用于将对应的数据更新至数据库;
检测模块,其与所述数据库相连用于检测新增数据项或删除数据项的类型;
中控模块,其分别与所述数据库、所述数据处理模块、所述更新模块、所述检测模块相连,用以在接收到监控指令时根据选取的离线数据生成离线图表并根据获取的在线数据生成在线图表,以及,根据生成的离线图表与在线图表的比对结果判定是否更新图表或者判定是否存在不符合预设处理标准的图表,并在判定存在不符合预设标准的图表时,根据实际情况选取对应的处理方式重新生成对应的图表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310821855.XA CN116561151B (zh) | 2023-07-06 | 2023-07-06 | 物联网数据的可视化处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310821855.XA CN116561151B (zh) | 2023-07-06 | 2023-07-06 | 物联网数据的可视化处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116561151A CN116561151A (zh) | 2023-08-08 |
CN116561151B true CN116561151B (zh) | 2023-11-10 |
Family
ID=87496796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310821855.XA Active CN116561151B (zh) | 2023-07-06 | 2023-07-06 | 物联网数据的可视化处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116561151B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118410112A (zh) * | 2024-04-26 | 2024-07-30 | 大湾区科技创新服务中心(广州)股份有限公司 | 一种基于产业链的数据可视化方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102111A (zh) * | 2020-09-27 | 2020-12-18 | 华电福新广州能源有限公司 | 一种发电厂数据智能处理系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210248167A1 (en) * | 2017-12-12 | 2021-08-12 | Darvis Inc. | System and method for generating data visualization and object detection |
-
2023
- 2023-07-06 CN CN202310821855.XA patent/CN116561151B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102111A (zh) * | 2020-09-27 | 2020-12-18 | 华电福新广州能源有限公司 | 一种发电厂数据智能处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116561151A (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116561151B (zh) | 物联网数据的可视化处理方法及装置 | |
CN113556258B (zh) | 一种异常检测方法及装置 | |
CN108846481B (zh) | 一种基于QoX自适应管理的情景信息不确定性消除系统及其工作方法 | |
CN107918629B (zh) | 一种告警故障的关联方法和装置 | |
JP2006148070A (ja) | センサデータの補正方法及びインターロックシステムのインターロック評価方法 | |
CN115099693B (zh) | 一种烧结钕铁硼磁钢材料的生产控制方法及系统 | |
CN117008557A (zh) | 共混型互穿网络热塑性弹性体的生产控制方法及系统 | |
CN114866396B (zh) | 基于文本相似度的实现资源不准下网络故障定位的方法 | |
CN114706363B (zh) | 基于过程优化的质量管理平台 | |
CN117970168B (zh) | 一种双电源转换装置的监测数据高效处理方法 | |
CN105721719A (zh) | 呼叫中心的故障检测系统及方法 | |
CN117670103A (zh) | 一种火电厂排污控制方法及控制系统 | |
CN117708735A (zh) | 一种基于多点校核的量测数据拟合方法、介质及系统 | |
CN117674180A (zh) | 一种基于多源数据融合的电网功率校正方法 | |
CN111384843A (zh) | 基于子模块状态监测的mmc维护周期确定方法及系统 | |
CN105573269B (zh) | 半导体制造机台的参数监控系统及方法 | |
CN114237098B (zh) | 一种电气产品的智能化数字管理系统 | |
CN115511374A (zh) | 一种工艺指标相关性计算方法、装置、设备及存储介质 | |
CN106708638B (zh) | 系统错误检测方法和装置 | |
CN110636246B (zh) | 视频通信云硬件终端的维护方法 | |
CN114858250A (zh) | 一种智慧水表的故障检测方法、系统及可读存储介质 | |
CN113570212A (zh) | 一种机器运维服务系统 | |
CN106547690A (zh) | 基于新拟合判定标准下的软件可靠性建模方法及装置 | |
CN116281476B (zh) | 一种基于ar和人工智能的电梯预防性维保方法和系统 | |
KR20210016980A (ko) | 누락된 데이터의 사용량을 추정하는 ami 시스템의 서버 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |