CN112184493A - 基于大数据和装配式建筑平台的数据处理方法、系统及存储介质 - Google Patents

基于大数据和装配式建筑平台的数据处理方法、系统及存储介质 Download PDF

Info

Publication number
CN112184493A
CN112184493A CN202011067556.4A CN202011067556A CN112184493A CN 112184493 A CN112184493 A CN 112184493A CN 202011067556 A CN202011067556 A CN 202011067556A CN 112184493 A CN112184493 A CN 112184493A
Authority
CN
China
Prior art keywords
data
source data
updating
feature
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011067556.4A
Other languages
English (en)
Inventor
莫怡极
莫敏婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiang Xiaoping
Original Assignee
Guangzhou Yunmofan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yunmofan Information Technology Co ltd filed Critical Guangzhou Yunmofan Information Technology Co ltd
Priority to CN202011067556.4A priority Critical patent/CN112184493A/zh
Publication of CN112184493A publication Critical patent/CN112184493A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据与建筑平台数据处理技术领域，特别涉及一种基于大数据和装配式建筑平台的数据处理方法、系统及存储介质。本发明首先获取终端设备上传的与待装配构件对应的多组来源数据，其次对多组来源数据进行遍历比对得到比对结果并生成结果报表，然后将比对结果和结果报表关联存储到数据库中并关联比对结果和多组来源数据。本发明通过对来源数据、比对结果以及结果报表进行关联，能够减少处理节点的设置，从而减少设备成本和人力成本，并主动地对来源数据进行更新监测，确保数据更新的及时性和同步性，避免数据更新出现滞后而带来的来源数据、比对结果和结果报表之间的数据混乱。

Description

基于大数据和装配式建筑平台的数据处理方法、系统及存储 介质
技术领域
本发明涉及大数据与建筑平台数据处理技术领域，特别涉及一种基于大数据和装配式建筑平台的数据处理方法、系统及存储介质。
背景技术
随着互联网通信的发展，建筑行业也迎来了翻天覆地的变化。为了确保建筑施工的安全性和可追溯性，通常需要对一些建筑部件的数据进行处理以便于后期进行查询和分析。在装配式建筑领域，传统的针对某些建筑构件或者部品的数据处理技术大多是通过手动记录和手动更新的方式进行的。这样会存在数据处理智能化程度不高且数据处理效率低下的问题。
发明内容
为改善相关技术中存在的上述技术问题，本发明提供了基于大数据和装配式建筑平台的数据处理方法、系统及存储介质。
第一方面，提供一种基于大数据和装配式建筑平台的数据处理方法，应用于装配式建筑平台，所述方法包括：
周期性地检测是否接收到终端设备上传的数据处理请求；在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验；在所述数据处理请求通过校验时，获取所述终端设备上传的与待装配构件所对应的多组来源数据；
对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表；将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联；
在显示所述结果报表的同时监测所述多组来源数据是否存在更新；在所述多组来源数据存在更新时，确定所述多组来源数据对应的更新信息；根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新。
可选地，在显示所述结果报表的同时监测所述多组来源数据是否存在更新，包括：
提取每组来源数据的在当前周期内的第一数据特征以及在上一周期内的第二数据特征；其中，所述当前周期和所述上一周期根据所述装配式建筑平台的周期性检测线程对应的周期配置数据得到；
在获取到所述第一数据特征与所述第二数据特征之后，获取所述第一数据特征的第一特征分布列表和所述第二数据特征的第二特征分布列表，其中，所述第一数据特征中包括第一特征标签集，所述第二数据特征中包括第二特征标签集；
获取所述第一特征分布列表中的每一个列表单元与所述第二特征分布列表中的每一个列表单元，得到列表单元队列；确定所述列表单元队列中的任意两个列表单元之间的数据相关系数，得到第一相关性记录；将所述第一相关性记录中的小于目标系数的数据相关系数调整为目标系数，得到第二相关性记录；其中，所述目标系数根据所述装配式建筑平台的配置参数得到；
基于所述第二相关性记录确定每组来源数据在相邻两个周期之间的更新监测结果，其中，所述更新监测结果用于指示所述第一特征标签集与所述第二特征标签集为同一特征标签集或者为不同特征标签集；
在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为同一特征标签集时，判定每个来源数据不存在更新；在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为不同特征标签集时，判定每个来源数据存在更新。
可选地，在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为不同特征标签集时，所述确定所述多组来源数据对应的更新信息，包括：
针对每组来源数据，将该组来源数据确定为待处理来源数据；确定所述待处理来源数据对应的第一特征标签集与所述待处理来源数据对应的第二特征标签集之间的标签差异信息；基于所述标签差异信息生成用于对所述终端设备接收到的更新操作进行解析的脚本数据；
基于所述脚本数据指示所述终端设备基于操作交互日志进行操作响应的模拟，所述操作交互日志中存在供所述终端设备标记的至少一个日志消息；当所述终端设备的操作交互日志的预设日志集内存在第一日志消息时，检测所述第一日志消息是否记录有第一数据更新标签；所述第一数据更新标签是所述终端设备最近一次未标记所述第一日志消息时记录在所述第一日志消息上的，所述第一数据更新标签是所述终端设备在最近一次未标记时所具有的日志消息的更新轨迹的轨迹更新标签；
当所述第一日志消息不具有所述第一数据更新标签时，检测所述第一日志消息是否为所述终端设备存在更新触发需求的日志消息；当确定所述第一日志消息是所述终端设备存在更新触发需求的日志消息时，控制所述终端设备标记所述第一日志消息，并根据所述第一日志消息的第一日志文本结构数据更新所述终端设备的第二数据更新标签；
当所述第一日志消息具有所述第一数据更新标签时，检测所述第一数据更新标签是否与所述终端设备的第二数据更新标签相同，所述第二数据更新标签是所述终端设备当前具有的日志消息的日志文本结构数据的轨迹更新标签；当所述第一数据更新标签与所述终端设备的第二数据更新标签不相同时，确定实现所述第一数据更新标签调整至所述第二数据更新标签过程中的进程文件；根据所述进程文件，获取所述第一数据更新标签中发生变化的第二日志文本结构数据；根据所述第一日志文本结构数据和所述第二日志文本结构数据检测所述第一日志消息是否满足标记的条件；当所述第一日志消息满足标记的条件时，标记所述第一日志消息，并根据所述第一日志文本结构数据更新所述第二数据更新标签；
基于所标记的日志消息生成所述待处理来源数据的更新信息。
可选地，根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新，包括：
根据所述待处理来源数据的更新信息，从所述比对结果中查询出对应的结果路径信息以及从处于显示状态下的结果报表中定位出对应的显示区域信息；
基于所述待处理来源数据的更新信息分别确定所述结果路径信息对应的路径描述特征以及所述显示区域信息对应的区域描述特征，并确定所述路径描述特征和所述区域描述特征分别包括的多个具有不同特征识别关联度的特征单元；提取所述结果路径信息在所述路径描述特征的任一特征单元的第一关联属性记录，将所述区域描述特征中具有最小特征识别关联度的特征单元确定为基准特征单元；
根据所述结果路径信息与所述显示区域信息之间的更新时序差异信息将所述第一关联属性记录添加到所述基准特征单元，在所述基准特征单元中得到第二关联属性记录，并根据所述第一关联属性记录和所述第二关联属性记录之间的关联路径的节点差异列表，生成所述结果路径信息和所述显示区域信息之间的信息更新指示清单；
以所述第二关联属性记录为目标属性记录在所述基准特征单元中获取待处理属性记录，根据所述信息更新指示清单对应的信息更新优先级，将所述待处理属性记录添加到所述第一关联属性记录所在特征单元，在所述第一关联属性记录所在特征单元中得到所述待处理属性记录对应的待更新属性记录，基于所述待更新属性记录与所述更新信息之间的一致性比较结果分别对所述比对结果以及处于显示状态下的结果报表进行更新。
可选地，对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表，包括：
针对所述多组来源数据中的每组第一来源数据，将所述第一来源数据与所述多组来源数据中除所述第一来源数据之外的每个第二来源数据进行对比，得到携带来源标签的比对结果；
按照每组第一来源数据对应的来源优先级将所述比对结果进行整合，得到所述结果报表。
可选地，将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联，包括：
将所述比对结果和所述结果报表按照与所述预设数据库对应的数据格式进行转换，得到目标比对结果和目标结果报表；
将所述目标比对结果和所述目标结果报表存储到所述预设数据库中并基于所述预设数据库对应的存储路径将所述比对结果与所述结果报表；
根据所述来源标签将所述比对结果与对应的来源数据进行关联。
可选地，在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验，包括：
解析所述数据处理请求得到所述数据处理请求对应的第一请求验证码、第二请求验证码和第三请求验证码；其中，所述第一请求验证码、所述第二请求验证码和所述第三请求验证码为不同时段的验证码；
确定出所述第一请求验证码对应的第一验证码生成记录与所述第二请求验证码对应的第二验证码生成记录之间的第一记录特征差异队列以及所述第二请求验证码对应的第二验证码生成记录与所述第三请求验证码对应的第三验证码生成记录之间的第二记录特征差异队列；
针对所述第一请求验证码，以所述第一验证码生成记录为参考记录按照所述第一记录特征差异队列对所述第一请求验证码进行验证码校正得到第四请求验证码；针对所述第二请求验证码，以所述第二验证码生成记录为参考记录按照所述第二记录特征差异队列对所述第二请求验证码进行验证码校正得到第五请求验证码；
分别将所述第一请求验证码和所述第二请求验证码、所述第一请求验证码和所述第四请求验证码、所述第二请求验证码和所述第三请求验证码、以及所述第二请求验证码和所述第五请求验证码进行验证逻辑配对，得到第一配对记录、第二配对记录、第三配对记录和第四配对记录；
确定出所述第一配对记录和所述第二配对记录之间的第一耗时差值以及所述第三配对记录和所述第四配对记录之间的第二耗时差值；
判断所述第一耗时差值和所述第二耗时差值是否均落入预设区间内；若是，则确定所述数据处理请求通过校验；若否，则确定所述数据处理请求没有通过校验。
可选地，所述多组来源数据包括设计来源数据、市场商务来源数据和现场管理来源数据。
第二方面，提供一种基于大数据和装配式建筑平台的数据处理系统，应用于装配式建筑平台，所述系统包括：
数据获取模块，用于周期性地检测是否接收到终端设备上传的数据处理请求；在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验；在所述数据处理请求通过校验时，获取所述终端设备上传的与待装配构件所对应的多组来源数据；其中，所述多组来源数据包括设计来源数据、市场商务来源数据和现场管理来源数据；
数据关联模块，用于对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表；将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联；
数据更新模块，用于在显示所述结果报表的同时监测所述多组来源数据是否存在更新；在所述多组来源数据存在更新时，确定所述多组来源数据对应的更新信息；根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新。
第三方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序在运行时实现第一方面所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果。
首先获取终端设备上传的与待装配构件对应的多组来源数据，其次对多组来源数据进行遍历比对得到比对结果并生成结果报表，然后将比对结果和结果报表关联存储到数据库中并关联比对结果和多组来源数据。如此设计，通过对来源数据、比对结果以及结果报表进行关联，能够减少处理节点的设置，从而减少设备成本和人力成本。此外，能够在显示结果报表时监测到多组来源数据存在更新时根据确定出的更新信息分别对比对结果以及结果报表进行更新。这样一来，能够主动地对来源数据进行更新监测，从而确保数据更新的及时性和同步性，避免数据更新出现滞后而带来的来源数据、比对结果和结果报表之间的数据混乱。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于大数据和装配式建筑平台的数据处理方法的流程图；
图2是根据一示例性实施例示出的一种基于大数据和装配式建筑平台的数据处理系统的框图；
图3是根据一示例性实施例示出的一种装配式建筑平台的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
对于传统的针对某些建筑构件或者部品的数据处理技术而言，发明人进行了研究和分析后发现，传统的技术存在以下两个问题。
（1）需要多个处理节点来串联构件或者部品的整个数据周期，这样会额外增加设备成本和人力成本。
（2）当某个处理节点的数据需要更新时，需要及时地通知其他处理节点进行同步更新，否则会出现数据更新的滞后性，从而导致整个数据周期出现混乱。
为改善这一技术问题，本发明实施例提供了基于大数据和装配式建筑平台的数据处理方法、系统及存储介质，通过关联存储的方式能够减少处理节点的设置，并且能够实现数据的同步更新，从而提高数据处理的智能化程度以及数据处理的效率。
请首先参阅图1，示出了基于大数据和装配式建筑平台的数据处理方法的流程图，所述方法可以应用于装配式建筑平台，所述方法可以包括以下步骤S110-步骤S130所描述的内容。
步骤S110，周期性地检测是否接收到终端设备上传的数据处理请求；在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验；在所述数据处理请求通过校验时，获取所述终端设备上传的与待装配构件所对应的多组来源数据。
步骤S120，对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表；将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联。
步骤S130，在显示所述结果报表的同时监测所述多组来源数据是否存在更新；在所述多组来源数据存在更新时，确定所述多组来源数据对应的更新信息；根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新。
在步骤S110-步骤S130中，多组来源数据包括设计来源数据、市场商务来源数据和现场管理来源数据。比对结果用于表征不同来源数据的一致性。结果报表用于展示比对结果。更新信息通过对终端设备接收到的更新操作进行解析得到。在显示结果报表时，可以通过网页界面进行显示，这样可以提高可视化效果。
可以理解，基于上述步骤S110-步骤S130所描述的内容，首先获取终端设备上传的与待装配构件对应的多组来源数据，其次对多组来源数据进行遍历比对得到比对结果并生成结果报表，然后将比对结果和结果报表关联存储到数据库中并关联比对结果和多组来源数据。如此设计，通过对来源数据、比对结果以及结果报表进行关联，能够减少处理节点的设置，从而减少设备成本和人力成本。此外，能够在显示结果报表时监测到多组来源数据存在更新时根据确定出的更新信息分别对比对结果以及结果报表进行更新。这样一来，能够主动地对来源数据进行更新监测，从而确保数据更新的及时性和同步性，避免数据更新出现滞后而带来的来源数据、比对结果和结果报表之间的数据混乱。
在一个可替换的实施例中，为了确保对数据处理请求进行可靠的校验，步骤S110所描述的在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验，可以包括以下步骤S111-步骤S116所描述的内容。
步骤S111，解析所述数据处理请求得到所述数据处理请求对应的第一请求验证码、第二请求验证码和第三请求验证码；其中，所述第一请求验证码、所述第二请求验证码和所述第三请求验证码为不同时段的验证码。
步骤S112，确定出所述第一请求验证码对应的第一验证码生成记录与所述第二请求验证码对应的第二验证码生成记录之间的第一记录特征差异队列以及所述第二请求验证码对应的第二验证码生成记录与所述第三请求验证码对应的第三验证码生成记录之间的第二记录特征差异队列。
步骤S113，针对所述第一请求验证码，以所述第一验证码生成记录为参考记录按照所述第一记录特征差异队列对所述第一请求验证码进行验证码校正得到第四请求验证码；针对所述第二请求验证码，以所述第二验证码生成记录为参考记录按照所述第二记录特征差异队列对所述第二请求验证码进行验证码校正得到第五请求验证码。
步骤S114，分别将所述第一请求验证码和所述第二请求验证码、所述第一请求验证码和所述第四请求验证码、所述第二请求验证码和所述第三请求验证码、以及所述第二请求验证码和所述第五请求验证码进行验证逻辑配对，得到第一配对记录、第二配对记录、第三配对记录和第四配对记录。
步骤S115，确定出所述第一配对记录和所述第二配对记录之间的第一耗时差值以及所述第三配对记录和所述第四配对记录之间的第二耗时差值。
步骤S116，判断所述第一耗时差值和所述第二耗时差值是否均落入预设区间内；若是，则确定所述数据处理请求通过校验；若否，则确定所述数据处理请求没有通过校验。
如此，可以基于上述步骤S111-步骤S116对数据处理请求进行可靠的校验。
在一个替换的实施例中，步骤S120所描述的对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表，包括：针对所述多组来源数据中的每组第一来源数据，将所述第一来源数据与所述多组来源数据中除所述第一来源数据之外的每个第二来源数据进行对比，得到携带来源标签的比对结果；按照每组第一来源数据对应的来源优先级将所述比对结果进行整合，得到所述结果报表。
在一个替换的实施例中，步骤S120所描述的将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联，包括：将所述比对结果和所述结果报表按照与所述预设数据库对应的数据格式进行转换，得到目标比对结果和目标结果报表；将所述目标比对结果和所述目标结果报表存储到所述预设数据库中并基于所述预设数据库对应的存储路径将所述比对结果与所述结果报表；根据所述来源标签将所述比对结果与对应的来源数据进行关联。
在一个可能的实施例中，为了在监测来源数据是否存在更新时避免对正常调整的流程数据进行误判，步骤S130所描述的在显示所述结果报表的同时监测所述多组来源数据是否存在更新，示例性可以包括以下步骤S131-步骤S135所描述的内容。
步骤S131，提取每组来源数据的在当前周期内的第一数据特征以及在上一周期内的第二数据特征；其中，所述当前周期和所述上一周期根据所述装配式建筑平台的周期性检测线程对应的周期配置数据得到。
步骤S132，在获取到所述第一数据特征与所述第二数据特征之后，获取所述第一数据特征的第一特征分布列表和所述第二数据特征的第二特征分布列表，其中，所述第一数据特征中包括第一特征标签集，所述第二数据特征中包括第二特征标签集。
步骤S133，获取所述第一特征分布列表中的每一个列表单元与所述第二特征分布列表中的每一个列表单元，得到列表单元队列；确定所述列表单元队列中的任意两个列表单元之间的数据相关系数，得到第一相关性记录；将所述第一相关性记录中的小于目标系数的数据相关系数调整为目标系数，得到第二相关性记录；其中，所述目标系数根据所述装配式建筑平台的配置参数得到。
步骤S134，基于所述第二相关性记录确定每组来源数据在相邻两个周期之间的更新监测结果，其中，所述更新监测结果用于指示所述第一特征标签集与所述第二特征标签集为同一特征标签集或者为不同特征标签集。
步骤S135，在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为同一特征标签集时，判定每个来源数据不存在更新；在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为不同特征标签集时，判定每个来源数据存在更新。
在实际应用时，通过实施上述步骤S131-步骤S135所描述的内容，能够对每组来源数据在不同周期下的数据特征进行分析，从而基于相关性分析结果确定出更新监测结果。这样可以通过更新监测结果从特征标签层面实现对来源数据的更新监测。如此，能够在监测来源数据是否存在更新时避免对正常调整的流程数据进行误判。
在上述步骤S131-步骤S135的基础上，在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为不同特征标签集时，所述确定所述多组来源数据对应的更新信息，进一步可以包括以下步骤S1361-1365所描述的内容。
步骤S1361，针对每组来源数据，将该组来源数据确定为待处理来源数据；确定所述待处理来源数据对应的第一特征标签集与所述待处理来源数据对应的第二特征标签集之间的标签差异信息；基于所述标签差异信息生成用于对所述终端设备接收到的更新操作进行解析的脚本数据。
步骤S1362，基于所述脚本数据指示所述终端设备基于操作交互日志进行操作响应的模拟，所述操作交互日志中存在供所述终端设备标记的至少一个日志消息；当所述终端设备的操作交互日志的预设日志集内存在第一日志消息时，检测所述第一日志消息是否记录有第一数据更新标签；所述第一数据更新标签是所述终端设备最近一次未标记所述第一日志消息时记录在所述第一日志消息上的，所述第一数据更新标签是所述终端设备在最近一次未标记时所具有的日志消息的更新轨迹的轨迹更新标签。
步骤S1363，当所述第一日志消息不具有所述第一数据更新标签时，检测所述第一日志消息是否为所述终端设备存在更新触发需求的日志消息；当确定所述第一日志消息是所述终端设备存在更新触发需求的日志消息时，控制所述终端设备标记所述第一日志消息，并根据所述第一日志消息的第一日志文本结构数据更新所述终端设备的第二数据更新标签。
步骤S1364，当所述第一日志消息具有所述第一数据更新标签时，检测所述第一数据更新标签是否与所述终端设备的第二数据更新标签相同，所述第二数据更新标签是所述终端设备当前具有的日志消息的日志文本结构数据的轨迹更新标签；当所述第一数据更新标签与所述终端设备的第二数据更新标签不相同时，确定实现所述第一数据更新标签调整至所述第二数据更新标签过程中的进程文件；根据所述进程文件，获取所述第一数据更新标签中发生变化的第二日志文本结构数据；根据所述第一日志文本结构数据和所述第二日志文本结构数据检测所述第一日志消息是否满足标记的条件；当所述第一日志消息满足标记的条件时，标记所述第一日志消息，并根据所述第一日志文本结构数据更新所述第二数据更新标签。
步骤S1365，基于所标记的日志消息生成所述待处理来源数据的更新信息。
在应用上述步骤S1361-步骤S1365所描述的内容时，能够基于确定出的脚本数据指示终端设备基于操作交互日志进行操作响应的模拟，从而在模拟过程中确定出所标记的日志消息，这样能够避免遗漏一些存在小幅度更新的数据，从而基于日志消息生成待处理来源数据的更新信息。如此，能够确保确定出的更新信息的完整性，避免后续进行数据同步更新时出现遗漏。
更进一步地，步骤S130所描述的根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新，可以通过以下步骤a-步骤d所描述的内容实现。
步骤a，根据所述待处理来源数据的更新信息，从所述比对结果中查询出对应的结果路径信息以及从处于显示状态下的结果报表中定位出对应的显示区域信息。
步骤b，基于所述待处理来源数据的更新信息分别确定所述结果路径信息对应的路径描述特征以及所述显示区域信息对应的区域描述特征，并确定所述路径描述特征和所述区域描述特征分别包括的多个具有不同特征识别关联度的特征单元；提取所述结果路径信息在所述路径描述特征的任一特征单元的第一关联属性记录，将所述区域描述特征中具有最小特征识别关联度的特征单元确定为基准特征单元。
步骤c，根据所述结果路径信息与所述显示区域信息之间的更新时序差异信息将所述第一关联属性记录添加到所述基准特征单元，在所述基准特征单元中得到第二关联属性记录，并根据所述第一关联属性记录和所述第二关联属性记录之间的关联路径的节点差异列表，生成所述结果路径信息和所述显示区域信息之间的信息更新指示清单。
步骤d，以所述第二关联属性记录为目标属性记录在所述基准特征单元中获取待处理属性记录，根据所述信息更新指示清单对应的信息更新优先级，将所述待处理属性记录添加到所述第一关联属性记录所在特征单元，在所述第一关联属性记录所在特征单元中得到所述待处理属性记录对应的待更新属性记录，基于所述待更新属性记录与所述更新信息之间的一致性比较结果分别对所述比对结果以及处于显示状态下的结果报表进行更新。
如此设计，在对结果报表和比对结果进行更新时，能够考虑待更新属性记录与更新信息之间的一致性比较结果，从而在进行数据周期的全流程更新时确保数据更新的同步性和实时性，避免数据更新不同步出现的数据混乱。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
基于上述同样的发明构思，请结合参阅图2，还示出了一种基于大数据和装配式建筑平台的数据处理系统200，应用于装配式建筑平台，所述系统包括：
数据获取模块210，用于周期性地检测是否接收到终端设备上传的数据处理请求；在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验；在所述数据处理请求通过校验时，获取所述终端设备上传的与待装配构件所对应的多组来源数据；其中，所述多组来源数据包括设计来源数据、市场商务来源数据和现场管理来源数据；
数据关联模块220，用于对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表；将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联；
数据更新模块230，用于在显示所述结果报表的同时监测所述多组来源数据是否存在更新；在所述多组来源数据存在更新时，确定所述多组来源数据对应的更新信息；根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新。
在上述基础上，请结合参阅图3，还示出了装配式建筑平台300的硬件结构示意图，所述装配式建筑平台300包括互相之间通信的处理器310和存储器320。其中，所述处理器310通过从所述存储器320中调取计算机程序，并运行所述计算机程序以实现图1所示的方法。
在上述基础上，还提供了一种存储介质，其上存储有计算机程序，所述计算机程序在运行时实现图1所示的方法。
综上，在应用上述公开的技术方案时，首先获取终端设备上传的与待装配构件对应的多组来源数据，其次对多组来源数据进行遍历比对得到比对结果并生成结果报表，然后将比对结果和结果报表关联存储到数据库中并关联比对结果和多组来源数据。如此设计，通过对来源数据、比对结果以及结果报表进行关联，能够减少处理节点的设置，从而减少设备成本和人力成本。此外，能够在显示结果报表时监测到多组来源数据存在更新时根据确定出的更新信息分别对比对结果以及结果报表进行更新。这样一来，能够主动地对来源数据进行更新监测，从而确保数据更新的及时性和同步性，避免数据更新出现滞后而带来的来源数据、比对结果和结果报表之间的数据混乱。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于大数据和装配式建筑平台的数据处理方法，其特征在于，应用于装配式建筑平台，所述方法包括：
周期性地检测是否接收到终端设备上传的数据处理请求；在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验；在所述数据处理请求通过校验时，获取所述终端设备上传的与待装配构件所对应的多组来源数据；
对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表；将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联；
在显示所述结果报表的同时监测所述多组来源数据是否存在更新；在所述多组来源数据存在更新时，确定所述多组来源数据对应的更新信息；根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新。
2.根据权利要求1所述的方法，其特征在于，在显示所述结果报表的同时监测所述多组来源数据是否存在更新，包括：
提取每组来源数据的在当前周期内的第一数据特征以及在上一周期内的第二数据特征；其中，所述当前周期和所述上一周期根据所述装配式建筑平台的周期性检测线程对应的周期配置数据得到；
在获取到所述第一数据特征与所述第二数据特征之后，获取所述第一数据特征的第一特征分布列表和所述第二数据特征的第二特征分布列表，其中，所述第一数据特征中包括第一特征标签集，所述第二数据特征中包括第二特征标签集；
获取所述第一特征分布列表中的每一个列表单元与所述第二特征分布列表中的每一个列表单元，得到列表单元队列；确定所述列表单元队列中的任意两个列表单元之间的数据相关系数，得到第一相关性记录；将所述第一相关性记录中的小于目标系数的数据相关系数调整为目标系数，得到第二相关性记录；其中，所述目标系数根据所述装配式建筑平台的配置参数得到；
基于所述第二相关性记录确定每组来源数据在相邻两个周期之间的更新监测结果，其中，所述更新监测结果用于指示所述第一特征标签集与所述第二特征标签集为同一特征标签集或者为不同特征标签集；
在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为同一特征标签集时，判定每个来源数据不存在更新；在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为不同特征标签集时，判定每个来源数据存在更新。
3.根据权利要求2所述的方法，其特征在于，在所述更新监测结果示所述第一特征标签集与所述第二特征标签集为不同特征标签集时，所述确定所述多组来源数据对应的更新信息，包括：
针对每组来源数据，将该组来源数据确定为待处理来源数据；确定所述待处理来源数据对应的第一特征标签集与所述待处理来源数据对应的第二特征标签集之间的标签差异信息；基于所述标签差异信息生成用于对所述终端设备接收到的更新操作进行解析的脚本数据；
基于所述脚本数据指示所述终端设备基于操作交互日志进行操作响应的模拟，所述操作交互日志中存在供所述终端设备标记的至少一个日志消息；当所述终端设备的操作交互日志的预设日志集内存在第一日志消息时，检测所述第一日志消息是否记录有第一数据更新标签；所述第一数据更新标签是所述终端设备最近一次未标记所述第一日志消息时记录在所述第一日志消息上的，所述第一数据更新标签是所述终端设备在最近一次未标记时所具有的日志消息的更新轨迹的轨迹更新标签；
当所述第一日志消息不具有所述第一数据更新标签时，检测所述第一日志消息是否为所述终端设备存在更新触发需求的日志消息；当确定所述第一日志消息是所述终端设备存在更新触发需求的日志消息时，控制所述终端设备标记所述第一日志消息，并根据所述第一日志消息的第一日志文本结构数据更新所述终端设备的第二数据更新标签；
当所述第一日志消息具有所述第一数据更新标签时，检测所述第一数据更新标签是否与所述终端设备的第二数据更新标签相同，所述第二数据更新标签是所述终端设备当前具有的日志消息的日志文本结构数据的轨迹更新标签；当所述第一数据更新标签与所述终端设备的第二数据更新标签不相同时，确定实现所述第一数据更新标签调整至所述第二数据更新标签过程中的进程文件；根据所述进程文件，获取所述第一数据更新标签中发生变化的第二日志文本结构数据；根据所述第一日志文本结构数据和所述第二日志文本结构数据检测所述第一日志消息是否满足标记的条件；当所述第一日志消息满足标记的条件时，标记所述第一日志消息，并根据所述第一日志文本结构数据更新所述第二数据更新标签；
基于所标记的日志消息生成所述待处理来源数据的更新信息。
4.根据权利要求3所述的方法，其特征在于，根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新，包括：
根据所述待处理来源数据的更新信息，从所述比对结果中查询出对应的结果路径信息以及从处于显示状态下的结果报表中定位出对应的显示区域信息；
基于所述待处理来源数据的更新信息分别确定所述结果路径信息对应的路径描述特征以及所述显示区域信息对应的区域描述特征，并确定所述路径描述特征和所述区域描述特征分别包括的多个具有不同特征识别关联度的特征单元；提取所述结果路径信息在所述路径描述特征的任一特征单元的第一关联属性记录，将所述区域描述特征中具有最小特征识别关联度的特征单元确定为基准特征单元；
根据所述结果路径信息与所述显示区域信息之间的更新时序差异信息将所述第一关联属性记录添加到所述基准特征单元，在所述基准特征单元中得到第二关联属性记录，并根据所述第一关联属性记录和所述第二关联属性记录之间的关联路径的节点差异列表，生成所述结果路径信息和所述显示区域信息之间的信息更新指示清单；
以所述第二关联属性记录为目标属性记录在所述基准特征单元中获取待处理属性记录，根据所述信息更新指示清单对应的信息更新优先级，将所述待处理属性记录添加到所述第一关联属性记录所在特征单元，在所述第一关联属性记录所在特征单元中得到所述待处理属性记录对应的待更新属性记录，基于所述待更新属性记录与所述更新信息之间的一致性比较结果分别对所述比对结果以及处于显示状态下的结果报表进行更新。
5.根据权利要求1所述的方法，其特征在于，对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表，包括：
针对所述多组来源数据中的每组第一来源数据，将所述第一来源数据与所述多组来源数据中除所述第一来源数据之外的每个第二来源数据进行对比，得到携带来源标签的比对结果；
按照每组第一来源数据对应的来源优先级将所述比对结果进行整合，得到所述结果报表。
6.根据权利要求5所述的方法，其特征在于，将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联，包括：
将所述比对结果和所述结果报表按照与所述预设数据库对应的数据格式进行转换，得到目标比对结果和目标结果报表；
将所述目标比对结果和所述目标结果报表存储到所述预设数据库中并基于所述预设数据库对应的存储路径将所述比对结果与所述结果报表；
根据所述来源标签将所述比对结果与对应的来源数据进行关联。
7.根据权利要求1所述的方法，其特征在于，在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验，包括：
解析所述数据处理请求得到所述数据处理请求对应的第一请求验证码、第二请求验证码和第三请求验证码；其中，所述第一请求验证码、所述第二请求验证码和所述第三请求验证码为不同时段的验证码；
确定出所述第一请求验证码对应的第一验证码生成记录与所述第二请求验证码对应的第二验证码生成记录之间的第一记录特征差异队列以及所述第二请求验证码对应的第二验证码生成记录与所述第三请求验证码对应的第三验证码生成记录之间的第二记录特征差异队列；
针对所述第一请求验证码，以所述第一验证码生成记录为参考记录按照所述第一记录特征差异队列对所述第一请求验证码进行验证码校正得到第四请求验证码；针对所述第二请求验证码，以所述第二验证码生成记录为参考记录按照所述第二记录特征差异队列对所述第二请求验证码进行验证码校正得到第五请求验证码；
分别将所述第一请求验证码和所述第二请求验证码、所述第一请求验证码和所述第四请求验证码、所述第二请求验证码和所述第三请求验证码、以及所述第二请求验证码和所述第五请求验证码进行验证逻辑配对，得到第一配对记录、第二配对记录、第三配对记录和第四配对记录；
确定出所述第一配对记录和所述第二配对记录之间的第一耗时差值以及所述第三配对记录和所述第四配对记录之间的第二耗时差值；
判断所述第一耗时差值和所述第二耗时差值是否均落入预设区间内；若是，则确定所述数据处理请求通过校验；若否，则确定所述数据处理请求没有通过校验。
8.根据权利要求1所述的方法，其特征在于，所述多组来源数据包括设计来源数据、市场商务来源数据和现场管理来源数据。
9.一种基于大数据和装配式建筑平台的数据处理系统，其特征在于，应用于装配式建筑平台，所述系统包括：
数据获取模块，用于周期性地检测是否接收到终端设备上传的数据处理请求；在检测到所述终端设备上传的数据处理请求时，对所述数据处理请求进行校验；在所述数据处理请求通过校验时，获取所述终端设备上传的与待装配构件所对应的多组来源数据；其中，所述多组来源数据包括设计来源数据、市场商务来源数据和现场管理来源数据；
数据关联模块，用于对所述多组来源数据进行遍历比对得到比对结果，并基于所述比对结果生成结果报表；将所述比对结果和所述结果报表存储到预设数据库中，并将所述比对结果分别与所述结果报表和所述多组来源数据进行关联；
数据更新模块，用于在显示所述结果报表的同时监测所述多组来源数据是否存在更新；在所述多组来源数据存在更新时，确定所述多组来源数据对应的更新信息；根据所述更新信息分别对所述比对结果以及处于显示状态下的结果报表进行更新。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在运行时实现权利要求1-8任一项所述的方法。
CN202011067556.4A 2020-10-06 2020-10-06 基于大数据和装配式建筑平台的数据处理方法、系统及存储介质 Withdrawn CN112184493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011067556.4A CN112184493A (zh) 2020-10-06 2020-10-06 基于大数据和装配式建筑平台的数据处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011067556.4A CN112184493A (zh) 2020-10-06 2020-10-06 基于大数据和装配式建筑平台的数据处理方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112184493A true CN112184493A (zh) 2021-01-05

Family

ID=73947730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011067556.4A Withdrawn CN112184493A (zh) 2020-10-06 2020-10-06 基于大数据和装配式建筑平台的数据处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112184493A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722208A (zh) * 2021-06-04 2021-11-30 深圳希施玛数据科技有限公司 软件测试报表的项目进度验证方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722208A (zh) * 2021-06-04 2021-11-30 深圳希施玛数据科技有限公司 软件测试报表的项目进度验证方法及装置
CN113722208B (zh) * 2021-06-04 2023-09-05 深圳希施玛数据科技有限公司 软件测试报表的项目进度验证方法及装置

Similar Documents

Publication Publication Date Title
US10649838B2 (en) Automatic correlation of dynamic system events within computing devices
CN111158977B (zh) 一种异常事件根因定位方法及装置
US10540358B2 (en) Telemetry data contextualized across datasets
US10467084B2 (en) Knowledge-based system for diagnosing errors in the execution of an operation
CN113282461B (zh) 传输网的告警识别方法和装置
US20100057667A1 (en) Detection rule-generating facility
CN112528519A (zh) 发动机质量预警服务的方法、系统、可读介质和电子设备
WO2010061735A1 (ja) 検出イベントに応じたアクション実行を支援するシステム、検出イベントに応じたアクション実行を支援する方法、支援装置及びコンピュータプログラム
CN111177714A (zh) 异常行为检测方法、装置、计算机设备和存储介质
US11436133B2 (en) Comparable user interface object identifications
JP6280862B2 (ja) イベント分析システムおよび方法
CN110046155B (zh) 特征数据库的更新、数据特征的确定方法、装置及设备
CN111078513A (zh) 日志处理方法、装置、设备、存储介质及日志告警系统
CN111444075B (zh) 一种自动发现关键影响力指标的方法
CN111078512A (zh) 告警记录生成方法、装置、告警设备及存储介质
CN106980572B (zh) 分布式系统的在线调试方法和系统
CN113297044A (zh) 一种运维风险预警方法及装置
CN113391867B (zh) 基于数字化和可视化的大数据业务处理方法及业务服务器
CN112184493A (zh) 基于大数据和装配式建筑平台的数据处理方法、系统及存储介质
CN110825609B (zh) 服务的测试方法、装置和系统
CN113868216B (zh) 区块链监测方法及装置
CN111309584A (zh) 数据处理方法、装置、电子设备及存储介质
CN112231272B (zh) 基于远程在线办公的信息处理方法及计算机设备
CN114219427B (zh) 一种应对大数据办公的信息安全处理方法及存储介质
CN116595509B (zh) 一种程序白名单构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210513

Address after: Room 310, building 1, Sanqing United Fortune Plaza, 2177 Tianchen Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Jiang Xiaoping

Address before: 510700 self made B040, 5th floor, 2-2, Chengmen street, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou yunmofan Information Technology Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20210105

WW01 Invention patent application withdrawn after publication