CN114817410B - 业务数据处理方法、装置、设备及存储介质 - Google Patents

业务数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114817410B
CN114817410B CN202210716505.2A CN202210716505A CN114817410B CN 114817410 B CN114817410 B CN 114817410B CN 202210716505 A CN202210716505 A CN 202210716505A CN 114817410 B CN114817410 B CN 114817410B
Authority
CN
China
Prior art keywords
data
record
target data
target
records
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210716505.2A
Other languages
English (en)
Other versions
CN114817410A (zh
Inventor
肖罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjian Intelligent Control Shenzhen Technology Co ltd
Original Assignee
Xinjian Intelligent Control Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjian Intelligent Control Shenzhen Technology Co ltd filed Critical Xinjian Intelligent Control Shenzhen Technology Co ltd
Priority to CN202210716505.2A priority Critical patent/CN114817410B/zh
Publication of CN114817410A publication Critical patent/CN114817410A/zh
Application granted granted Critical
Publication of CN114817410B publication Critical patent/CN114817410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及基架运维领域,公开了一种业务数据处理方法、装置、设备及存储介质,用于提高业务数据处理的效率。所述业务数据处理方法包括:接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。

Description

业务数据处理方法、装置、设备及存储介质
技术领域
本发明涉及基架运维领域,尤其涉及一种业务数据处理方法、装置、设备及存储介质。
背景技术
在目前的工业产线的自动化质检环境下,生产数据的采集、生产数据的管理、设备数据的采集、设备数据的采集等环节都需要人工介入,造成效率低下、响应不及时。例如在生产状况的异常检测方面,往往在生产厂商结束了一天或一个班次之后,对生产产品的剔除统计、人工抽检等情况下再进行反馈。此时再进行生产数据采集、算法改进、部署,容易造成生产厂商的损失扩大。
现有方案中的数据处理环节需要人为介入,通过人工方式对数据进行采集和处理,造成了数据处理的效率低。
发明内容
本发明提供了一种业务数据处理方法、装置、设备及存储介质,用于提高业务数据处理的效率。
本发明第一方面提供了一种业务数据处理方法,所述业务数据处理方法包括:接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。
可选的,在本发明第一方面的第一种实现方式中,所述根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录,包括:根据所述目标数据监测所述数据库中的临时增量表,并根据所述临时增量表生成数据增添记录,其中,所述临时增量表中记录增量变化的数据;爬取所述数据库中的操作删除日志,并根据所述操作删除日志确定数据删除记录。
可选的,在本发明第一方面的第二种实现方式中,所述根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令,包括:提取预置字段数据库中与所述目标数据具有相同字段信息的候选数据增添记录和候选数据删除记录;按照时间顺序对所述候选数据增添记录和所述候选数据删除记录进行排序,得到排序结果;将所述排序结果中排名第一的所述候选数据增添记录和所述候选数据删除记录作为目标数据增添记录和目标数据删除记录;根据所述目标数据增添记录和所述目标数据删除记录分别生成数据同步命令和数据检测命令。
可选的,在本发明第一方面的第三种实现方式中,所述若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果,包括:若不存在,则将所述数据检测命令写入消息队列;读取所述数据检测命令并根据所述数据检测命令按照预设的监控指标对所述目标数据进行检测;若所述目标数据中的监控指标异常,则确定检测结果为异常,并根据所述目标数据生成告警信息;若所述目标数据中的监控指标正常,则将所述目标数据存储至所述数据库中。
可选的,在本发明第一方面的第四种实现方式中,所述业务数据处理方法还包括:将所述告警信息传输至预置的可视化终端进行可视化展示;在所述数据库中查询所述目标数据对应的异常节点;基于所述异常节点对所述目标数据进行数据记录删除处理。
本发明第二方面提供了一种业务数据处理装置,所述业务数据处理装置包括:接收模块,用于接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;匹配模块,用于根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;生成模块,用于根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;同步模块,用于根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;处理模块,用于若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。
可选的,在本发明第二方面的第一种实现方式中,所述匹配模块具体用于:根据所述目标数据监测所述数据库中的临时增量表,并根据所述临时增量表生成数据增添记录,其中,所述临时增量表中记录增量变化的数据;爬取所述数据库中的操作删除日志,并根据所述操作删除日志确定数据删除记录。
可选的,在本发明第二方面的第二种实现方式中,所述生成模块具体用于:提取预置字段数据库中与所述目标数据具有相同字段信息的候选数据增添记录和候选数据删除记录;按照时间顺序对所述候选数据增添记录和所述候选数据删除记录进行排序,得到排序结果;将所述排序结果中排名第一的所述候选数据增添记录和所述候选数据删除记录作为目标数据增添记录和目标数据删除记录;根据所述目标数据增添记录和所述目标数据删除记录分别生成数据同步命令和数据检测命令。
可选的,在本发明第二方面的第三种实现方式中,所述处理模块具体用于:若不存在,则将所述数据检测命令写入消息队列;读取所述数据检测命令并根据所述数据检测命令按照预设的监控指标对所述目标数据进行检测;若所述目标数据中的监控指标异常,则确定检测结果为异常,并根据所述目标数据生成告警信息;若所述目标数据中的监控指标正常,则将所述目标数据存储至所述数据库中。
可选的,在本发明第二方面的第四种实现方式中,所述业务数据处理装置还包括:可视化模块,用于将所述告警信息传输至预置的可视化终端进行可视化展示;在所述数据库中查询所述目标数据对应的异常节点;基于所述异常节点对所述目标数据进行数据记录删除处理。
本发明第三方面提供了一种业务数据处理设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述业务数据处理设备执行上述的业务数据处理方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的业务数据处理方法。
本发明提供的技术方案中,接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。本发明通过对数据获取和监控过程的自动化处理,有效提高了业务数据处理的效率。
附图说明
图1为本发明实施例中业务数据处理方法的一个实施例示意图;
图2为本发明实施例中业务数据处理装置的一个实施例示意图;
图3为本发明实施例中业务数据处理装置的另一个实施例示意图;
图4为本发明实施例中业务数据处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种业务数据处理方法、装置、设备及存储介质,用于提高业务数据处理的效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中业务数据处理方法的一个实施例包括:
101、接收终端发送的数据获取请求,并根据数据获取请求确定目标数据;
可以理解的是,本发明的执行主体可以为业务数据处理装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器通过工业产线多协议云端数据采集平台接收终端发送的数据获取请求,并根据数据获取请求确定目标数据,其中,该数据获取请求中包括数据标识,服务器根据该数据标识获取目标数据。
102、根据目标数据匹配数据操作记录,并提取数据操作记录中的数据增添记录和数据删除记录;
具体的,服务器获取数据库中的所有数据增添记录和数据删除记录,服务器对数据增添记录和数据删除记录进行过滤筛选,去掉不需要执行数据同步操作的中间数据,服务器去除中间过程的数据增添记录和中间过程的数据删除记录,服务器根据目标数据对应的监测数据库中的临时增量表,并根据临时增量表生成数据增添记录,其中,临时增量表中记录增量变化的数据;服务器爬取数据库中的操作删除日志,并根据操作删除日志确定数据删除记录,该操作删除日志中根据时间序列记录下每一个数据删除记录。
103、根据数据增添记录生成数据同步命令,并根据数据删除记录生成数据检测命令;
需要说明的是,具有相同字段信息,指的是服务器中具有相同操作对象的数据记录。服务器提取预置字段数据库中与目标数据具有相同字段信息的候选数据增添记录和候选数据删除记录;服务器按照时间顺序对候选数据增添记录和候选数据删除记录进行排序,得到排序结果;服务器将排序结果中排名第一的候选数据增添记录和候选数据删除记录作为目标数据增添记录和目标数据删除记录;服务器根据目标数据增添记录和目标数据删除记录分别生成数据同步命令和数据检测命令。
104、根据数据同步命令将目标数据同步至预置数据库,并查询数据库中是否存在目标数据的数据标识记录;
具体的,服务器首先向调度服务器发起数据同步命令,调度服务器接收到数据同步命令后,执行增量数据同步操作。数据同步命令是触发数据同步操作的指令,该数据同步命令一般是基于规定的时间点触发。数据同步是将源数据库服务器中的数据迁移到预置数据库服务器,以实现源数据库和预置数据库中的数据同步。数据同步命令具体可用于指定待同步的数据、数据同步的节点时间或数据同步的方式等。进一步地,数据同步命令用于指示将某特定源数据库中的数据同步到大数据平台的预置数据库。具体的,调度服务器将源数据库中的增量数据进行抽取后迁移到预置数据库。增量数据的抽取可以采用现有的数据同步工具实现。其中,触发器方式是指在要抽取的表上建立触发器,例如建立插入、修改两个触发器,服务器当源数据库的数据表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从该临时表中抽取数据并迁移至预置数据库。
105、若不存在,则根据数据检测命令对目标数据进行数据安全检测,生成检测结果。
具体的,服务器在获取了表征被删除的数据记录信息的操作删除日志的基础上,调度服务器根据被删除的数据记录信息从预置数据库中逐条删除相应数据记录。服务器若不存在,则将数据检测命令写入消息队列;服务器读取数据检测命令并根据数据检测命令按照预设的监控指标对目标数据进行检测;服务器若目标数据中的监控指标异常,则确定检测结果为异常,并根据目标数据生成告警信息;服务器若目标数据中的监控指标正常,则将目标数据存储至数据库中。服务器采集监控指标数据和性能指标数据,上传到数据库上,从时序数据库上获取数据,生成展示的告警信息。服务器可以实时分析产线的生产状况,以及趋势。服务周期性地对需要监控告警的指标进行评估,如果指标触发了告警,则会通过调用服务通知到预置的终端上这也有效提升了响应速度,提高了处理效率。
可选的,服务器将告警信息传输至预置的可视化终端进行可视化展示;服务器在数据库中查询目标数据对应的异常节点;服务器基于异常节点对目标数据进行数据记录删除处理。服务器在完成数据删除记录的同步之后,调度服务器中可以增加一条上次同步时间记录,以便在下次执行数据同步命令时,直接对自上次同步时间之后的数据记录进行同步,避免对于已经进行过同步的数据进行重复同步操作,提高数据同步的效率。
本发明实施例中,接收终端发送的数据获取请求,并根据数据获取请求确定目标数据;根据目标数据匹配数据操作记录,并提取数据操作记录中的数据增添记录和数据删除记录;根据数据增添记录生成数据同步命令,并根据数据删除记录生成数据检测命令;根据数据同步命令将目标数据同步至预置数据库,并查询数据库中是否存在目标数据的数据标识记录;若不存在,则根据数据检测命令对目标数据进行数据安全检测,生成检测结果。本发明通过对数据获取和监控过程的自动化处理,有效提高了业务数据处理的效率。
上面对本发明实施例中业务数据处理方法进行了描述,下面对本发明实施例中业务数据处理装置进行描述,请参阅图2,本发明实施例中业务数据处理装置的一个实施例包括:
接收模块201,用于接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;
匹配模块202,用于根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;
生成模块203,用于根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;
同步模块204,用于根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;
处理模块205,用于若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。
本发明实施例中,接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。本发明通过对数据获取和监控过程的自动化处理,有效提高了业务数据处理的效率。
请参阅图3,本发明实施例中业务数据处理装置的另一个实施例包括:
接收模块201,用于接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;
匹配模块202,用于根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;
生成模块203,用于根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;
同步模块204,用于根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;
处理模块205,用于若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。
可选的,匹配模块202具体用于:根据所述目标数据监测所述数据库中的临时增量表,并根据所述临时增量表生成数据增添记录,其中,所述临时增量表中记录增量变化的数据;爬取所述数据库中的操作删除日志,并根据所述操作删除日志确定数据删除记录。
可选的,生成模块203具体用于:提取预置字段数据库中与所述目标数据具有相同字段信息的候选数据增添记录和候选数据删除记录;按照时间顺序对所述候选数据增添记录和所述候选数据删除记录进行排序,得到排序结果;将所述排序结果中排名第一的所述候选数据增添记录和所述候选数据删除记录作为目标数据增添记录和目标数据删除记录;根据所述目标数据增添记录和所述目标数据删除记录分别生成数据同步命令和数据检测命令。
可选的,处理模块205具体用于:若不存在,则将所述数据检测命令写入消息队列;读取所述数据检测命令并根据所述数据检测命令按照预设的监控指标对所述目标数据进行检测;若所述目标数据中的监控指标异常,则确定检测结果为异常,并根据所述目标数据生成告警信息;若所述目标数据中的监控指标正常,则将所述目标数据存储至所述数据库中。
可选的,业务数据处理装置还包括:可视化模块206,用于将所述告警信息传输至预置的可视化终端进行可视化展示;在所述数据库中查询所述目标数据对应的异常节点;基于所述异常节点对所述目标数据进行数据记录删除处理。
本发明实施例中,接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令;根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果。本发明通过对数据获取和监控过程的自动化处理,有效提高了业务数据处理的效率。
上面图2和图3从模块化功能实体的角度对本发明实施例中的业务数据处理装置进行详细描述,下面从硬件处理的角度对本发明实施例中业务数据处理设备进行详细描述。
图4是本发明实施例提供的一种业务数据处理设备的结构示意图,该业务数据处理设备400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)410(例如,一个或一个以上处理器)和存储器420,一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中,存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对业务数据处理设备400中的一系列指令操作。更进一步地,处理器410可以设置为与存储介质430通信,在业务数据处理设备400上执行存储介质430中的一系列指令操作。
业务数据处理设备400还可以包括一个或一个以上电源440,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口460,和/或,一个或一个以上操作系统431,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图4示出的业务数据处理设备结构并不构成对业务数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种业务数据处理设备,所述业务数据处理设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述业务数据处理方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述业务数据处理方法的步骤。
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种业务数据处理方法,其特征在于,所述业务数据处理方法包括:
接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;具体的,通过工业产线多协议云端数据采集平台接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据,其中,所述数据获取请求中包括数据标识,根据所述数据标识获取目标数据;
根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;
根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令,其中,所述数据同步命令用于指定待同步的数据、数据同步的节点时间或数据同步的方式,以及将预置特定源数据库中的数据同步到预置数据库;
根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;
若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果;其中,所述若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果,包括:若不存在,则将所述数据检测命令写入消息队列;读取所述数据检测命令并根据所述数据检测命令按照预设的监控指标对所述目标数据进行检测;若所述目标数据中的监控指标异常,则确定检测结果为异常,并根据所述目标数据生成告警信息;若所述目标数据中的监控指标正常,则将所述目标数据存储至所述数据库中;其中,所述业务数据处理方法还包括:将所述告警信息传输至预置的可视化终端进行可视化展示;在所述数据库中查询所述目标数据对应的异常节点;基于所述异常节点对所述目标数据进行数据记录删除处理。
2.根据权利要求1所述的业务数据处理方法,其特征在于,所述根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录,包括:
根据所述目标数据监测所述数据库中的临时增量表,并根据所述临时增量表生成数据增添记录,其中,所述临时增量表中记录增量变化的数据;
爬取所述数据库中的操作删除日志,并根据所述操作删除日志确定数据删除记录。
3.根据权利要求1所述的业务数据处理方法,其特征在于,所述根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令,包括:
提取预置字段数据库中与所述目标数据具有相同字段信息的候选数据增添记录和候选数据删除记录;
按照时间顺序对所述候选数据增添记录和所述候选数据删除记录进行排序,得到排序结果;
将所述排序结果中排名第一的所述候选数据增添记录和所述候选数据删除记录作为目标数据增添记录和目标数据删除记录;
根据所述目标数据增添记录和所述目标数据删除记录分别生成数据同步命令和数据检测命令。
4.一种业务数据处理装置,其特征在于,所述业务数据处理装置包括:
接收模块,用于接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据;具体的,通过工业产线多协议云端数据采集平台接收终端发送的数据获取请求,并根据所述数据获取请求确定目标数据,其中,所述数据获取请求中包括数据标识,根据所述数据标识获取目标数据;
匹配模块,用于根据所述目标数据匹配数据操作记录,并提取所述数据操作记录中的数据增添记录和数据删除记录;
生成模块,用于根据所述数据增添记录生成数据同步命令,并根据所述数据删除记录生成数据检测命令,其中,所述数据同步命令用于指定待同步的数据、数据同步的节点时间或数据同步的方式,以及将预置特定源数据库中的数据同步到预置数据库;
同步模块,用于根据所述数据同步命令将所述目标数据同步至预置数据库,并查询所述数据库中是否存在所述目标数据的数据标识记录;
处理模块,用于若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果;其中,所述若不存在,则根据所述数据检测命令对所述目标数据进行数据安全检测,生成检测结果,包括:若不存在,则将所述数据检测命令写入消息队列;读取所述数据检测命令并根据所述数据检测命令按照预设的监控指标对所述目标数据进行检测;若所述目标数据中的监控指标异常,则确定检测结果为异常,并根据所述目标数据生成告警信息;若所述目标数据中的监控指标正常,则将所述目标数据存储至所述数据库中;其中,所述业务数据处理方法还包括:将所述告警信息传输至预置的可视化终端进行可视化展示;在所述数据库中查询所述目标数据对应的异常节点;基于所述异常节点对所述目标数据进行数据记录删除处理。
5.根据权利要求4所述的业务数据处理装置,其特征在于,所述匹配模块具体用于:
根据所述目标数据监测所述数据库中的临时增量表,并根据所述临时增量表生成数据增添记录,其中,所述临时增量表中记录增量变化的数据;
爬取所述数据库中的操作删除日志,并根据所述操作删除日志确定数据删除记录。
6.根据权利要求5所述的业务数据处理装置,其特征在于,所述生成模块具体用于:
提取预置字段数据库中与所述目标数据具有相同字段信息的候选数据增添记录和候选数据删除记录;
按照时间顺序对所述候选数据增添记录和所述候选数据删除记录进行排序,得到排序结果;
将所述排序结果中排名第一的所述候选数据增添记录和所述候选数据删除记录作为目标数据增添记录和目标数据删除记录;
根据所述目标数据增添记录和所述目标数据删除记录分别生成数据同步命令和数据检测命令。
7.一种业务数据处理设备,其特征在于,所述业务数据处理设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述业务数据处理设备执行如权利要求1-3中任一项所述的业务数据处理方法。
8.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-3中任一项所述的业务数据处理方法。
CN202210716505.2A 2022-06-23 2022-06-23 业务数据处理方法、装置、设备及存储介质 Active CN114817410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210716505.2A CN114817410B (zh) 2022-06-23 2022-06-23 业务数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210716505.2A CN114817410B (zh) 2022-06-23 2022-06-23 业务数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114817410A CN114817410A (zh) 2022-07-29
CN114817410B true CN114817410B (zh) 2022-09-13

Family

ID=82521339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210716505.2A Active CN114817410B (zh) 2022-06-23 2022-06-23 业务数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114817410B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103315A1 (zh) * 2016-12-09 2018-06-14 上海壹账通金融科技有限公司 监控数据的处理方法、装置、服务器及存储设备
CN110716832A (zh) * 2019-09-24 2020-01-21 腾讯科技(深圳)有限公司 业务运行的监控告警方法、系统、电子设备及存储介质
CN112256796A (zh) * 2020-10-26 2021-01-22 首都信息发展股份有限公司 异构数据实时同步系统及装置
CN113190415A (zh) * 2021-05-27 2021-07-30 北京京东拓先科技有限公司 互联网医院系统监控方法、设备、存储介质及程序产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453314B1 (en) * 1999-07-30 2002-09-17 International Business Machines Corporation System and method for selective incremental deferred constraint processing after bulk loading data
US10133500B2 (en) * 2013-03-06 2018-11-20 Ab Initio Technology Llc Managing operations on stored data units
CN110321383A (zh) * 2019-05-20 2019-10-11 平安普惠企业管理有限公司 大数据平台数据同步方法、装置、计算机设备及存储介质
CN112307124A (zh) * 2020-11-03 2021-02-02 平安普惠企业管理有限公司 数据库同步验证方法、装置、设备及存储介质
CN112463450B (zh) * 2020-11-27 2023-12-22 北京浪潮数据技术有限公司 一种增量备份管理方法、系统、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103315A1 (zh) * 2016-12-09 2018-06-14 上海壹账通金融科技有限公司 监控数据的处理方法、装置、服务器及存储设备
CN110716832A (zh) * 2019-09-24 2020-01-21 腾讯科技(深圳)有限公司 业务运行的监控告警方法、系统、电子设备及存储介质
CN112256796A (zh) * 2020-10-26 2021-01-22 首都信息发展股份有限公司 异构数据实时同步系统及装置
CN113190415A (zh) * 2021-05-27 2021-07-30 北京京东拓先科技有限公司 互联网医院系统监控方法、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN114817410A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN112612675B (zh) 微服务架构下的分布式大数据日志链路跟踪方法及系统
CN107040578B (zh) 数据同步方法、装置和系统
JP4458493B2 (ja) ログ通知条件定義支援装置とログ監視システムおよびプログラムとログ通知条件定義支援方法
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN112711520A (zh) 异常日志信息的处理方法、装置、设备及存储介质
CN109634970A (zh) 表数据同步方法、设备、存储介质及装置
CN113242159B (zh) 应用访问关系确定方法及装置
CN112968815B (zh) 一种断网续传的实现方法
CN112711496A (zh) 日志信息全链路追踪方法、装置、计算机设备和存储介质
JP6198224B2 (ja) 情報収集システム、情報収集方法、及び情報収集プログラム
CN107807969A (zh) 用于电厂的新的时间序列数据存储方法
CN115150252A (zh) 一种网络故障检测方法、系统及设备
CN114817410B (zh) 业务数据处理方法、装置、设备及存储介质
CN108228417A (zh) 车联网日志处理方法及处理装置
JP5012999B2 (ja) 保守業務支援プログラム、保守業務支援方法および保守業務支援装置
CN115017235B (zh) 数据同步方法及电子设备、存储介质
CN110765089A (zh) 一种分布式设备及其日志记录方法、装置和存储介质
CN112685370B (zh) 一种日志采集方法、装置、设备和介质
JP6527442B2 (ja) ネットワーク監視装置およびネットワーク監視方法
CN110995500A (zh) 节点日志管控方法、系统及相关组件
CN112000442A (zh) 一种基于kubernetes平台的集群状态自动获取方法及装置
CN111581001A (zh) 一种大数据集群的运行维护方法及装置
CN110597892A (zh) 一种服务器产品资产信息追溯系统及方法
CN115348185B (zh) 一种分布式查询引擎的控制方法及其控制装置
CN113282660B (zh) 集群内数据的同步方法及系统、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant