CN108959456A - 一种自动恢复补全数据的方法 - Google Patents
一种自动恢复补全数据的方法 Download PDFInfo
- Publication number
- CN108959456A CN108959456A CN201810621371.XA CN201810621371A CN108959456A CN 108959456 A CN108959456 A CN 108959456A CN 201810621371 A CN201810621371 A CN 201810621371A CN 108959456 A CN108959456 A CN 108959456A
- Authority
- CN
- China
- Prior art keywords
- data
- thread
- database
- completion
- written
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明公开了一种自动恢复补全数据的方法,包括:分配第一线程,所述第一线程从调试器中读取待同步的数据;所述第一线程进行数据处理;所述第一线程将处理后的数据写入至第一数据库中;在进行数据转换过程中分配一个并发的第二线程;所述第二线程将处理后的所有数据写入到第二数据库中,并按照时间排序;在转换后的数据写入第一数据库的过程中分配一个并发的第三线程;所述第三线程同步对比转换后的数据与第二数据库中排序后的数据,将缺失的数据进行补全,同时将补全的数据一起写入至第一数据库中。本发明将调试器中去重的数据自动补全恢复,节省了大量的人力物力,方便售后进行机组数据回放。
Description
技术领域
本发明涉及售后电器的数据采集技术,尤其涉及一种自动恢复和补全数据的方法。
背景技术
电器在售出后,厂商可以通过调试器进行数据采集,然后将采集到的数据通过转换后,可以进行机组数据回放以便核查问题和处理售后等。
而调试器的数据是通过u盘存储,存储的数据量比较有限,所以现有技术中调试器存储的数据均为去重后的数据,也就是说,调试器所存储的数据是仅当有数据改变的情况下才记录,当数据没有变化的时候是不会记录的。以此来节约使用的存储空间。
将调试器采集到的数据通过转换虽然可以进行机组数据的回放,但是这种方式下机组数据的回放内容不是连续的,因为收集的数据是去重的数据。若是需要连续回放,在转换时就需要进行关键性的数据补全和恢复,以便能够进行原数据的解析以及回放。现有技术采用的是人工转换,这样需要人工一条机组数据一条机组数据的解析,并自行判断是否有缺帧漏帧,工作量巨大并且效率非常低,对于售后数据分析非常不方便,响应售后也极度缓慢。
发明内容
为了解决现有技术中存在的上述问题,本发明提出一种自动恢复补全数据的方法,包括:
步骤1.1,分配第一线程,所述第一线程从调试器中读取待同步的数据;
步骤1.2,所述第一线程进行数据处理;
步骤1.3,所述第一线程将处理后的数据写入至第一数据库中;
步骤2.1,在进行数据转换过程中分配一个并发的第二线程;
步骤2.2,所述第二线程将处理后的所有数据写入到第二数据库中,并按照时间排序;
步骤2.3,在转换后的数据写入第一数据库的过程中分配一个并发的第三线程;
步骤3.1,所述第三线程同步对比转换后的数据与第二数据库中排序后的数据,将缺失的数据进行补全,同时将补全的数据一起写入至第一数据库中。
在一具体实施例中,所述第一线程通过后台读取记事本的方式获取待同步的数据。所述第一线程在处理完一个记事本的数据之后,判断是否还有其他记事本的数据待处理,若有则返回步骤1.1继续进行处理,否则,关闭线程。
优选的,所述第一数据库为access数据库。所述第二数据库为MySQL数据库。
在一具体应用实施例中,所述待同步的数据为空调机组的运行数据,其数据处理具体指的是将调试器数据转换为机组可回放的数据。除此以外,本方法也可应用在其他需要进行恢复补全的售后电器数据处理过程中。
本发明通过多线程处理的方式自动读取调试器收集的数据,并进行解析处理和补全恢复为完整的原始机组数据,以便后期工作人员能够进行数据的真实回放,真实核查机组出现问题的出处,以便能够快速响应售后处理售后问题,给用户高效率的体验。增强产品竞争力等。
附图说明
下面结合实施例和附图对本发明进行详细说明,其中:
图1是本发明的流程图。
具体实施方式
图1是本发明的一个具体实施例,该实施例对空调机组的售后数据进行了自动补全和恢复,以便售后工作人员根据补全的机组数据进行问题分析和了解。
在实施例中,采用了多个线程的方式来并行处理不同的同步任务。首先通过一个线程采用后台读取记事本的方式读取调试器所收集的数据,从头部开始读取,将正常没有缺失的数据进行解析处理,并存储到access数据库中,该access数据库是用来回放机组数据所需要的数据库。
利用 MySQL数据库轻便、高效且存储安全的特性,分配一个并发的线程在读取过程中将所有的解析的数据存储到MySQL数据库中,在MySQL数据库中按照所有数据的解析的内容进行归类,以时间为单位,一个时间下可能仅出现一台内机的机组数据,或者一个时间下没有任何内机数据,此时仍然会记录该时间点以及有或无的所有数据,以供后续数据恢复提供依据。
然后在正常数据进行解析写入access数据库的过程中,再次运用线程的方式同步运行对比正常数据与MySQL中数据的信息,将缺失的机组数据进行补充和恢复,然后再将这一部分缺失的数据也同时写入到该access数据库中。
写完access数据库之后再判断是否读完了所有的记事本文件,若是没有读完的情况下继续进行读取并且自动转换,若是记事本全部读完后即可结束相应的线程。
本发明通过上述步骤即可将原始调试器的数据补全还原为完整真实的原始的机组数据,使得机组数据能够进行连续地回放,供售后进行机组数据的核查,以便解决售后问题,快速响应售后。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种自动恢复补全数据的方法,其特征在于,包括:
步骤1.1,分配第一线程,所述第一线程从调试器中读取待同步的数据;
步骤1.2,所述第一线程进行数据处理;
步骤1.3,所述第一线程将处理后的数据写入至第一数据库中;
步骤2.1,在进行数据转换过程中分配一个并发的第二线程;
步骤2.2,所述第二线程将处理后的所有数据写入到第二数据库中,并按照时间排序;
步骤2.3,在转换后的数据写入第一数据库的过程中分配一个并发的第三线程;
步骤3.1,所述第三线程同步对比转换后的数据与第二数据库中排序后的数据,将缺失的数据进行补全,同时将补全的数据一起写入至第一数据库中。
2.如权利要求1所述的自动恢复补全数据的方法,其特征在于,所述第一线程通过后台读取记事本的方式获取待同步的数据。
3.如权利要求2所述的自动恢复补全数据的方法,其特征在于,所述第一线程在处理完一个记事本的数据之后,判断是否还有其他记事本的数据待处理,若有则返回步骤1.1继续进行处理,否则,关闭第一线程。
4.如权利要求1所述的自动恢复补全数据的方法,其特征在于,所述第一数据库为access数据库。
5.如权利要求1所述的自动恢复补全数据的方法,其特征在于,所述第二数据库为MySQL数据库。
6.如权利要求1所述的自动恢复补全数据的方法,其特征在于,所述待同步的数据为空调机组的数据。
7.如权利要求6所述的自动恢复补全数据的方法,其特征在于,所述步骤1.2中的数据处理为将调试器内的数据转换为机组可回放的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621371.XA CN108959456B (zh) | 2018-06-15 | 2018-06-15 | 一种自动恢复补全数据的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621371.XA CN108959456B (zh) | 2018-06-15 | 2018-06-15 | 一种自动恢复补全数据的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108959456A true CN108959456A (zh) | 2018-12-07 |
CN108959456B CN108959456B (zh) | 2020-03-06 |
Family
ID=64489107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810621371.XA Active CN108959456B (zh) | 2018-06-15 | 2018-06-15 | 一种自动恢复补全数据的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108959456B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110231909A (zh) * | 2019-05-15 | 2019-09-13 | 广州视源电子科技股份有限公司 | 书写操作的处理方法和装置 |
CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
CN113687819A (zh) * | 2021-09-07 | 2021-11-23 | 广西师范大学 | 一种对环保数据缺失进行补全的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6421688B1 (en) * | 1999-10-20 | 2002-07-16 | Parallel Computers Technology, Inc. | Method and apparatus for database fault tolerance with instant transaction replication using off-the-shelf database servers and low bandwidth networks |
CN103488690A (zh) * | 2013-09-02 | 2014-01-01 | 用友软件股份有限公司 | 数据集成系统和数据集成方法 |
CN104219288A (zh) * | 2014-08-14 | 2014-12-17 | 中国南方电网有限责任公司超高压输电公司 | 基于多线程的分布式数据同步方法及其系统 |
CN104281704A (zh) * | 2014-10-22 | 2015-01-14 | 新华瑞德(北京)网络科技有限公司 | 数据库数据拷贝方法和装置 |
CN107154968A (zh) * | 2017-04-26 | 2017-09-12 | 深圳市优网科技有限公司 | 一种数据处理方法及设备 |
-
2018
- 2018-06-15 CN CN201810621371.XA patent/CN108959456B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6421688B1 (en) * | 1999-10-20 | 2002-07-16 | Parallel Computers Technology, Inc. | Method and apparatus for database fault tolerance with instant transaction replication using off-the-shelf database servers and low bandwidth networks |
CN103488690A (zh) * | 2013-09-02 | 2014-01-01 | 用友软件股份有限公司 | 数据集成系统和数据集成方法 |
CN104219288A (zh) * | 2014-08-14 | 2014-12-17 | 中国南方电网有限责任公司超高压输电公司 | 基于多线程的分布式数据同步方法及其系统 |
CN104281704A (zh) * | 2014-10-22 | 2015-01-14 | 新华瑞德(北京)网络科技有限公司 | 数据库数据拷贝方法和装置 |
CN107154968A (zh) * | 2017-04-26 | 2017-09-12 | 深圳市优网科技有限公司 | 一种数据处理方法及设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110231909A (zh) * | 2019-05-15 | 2019-09-13 | 广州视源电子科技股份有限公司 | 书写操作的处理方法和装置 |
CN113127659A (zh) * | 2019-12-31 | 2021-07-16 | 深圳云天励飞技术有限公司 | 图像数据录入方法、装置、电子设备及存储介质 |
CN113687819A (zh) * | 2021-09-07 | 2021-11-23 | 广西师范大学 | 一种对环保数据缺失进行补全的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108959456B (zh) | 2020-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959456A (zh) | 一种自动恢复补全数据的方法 | |
CN101365994B (zh) | 可编程控制器的外围装置、置换方法和程序 | |
CN107145482A (zh) | 基于人工智能的文章生成方法及装置、设备与可读介质 | |
CN103955530A (zh) | 一种在线重复数据删除系统的数据重建优化方法 | |
CN106682036A (zh) | 一种数据交换系统及其交换方法 | |
CN105022656A (zh) | 虚拟机快照管理方法和装置 | |
CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
CN105740462A (zh) | 一种支持不同环境之间的数据迁移方法 | |
CN105912636A (zh) | 一种基于Map/Reduce的ETL数据处理方法和装置 | |
CN106407442B (zh) | 一种海量文本数据处理方法及装置 | |
CN104199963A (zh) | HBase数据备份恢复的方法和装置 | |
CN109871290A (zh) | 应用于Java的调用堆栈追踪方法、装置和存储介质 | |
CN105653546B (zh) | 一种目标主题的检索方法和系统 | |
CN110134646B (zh) | 知识平台服务数据存储与集成方法及系统 | |
CN105373339B (zh) | 一种硬盘数据的拷贝方法及系统 | |
CN102841822B (zh) | 对jobTracker主机进行宕机保护的方法和系统 | |
CN110442371A (zh) | 一种发布代码的方法、装置、介质及计算机设备 | |
CN106156076B (zh) | 数据处理的方法和系统 | |
CN101848274A (zh) | 移动终端中记录备份的方法和装置、及恢复的方法和装置 | |
CN106991314A (zh) | 一种数据存储方法及装置 | |
CN111159117B (zh) | 一种低开销的文件操作日志采集方法 | |
CN109445974A (zh) | 一种希捷硬盘修复方法 | |
CN104298570A (zh) | 数据处理方法和装置 | |
CN109491679B (zh) | 一种cpld在线升级方法及装置 | |
CN116501259A (zh) | 磁盘组双活同步方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |