CN108255906B - 数据补录方法及装置 - Google Patents

数据补录方法及装置 Download PDF

Info

Publication number
CN108255906B
CN108255906B CN201710309466.3A CN201710309466A CN108255906B CN 108255906 B CN108255906 B CN 108255906B CN 201710309466 A CN201710309466 A CN 201710309466A CN 108255906 B CN108255906 B CN 108255906B
Authority
CN
China
Prior art keywords
data
library
data processing
thread
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710309466.3A
Other languages
English (en)
Other versions
CN108255906A (zh
Inventor
耿瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710309466.3A priority Critical patent/CN108255906B/zh
Priority to PCT/CN2018/082421 priority patent/WO2018201859A1/zh
Publication of CN108255906A publication Critical patent/CN108255906A/zh
Application granted granted Critical
Publication of CN108255906B publication Critical patent/CN108255906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及数据补录方法,包括:当到达预设时间节点时,获取生产库的数据处理状态;根据所述数据处理状态获取所述生产库中未处理完成的数据标识;在开发库中根据所述数据标识生成补录数据;将所述补录数据从所述开发库拷贝至所述生产库,并通过所述生产库处理所述补录数据。上述数据补录方法及装置,可以降低生产库补录数据的风险,并提高数据补录的效率。

Description

数据补录方法及装置
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据补录方法及装置。
背景技术
服务器用于响应服务请求,并进行相应的处理,当服务器响应的服务请求较多时,则需要处理大批量的数据。服务器中的生产库是业务实际使用的数据库,用于存储生产环境中使用或产生的数据,当在生产库进行大批量的数据处理时,若在指定时间节点生产库未执行完成预定的任务,可能会造成数据大量缺失。若生产库中的数据缺失,则需要对缺失的数据进行补录处理。在传统的方式中,一般直接在生产库中进行数据补录,由于生产库是业务实际使用的数据库,直接在生产库中进行数据补录可能导致生产环境中业务数据出错,风险较高。
发明内容
本发明实施例提供一种数据补录方法及装置,可以降低生产库补录数据的风险,并提高数据补录的效率。
一种数据补录方法,包括:
当到达预设时间节点时,获取生产库的数据处理状态;
根据所述数据处理状态获取所述生产库中未处理完成的数据标识;
在开发库中根据所述数据标识生成补录数据;
将所述补录数据从所述开发库拷贝至所述生产库,并通过所述生产库处理所述补录数据。
在其中一个实施例中,所述当到达预设时间节点时,获取生产库的数据处理状态,包括:
当到达预设时间节点时,获取生产库中与所述预设时间节点匹配的线程标识;
根据所述线程标识分别查找进行数据处理的各个线程的数据处理记录表;
对所述数据处理记录表中存储的各条数据处理记录进行扫描,并获取所述各条数据处理记录中的数据处理状态。
在其中一个实施例中,所述根据所述数据处理状态获取所述生产库中未处理完成的数据标识,包括:
对所述各条数据处理记录中的标志位进行检测;
当数据处理记录的标志位为预设标志位时,则获取标志位为预设标志位的数据处理记录中的数据标识。
在其中一个实施例中,在所述在开发库中根据所述数据标识生成补录数据之前,所述方法还包括:
获取包含所述未处理完成的数据标识的线程对应的线程标识;
根据所述对应的线程标识查询线程记录表,判断所述包含未处理完成的数据标识的线程是否包含补执行操作;
若不包含,则执行所述在开发库中根据所述数据标识生成补录数据的步骤。
在其中一个实施例中,在所述根据所述数据处理状态获取所述生产库中未处理完成的数据标识之后,所述方法还包括:
根据所述未处理完成的数据标识构建数据生成脚本;
将所述数据生成脚本提交至所述生产库,以使所述生产库执行所述数据生成脚本以生成补录数据,并对所述补录数据进行处理。
一种数据补录装置,包括:
状态获取模块,用于当到达预设时间节点时,获取生产库的数据处理状态;
数据标识获取模块,用于根据所述数据处理状态获取所述生产库中未处理完成的数据标识;
生成模块,用于在开发库中根据所述数据标识生成补录数据;
拷贝模块,用于将所述补录数据从所述开发库拷贝至所述生产库,并通过所述生产库处理所述补录数据。
在其中一个实施例中,所述状态获取模块,包括:
线程标识获取单元,用于当到达预设时间节点时,获取生产库中与所述预设时间节点匹配的线程标识;
查找单元,用于根据所述线程标识分别查找进行数据处理的各个线程的数据处理记录表;
扫描单元,用于对所述数据处理记录表中存储的各条数据处理记录进行扫描,并获取所述各条数据处理记录中的数据处理状态。
在其中一个实施例中,所述数据标识获取模块,包括:
检测单元,用于对所述各条数据处理记录中的标志位进行检测;
数据标识获取单元,用于当数据处理记录的标志位为预设标志位时,则获取标志位为预设标志位的数据处理记录中的数据标识。
在其中一个实施例中,所述装置还包括:
线程标识获取模块,用于获取包含所述未处理完成的数据标识的线程对应的线程标识;
判断模块,用于根据所述对应的线程标识查询线程记录表,判断所述包含未处理完成的数据标识的线程是否包含补执行操作;
所述生成模块,还用于若所述包含未处理完成的数据标识的线程不包含补执行操作,则在开发库中根据所述数据标识生成补录数据。
在其中一个实施例中,所述装置还包括:
构建模块,用于根据所述未处理完成的数据标识构建数据生成脚本;
提交模块,用于将所述数据生成脚本提交至所述生产库,以使所述生产库执行所述数据生成脚本以生成补录数据,并对所述补录数据进行处理。
上述数据补录方法及装置,当到达预设时间节点时,获取生产库的数据处理状态,根据数据处理状态获取生产库中未处理完成的数据标识,在开发库中根据数据标识生成补录数据,并将补录数据从开发库拷贝至生产库,通过生产库处理补录数据,在开发库中生成补录数据再拷贝至生产库中,可以降低生产库补录数据的风险,并提高数据补录的效率。
附图说明
图1为一个实施例中数据补录方法的应用场景图;
图2为一个实施例中服务器的框图;
图3为一个实施例中数据补录方法的流程示意图;
图4为一个实施例中获取生产库的数据处理状态的流程示意图;
图5为一个实施例中获取生产库未处理完成的数据标识的流程示意图;
图6为一个实施例中检测是否有补执行操作的流程示意图;
图7为一个实施例中生成补录数据的流程示意图;
图8为一个实施例中数据补录装置的结构示意图;
图9为一个实施例中状态获取模块的内部结构示意图;
图10为一个实施例中数据标识获取模块的内部结构示意图;
图11为另一个实施例中数据补录装置的结构示意图;
图12为又一个实施例中数据补录装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中数据补录方法的应用场景图。如图1所示,该应用场景可包括生产库10及开发库20。当到达预设节点时,获取生产库10的数据处理状态,根据数据处理状态获取生产库10中未处理完成的数据标识。在开发库20中根据获取的生产库10中未处理完成的数据标识生成补录数据,并将补录数据从开发库20拷贝至生产库10,并通过生产库10处理补录数据。
图2为一个实施例中服务器的框图。如图2所示,该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该服务器的非易失性存储介质存储有操作系统、数据库和计算机可执行指令。数据库可包括生产库、测试库及开发库等,其中,生产库指的是生产数据库,生产库是业务实际使用中的数据库,当服务器对外提供服务时,客户可通过访问、操作生产库中的数据获取所需的业务服务;测试库指的是测试数据库,是测试人员进行测试时所使用的数据库,测试库中的数据环境基本与生产库保持一致,测试库中的数据也与生产库同步;开发库指的是开发数据库,开发库是开发环境中的数据库,程序开发人员可使用开发库开发新的服务、应用功能等。该计算机可执行指令用于实现本申请实施例中提供的适用于服务器的一种数据补录方法。该服务器的处理器用于提供计算和控制能力,支撑整个服务器的运行。该服务器的内存储器为非易失性存储介质中的操作系统和计算机可执行指令提供高速缓存的运行环境。该服务器的网络接口用于据以与其它的计算机设备进行通信,比如接收生成的补录数据等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体地服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,在一个实施例中,提供了一种数据补录方法,包括以下步骤:
步骤S310,当到达预设时间节点时,获取生产库的数据处理状态。
服务器中可设置有生产库、测试库及开发库,可预先设置生产库、测试库及开发库之间的对应关系,生产库可同时对应一个或多个测试库,并同时对应一个或多个开发库,可将生产库与对应的测试库、开发库等存储在关系对应表中,关系对应表中可存储有生产库标识及对应的测试库标识、开发库标识等。关系对应表中存储的数据库标识可以是数据库的编号或名称等,数据库标识可由数字、字母及符号等中的一种或多种组成。可按照生产库、测试库及开发库的对应关系,对生产库、测试库及开发库分别进行命名,例如,生产库的名称为DB,对应的测试库名称可为DB_1、DB_2等,对应的开发库名称可为DB-1、DB-2等,但不限于此,按照对应关系进行命名,方便快速查找到生产库对应的测试库及开发库并进行使用。
数据管理员可通过终端预先向服务器上传数据处理任务,数据处理任务中可包括生产库标识、数据标识、处理方式、起始时间及结束时间等信息,其中,数据标识可为数据在数据库中的key(主键)值,根据数据标识可在数据库中查询得到需要进行处理的数据。服务器可根据数据处理任务,根据生产库标识获取对应的测试库标识,并在与测试库标识匹配的测试库中获取与数据标识对应的数据,并放入生产库中。在起始时间时,在生产库中按照处理方式对获取的数据进行处理,并在结束时间停止处理。预设时间节点指的是数据处理任务中的结束时间,当到达预设时间节点时,则说明生产库已结束数据处理,服务器可从进行数据处理的生产库中,获取进行处理的各个数据的数据处理状态。
生产库可以是关系型数据库,例如MY SQL、Oracle、DB2等,也可以是key-value(键-值)型数据库,例如redis、Memcached等,或是面向对象数据库、网状数据库等,并不限于此。当生产库为key-value型数据库时,可加快数据访问、操作的速度,提高服务器响应速度。
步骤S320,根据数据处理状态获取生产库中未处理完成的数据标识。
服务器从进行数据处理的生产库中,可获取进行处理的各个数据的数据处理状态,数据处理状态可包括处理完成、未处理完成等,用于表示在到达预设时间节点时数据是否处理完成。在一个实施例中,服务器可获取生产库中各个进行处理的数据的标志位,根据标志位确定数据处理状态,当标志位为第一标志位时,数据处理状态为处理完成,当标志位为第二标志位时,数据处理状态为未处理完成。在一个实施例中,第一标志位可为E,第二标志位可为S,但不限于此,例如,第一标志位为1,第二标志位为0等。服务器确定了生产库中进行处理的各个数据的数据处理状态后,可获取数据处理状态为未处理完成的数据的数据标识,该数据处理状态为未处理完成的数据即为生产库中缺失的数据。
步骤S330,在开发库中根据数据标识生成补录数据。
服务器可根据生产库标识查询对应的开发库标识,通过与该开发库标识匹配的开发库,从与生产库对应的测试库中获取与生产库中未处理完成的数据标识对应的数据,并放入该开发库中,在与生产库对应的开发库中生成补录数据。
步骤S340,将补录数据从开发库拷贝至生产库,并通过生产库处理补录数据。
服务器可将开发库中生成的补录数据从开发库拷贝至生产库中,并通过生产库对补录数据进行处理,实现数据补录。
为了更清楚明白地说明上述数据补录方法,举个例子对上述数据补录方法进行说明。数据管理员通过终端向服务器上传了向100位客户发送短信的数据处理任务,数据处理任务中包括生产库标识DB、客户编号为num_1~num_100,处理方式为将客户信息发送至短信发送平台发送短信,起始时间为12:00,结束时间为13:00。服务器根据该数据处理任务,可从与生产库DB对应的测试库DB_1获取客户编号为num_1~num_100的客户信息,并将客户信息放入生产库DB中。当到达12:00,服务器在生产库DB中对客户信息进行处理,将客户编号为num_1~num_100的客户信息投放至短信发送平台,当服务器接收到短信发送平台返回的短信发送成功的响应信息时,可根据响应信息中的客户编号将对应的客户信息的数据处理状态更改为处理完成。当到达13:00时,服务器可从生产库DB中获取数据处理状态为未处理完成的客户编号,在本实施例中,未处理完成的客户编号为num90~num_100。服务器可通过与生产库DB对应的开发库DB-1,从测试库DB_1获取客户编号为num90~num_100的客户信息,并将客户编号为num90~num_100的客户信息放入开发库DB-1中,在开发库DB-1中生成需要补录的客户编号为num90~num_100的客户信息。服务器可将在开发库DB-1中生成的客户信息拷贝至生产库DB中,并通过生产库DB将客户编号为num90~num_100的客户信息重新投放至短信发送平台进行处理。
上述数据补录方法,当到达预设时间节点时,获取生产库的数据处理状态,根据数据处理状态获取生产库中未处理完成的数据标识,在开发库中根据数据标识生成补录数据,并将补录数据从开发库拷贝至生产库,通过生产库处理补录数据,在开发库中生成补录数据再拷贝至生产库中,可以降低生产库补录数据的风险,并提高数据补录的效率。
如图4所示,在一个实施例中,步骤S310当到达预设时间节点时,获取生产库的数据处理状态,包括以下步骤:
步骤S402,当到达预设时间节点时,获取生产库中与预设时间节点匹配的线程标识。
当服务器按照数据处理任务在生产库中进行数据处理时,可通过预先建立的一个或多个线程对数据进行处理,服务器可获取生产库中与预设时间节点匹配的线程标识,也即,可获取在起始时间至结束时间之间生产库中进行数据处理的线程标识,其中,线程标识可由数字、字母及符号等中的一种或多种组成。
步骤S404,根据线程标识分别查找进行数据处理的各个线程的数据处理记录表。
生产库中与预设时间节点匹配的各个线程可分别对不同的数据进行处理,并分别将需要进行处理的数据写入对应的数据处理记录表中。在数据处理记录表中,一个数据可对应一条数据处理记录,数据处理记录中可包含数据标识、用于表示数据处理状态的标志位、处理时间等,其中,处理时间指的是线程开始处理数据至数据处理完成的时间间隔。
步骤S406,对数据处理记录表中存储的各条数据处理记录进行扫描,并获取各条数据处理记录中的数据处理状态。
服务器可根据生产库中与预设时间匹配的线程标识,获取各个线程对应的数据处理记录表,并分别一一对各个数据处理记录表中的各条数据处理记录进行扫描,获取各条数据处理记录中的标志位,根据标志位确定各条数据处理记录的数据处理状态。
如图5所示,在一个实施例中,步骤S320根据数据处理状态获取生产库中未处理完成的数据标识,包括以下步骤:
步骤S502,对各条数据处理记录中的标志位进行检测。
服务器可对与生产库中各个进行数据处理的线程对应的数据处理记录表进行扫描,对数据处理记录表中各条数据处理记录中的标志位进行检测,当标志位为第一标志位时,则可确定该数据处理记录的数据处理状态为处理完成,当标志位为第二标志位时,则可确定该数据处理记录的数据处理状态为未处理完成。
步骤S504,当数据处理记录中的标志位为预设标志位时,则获取标志位为预设标志位的数据处理记录中的数据标识。
在本实施例中,预设标志位可为第二标志位,当数据处理记录中的标志位为第二标志位时,则可确定该数据处理记录对应的数据的数据处理状态为未处理完成。服务器获取标志位为预设标志位的数据处理记录中的数据标识,即可获取生产库中未处理完成的数据标识。
在本实施例中,可在生产库中建立多个线程进行并行处理,加快数据处理速度,并根据线程对应的数据处理记录表中的各条数据处理记录,快速、准确地获取未处理完成的数据标识,可有效提高数据补录的效率。
如图6所示,在一个实施例中,上述数据补录方法,还包括以下步骤:
步骤S602,从与预设时间节点匹配的线程标识中获取包含未处理完成的数据标识的线程对应的线程标识。
服务器对生产库中与预设时间节点匹配的各个线程的数据处理记录表进行扫描,可对包含有未处理完成的数据标识的数据处理记录表进行标记,并获取与被标记的数据处理记录表对应的线程的线程标识。
步骤S604,根据对应的线程标识查询线程记录表,判断包含未处理完成的数据标识的线程是否包含补执行操作,若是,则执行步骤S608,若否,则执行步骤S606。
服务器根据与被标记的数据处理记录表对应的线程的线程标识,查询线程记录表,并判断包含未处理完成的数据的线程是否包含补执行操作。线程记录表中可存储有线程标识、线程创建时间、对应的生产库标识、处理的数据标识、创建者及是否补执行等,其中,创建者指的是创建该线程的账户,补执行指的是到达预设时间节点时线程中包含有未处理完成的数据,则线程重新对未处理完成的数据进行处理。
步骤S606,在开发库中根据数据标识生成补录数据。
若通过线程记录表确定包含未处理完成的数据标识的线程具有补执行操作,则服务器可暂时不作处理,并在设定时间,通过线程对未处理完成的数据进行处理,对该线程的数据处理记录表中,与标志位为第二标志位的数据处理记录对应的数据进行补执行操作。在一个实施例中,设定时间可为凌晨0点、凌晨1点等,或其它服务器较少接收到业务服务请求的时间点。
若包含未处理完成的数据标识的线程不具有补执行操作,则服务器可通过开发库,根据该线程包含的未处理完成的数据标识从与生产库对应的测试库中获取数据,并放入开发库中,在开发库中生成补录数据,再将开发库中生成的补录数据拷贝至生产库中,由线程重新进行处理。
例如,生产库中与预设时间节点匹配的线程包括线程1、线程2、线程3及线程4,其中,线程1及线程3中包含数据处理状态为未处理完成的数据标识。服务器查询线程记录表可确定线程1包含补执行操作,线程3不包含补执行操作,则可通过开发库,在与生产库对应的测试库中,根据线程3包含的未处理完成的数据标识获取数据,并将获取的数据放入开发库中,在开发库中生成补录数据,再将开发库中生成的补录数据拷贝至生产库中,由生产库中的线程3对补录数据进行处理。
步骤S608,暂时不作处理。
在本实施例中,当生产库的线程不包含补执行操作时,则在开发库中生成与该不包含补执行操作的线程对应的补录数据,当线程包含补执行操作时,则无需进行数据补录,可减少补录数据的数据量,降低生产库补录数据的风险,并提高数据补录的效率,同时可保证生产库的稳定性。
如图7所示,在一个实施例中,在步骤S320根据数据处理状态获取生产库中未处理完成的数据标识之后,还包括以下步骤:
步骤S702,根据未处理完成的数据标识构建数据生成脚本。
服务器获取生产库中数据处理状态为未处理完成的数据的数据标识,可根据该数据标识构建数据生成脚本,其中,数据生成脚本可为数据库可执行脚本,例如SQL(Structured Query Language,结构化查询语言)脚本等,数据生成脚本中可包含一条或多条SQL语句。
步骤S704,将数据生成脚本提交至生产库,以使生产库执行数据生成脚本以生成补录数据,并对补录数据进行处理。
服务器可将根据未处理完成的数据标识构建的数据生成脚本提交至生产库,并通过SVN(Subversion)执行数据生成脚本,其中,SVN是一种开源式的版本管理系统。服务器在生产库中通过SVN执行数据生成脚本,与生产库对应的测试库建立连接,并根据数据生成脚本中的SQL语句从测试库中获取与未处理完成的数据标识对应的数据,在生产库中生成补录数据,并通过生产库对生成的补录数据进行处理。
在本实施例中,可根据未处理完成的数据标识构建数据生成脚本,由生产库直接执行数据生成脚本生成补录数据,可以降低生产库补录数据的风险,并提高数据补录的效率。
如图8所示,在一个实施例中,提供一种数据补录装置800,包括状态获取模块810、数据标识获取模块820、生成模块830及拷贝模块840。
状态获取模块810,用于当到达预设时间节点时,获取生产库的数据处理状态。
数据标识获取模块820,用于根据数据处理状态获取生产库中未处理完成的数据标识。
生成模块830,用于在开发库中根据数据标识生成补录数据。
拷贝模块840,用于将补录数据从开发库拷贝至所述生产库,并通过所述生产库处理所述补录数据。
上述数据补录方法,当到达预设时间节点时,获取生产库的数据处理状态,根据数据处理状态获取生产库中未处理完成的数据标识,在开发库中根据数据标识生成补录数据,并将补录数据从开发库拷贝至生产库,通过生产库处理补录数据,在开发库中生成补录数据再拷贝至生产库中,可以降低生产库补录数据的风险,并提高数据补录的效率。
如图9所示,在一个实施例中,状态获取模块810包括线程标识获取单元812、查找单元814及扫描单元816。
线程标识获取单元812,用于当到达预设时间节点时,获取生产库中与预设时间节点匹配的线程标识。
查找单元814,用于根据线程标识分别查找进行数据处理的各个线程的数据处理记录表。
扫描单元816,用于对数据处理记录表中存储的各条数据处理记录进行扫描,并获取各条数据处理记录中的数据处理状态。
如图10所示,在一个实施例中,数据标识获取模块820包括检测单元822及数据标识获取单元824。
检测单元822,用于对各条数据处理记录中的标志位进行检测。
数据标识获取单元824,用于当数据处理记录的标志位为预设标志位时,则获取标志位为预设标志位的数据处理记录中的数据标识。
在本实施例中,可在生产库中建立多个线程进行并行处理,加快数据处理速度,并根据线程对应的数据处理记录表中的各条数据处理记录,快速、准确地获取未处理完成的数据标识,可有效提高数据补录的效率。
如图11所示,在一个实施例中,上述数据补录装置800,除了包括状态获取模块810、数据标识获取模块820、生成模块830及拷贝模块840,还包括线程标识获取模块850及判断模块860。
线程标识获取模块850,用于从与所述预设时间节点匹配的线程标识中获取包含未处理完成的数据标识的线程对应的线程标识。
判断模块860,用于根据对应的线程标识查询线程记录表,判断包含未处理完成的数据标识的线程是否包含补执行操作。
生成模块830,还用于若包含未处理完成的数据标识的线程不包含补执行操作,则在开发库中根据数据标识生成补录数据。
在本实施例中,当生产库的线程不包含补执行操作时,则在开发库中生成与该不包含补执行操作的线程对应的补录数据,当线程包含补执行操作时,则无需进行数据补录,可减少补录数据的数据量,降低生产库补录数据的风险,并提高数据补录的效率,同时可保证生产库的稳定性。
如图12所示,在一个实施例中,上述数据补录装置800,除了包括状态获取模块810、数据标识获取模块820、生成模块830、拷贝模块840、线程标识获取模块850及判断模块860,还包括构建模块870及提交模块880。
构建模块870,用于根据未处理完成的数据标识构建数据生成脚本。
提交模块880,用于将数据生成脚本提交至生产库,以使生产库执行数据生成脚本以生成补录数据,并对补录数据进行处理。
在本实施例中,可根据未处理完成的数据标识构建数据生成脚本,由生产库直接执行数据生成脚本生成补录数据,可以降低生产库补录数据的风险,并提高数据补录的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据补录方法,包括:
当到达预设时间节点时,获取生产库的数据处理状态;
根据所述数据处理状态获取所述生产库中未处理完成的数据标识;
在开发库中根据所述数据标识生成补录数据;
将所述补录数据从所述开发库拷贝至所述生产库,并通过所述生产库处理所述补录数据;
所述当到达预设时间节点时,获取生产库的数据处理状态,包括:当到达预设时间节点时,获取生产库中与所述预设时间节点匹配的线程标识;
根据所述线程标识分别查找进行数据处理的各个线程的数据处理记录表;
对所述数据处理记录表中存储的各条数据处理记录进行扫描,并获取所述各条数据处理记录中的数据处理状态。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据处理状态获取所述生产库中未处理完成的数据标识,包括:
对所述各条数据处理记录中的标志位进行检测;
当数据处理记录的标志位为预设标志位时,则获取标志位为预设标志位的数据处理记录中的数据标识。
3.根据权利要求1或2所述的方法,其特征在于,在所述在开发库中根据所述数据标识生成补录数据之前,所述方法还包括:
从与所述预设时间节点匹配的线程标识中获取包含所述未处理完成的数据标识的线程对应的线程标识;
根据所述对应的线程标识查询线程记录表,判断所述包含未处理完成的数据标识的线程是否包含补执行操作;
若不包含,则执行所述在开发库中根据所述数据标识生成补录数据的步骤。
4.根据权利要求1所述的方法,其特征在于,在所述根据所述数据处理状态获取所述生产库中未处理完成的数据标识之后,所述方法还包括:
根据所述未处理完成的数据标识构建数据生成脚本;
将所述数据生成脚本提交至所述生产库,以使所述生产库执行所述数据生成脚本以生成补录数据,并对所述补录数据进行处理。
5.一种数据补录装置,其特征在于,包括:
状态获取模块,用于当到达预设时间节点时,获取生产库的数据处理状态;
数据标识获取模块,用于根据所述数据处理状态获取所述生产库中未处理完成的数据标识;
生成模块,用于在开发库中根据所述数据标识生成补录数据;
拷贝模块,用于将所述补录数据从所述开发库拷贝至所述生产库,并通过所述生产库处理所述补录数据;
所述状态获取模块,包括:
线程标识获取单元,用于当到达预设时间节点时,获取生产库中与所述预设时间节点匹配的线程标识;
查找单元,用于根据所述线程标识分别查找进行数据处理的各个线程的数据处理记录表;
扫描单元,用于对所述数据处理记录表中存储的各条数据处理记录进行扫描,并获取所述各条数据处理记录中的数据处理状态。
6.根据权利要求5所述的装置,其特征在于,所述数据标识获取模块,包括:
检测单元,用于对所述各条数据处理记录中的标志位进行检测;
数据标识获取单元,用于当数据处理记录的标志位为预设标志位时,则获取标志位为预设标志位的数据处理记录中的数据标识。
7.根据权利要求5或6所述的装置,其特征在于,所述装置还包括:
线程标识获取模块,用于从与所述预设时间节点匹配的线程标识中获取包含所述未处理完成的数据标识的线程对应的线程标识;
判断模块,用于根据所述对应的线程标识查询线程记录表,判断所述包含未处理完成的数据标识的线程是否包含补执行操作;
所述生成模块,还用于若所述包含未处理完成的数据标识的线程不包含补执行操作,则在开发库中根据所述数据标识生成补录数据。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
构建模块,用于根据所述未处理完成的数据标识构建数据生成脚本;
提交模块,用于将所述数据生成脚本提交至所述生产库,以使所述生产库执行所述数据生成脚本以生成补录数据,并对所述补录数据进行处理。
9.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
10.一种服务器,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述的方法的步骤。
CN201710309466.3A 2017-05-04 2017-05-04 数据补录方法及装置 Active CN108255906B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710309466.3A CN108255906B (zh) 2017-05-04 2017-05-04 数据补录方法及装置
PCT/CN2018/082421 WO2018201859A1 (zh) 2017-05-04 2018-04-10 数据补录方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710309466.3A CN108255906B (zh) 2017-05-04 2017-05-04 数据补录方法及装置

Publications (2)

Publication Number Publication Date
CN108255906A CN108255906A (zh) 2018-07-06
CN108255906B true CN108255906B (zh) 2020-08-14

Family

ID=62721701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710309466.3A Active CN108255906B (zh) 2017-05-04 2017-05-04 数据补录方法及装置

Country Status (2)

Country Link
CN (1) CN108255906B (zh)
WO (1) WO2018201859A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651466B (zh) * 2020-05-09 2023-07-25 杭州数梦工场科技有限公司 数据采样方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678726A (zh) * 2012-09-05 2014-03-26 亿阳信通股份有限公司 一种数据补采方法和数据补采系统
CN103853837A (zh) * 2014-03-17 2014-06-11 上海爱数软件有限公司 Oracle全自动不停生产数据库的表级备份恢复方法
CN104239444A (zh) * 2014-09-01 2014-12-24 上海爱数软件有限公司 Oracle数据库用的一致性数据保护与捕获一致性状态的方法
CN104462568A (zh) * 2014-12-26 2015-03-25 山东中创软件商用中间件股份有限公司 一种数据对账方法、装置和系统
KR101662212B1 (ko) * 2014-05-30 2016-10-04 주식회사 알티베이스 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156360B (zh) * 2013-05-13 2018-01-02 阿里巴巴集团控股有限公司 业务数据处理方法及系统
CN103294574B (zh) * 2013-06-25 2015-11-25 浙江宇视科技有限公司 一种快速实现业务存储切换的装置和方法
CN104021033B (zh) * 2014-06-23 2018-06-08 中国银行股份有限公司 一种繁忙处理节点的散列方法和系统
CN105975510A (zh) * 2016-04-28 2016-09-28 广东鹰视能效科技有限公司 一种基于智能仪表数据自动补录的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678726A (zh) * 2012-09-05 2014-03-26 亿阳信通股份有限公司 一种数据补采方法和数据补采系统
CN103853837A (zh) * 2014-03-17 2014-06-11 上海爱数软件有限公司 Oracle全自动不停生产数据库的表级备份恢复方法
KR101662212B1 (ko) * 2014-05-30 2016-10-04 주식회사 알티베이스 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법
CN104239444A (zh) * 2014-09-01 2014-12-24 上海爱数软件有限公司 Oracle数据库用的一致性数据保护与捕获一致性状态的方法
CN104462568A (zh) * 2014-12-26 2015-03-25 山东中创软件商用中间件股份有限公司 一种数据对账方法、装置和系统

Also Published As

Publication number Publication date
CN108255906A (zh) 2018-07-06
WO2018201859A1 (zh) 2018-11-08

Similar Documents

Publication Publication Date Title
CN112148509A (zh) 数据处理方法、装置、服务器及计算机可读存储介质
CN110096517B (zh) 基于分布式系统的缓存数据的监控方法、装置和系统
US20190332592A1 (en) Test data generation and scale up for database testing using unique common factor sequencing
US10261893B2 (en) Implicit coordination of deployment and regression testing across data centers and system clusters
JP2017526253A (ja) 端末識別子を促進する方法及びシステム
CN112256318B (zh) 一种用于依赖产品的构建方法及设备
CN109462507B (zh) 配置更新方法、装置、系统及电子设备
US20200409683A1 (en) Updating method, terminal and electronic device
CN108255906B (zh) 数据补录方法及装置
CN112579591B (zh) 数据校验方法、装置、电子设备及计算机可读存储介质
CN112328602A (zh) 一种数据写入Kafka的方法、装置及设备
CN111367869A (zh) 镜像文件处理方法、装置、存储介质及电子设备
CN114416689A (zh) 数据迁移方法、装置、计算机设备、存储介质
CN115705297A (zh) 代码调用检测方法、装置、计算机设备以及存储介质
CN109947727B (zh) 数据处理方法、装置、计算机设备和存储介质
WO2020190465A1 (en) Using surface textures as unique identifiers for tracking material with a distributed ledger
CN113297056A (zh) 测试数据设置方法、测试数据应用方法、装置及相关设备
CN112667491A (zh) 虚拟机的功能测试方法及装置
US20230195609A1 (en) Automatic generation of summary report for validation tests of computing systems
CN115567444B (zh) 一种控制器路由地址查找调用方法及系统
US20230237182A1 (en) Incident management apparatus and incident management method
CN114900531B (zh) 数据同步方法、装置和系统
CN108132951B (zh) 数据接入方法及数据接入装置
CN112685431A (zh) 异步缓存方法、装置、系统、电子设备和存储介质
CN117033172A (zh) 测试数据处理方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant