CN110019363A - 一种校验数据的方法和装置 - Google Patents

一种校验数据的方法和装置 Download PDF

Info

Publication number
CN110019363A
CN110019363A CN201711306487.6A CN201711306487A CN110019363A CN 110019363 A CN110019363 A CN 110019363A CN 201711306487 A CN201711306487 A CN 201711306487A CN 110019363 A CN110019363 A CN 110019363A
Authority
CN
China
Prior art keywords
data
verified
written
identification information
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711306487.6A
Other languages
English (en)
Inventor
胡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711306487.6A priority Critical patent/CN110019363A/zh
Publication of CN110019363A publication Critical patent/CN110019363A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种校验数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息；利用所述标识信息查找所述待校验数据，以生成所述待校验数据的摘要信息；判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。该实施方式能够在向ES中写入数据后，对写入ES的数据进行校验，确定数据是否完整。

Description

一种校验数据的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种校验数据的方法和装置。
背景技术
弹性搜索ElasticSearch(ES)是一个采用Java语言开发的文档存储引擎，它基于分布式的实时文件存储方式，处理海量结构化与非结构化数据的分析与搜索。在使用ES的分析与搜索功能之前，需要向ES中写入数据。目前，主要是通过使用ES官方提供的客户端应用程序编程接口API完成数据的写入工作。
在通过调用客户端API向ES服务器写入数据的过程中，由于ES服务器在将数据同步到其各个节点时，会存在数据丢失的情况，因此，ES服务器不能保证写入数据的完整性。但是，目前还没有一种能够在向ES服务器中写入数据后，对写入ES服务器的数据是否完整进行校验的方法。
因此，亟需一种能够在向ES服务器中写入数据后，对写入ES服务器的数据进行校验的方法和装置。
发明内容
有鉴于此，本发明实施例提供一种校验数据的方法和装置，能够在向ES中写入数据后，对写入ES的数据进行校验，确定数据是否完整。
为实现上述目的，根据本发明实施例的一个方面，提供了一种校验数据的方法，包括：
获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息；
利用所述标识信息查找所述待校验数据，以生成所述待校验数据的摘要信息；
判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。
进一步的，所述校验任务信息是从消息队列中获取的；
所述方法还包括：
获取所述待校验数据在写入前的待写入数据的标识信息，同时根据该待写入数据生成摘要信息，以创建所述待校验数据的校验任务信息；
将所述校验任务信息存储至消息队列。
进一步的，所述生成所述待校验数据的摘要信息包括：
把所述待校验数据转化为指定数据格式，然后根据该指定数据格式的待校验数据生成摘要，以得到待校验数据的摘要信息；
所述根据待写入数据生成摘要信息包括：
把所述待写入数据转化为所述指定数据格式，根据该指定数据格式的待写入数据生成摘要，以得到待写入数据的摘要信息。
进一步的，所述校验任务信息还包括：时间戳，
本发明实施例提供的校验数据的方法在创建所述待校验数据的校验任务信息之前还包括：记录所述待写入数据的写入时间作为所述时间戳，其中，
在所述时间戳的时间延迟指定时长后，执行所述利用标识信息查找所述待校验数据的步骤，所述指定时长大于或等于所述待写入数据在写入时的数据刷新时长。
进一步的，所述把待写入数据转化为所述指定数据格式包括：
把所述待写入数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。
可选的，所述利用标识信息查找所述待校验数据包括：
根据所述标识信息调用预先配置的查询服务；
所述查询服务根据所述标识信息进行数据查询得到所述待校验数据；
所述把待校验数据转化为指定数据格式包括：
所述查询服务把所述待校验数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串，将所述Json字符串返回。
可选的，所述利用标识信息查找所述待校验数据包括：
根据所述标识信息对预先配置的指定格式的查询模板中的查询条件进行替换，以获得所述待校验数据的查询语句，然后执行所述查询语句，以获得所述待校验数据；
所述把待校验数据转化为指定数据格式包括：
根据所述查询模板把所述待校验数据拼接为指定格式的Json字符串。
本发明实施例提供的校验数据的方法还包括：
把待校验数据在写入前的待写入数据写入到备份数据库中；
当确定待校验数据不完整时，记录该待校验数据的标识信息；
在预设时间根据该标识信息从所述备份数据库中提取所述待写入数据，并重新写入所述待写入数据。
为实现上述目的，根据本发明实施例的一个方面，提供了一种校验数据的装置，其特征在于，包括：
任务获取模块，用于获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息；
数据查找模块，用于利用所述标识信息查找所述待校验数据；
摘要生成模块，用于生成所述待校验数据的摘要信息；
判断模块，用于判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。
进一步的，所述任务获取模块从消息队列中获取校验任务信息；
本发明实施例提供的校验数据的装置还包括：
任务创建模块，用于获取所述待校验数据在写入前的待写入数据的标识信息，同时根据该待写入数据生成摘要信息，以创建所述待校验数据的校验任务信息；
任务发送模块，将所述校验任务信息存储至消息队列。
进一步的，所述摘要生成模块进一步用于把所述待校验数据转化为指定数据格式，然后根据该指定数据格式的待校验数据生成摘要，以得到待校验数据的摘要信息；
所述任务创建模块进一步用于把所述待写入数据转化为所述指定数据格式，根据该指定数据格式的待写入数据生成摘要，以得到待写入数据的摘要信息。
进一步的，所述校验任务信息还包括：时间戳，
所述任务创建模块还用于在创建所述待校验数据的校验任务信息之前，记录所述待写入数据的写入时间作为所述时间戳；
所述数据查找模块在所述时间戳的时间延迟指定时长后，执行所述利用标识信息查找所述待校验数据的步骤，所述指定时长大于或等于所述待写入数据在写入时的数据刷新时长。
进一步的，所述任务创建模块进一步用于把所述待写入数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。
进一步的，所述数据查找模块进一步用于根据所述数据的标识信息调用预先配置的查询服务；
所述查询服务根据所述标识信息进行数据查询得到所述待校验数据，并把所述待校验数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串，将所述Json字符串返回。
本发明实施例提供的校验数据的装置还包括：源数据访问模块，所述数据查找模块进一步用于根据所述待校验的数据的标识信息调用所述源数据访问模块，
所述源数据访问模块用于根据所述标识信息对预先配置的指定格式的查询模板中的查询条件进行替换，以获得所述待校验数据的查询语句，然后执行所述查询语句，以获得所述待校验数据，并根据查询模板把所述待校验数据拼接为指定格式的Json字符串，将所述Json字符串返回。
本发明实施例提供的校验数据的装置还包括：
备份模块，用于把待校验数据在写入前的待写入数据写入到备份数据库中；
记录模块，用于当确定待校验数据不完整时，记录该待校验数据的标识信息；
重写模块，用于在预设时间根据该标识信息从所述备份数据库中提取所述待写入数据，并重新写入所述待写入数据。
为实现上述目的，根据本发明实施例的一个方面，提供了一种校验数据的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的校验数据的方法。
为实现上述目的，根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本发明实施例提供的校验数据的方法。
本发明实施例提供的校验数据的方法和装置，通过对比数据写入ES前的摘要信息和数据写入后利用该数据的标识信息查询获得的数据的摘要信息，来实现对于数据在写入ES后是否完整的校验。本发明中通过消息队列进行校验任务信息的传输，将任务创建过程和后续的数据校验过程的逻辑分割，使得任务创建步骤不必等待校验步骤结果的返回就可以继续进行后续任务的创建，并且数据校验步骤可以部署为由多个处理节点并行执行，以提高数据校验的处理效率。并且可以将写入时有丢失的数据记录到数据库中，通过定时扫描数据库中的记录，实现对写入时有丢失的数据的定时重新写入。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例提供的校验数据的方法的主要流程的示意图；
图2是本发明实施例提供的校验步骤的主要流程的示意图；
图3是本发明实施例提供的创建步骤的应用流程的示意图；
图4是本发明实施例提供的校验数据的装置的主要模块的示意图；
图5是本发明实施例提供的校验数据的装置的应用示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例提供一种校验数据的方法，该方法可以应用于弹性搜索ElasticSearch(ES)文档存储引擎，由于ES在存储数据时会存在数据丢失的情况，无法保证写入数据的完整性。通过本发明的校验数据的方法，可以在向ES写入数据后，对写入的数据是否发生了丢失进行校验，使用户可以及时得知数据的丢失情况，进行后续的重新写入操作。当然，本发明的提供的校验数据的方法不仅能够应用于ES文档存储引擎，也可以应用于其他存在相同或类似问题的存储系统或应用程序当中，在向该存储系统或应用程序写入数据后，对写入的数据是否丢失进行校验。为了能够更清楚完整的对本发明提供的校验数据的方法进行说明，下述本发明实施例中，以ES文档存储引擎作为本发明提供的校验数据的方法的具体应用场景。
如图1所示和图2所示，本发明实施例提供的校验数据的方法包括下述校验步骤：步骤S101、步骤S102和步骤S103。其中，在步骤S101中获取待校验的数据的校验任务信息，校验任务信息包括：待校验数据在写入前的待写入数据的标识信息和摘要信息。在本发明中，待校验数据是已经写入到ES中还未进行校验的数据，其对应的待写入数据是还未写入到ES的原始数据。校验任务信息的创建过程在本发明的后续内容中予以说明。
在校验任务信息中，数据的标识信息是用来标识数据的业务字段组合，例如，数据的标识信息可以为：数据的主键字段key和类型字段type的组合。在数据被存储至ES中后，利用数据的标识信息可以在ES中唯一查询到该数据。摘要信息是待写入数据通过摘要算法生成的数据摘要。
在步骤102中利用标识信息查找待校验数据，即通过标识信息在ES查询数据，然后生成提取到的待校验数据的摘要信息。其中，待校验数据的摘要信息和待写入数据的摘要信息是通过相同的摘要算法生成的。进而在步骤103中，对查询结果进行一致性校验，判断待校验数据的摘要信息与待校验数据在写入前的待写入数据的摘要信息是否一致，以确认待校验数据是否完整，若一致，则确定数据完整，否则确定数据在写入时有丢失。
本发明方法通过对比数据写入ES前的摘要信息，和数据写入后利用该数据的标识信息查询获得的数据的摘要信息，来实现对于数据在写入ES后还是否完整的校验。若数据在写入后其内容相对写入前有缺失，即数据在写入过程中有丢失的情况发生，则数据写入前的摘要信息和写入后的摘要信息就会不一致。因此，通过对比数据写入前后的摘要信息就可以确定数据写入后较之前是否完整。由于写入数据的数据量通常都较大，相对于对比数据的全部内容，本发明通过对比数据写入前后的摘要信息来校验写入数据的完整性，可以明显的提高程序的处理速度，提高校验的效率。
步骤S102和步骤S103是在待写入的数据写入ES之后执行的。步骤S101获取校验任务信息的过程则可以在数据写入之前、写入过程中或者写入之后执行。
如图3所示，本发明实施例提供的校验数据的方法还包括下述任务创建步骤：首先，获取待校验数据在写入前的待写入数据的标识信息，同时根据该待写入数据生成摘要信息，以创建待校验数据的校验任务信息。然后，将校验任务信息存储至消息队列。进而步骤S101从消息队列中获取校验任务信息。本发明中通过消息队列进行校验任务信息的传输，将任务创建过程和后续的数据校验过程分割，使得任务创建步骤不必等待校验步骤结果的返回就可以继续进行后续任务的创建，并且数据校验步骤可以部署为由多个处理节点并行执行，以提高数据校验的处理效率。
上述任务创建步骤可以在数据写入之前、写入过程中或者写入之后执行。例如，可以在数据写入之前，对待写入的数据执行任务创建步骤和步骤S101获取校验任务信息的过程，然后在数据写入后执行步骤S102和步骤S103。或者，也可以在数据写入后，执行任务创建步骤和校验步骤S101至S103。具体可以结合应用场景需求进行设置。
本发明实施例中，生成待校验数据的摘要信息与生成待写入数据的摘要信息的过程相同，该过程具体为：首先，把数据转化为指定数据格式，然后，根据该指定数据格式的数据生成摘要，以得到摘要信息。由于当数据中的字段的名称和顺序不一致时，即使字段的内容相同，其所生成的摘要也是不同的，所以如果要通过对比摘要来体现数据写入前后是否一致，就需要在生成摘要之前对数据的格式进行统一。因此，本发明在生成摘要之前现将数据的转化为统一的指定数据格式，以确保具有相同内容一致数据其摘要也一致。
本发明实施例中，校验任务信息中还具有时间戳，相对应的，上述任务创建步骤中还包括：在待校验的数据写入后，记录写入的时间作为时间戳。在时间戳的时间延迟指定时长后，执行步骤S102，利用标识信息查找待校验数据。在步骤S101中从校验任务信息中提取时间戳，然后确定该时间戳的时间延迟指定时长后的时间，以作为查找待校验数据的时间，指定时长大于或等于待写入数据在写入时的数据刷新时长。数据刷新时长是数据在写入ES时，数据由内存写入到硬盘完成一次保存的时长，数据在写入后，每隔一个刷新时长进行一次保存，在这期间这些数据对外是不可见的，在数据由内存写入硬盘成功之后，使用者才能通过查询语句查到这些数据。因此，在本发明方法通过时间戳记录数据的写入时间，然后在写入时间之后延迟指定时长再执行步骤S102，以确保在提取数据时，数据已被写入到ES服务器的硬盘中。
本发明实施例提供两种利用标识信息提取数据的方式，一种是根据待校验的数据的标识信息对预先配置的查询模板中的查询条件进行替换，以生成数据的查询语句，然后执行查询语句，以获得查询结果；另一种是根据数据的标识信息调用预先配置的查询服务，接收查询服务根据主键和类型进行数据查询返回的查询结果。上述两种方式可以结合具体的应用场景进行选择。
本发明实施例提供的校验步骤还包括：把待校验数据在写入前的待写入数据写入到备份数据库中。当确定待校验数据不完整时，即数据写入时有丢失，记录该待校验数据的标识信息，然后在预设时间根据该标识信息从备份数据库中提取待写入数据，即得到不完整的待校验数据在写入前的完整数据，并重新写入该待写入数据。
备份数据库可以为关系型数据库，例如，用户在向ES写入数据之前，由于关系型数据库能够保证写入数据的可靠性，首先可以将待写入的ES的数据写入关系型数据库(例如MySQL数据库)作为备份。利用确定的写入时有丢失的数据的标识信息查询该关系型数据库从而获得该数据在写入前的完整数据，然后再次向ES中写入该完整数据，写入的方式可以为调用预先配置的写入服务，由写入服务将数据写入ES中。
在本发明的一种实施方式中，当确定待校验数据不完整时，可以将该待校验数据的标识信息记录在预配置的校验失败数据库中。预设时间可以根据具体场景的需求进行配置。例如，可以配置成一定时长的周期，每隔一定时长就扫描校验失败数据库，提取其中记录的写入时有丢失的数据的标识信息。
或者，在本发明的另一种实施方式中，当确定待校验数据不完整时，将待校验数据的校验任务信息写入消息队列，以供其他相关的应用监听消费并自行处理。
下面通过一具体的实施方式，对本发明提供的校验数据是否写入成功的方法进行进一步的说明。本实施方式的应用场景为ES文档存储引擎。
在本实施方式中，如图3所示，用户在向ES写入数据之前，首先将待写入的ES的数据写入关系型数据库(例如MySQL数据库)，由于关系型数据库能够保证写入数据的可靠性，在ES中的数据丢失后，可以依据保存在关系型数据库中的数据对ES进行数据恢复。然后，判断是否写入关系型数据库是否成功，如果向关系型数据库写入数据失败，则进行数据回滚。如果写入成功，再将数据写入ES，判断是否写入成功，如果写入失败，则进行数据回滚。
在本实施方式中，在数据写入ES成功后，提取数据的标识信息并生成该数据的的摘要信息，标识信息key包括：数据的id和类型type，例如，数据的id为10005，类型type为普通类general。
在生成摘要信息时，首先把该数据转化为指定数据格式，在本实施方式中，该过程具体为：把该数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。进而根据该指定数据格式的数据生成摘要，具体为生成该Json字符串的MD5散列函数摘要。
其中，指定格式是根据具体的待写入数据预先配置的，其包括Java对象内各字段的名称以及排列顺序的设置。例如，对于一个待校验的采购单数据，将该采购单数据映射为下述格式的采购单Java对象：
//采购单Java对象
public class PurchaseOrder{
//唯一标识
private Long id；
//供应商简码
private String vendorCode；
//供应商名称
private String vendorName；
//采购单类型
private String type；
//采购单创建时间
private Date createDate；
//采购单入库库房
private String storeName；
//采购金额
private BigDecimal money；
}
然后将上述采购单Java对象转换为Json字符串：
{
"id":10005，
"vendorCode":"XXXBJ"，
"vendorName":"XXX北京有限公司"，
"type":"general"，
"createDate":"2017-10-10 12:00:00"，
"storeName":"固安库房"，
"money":2100
}
然后，生成该Json字符串的MD5散列函数摘要字符串value：
54B0C58C7CE9F2A8B551351102EE0938。
在本实施方式中，在数据写入ES后，记录写入的时间生成时间戳timestamp，并创建该数据的校验任务信息，对应上例，创建的该数据的校验任务信息为：
然后将创建的校验任务信息添加到消息队列，校验步骤从消息队列中获取该数据的校验任务信息。提取校验任务信息中的标识信息key字段值和timestamp字段值。在本实施方式中，延迟时长设置为大于数据刷新时长，由于通常ES的数据刷新时长为1秒，因此可以将延迟时长设置2秒或3秒，在时间戳timestamp的时间基础上延迟2秒或3秒后的时间进行待校验数据的提取，在该延迟后的时间，ES中数据已刷新完毕，此时根据标识信息key字段中的id字段和type字段提取写入ES中的数据。
在本实施方式中，如果预先配置有查询服务的webservice调用接口，例如调用接口地址：
http://www.invoker.com:8000/restful/callback/es/query。
利用该接口，根据数据的id和type调用查询服务获取写入ES的数据。该查询服务将查询到的数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。查询服务的接口返回值即从ES中查询到的数据对应的Json字符串。由于此处将数据映射为Java对象时所采用的指定格式与生成待写入数据的摘要信息时的指定格式相同，因此，在待校验数据完整的情况下，利用该返回的Json字符串生成的MD5摘要字符串(待校验数据的摘要信息)与待写入数据的摘要信息是一致的。
在本实施方式中，也可以预先配置ES查询模板，通过该ES查询模板从ES中提取数据。对应上例，ES查询模板如下：
其中，ES模板"estemplate"部分用于查询，"_source"部分指定了查询返回数据的字段，"estemplate"部分描述查询条件，其中的"template"、"query"以及"match"是ES提供的查询模板的规定语言语法，字段名序列"fieldNameSeq"部分描述了拼接为json字符串的指定格式。
将"estemplate"部分中的{{}}标签中的内容：id变量id_variable和类型变量type_variable对应替换为校验任务信息中提取的id字段值和type字段值，获得查询语句，然后执行该查询语句，查询返回的结果为数组，然后根据"fieldNameSeq"部分的指定格式，将返回的数组拼接为json字符串。
该通过ES查询模板从ES中提取数据的方式，在通过模板进行查询后，将查询结果直接拼接为Json字符串，该Json字符串的格式与生成待写入数据的摘要信息的Json字符串的格式相同，因此，在待校验数据完整的情况下，利用此处的Json字符串生成的MD5摘要字符串(即待校验数据的摘要信息)与待写入数据的摘要信息是一致的。
提取到ES中的数据的json格式的字符串之后，通过MD5算法生成待校验数据的摘要信息。然后，提取校验任务信息中的摘要信息value字段值，将value字段值与待校验数据的摘要信息进行比较。如果值相等，则确定写入后的数据完整，否则确定写入后的数据不完整，即数据在写入时有丢失。
本发明实施例提供的校验数据的方法，通过对比数据写入ES前的摘要信息和数据写入后利用该数据的标识信息查询获得的数据的摘要信息，来实现对于数据在写入ES后是否完整的校验。本发明中通过消息队列进行校验任务信息的传输，将任务创建过程和后续的数据校验过程的逻辑分割，使得任务创建步骤不必等待校验步骤结果的返回就可以继续进行后续任务的创建，并且数据校验步骤可以部署为由多个处理节点并行执行，以提高数据校验的处理效率。并且可以将写入时有丢失的数据记录到数据库中，通过定时扫描数据库中的记录，实现对写入时有丢失的数据的定时重新写入。
本发明实施例还提供一种校验数据的装置，如图4所示，该装置400包括：任务获取模块401、数据查找模块402、摘要生成模块403和判断模块404。
任务获取模块401用于获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息。
数据查找模块402用于利用所述标识信息查找所述待校验数据。
摘要生成模块403用于生成所述待校验数据的摘要信息。
判断模块404用于判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。
如图5所示，本发明实施例提供的校验数据的装置可以包括任务创建单元和任务处理单元，其中，上述任务获取模块、数据查找模块、摘要生成模块和判断模块可以作为一个任务处理节点部署在任务处理单元中，任务处理单元中可以基于spring框架部署多个任务处理节点，多个任务处理节点支持多线程并发处理和水平扩展，从而提高校验任务信息的数据处理能力。
在本发明实施例中，任务创建单元包括：任务创建模块和任务发送模块，任务创建模块用于获取所述待校验数据在写入前的待写入数据的标识信息，同时根据该待写入数据生成摘要信息，以创建所述待校验数据的校验任务信息。任务创建模块对本装置的使用方提供添加待校验数据服务，在使用方添加待校验数据后，任务创建模块创建相应数据的校验任务信息。
任务创建模块进一步用于把所述待写入数据转化为所述指定数据格式，根据该指定数据格式的待写入数据生成摘要，以得到待写入数据的摘要信息。其中，任务创建模块把所述待写入数据转化为所述指定数据格式的具体方式为：把所述待写入数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。
任务创建模块还用于在待校验的数据写入后，记录写入的时间作为时间戳，数据查找模块在时间戳的时间延迟指定时长后，执行利用标识信息查找待校验数据的步骤，指定时长大于或等于待写入数据在写入时的数据刷新时长。
任务发送模块用于将创建的校验任务信息存储至消息队列，消息队列是连接任务创建单元与任务处理单元的桥梁，任务创建单元向消息队列中存储校验任务信息，多个任务处理节点从消息队列中获取并处理这些校验任务信息。
在本发明实施例中，任务创建单元还包括：源数据访问模块，数据查找模块进一步用于根据待校验的数据的标识信息调用源数据访问模块，源数据访问模块用于根据待校验的数据的标识信息对预先配置的指定格式的查询模板中的查询条件进行替换，以获得数据的查询语句，然后执行所述查询语句，以获得查询结果，并根据查询模板把所述查询结果拼接为指定格式的Json字符串，将所述Json字符串返回任务处理节点的摘要生成模块。
在本发明实施例中，任务创建单元还包括：回调服务模块，回调服务模块用于提供数据查询及写入的回调服务，所述数据查找模块进一步用于根据所述数据的标识信息通过回调服务模块调用预先配置的查询服务，所述查询服务根据所述标识信息进行数据查询得到查询结果，并把所述查询结果映射为指定格式的Java对象，然后将该Java对象转换为Json字符串，将所述Json字符串返回。
在本发明实施例中，任务创建单元还包括：监控模块，监控模块用于提供监控校验任务信息执行情况的监控服务，通过web页面将校验任务信息的创建情况和处理情况进行展示。
在本发明实施例提供的校验数据的装置，还包括：备份模块、记录模块和重写模块。备份模块用于把待校验数据在写入前的待写入数据写入到备份数据库中。记录模块用于当确定待校验数据不完整时，将该待校验数据的标识信息记录到数据库中。记录模块可以部署在任务处理节点中。
重写模块用于在预设时间根据该标识信息从所述备份数据库中提取所述待写入数据，并通过回调服务模块调用写入数据服务重新写入所述待写入数据。重写模块可以在任务处理单元中部署为重写数据处理节点。
在本发明实施例提供任务创建单元启动之前，本装置的使用方需要对任务创建单元的进行相关配置，以便正常启动服务。其中，需要进行数据库连接配置、任务消息队列连接配置、回调接口配置、查询源数据的模板配置。
数据库连接配置：用于连接装置内部使用的数据库，该数据库用于存储写入时有丢失的数据。
任务消息队列连接配置：用于连接装置内部使用的消息队列，该消息队列用于存放校验任务信息。
回调接口配置：用于回调使用本装置的使用方的webservice服务，这些webservice服务提供待ES数据的查询和写入功能等。
源数据访问模块的查询模板配置，包括：外部数据源连接配置，查询语句模板。
本发明实施例提供的校验数据的装置，通过对比数据写入ES前的摘要信息和数据写入后利用该数据的标识信息查询获得的数据的摘要信息，来实现对于数据在写入ES后是否完整的校验。本发明中通过消息队列进行校验任务信息的传输，将任务创建过程和后续的数据校验过程的逻辑分割，使得任务创建步骤不必等待校验步骤结果的返回就可以继续进行后续任务的创建，并且数据校验步骤可以部署为由多个处理节点并行执行，以提高数据校验的处理效率。并且可以将写入时有丢失的数据记录到数据库中，通过定时扫描数据库中的记录，实现对写入时有丢失的数据的定时重新写入。
图6示出了可以应用本发明实施例的校验数据的方法或校验数据的装置的示例性系统架构600。
如图6所示，系统架构100可以包括终端设备601、602、603，网络604和服务器605。网络104用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如校验写入ES的数据是否完整的后台服务器。
需要说明的是，本发明实施例所提供的校验数据的方法一般由服务器605执行，相应地，校验数据的装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括任务获取模块、数据查找模块、摘要生成模块、任务创建模块、任务发送模块和判断模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，任务创建模块还可以被描述为“获取待校验数据在写入前的待写入数据的标识信息的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息；
利用所述标识信息查找所述待校验数据，以生成所述待校验数据的摘要信息；
判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (18)

1.一种校验数据的方法，其特征在于，包括：
获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息；
利用所述标识信息查找所述待校验数据，以生成所述待校验数据的摘要信息；
判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。
2.根据权利要求1所述的方法，其特征在于，所述校验任务信息是从消息队列中获取的；
所述方法还包括：
获取所述待校验数据在写入前的待写入数据的标识信息，同时根据该待写入数据生成摘要信息，以创建所述待校验数据的校验任务信息；
将所述校验任务信息存储至消息队列。
3.根据权利要求2所述的方法，其特征在于，所述生成所述待校验数据的摘要信息包括：
把所述待校验数据转化为指定数据格式，然后根据该指定数据格式的待校验数据生成摘要，以得到待校验数据的摘要信息；
所述根据待写入数据生成摘要信息包括：
把所述待写入数据转化为所述指定数据格式，根据该指定数据格式的待写入数据生成摘要，以得到待写入数据的摘要信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述校验任务信息还包括：时间戳，
所述方法在创建所述待校验数据的校验任务信息之前还包括：记录所述待写入数据的写入时间作为所述时间戳，其中，
在所述时间戳的时间延迟指定时长后，执行所述利用标识信息查找所述待校验数据的步骤，所述指定时长大于或等于所述待写入数据在写入时的数据刷新时长。
5.根据权利要求4所述的方法，其特征在于，所述把待写入数据转化为所述指定数据格式包括：
把所述待写入数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。
6.根据权利要求4所述的方法，其特征在于，所述利用标识信息查找所述待校验数据包括：
根据所述标识信息调用预先配置的查询服务；
所述查询服务根据所述标识信息进行数据查询得到所述待校验数据；
所述把待校验数据转化为指定数据格式包括：
所述查询服务把所述待校验数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串，将所述Json字符串返回。
7.根据权利要求4所述的方法，其特征在于，所述利用标识信息查找所述待校验数据包括：
根据所述标识信息对预先配置的指定格式的查询模板中的查询条件进行替换，以获得所述待校验数据的查询语句，然后执行所述查询语句，以获得所述待校验数据；
所述把待校验数据转化为指定数据格式包括：
根据所述查询模板把所述待校验数据拼接为指定格式的Json字符串。
8.根据权利要求4所述的方法，其特征在于，还包括：
把待校验数据在写入前的待写入数据写入到备份数据库中；
当确定待校验数据不完整时，记录该待校验数据的标识信息；
在预设时间根据该标识信息从所述备份数据库中提取所述待写入数据，并重新写入所述待写入数据。
9.一种校验数据的装置，其特征在于，包括：
任务获取模块，用于获取待校验数据的校验任务信息，所述校验任务信息包括：所述待校验数据在写入前的待写入数据的标识信息和摘要信息；
数据查找模块，用于利用所述标识信息查找所述待校验数据；
摘要生成模块，用于生成所述待校验数据的摘要信息；
判断模块，用于判断所述待校验数据的摘要信息与所述待校验数据在写入前的待写入数据的摘要信息是否一致，以确认所述待校验数据是否完整。
10.根据权利要求9所述的装置，其特征在于，所述任务获取模块从消息队列中获取校验任务信息；
所述装置还包括：
任务创建模块，用于获取所述待校验数据在写入前的待写入数据的标识信息，同时根据该待写入数据生成摘要信息，以创建所述待校验数据的校验任务信息；
任务发送模块，将所述校验任务信息存储至消息队列。
11.根据权利要求9所述的装置，其特征在于，所述摘要生成模块进一步用于把所述待校验数据转化为指定数据格式，然后根据该指定数据格式的待校验数据生成摘要，以得到待校验数据的摘要信息；
所述任务创建模块进一步用于把所述待写入数据转化为所述指定数据格式，根据该指定数据格式的待写入数据生成摘要，以得到待写入数据的摘要信息。
12.根据权利要求9至11中任一项所述的装置，其特征在于，所述校验任务信息还包括：时间戳，
所述任务创建模块还用于在创建所述待校验数据的校验任务信息之前，记录所述待写入数据的写入时间作为所述时间戳；
所述数据查找模块在所述时间戳的时间延迟指定时长后，执行所述利用标识信息查找所述待校验数据的步骤，所述指定时长大于或等于所述待写入数据在写入时的数据刷新时长。
13.根据权利要求12所述的装置，其特征在于，所述任务创建模块进一步用于把所述待写入数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串。
14.根据权利要求12所述的装置，其特征在于，所述数据查找模块进一步用于根据所述数据的标识信息调用预先配置的查询服务；
所述查询服务根据所述标识信息进行数据查询得到所述待校验数据，并把所述待校验数据映射为指定格式的Java对象，然后将该Java对象转换为Json字符串，将所述Json字符串返回。
15.根据权利要求12所述的装置，其特征在于，还包括：源数据访问模块，所述数据查找模块进一步用于根据所述待校验的数据的标识信息调用所述源数据访问模块，
所述源数据访问模块用于根据所述标识信息对预先配置的指定格式的查询模板中的查询条件进行替换，以获得所述待校验数据的查询语句，然后执行所述查询语句，以获得所述待校验数据，并根据查询模板把所述待校验数据拼接为指定格式的Json字符串，将所述Json字符串返回。
16.根据权利要求12所述的装置，其特征在于，还包括：
备份模块，用于把待校验数据在写入前的待写入数据写入到备份数据库中；
记录模块，用于当确定待校验数据不完整时，记录该待校验数据的标识信息；
重写模块，用于在预设时间根据该标识信息从所述备份数据库中提取所述待写入数据，并重新写入所述待写入数据。
17.一种校验数据的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201711306487.6A 2017-12-11 2017-12-11 一种校验数据的方法和装置 Pending CN110019363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711306487.6A CN110019363A (zh) 2017-12-11 2017-12-11 一种校验数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711306487.6A CN110019363A (zh) 2017-12-11 2017-12-11 一种校验数据的方法和装置

Publications (1)

Publication Number Publication Date
CN110019363A true CN110019363A (zh) 2019-07-16

Family

ID=67186917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711306487.6A Pending CN110019363A (zh) 2017-12-11 2017-12-11 一种校验数据的方法和装置

Country Status (1)

Country Link
CN (1) CN110019363A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506578A (zh) * 2020-04-17 2020-08-07 深圳前海微众银行股份有限公司 业务数据的校验方法、装置、设备及存储介质
CN113760933A (zh) * 2021-08-25 2021-12-07 福建天泉教育科技有限公司 一种数据更新方法及终端
WO2022205703A1 (zh) * 2021-04-01 2022-10-06 长鑫存储技术有限公司 半导体存储器和数据写入方法
CN115328931A (zh) * 2022-08-29 2022-11-11 建信金融科技有限责任公司 数据库集群数据校验方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783955A (zh) * 2010-03-24 2010-07-21 杭州华三通信技术有限公司 一种数据异常时的恢复方法和设备
CN103281159A (zh) * 2013-05-15 2013-09-04 上海寰创通信科技股份有限公司 基于消息队列的校验模块间传递mac和ip信息的方法
CN103810060A (zh) * 2013-11-21 2014-05-21 北京奇虎科技有限公司 基于分布式数据库的数据备份方法及其系统
CN105122213A (zh) * 2013-03-15 2015-12-02 思科技术公司 用于数据存储系统中的错误检测和纠正的方法和装置
US20170024428A1 (en) * 2012-08-08 2017-01-26 Amazon Technologies, Inc. Data storage integrity validation
US20170223003A1 (en) * 2015-01-19 2017-08-03 Sas Institute Inc. Integrated data extraction and retrieval system
CN107102908A (zh) * 2016-02-19 2017-08-29 阿里巴巴集团控股有限公司 数据校验方法、数据容错方法及装置
CN107122368A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 一种数据校验方法、装置及电子设备
CN107193683A (zh) * 2017-04-18 2017-09-22 北京潘达互娱科技有限公司 数据库备份的校验方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783955A (zh) * 2010-03-24 2010-07-21 杭州华三通信技术有限公司 一种数据异常时的恢复方法和设备
US20170024428A1 (en) * 2012-08-08 2017-01-26 Amazon Technologies, Inc. Data storage integrity validation
CN105122213A (zh) * 2013-03-15 2015-12-02 思科技术公司 用于数据存储系统中的错误检测和纠正的方法和装置
CN103281159A (zh) * 2013-05-15 2013-09-04 上海寰创通信科技股份有限公司 基于消息队列的校验模块间传递mac和ip信息的方法
CN103810060A (zh) * 2013-11-21 2014-05-21 北京奇虎科技有限公司 基于分布式数据库的数据备份方法及其系统
US20170223003A1 (en) * 2015-01-19 2017-08-03 Sas Institute Inc. Integrated data extraction and retrieval system
CN107102908A (zh) * 2016-02-19 2017-08-29 阿里巴巴集团控股有限公司 数据校验方法、数据容错方法及装置
CN107122368A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 一种数据校验方法、装置及电子设备
CN107193683A (zh) * 2017-04-18 2017-09-22 北京潘达互娱科技有限公司 数据库备份的校验方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZIAWASCH ABEDJAN ET AL.: "Detecting Data Errors: Where are we and what needs to be done?", 《PROCEEDINGS OF THE VLDB ENDOWMENT》 *
姜康 等: "基于ElasticSearch的元数据搜索与共享平台", 《计算机与现代化》 *
张勇 等: "《嵌入式实时操作系统μC/OS-Ⅲ应用技术 基于ARM Cortex-M3 LPC1788》", 30 April 2013, 北京航空航天大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506578A (zh) * 2020-04-17 2020-08-07 深圳前海微众银行股份有限公司 业务数据的校验方法、装置、设备及存储介质
WO2022205703A1 (zh) * 2021-04-01 2022-10-06 长鑫存储技术有限公司 半导体存储器和数据写入方法
CN113760933A (zh) * 2021-08-25 2021-12-07 福建天泉教育科技有限公司 一种数据更新方法及终端
CN113760933B (zh) * 2021-08-25 2023-11-03 福建天泉教育科技有限公司 一种数据更新方法及终端
CN115328931A (zh) * 2022-08-29 2022-11-11 建信金融科技有限责任公司 数据库集群数据校验方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110188096A (zh) 一种数据记录的索引创建方法、装置及设备
CN111506511A (zh) 一种测试用例生成方法、装置、电子设备及介质
US10656907B2 (en) Translation of natural language into user interface actions
CN108512666A (zh) Api请求的加密方法、数据交互方法及系统
CN110162662A (zh) 一种块链式账本中数据记录的验证方法、装置及设备
CN108282527A (zh) 生成服务实例的分布式系统和方法
CN110347674A (zh) 一种基于业务标识的索引创建方法、装置及设备
CN107276842B (zh) 接口测试方法、装置及电子设备
CN109241033A (zh) 创建实时数据仓库的方法和装置
CN108846753A (zh) 用于处理数据的方法和装置
CN109144799A (zh) 一体化测试方法、装置、计算机设备和存储介质
CN110019363A (zh) 一种校验数据的方法和装置
CN110895472A (zh) 一种识别业务变更的方法和装置
CN109241722A (zh) 用于获取信息的方法、电子设备和计算机可读介质
CN109388551A (zh) 预测代码存在漏洞概率的方法、漏洞检测方法、相关装置
CN108959087A (zh) 测试方法和装置
WO2023040143A1 (zh) 云服务的资源编排方法、装置、设备及存储介质
CN109936605A (zh) 一种加载接口数据的方法和装置
CN109254921A (zh) 应用版本验证方法、装置、计算机设备以及存储介质
US10109214B2 (en) Cognitive bias determination and modeling
CN109255587A (zh) 一种工作数据的协同处理方法及装置
CN109992495A (zh) 接口测试的方法和装置
US10459994B2 (en) Dynamically tagging webpages based on critical words
CN114547204A (zh) 数据同步方法、装置、计算机设备和存储介质
CN110334248A (zh) 一种系统配置信息处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716