CN108874834A - 一种数据处理方法、处理系统及计算机装置 - Google Patents

一种数据处理方法、处理系统及计算机装置 Download PDF

Info

Publication number
CN108874834A
CN108874834A CN201710341787.1A CN201710341787A CN108874834A CN 108874834 A CN108874834 A CN 108874834A CN 201710341787 A CN201710341787 A CN 201710341787A CN 108874834 A CN108874834 A CN 108874834A
Authority
CN
China
Prior art keywords
data
database
reading
message queue
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710341787.1A
Other languages
English (en)
Inventor
黄泽香
王坤
林永奇
李辉捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201710341787.1A priority Critical patent/CN108874834A/zh
Publication of CN108874834A publication Critical patent/CN108874834A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种数据处理方法、处理系统、计算机装置及计算机可读存储介质，数据处理方法包括：接收第一数据；将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；将第二数据存储至消息队列；接收读取指令；根据读取指令，允许读取用户在消息队列中读取第二数据。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。

Description

一种数据处理方法、处理系统及计算机装置
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法、处理系统、计算机装置及计算机可读存储介质。
背景技术
场景热营销是基于大数据的策略算法，通过场景热营销能够获得如何在特定场景中给特定的人群发送特定的产品以及特定的定价。如果企业能够把场景热营销业务做好是在当今大数据时代下的一把非常好的利器。如何去寻找和挖掘这些特定的场景，就需要业务技术研发人员配合生产数据，但是由于业务技术研发人员的主要工作就是保证产品主流程的研发以及功能的正确性，根本没有时间来配合生产数据。因此，如何确保不占用业务技术研发人员时间的同时又保证运营人员对研发数据的正常使用成为亟待解决的问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个目的在于提出了一种数据处理方法。
本发明的另一个目的在于提出了一种数据处理系统。
本发明的再一个目的在于提出了一种计算机装置。
本发明的又一个目的在于提出了一种计算机可读存储介质。
有鉴于此，根据本发明的一个目的，提出了一种数据处理方法，包括：接收第一数据；将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；将第二数据存储至消息队列；接收读取指令；根据读取指令，允许读取用户在消息队列中读取第二数据。
本发明提供的数据处理方法，接收业务研发人员进行研发所产生的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，将多个第二数据库中的第一数据格式转化为第二数据，同时将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收到运营人员的对第二数据的读取指令时，通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
根据本发明的上述数据处理方法，还可以具有以下技术特征：
在上述技术方案中，优选地，将第二数据存储至消息队列的步骤，具体包括：解析第二数据；将解析后的第二数据存储至消息队列。
在该技术方案中，在将第一数据转化为第二数据以后，对第二数据进行协议解析，补充一些特定信息，其中特定信息包括字段名字、字段类型等，再将解析后的第二数据存储至消息队列中，以供运营人员在使用第二数据时进行读取，并且也减少对数据库的依赖以及减轻了数据库的压力。
在上述任一技术方案中，优选地，读取指令中包括读取用户的身份信息；根据读取指令，允许读取用户在消息队列中读取第二数据的步骤，具体包括：验证读取用户的身份信息；读取用户的身份信息验证通过后，根据读取指令，允许读取用户在消息队列中读取第二数据。
在该技术方案中，但接收到读取指令时，对包含在读取指令中的读取用户的身份信息与系统中预存的信息进行验证，只有在读取用户的身份信息验证通过后，才允许读取用户通过消息队列读取第二数据，防止发生数据泄露，保证了数据的使用安全性。
在上述任一技术方案中，优选地，在将第一数据存储至第一数据库及第二数据库中之前，还包括：建立第一数据库及第二数据库；在将第二数据存储至消息队列之前，还包括：建立消息队列。
在该技术方案中，建立多个第一数据库及多个第二数据库进行业务研发人员的第一数据的存储，建立消息队列进行运营人员需要的第二数据的存储，进而仅对第二数据库中的数据进行解析使用，而完全不会影响第一数据库中的数据，并且使得无需业务研发人员参与数据产出从而使得业务研发人员更专注业务流程以及业务功能，以及使得运营人员能够方便地读取数据进而保证业务的正常推进。
在上述任一技术方案中，优选地，第二数据为binlog数据。
在该技术方案中，第二数据为binlog数据，其中binlog数据是二进制数据，第二数据能够存储至消息队列，以供运营人员无需通过业务研发人员而进行第二数据的读取。
在上述任一技术方案中，优选地，第一数据库为业务主数据库，第二数据库为业务从数据库。
根据本发明的另一个目的，提出了一种数据处理系统，包括：接收单元，用于接收第一数据；第一存储单元，用于将第一数据存储至第一数据库及第二数据库中，并对将第二数据库中的第一数据进行格式转化，转化为第二数据；第二存储单元，用于将第二数据存储至消息队列；接收单元，还用于接收读取指令；读取单元，用于根据读取指令，允许读取用户在消息队列中读取第二数据。
本发明提供的数据处理系统，接收单元接收业务研发人员进行研发所产生的大量的第一数据，第一存储单元将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，并将多个第二数据库中的第一数据格式转化为第二数据，第二存储单元将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收单元接收到运营人员的对第二数据的读取指令时，读取单元通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
根据本发明的上述数据处理系统，还可以具有以下技术特征：
在上述技术方案中，优选地，第二存储单元，包括：解析单元，用于解析第二数据；第二存储单元，具体用于将解析后的第二数据存储至消息队列。
在该技术方案中，在将第一数据转化为第二数据以后，解析单元对第二数据进行协议解析，补充一些特定信息，其中特定信息包括字段名字、字段类型等，第二存储单元再将解析后的第二数据存储至消息队列中，以供运营人员在使用第二数据时进行读取，并且也减少对数据库的依赖以及减轻了数据库的压力。
在上述任一技术方案中，优选地，读取指令中包括读取用户的身份信息；读取单元，包括：验证单元，用于验证读取用户的身份信息；读取单元，具体用于读取用户的身份信息验证通过后，根据读取指令，允许读取用户通过消息队列读取第二数据。
在该技术方案中，但接收到读取指令时，验证单元对包含在读取指令中的读取用户的身份信息与系统中预存的信息进行验证，只有在读取用户的身份信息验证通过后，读取单元才允许读取用户在消息队列中读取第二数据，防止发生数据泄露，保证了数据的使用安全性。
在上述任一技术方案中，优选地，还包括：建立单元，用于在将第一数据存储至第一数据库及第二数据库中之前，建立第一数据库及第二数据库；以及用于在将第二数据存储至消息队列之前，建立消息队列。
在该技术方案中，建立单元建立多个第一数据库及多个第二数据库进行业务研发人员的第一数据的存储，建立消息队列进行运营人员需要的第二数据的存储，进而仅对第二数据库中的数据进行解析使用，而完全不会影响第一数据库中的数据，并且使得无需业务研发人员参与数据产出从而使得业务研发人员更专注业务流程以及业务功能，以及使得运营人员能够方便地读取数据进而保证业务的正常推进。
在上述任一技术方案中，优选地，第二数据为binlog数据。
在该技术方案中，第二数据为binlog数据，其中binlog数据是二进制数据，第二数据能够存储至消息队列，以供运营人员无需通过业务研发人员而进行第二数据的读取。
在上述任一技术方案中，优选地，第一数据库为业务主数据库，第二数据库为业务从数据库。
根据本发明的再一个目的，提出了一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述数据处理方法的步骤。
本发明提供的计算机装置，处理器执行计算机程序时实现接收业务研发人员录入的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，将多个第二数据库中的第一数据格式转化为第二数据，同时将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收到运营人员的对第二数据的读取指令时，通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
根据本发明的又一个目的，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述数据处理方法的步骤。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现接收业务研发人员录入的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，将多个第二数据库中的第一数据格式转化为第二数据，同时将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收到运营人员的对第二数据的读取指令时，通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的数据处理方法的流程示意图；
图2示出了本发明的另一个实施例的数据处理方法的流程示意图；
图3示出了本发明的再一个实施例的数据处理方法的流程示意图；
图4示出了本发明的又一个实施例的数据处理方法的流程示意图；
图5示出了本发明的一个实施例的数据处理系统的示意框图；
图6示出了本发明的另一个实施例的数据处理系统的示意框图；
图7示出了本发明的再一个实施例的数据处理系统的示意框图；
图8示出了本发明的又一个实施例的数据处理系统的示意框图；
图9示出了本发明的一个实施例的计算机装置的示意框图；
图10示出了本发明的一个具体实施例的canal工作的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种数据处理方法，图1示出了本发明的一个实施例的数据处理方法的流程示意图。其中，该方法包括：
步骤102，接收第一数据；
步骤104，将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
步骤106，将第二数据存储至消息队列；
步骤108，接收读取指令；
步骤110，根据读取指令，允许读取用户在消息队列中读取第二数据。
本发明提供的数据处理方法，接收业务研发人员进行研发所产生的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，将多个第二数据库中的第一数据格式转化为第二数据，同时将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收到运营人员的对第二数据的读取指令时，通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
图2示出了本发明的另一个实施例的数据处理方法的流程示意图。其中，该方法包括：
步骤202，接收第一数据；
步骤204，将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
步骤206，解析第二数据；
步骤208，将解析后的第二数据存储至消息队列；
步骤210，接收读取指令；
步骤212，根据读取指令，允许读取用户在消息队列中读取第二数据。
在该实施例中，接收业务研发人员进行研发所产生的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中，其中，第一数据库与第二数据库是同步的，并将多个第二数据库第一数据转化为第二数据，对第二数据进行协议解析，补充一些特定信息，其中特定信息包括字段名字、字段类型等，再将解析后的第二数据存储至消息队列中，以供运营人员在使用第二数据时进行读取，并且也减少对数据库的依赖以及减轻了数据库的压力。
图3示出了本发明的再一个实施例的数据处理方法的流程示意图。其中，该方法包括：
步骤302，接收第一数据；
步骤304，将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
步骤306，解析第二数据；
步骤308，将解析后的第二数据存储至消息队列；
步骤310，接收读取指令；
步骤312，验证读取用户的身份信息；
步骤314，读取用户的身份信息验证通过后，根据读取指令，允许读取用户在消息队列中读取第二数据。
在该实施例中，接收业务研发人员进行研发所产生的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中，其中，第一数据库与第二数据库是同步的，并将多个第二数据库第一数据转化为第二数据，对第二数据进行协议解析，补充一些特定信息，再将解析后的第二数据存储至消息队列中，但接收到读取指令时，对包含在读取指令中的读取用户的身份信息与系统中预存的信息进行验证，只有在读取用户的身份信息验证通过后，才允许读取用户通过消息队列读取第二数据，防止发生数据泄露，保证了数据的使用安全性。
图4示出了本发明的又一个实施例的数据处理方法的流程示意图。其中，该方法包括：
步骤402，接收第一数据；
步骤404，建立第一数据库及第二数据库；
步骤406，将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
步骤408，解析第二数据；
步骤410，建立消息队列；
步骤412，将解析后的第二数据存储至消息队列；
步骤414，接收读取指令；
步骤416，验证读取用户的身份信息；
步骤418，读取用户的身份信息验证通过后，根据读取指令，允许读取用户在消息队列中读取第二数据。
在该实施例中，建立多个第一数据库及多个第二数据库进行业务研发人员的第一数据的存储，建立消息队列进行运营人员需要的第二数据的存储，进而仅对第二数据库中的数据进行解析使用，而完全不会影响第一数据库中的数据，并且使得无需业务研发人员参与数据产出从而使得业务研发人员更专注业务流程以及业务功能，以及使得运营人员能够方便地读取数据进而保证业务的正常推进。
在本发明的一个实施例中，优选地，第二数据为binlog数据。
在该实施例中，第二数据为binlog数据，其中binlog数据是二进制数据，第二数据能够存储至消息队列，以供运营人员无需通过业务研发人员而进行第二数据的读取。
在本发明的一个实施例中，优选地，第一数据库为业务主数据库，第二数据库为业务从数据库。
本发明第二方面的实施例，提出一种数据处理系统，图5示出了本发明的一个实施例的数据处理系统500的示意框图。其中，该系统包括：
接收单元502，用于接收第一数据；
第一存储单元504，用于将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
第二存储单元506，用于将第二数据存储至消息队列；
接收单元502，还用于接收读取指令；
读取单元508，用于根据读取指令，允许读取用户在消息队列中读取第二数据。
本发明提供的数据处理系统，接收单元502接收业务研发人员进行研发所产生的大量的第一数据，第一存储单元504将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，将多个第二数据库中的第一数据格式转化为第二数据，第二存储单元506将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收单元502接收到运营人员的对第二数据的读取指令时，读取单元508通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
图6示出了本发明的另一个实施例的数据处理系统600的示意框图。其中，该系统包括：
接收单元602，用于接收第一数据；
第一存储单元604，用于将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
第二存储单元606，用于将第二数据存储至消息队列；
接收单元602，还用于接收读取指令；
读取单元608，用于根据读取指令，允许读取用户在消息队列中读取第二数据；
第二存储单元606，包括：
解析单元6062，用于解析第二数据；
第二存储单元606，具体用于将解析后的第二数据存储至消息队列。
在该实施例中，在将第一数据转化为第二数据以后，解析单元6062对第二数据进行协议解析，补充一些特定信息，其中特定信息包括字段名字、字段类型等，第二存储单元606再将解析后的第二数据存储至消息队列中，以供运营人员在使用第二数据时进行读取，并且也减少对数据库的依赖以及减轻了数据库的压力。
图7示出了本发明的再一个实施例的数据处理系统700的示意框图。其中，该系统包括：
接收单元702，用于接收第一数据；
第一存储单元704，用于将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
第二存储单元706，用于将第二数据存储至消息队列；
接收单元702，还用于接收读取指令；
读取单元708，用于根据读取指令，允许读取用户在消息队列中读取第二数据；
第二存储单元706，包括：
解析单元7062，用于解析第二数据；
第二存储单元706，具体用于将解析后的第二数据存储至消息队列；
读取单元708，包括：
验证单元7082，用于验证读取用户的身份信息；
读取单元708，具体用于读取用户的身份信息验证通过后，根据读取指令，允许读取用户在消息队列中读取第二数据。
在该实施例中，但接收到读取指令时，验证单元7082对包含在读取指令中的读取用户的身份信息与系统中预存的信息进行验证，只有在读取用户的身份信息验证通过后，读取单元才允许读取用户通过消息队列读取第二数据，防止发生数据泄露，保证了数据的使用安全性。
图8示出了本发明的又一个实施例的数据处理系统800的示意框图。其中，该系统包括：
接收单元802，用于接收第一数据；
第一存储单元804，用于将第一数据存储至第一数据库及第二数据库中，并对第二数据库中的第一数据进行格式转化，转化为第二数据；
第二存储单元806，用于将第二数据存储至消息队列；
接收单元802，还用于接收读取指令；
读取单元808，用于根据读取指令，允许读取用户在消息队列中读取第二数据；
第二存储单元806，包括：
解析单元8062，用于解析第二数据；
第二存储单元806，具体用于将解析后的第二数据存储至消息队列；
读取单元808，包括：
验证单元8082，用于验证读取用户的身份信息；
读取单元808，具体用于读取用户的身份信息验证通过后，根据读取指令，允许读取用户在消息队列中读取第二数据；
还包括：
建立单元810，用于在将第一数据存储至第一数据库及第二数据库中之前，建立第一数据库及第二数据库；以及用于在将第二数据存储至消息队列之前，建立消息队列。
在该实施例中，建立单元810建立多个第一数据库及多个第二数据库进行业务研发人员的第一数据的存储，建立消息队列进行运营人员需要的第二数据的存储，进而仅对第二数据库中的数据进行解析使用，而完全不会影响第一数据库中的数据，并且使得无需业务研发人员参与数据产出从而使得业务研发人员更专注业务流程以及业务功能，以及使得运营人员能够方便地读取数据进而保证业务的正常推进。
在本发明的一个实施例中，优选地，第二数据为binlog数据。
在该实施例中，第二数据为binlog数据，其中binlog数据是二进制数据，第二数据能够存储至消息队列，以供运营人员无需通过业务研发人员而进行第二数据的读取。
在本发明的一个实施例中，优选地，第一数据库为业务主数据库，第二数据库为业务从数据库。
本发明第三方面的实施例，提出一种计算机装置，图9示出了本发明的一个实施例的计算机装置900的示意框图。其中，该系统包括：
存储器902、处理器904及存储在存储器902上并可在处理器904上运行的计算机程序，处理器904执行计算机程序时实现如上述数据处理方法的步骤。
本发明提供的计算机装置，处理器904执行计算机程序时实现接收业务研发人员录入的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，并将多个第二数据库中的第一数据格式转化为第二数据，同时将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收到运营人员的对第二数据的读取指令时，通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
根据本发明的又一个目的，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述数据处理方法的步骤。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现接收业务研发人员录入的大量的第一数据，并将第一数据分别存储至多个第一数据库及多个第二数据库中。其中，第一数据库为主数据库，第二数据库为从数据库，第一数据库与第二数据库是同步的，并将多个第二数据库中的第一数据格式转化为第二数据，同时将第二数据存储至消息队列中，消息队列为用于缓存数据的队列，当接收到运营人员的对第二数据的读取指令时，通过消息队列将第二数据提供给运营策略人员。本发明是将存储在第二数据库中的数据进行处理，因此完全不会影响主数据库中的业务，能够保证不占用业务研发人员紧张的时间参与数据产出，同时又保证了运营人员对营销数据的方便使用，使得业务顺利推进，从而提高业务效率。其中，第二数据为binlog形式的数据，binlog为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存。
本发明的一个具体实施例中，搭建一套日志同步系统，为了不影响业务正常运转，数据库团队搭建一套业务数据库的从库集群，则业务数据库包括主库集群及从库集群，并且主库集群及从库集群业务数据同步，从而开启binlog模式，再搭建一套日志收集系统，利用的方案为canal，从而将从库集群中的数据同步到消息队里中，以供主业务流程之外的人员使用。canal是基于数据库增量日志解析，提供增量数据读取&消费，主要支持mysql，其工作原理如图10所示，connection向业务mysql发送binlog dump协议，业务mysql收到binlogdump协议后推送binlog，返回到EventParser，在通过BinlogParser解析binlog，补充以下特定信息，包括补充字段名字、字段类型、主键信息等，之后将解析的binlog存储至消息队列集群，以供热营销场景运营使用。
本发明的另一个具体实施例中，将A业务线在产生订单的时候产生的数据存储到数据库的A表中，营销人员在想要使用该数据时，无需找到A业务线的研发人员产出数据，而只需要找到数据库团队将数据库的日志(A表)同步到消息队列里，然后在消息队列中读取。无需业务研发人员参与数据产出，数据库团队也无需关注业务，让每一个团队专注自己的事情，共同达到业务研发和营销的双赢局面。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据处理方法，其特征在于，包括：
接收第一数据；
将所述第一数据存储至第一数据库及第二数据库中，并对所述第二数据库中的所述第一数据进行格式转化，转化为第二数据；
将所述第二数据存储至消息队列；
接收读取指令；
根据所述读取指令，允许所述读取用户在所述消息队列中读取所述第二数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述第二数据存储至所述消息队列的步骤，具体包括：
解析所述第二数据；
将解析后的所述第二数据存储至所述消息队列。
3.根据权利要求1所述的数据处理方法，其特征在于，所述读取指令中包括所述读取用户的身份信息；
所述根据所述读取指令，允许所述读取用户在所述消息队列中读取所述第二数据的步骤，具体包括：
验证所述读取用户的身份信息；
所述读取用户的身份信息验证通过后，根据所述读取指令，允许所述读取用户在所述消息队列中读取所述第二数据。
4.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，在将所述第一数据存储至所述第一数据库及所述第二数据库中之前，还包括：建立所述第一数据库及所述第二数据库；
在将所述第二数据存储至所述消息队列之前，还包括：建立所述消息队列。
5.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，所述第二数据为binlog数据。
6.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，所述第一数据库为主数据库，所述第二数据库为从数据库。
7.一种数据处理系统，其特征在于，包括：
接收单元，用于接收第一数据；
第一存储单元，用于将所述第一数据存储至第一数据库及第二数据库中，并对所述第二数据库中的所述第一数据进行格式转化，转化为第二数据；
第二存储单元，用于将所述第二数据存储至消息队列；
所述接收单元，还用于接收读取指令；
读取单元，用于根据所述读取指令，允许所述读取用户在所述消息队列中读取所述第二数据。
8.根据权利要求7所述的数据处理系统，其特征在于，所述第二存储单元，包括：
解析单元，用于解析所述第二数据；
所述第二存储单元，具体用于将解析后的所述第二数据存储至所述消息队列。
9.根据权利要求7所述的数据处理系统，其特征在于，所述读取指令中包括所述读取用户的身份信息；
所述读取单元，包括：验证单元，用于验证所述读取用户的身份信息；
所述读取单元，具体用于所述读取用户的身份信息验证通过后，根据所述读取指令，允许所述读取用户在所述消息队列中读取所述第二数据。
10.根据权利要求7至9中任一项所述的数据处理系统，其特征在于，还包括：建立单元，用于在将所述第一数据存储至所述第一数据库及所述第二数据库中之前，建立所述第一数据库及所述第二数据库；以及用于在将所述第二数据存储至所述消息队列之前，建立所述消息队列。
11.根据权利要求7至9中任一项所述的数据处理系统，其特征在于，所述第二数据为binlog数据。
12.根据权利要求7至9中任一项所述的数据处理系统，其特征在于，所述第一数据库为主数据库，所述第二数据库为从数据库。
13.一种计算机装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
CN201710341787.1A 2017-05-16 2017-05-16 一种数据处理方法、处理系统及计算机装置 Pending CN108874834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710341787.1A CN108874834A (zh) 2017-05-16 2017-05-16 一种数据处理方法、处理系统及计算机装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710341787.1A CN108874834A (zh) 2017-05-16 2017-05-16 一种数据处理方法、处理系统及计算机装置

Publications (1)

Publication Number Publication Date
CN108874834A true CN108874834A (zh) 2018-11-23

Family

ID=64320664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710341787.1A Pending CN108874834A (zh) 2017-05-16 2017-05-16 一种数据处理方法、处理系统及计算机装置

Country Status (1)

Country Link
CN (1) CN108874834A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254982A (zh) * 2018-08-31 2019-01-22 杭州安恒信息技术股份有限公司 一种流数据处理方法、系统、装置及计算机可读存储介质
CN111143415A (zh) * 2019-12-26 2020-05-12 政采云有限公司 一种数据处理方法、装置和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7290015B1 (en) * 2003-10-02 2007-10-30 Progress Software Corporation High availability via data services
CN102760126A (zh) * 2011-04-26 2012-10-31 阿里巴巴集团控股有限公司 一种分布式系统中的数据同步方法和分布式系统
CN104348805A (zh) * 2013-07-31 2015-02-11 南京中兴力维软件有限公司 异步文件传输方法、装置及其系统
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN105045856A (zh) * 2015-07-09 2015-11-11 中国资源卫星应用中心 一种基于Hadoop的大数据遥感卫星数据处理系统
CN106372994A (zh) * 2016-08-31 2017-02-01 北京炎黄新星网络科技有限公司 一种处理订单的方法和系统
CN106372115A (zh) * 2016-08-23 2017-02-01 成都乾威科技有限公司 一种数据读写方法、系统及数据库系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7290015B1 (en) * 2003-10-02 2007-10-30 Progress Software Corporation High availability via data services
CN102760126A (zh) * 2011-04-26 2012-10-31 阿里巴巴集团控股有限公司 一种分布式系统中的数据同步方法和分布式系统
CN104348805A (zh) * 2013-07-31 2015-02-11 南京中兴力维软件有限公司 异步文件传输方法、装置及其系统
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN105045856A (zh) * 2015-07-09 2015-11-11 中国资源卫星应用中心 一种基于Hadoop的大数据遥感卫星数据处理系统
CN106372115A (zh) * 2016-08-23 2017-02-01 成都乾威科技有限公司 一种数据读写方法、系统及数据库系统
CN106372994A (zh) * 2016-08-31 2017-02-01 北京炎黄新星网络科技有限公司 一种处理订单的方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254982A (zh) * 2018-08-31 2019-01-22 杭州安恒信息技术股份有限公司 一种流数据处理方法、系统、装置及计算机可读存储介质
CN109254982B (zh) * 2018-08-31 2020-09-29 杭州安恒信息技术股份有限公司 一种流数据处理方法、系统、装置及计算机可读存储介质
CN111143415A (zh) * 2019-12-26 2020-05-12 政采云有限公司 一种数据处理方法、装置和计算机可读存储介质
CN111143415B (zh) * 2019-12-26 2023-12-29 政采云有限公司 一种数据处理方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN102208060B (zh) 一种电子笔录、签名、指纹一体化系统
CN107154945A (zh) 一种基于纠删码的多云碎片化安全存储方法及系统
CN108182367B (zh) 一种支持数据更新的加密数据块客户端去重方法
CN109919691B (zh) 一种数据处理的系统、方法以及装置
CN112270550A (zh) 一种基于区块链的新能源电力溯源方法及系统
CN102708336A (zh) 基于关键数据和定制模板分离的电子文档处理方法及系统
CN105516117A (zh) 一种基于云计算的电力数据安全存储方法
CN108874834A (zh) 一种数据处理方法、处理系统及计算机装置
CN107566406B (zh) 一种基于云存储的会议纪要管理系统
CN109831479A (zh) 区块链的数据处理方法和系统
Jiang et al. Research on the application of blockchain in copyright protection
CN204926097U (zh) 数据隔离存储系统
CN111383016A (zh) 基于私有链的电子发票数据处理方法、装置及系统
Yu Application of blockchain technology in the data processing security system of financial enterprises
CN110601857A (zh) 一种基于局部-全局区块链协同的数据交互方法
CN113468862A (zh) 区块链创建版式文件的方法、装置、电子设备及存储介质
Banoth et al. A survey on decentralized application based on blockchain platform
CN103312743A (zh) 一种数据同步装置和方法
CN105225067A (zh) 业务信息协同管理分享系统
Ji Research on application of information management technology in computer big data system
KR20210093621A (ko) 템플릿기반 웹(sns)컨텐츠 pdf 출판시스템
CN112016898A (zh) 基于区块链的协同办公方法及装置、系统
CN109857722A (zh) 一种基于区块链的数据库阵列驱动与动态索引技术
Lin et al. A double-blockchains based Digital Archives Management Framework and Implementation
Laud Information Security Technology for Applications: 16th Nordic Conference on Security IT Systems, NordSec 2011, Talinn, Estonia, 26-28 October 2011, Revised Selected Papers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123