CN113065920A - 数据处理方法和系统 - Google Patents
数据处理方法和系统 Download PDFInfo
- Publication number
- CN113065920A CN113065920A CN202110390528.4A CN202110390528A CN113065920A CN 113065920 A CN113065920 A CN 113065920A CN 202110390528 A CN202110390528 A CN 202110390528A CN 113065920 A CN113065920 A CN 113065920A
- Authority
- CN
- China
- Prior art keywords
- user
- user code
- configuration information
- data
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种数据处理方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：根据用户的命令，对与所述用户对应的业务字段进行配置，生成对应的配置信息；所述配置信息包括所述用户对应的用户编码和业务字段；接收下单数据，其中，所述下单数据包括第一用户编码；根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。该实施方式通过业务字段配置化的方式，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法和系统。
背景技术
随着电子商务的发展，越来越多的电子商务平台应运而生，电子商务平台为商家提供的服务也越来越优质。因而，吸引了大量的商家加入电子商务平台。由于每个商家的具体业务不同，所以电子商务平台需要为各商家配置对应的业务信息。然而，在实际应用中，部分商家要求新增商家独有的业务属性，同时要求在其查询单据、分析费用、汇总单据时该新增的独有业务属性能够随单导出。在现有技术中，需要程序开发人员在系统各处手动添加该新增的业务属性，这样才能在查询单据时随单导出。在添加新增的业务属性之后，还需要对添加的业务属性进行测试。然而，这种方法容易遗漏添加新增的业务属性的位置，影响需求质量和客户体验，而且业务人员不能显性的看到商家数据情况；在测试时，需要测试的功能点多，耗时长，交付时间长。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法和系统，通过业务字段配置化的方式，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：
根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
接收下单数据，其中，所述下单数据包括第一用户编码；
根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。
可选地，所述方法还包括：接收单据查询请求，所述单据查询请求包括第二用户编码；根据所述第二用户编码在所述预设的数据库中进行查询，得到查询结果。
可选地，所述方法还包括：根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息；根据所述第二配置信息生成报告模板；将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。
可选地，所述方法还包括：接收业务字段查询请求，所述业务字段查询请求包括第三用户编码；根据所述第三用户编码，获取与所述第三用户编码对应的第三配置信息，从所述第三配置信息中获取与所述第三用户编码对应的业务字段。
可选地，在将解析后的下单数据写入预设的数据库中之后，所述方法还包括：将解析后的下单数据写入预设的搜索服务器中；在接收到单据查询请求时，根据所述单据查询请求中的第二用户编码，在所述搜索服务器中进行查询，得到查询结果，并输出所述查询结果。
可选地，在将解析后的下单数据写入预设的数据库中之后，所述方法还包括：生成与所述下单数据对应的日志文件；
将解析后的下单数据写入预设的搜索服务器中包括：基于所述日志文件，将解析后的下单数据写入预设的搜索服务器中。
可选地，在对所述用户对应的业务字段进行配置时，所述方法还包括：设置所述业务字段的版本信息。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种数据处理系统，所述系统包括：
配置模块，用于根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
下单模块，用于接收下单数据，其中，所述下单数据包括第一用户编码；
写库模块，用于根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。
可选地，所述系统还包括查询模块，用于接收单据查询请求，所述单据查询请求包括第二用户编码；根据所述第二用户编码在所述预设的数据库中进行查询，得到查询结果，并输出所述查询结果。
可选地，所述查询模块还用于根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息，根据所述第二配置信息生成报告模板，将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。
可选地，所述查询模块还用于：接收业务字段查询请求，所述业务字段查询请求包括第三用户编码；根据所述第三用户编码，获取与所述第三用户编码对应的第三配置信息，从所述第三配置信息中获取与所述第三用户编码对应的业务字段。
可选地，所述系统还包括实时数据模块，用于将解析后的下单数据写入预设的搜索服务器中；
所述查询模块还用于在接收到单据查询请求时，根据所述单据查询请求中的第二用户编码，在所述搜索服务器中进行查询，得到查询结果，并输出所述查询结果。
可选地，所述写库模块还用于在将解析后的下单数据写入预设的数据库中之后，生成与所述下单数据对应的日志文件；
所述实时数据模块还用于基于所述日志文件，将解析后的下单数据写入预设的搜索服务器中。
可选地，所述配置模块还用于在对所述用户对应的业务字段进行配置时，设置所述业务字段的版本信息。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的数据处理方法。
为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的数据处理方法。
上述发明中的一个实施例具有如下优点或有益效果：通过根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；接收下单数据，其中，所述下单数据包括第一用户编码；根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的数据处理方法的主要步骤的流程示意图；
图2是本发明另一实施例的数据处理方法的主要步骤的流程示意图；
图3是本发明又一实施例的数据处理方法的主要步骤的流程示意图；
图4是本发明一实施例的数据处理系统的主要模块的示意图；
图5是本发明另一实施例的数据处理系统的主要模块的示意图；
图6是本发明实施例的数据处理系统的数据处理的流转过程的示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本发明实施例的数据处理方法的主要步骤的流程示意图。
如图1所示，该方法包括：
步骤S101：根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
步骤S102：接收下单数据，其中，所述下单数据包括第一用户编码；
步骤S103：根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。
对于步骤S101，在本实施例中，用户可以是商家，用户的命令可以是用户需要新增业务字段的命令。在配置业务字段时，可以采用key-value(键-值)的方式存储业务字段。其中，key代表业务字段的中文名称，便于业务人员理解及沟通。Value代表业务字段在系统中的英文名称，便于系统识别。由于同时存在多个商家，为了区别不同的商家，需要为商家设置唯一的标识，如用户编码。因此，在该步骤中配置的业务字段的存储方式可以如下表1所示：
表1：
对于步骤S102，下单数据可以包括下单用户对应的用户编码，还可以包括该订单的相关数据，如订单编号、下单时间和订单详情数据。以上表1为例，该下单数据包括用户编码001、订单编号12345、下单时间20210318和订单详情数据：5个重20千克的大型箱子。
对于步骤S103，根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。继续以上述示例为例，解析后的下单数据可以按照下表2存储在预设的数据库中。
表2：
本发明实施例的数据处理方法，通过根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；接收下单数据，其中，所述下单数据包括第一用户编码；根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验。
在可选的实施例中，该数据处理方法在根据用户的命令配置对应的业务字段时，还可以设置该业务字段的版本信息。具体的，在配置业务字段时，配置该业务字段的版本标识。
图2是本发明另一实施例的数据处理方法的主要步骤的流程图。
如图2所示，该方法包括：
步骤S201：根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
步骤S202：接收下单数据，其中，所述下单数据包括第一用户编码；
步骤S203：根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中；
步骤S204：接收单据查询请求，所述单据查询请求包括第二用户编码；
步骤S205：根据所述第二用户编码在所述预设的数据库中进行查询，得到查询结果；
步骤S206：根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息；
步骤S207：根据所述第二配置信息生成报告模板；将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。
其中，步骤S201-步骤S203与图1所示的实施例相同，本发明在此不再赘述。在本实施例中，第一用户编码与第二用户编码可以相同，也可以不相同。
对于步骤S204-S207，本实施例支持用户查询以及报告导出功能。具体的，单据查询请求除了包括用户编号，还可以包括订单编号和下单时间。则可以基于该订单编号(或下单时间)和用户编码，在数据库中进行查询，以得到查询结果。优选的，可以根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息，根据所述第二配置信息生成报告模板，将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。本实施例基于获取的配置信息，自动生成该用户独有的报告模板。然后将在数据库中查询得到的查询结果赋值在模板中的对应位置，得到查询报告。用户独有的报告模板是用户的独有的业务字段和系统中公共字段共同组成模板。公共字段指的是所有用户共用的通用字段，比如用户编码、单号、单据创建时间等。作为具体的示例，查询报告可以以CSV方式返回给用户。其中，CSV(Comma-Separated Values，逗号分隔值或字符分隔值)是一种通用的、相对简单的文件格式，其文件以纯文本形式存储表格数据。优选的，在存储下单数据时使用高速缓存结构进行存储，采用RPC方式提供查询服务，架构层面支持横向扩展，使该数据处理系统支持高并发、高性能、高可用。RPC(Remote Procedure Call，远程过程调用)，可以理解为一个节点请求另一个节点提供的服务。
在可选的实施例中，该方法还包括接收业务字段查询请求，所述业务字段查询请求包括第三用户编码；根据所述第三用户编码，获取与所述第三用户编码对应的第三配置信息，从所述第三配置信息中获取与所述第三用户编码对应的业务字段。其中，第三用户编码可以与第一用户编码、第二用户编码相同，也可以不同。通过本步骤，用户可以查询其独有的业务字段的集合。在步骤S201配置的业务字段具有版本标识，针对同一用户的同一版本的查询请求，无论查询时间和查询次数，只要版本标识相同，则返回的结果相同，保证了服务幂等性。
本发明实施例的数据处理方法，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验；还实现了单据查询及导出功能，便于用户查看。
图3是本发明又一实施例的数据处理方法的主要步骤的流程示意图。如图3所示，该方法包括：
步骤S301：根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
步骤S302：接收下单数据，其中，所述下单数据包括第一用户编码；
步骤S303：根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中；
步骤S304：生成与所述下单数据对应的日志文件；
步骤S305：基于所述日志文件，将解析后的下单数据写入预设的搜索服务器中；
步骤S306：接收单据查询请求，所述单据查询请求包括第二用户编码；
步骤S307：根据所述第二用户编码在所述预设的搜索服务器中进行查询，得到查询结果；
步骤S308：根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息；
步骤S309：根据所述第二配置信息生成报告模板；将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。
其中，步骤S301-S303与图1所示的实施例相同，本发明在此不做限制。
对于步骤S304-S305，在将解析后的下单数据写入数据库中之后，产生日志文件(binlog)。在生成日志文件后，基于该日志文件将下单数据写入预设的搜索服务器。其中，binlog是二进制日志文件，用于记录mysql的数据更新或者潜在更新。预设的搜索服务器可以是ES(Elast icsearch)。ES是一个分布式、高扩展、高实时的搜索与数据分析引擎。
下单数据在ES中的存储方式可以如下表3所示：
表3：
| 用户编码 | boxType | weight | count |
| 001 | 大型 | 20千克 | 5 |
对于步骤S306-S309，在接收到用户的单据查询请求之后，从预设的搜索服务器ES中进行查询，得到查询结果。相对于从数据库进行查询的方式，从ES中进行查询速度更快，效率更高。
本发明实施例的数据处理方法，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验；还实现了单据查询及导出功能，便于用户查看；通过将用户的下单数据存储在搜索服务器中，以及从该搜索服务器中进行查询的方式，提高了查询效率，优化了系统性能，改善了用户体验。
图4是本发明实施例的数据处理系统100的主要模块的示意图，如图4所示，该数据处理系统400包括配置模块401、下单模块402和写库模块403。
其中，配置模块401用于根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息。其中，所述配置信息包括所述用户对应的用户编码和业务字段。在本实施例中，用户可以是商家，用户的命令可以是用户需要新增业务字段的命令。在配置模块401配置业务字段时，采用key-value(键-值)的方式存储业务字段。其中，key代表业务字段的中文名称，便于业务人员理解及沟通。Value代表业务字段在系统中的英文名称，便于系统识别。由于同时存在多个商家，为了区别不同的商家，需要为商家设置唯一的标识，如用户编码。因此，在配置模块401中配置的业务字段的存储方式可以如表1所示。
下单模块402用于接收下单数据，其中，所述下单数据包括第一用户编码。该下单数据还包括该订单的相关数据，如订单编号、下单时间和订单详情数据。以上表1为例，该下单数据包括用户编码001、订单编号12345、下单时间20210318和订单详情数据：5个重20千克的大型箱子。
写库模块403用于根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。继续以上述示例为例，解析后的下单数据按照表2存储在预设的数据库中。
在可选的实施例中，在数据库中还可以记录下单数据中的订单编号和下单时间。
本发明实施例的数据处理系统，通过根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；接收下单数据，其中，所述下单数据包括第一用户编码；根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验。
在可选的实施例中，该数据处理系统还可以包括查询模块，用于接收单据查询请求，所述单据查询请求包括第二用户编码；根据所述第二用户编码在所述预设的数据库中进行查询，得到查询结果，并输出所述查询结果。
数据处理系统通过查询模块具备了查询功能。其中，单据查询请求还可以包括订单编号和下单时间。则查询模块可以基于该订单编号(或下单时间)和用户编码，在数据库中进行查询，以得到查询结果。更优选的，该查询模块还用于根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息，根据所述第二配置信息生成报告模板，将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。该查询模块基于获取的配置信息，自动生成该用户独有的报告模板，同时将在数据库中查询得到的查询结果赋值在模板中的对应位置，得到查询报告。该查询模块可以使该数据处理系统具备报告导出功能。作为具体的示例，查询报告可以以CSV方式返回给用户。其中，CSV(Comma-SeparatedValues，逗号分隔值或字符分隔值)是一种通用的、相对简单的文件格式，其文件以纯文本形式存储表格数据。
该查询模块还可以用于接收业务字段查询请求，所述业务字段查询请求包括第三用户编码；根据所述第三用户编码，获取与所述第三用户编码对应的第三配置信息，从所述第三配置信息中获取与所述第三用户编码对应的业务字段。通过该查询模块，用户可以查询其独有的业务字段的集合。更优选的，该查询模块支持幂等、高并发高性能。配置模块配置的业务字段具有版本标识，针对同一用户的同一版本的查询请求，无论查询时间和查询次数，只要版本标识相同，则返回的结果相同，保证了服务幂等性。写库模块底层使用高速缓存结构，采用RPC方式提供服务，架构层面支持横向扩展，使该数据处理系统支持高并发、高性能、高可用。
图5是本发明又一实施例的数据处理系统500的主要模块的示意图。图6是该数据处理系统600的数据流转示意图。
如图5和图6所示，该数据处理系统500包括：
配置模块501，用于根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
下单模块502，用于接收下单数据，其中，所述下单数据包括第一用户编码；
写库模块503，用于根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中；
实时数据模块504，用于将解析后的下单数据写入预设的搜索服务器中。
查询模块505，用于接收单据查询请求，所述单据查询请求包括第二用户编码；根据所述第二用户编码在所述搜索服务器中进行查询，得到查询结果，并输出所述查询结果。
其中，配置模块401、下单模块402和写库模块403与图1所示实施例的模块具有相同的功能，本发明在此不再赘述。
在本实施例中，预设的搜索服务器可以是ES(Elasticsearch)。ES是一个分布式、高扩展、高实时的搜索与数据分析引擎。
数据处理系统500通过查询模块505具备了查询和报告导出功能。其中，单据查询请求还可以包括订单编号和下单时间。则查询模块505可以基于该订单编号(或下单时间)和用户编码，在搜索服务器中进行查询，以得到查询结果。更优选的，该查询模块505还用于根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息，根据所述第二配置信息生成报告模板，将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。该查询模块基于获取的配置信息，自动生成该用户独有的报告模板，同时将在数据库中查询得到的查询结果赋值在模板中的对应位置，得到查询报告。该查询模块可以使该数据处理系统具备报告导出功能。作为具体的示例，查询报告可以以CSV方式返回给用户。其中，CSV(Comma-Separated Values，逗号分隔值或字符分隔值)是一种通用的、相对简单的文件格式，其文件以纯文本形式存储表格数据。本实施例中，在接收到用户的单据查询请求之后，从预设的搜索服务器ES中进行查询，得到查询结果。相对于从数据库进行查询的方式，从ES中进行查询速度更快，效率更高。
该查询模块还可以用于接收业务字段查询请求，所述业务字段查询请求包括第三用户编码；根据所述第三用户编码，获取与所述第二用户编码对应的第三配置信息，从所述第三配置信息中获取与所述第三用户编码对应的业务字段。通过该查询模块，用户可以查询其独有的业务字段的集合。更优选的，该查询模块支持幂等、高并发高性能。具体的，配置模块配置的业务字段具有版本标识，针对同一用户的同一版本的查询请求，无论查询时间和查询次数，只要版本标识相同，则返回的结果相同，保证了服务幂等性。写库模块底层使用高速缓存结构，采用RPC方式提供服务，架构层面支持横向扩展，使该数据处理系统支持高并发、高性能、高可用。
本发明实施例的数据处理系统，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验；还实现了单据查询及导出功能，便于用户查看；通过将用户的下单数据存储在搜索服务器中，以及从该搜索服务器中进行查询的方式，提高了查询效率，优化了系统性能，改善了用户体验。
图7示出了可以应用本发明实施例的数据处理方法或数据处理系统的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是，本发明实施例所提供的数据处理方法一般由服务器705执行，相应地，数据处理系统一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
接收下单数据，其中，所述下单数据包括第一用户编码；
根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。
本发明实施例的技术方案，实现了业务字段配置化，确保了在多场景下任何用户新增任何的业务字段均可通过配置实现，降低了业务与用户的沟通成本，业务所见即所得，降低了人力成本和时间成本，提高了交付效率，提高了使用体验；还实现了单据查询及导出功能，便于用户查看；通过将用户的下单数据存储在搜索服务器中，以及从该搜索服务器中进行查询的方式，提高了查询效率，优化了系统性能，改善了用户体验。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种数据处理方法，其特征在于，包括：
根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
接收下单数据，其中，所述下单数据包括第一用户编码；
根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收单据查询请求，所述单据查询请求包括第二用户编码；
根据所述第二用户编码在所述预设的数据库中进行查询，得到查询结果，并输出所述查询结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述第二用户编码，获取与所述第二用户编码对应的第二配置信息；
根据所述第二配置信息生成报告模板；
将所述查询结果写入所述报告模板，得到查询报告，并输出所述查询报告。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收业务字段查询请求，所述业务字段查询请求包括第三用户编码；
根据所述第三用户编码，获取与所述第三用户编码对应的第三配置信息，从所述第三配置信息中获取与所述第三用户编码对应的业务字段。
5.根据权利要求2所述的方法，其特征在于，在将解析后的下单数据写入预设的数据库中之后，所述方法还包括：
将解析后的下单数据写入预设的搜索服务器中；
在接收到单据查询请求时，根据所述单据查询请求中的第二用户编码，在所述搜索服务器中进行查询，得到查询结果，并输出所述查询结果。
6.根据权利要求5所述的方法，其特征在于，在将解析后的下单数据写入预设的数据库中之后，所述方法还包括：生成与所述下单数据对应的日志文件；
将解析后的下单数据写入预设的搜索服务器中包括：基于所述日志文件，将解析后的下单数据写入预设的搜索服务器中。
7.根据权利要求1-6任一项所述的方法，其特征在于，在对所述用户对应的业务字段进行配置时，所述方法还包括：设置所述业务字段的版本信息。
8.一种数据处理系统，其特征在于，所述系统包括：
配置模块，用于根据用户的命令，对与所述用户对应的业务字段进行配置，生成与所述用户对应的配置信息；其中，所述配置信息包括所述用户对应的用户编码和业务字段；
下单模块，用于接收下单数据，其中，所述下单数据包括第一用户编码；
写库模块，用于根据所述第一用户编码，确定与所述第一用户编码对应的第一配置信息，根据所述第一配置信息解析所述下单数据，并将解析后的下单数据写入预设的数据库中。
9.根据权利要求8所述的系统，其特征在于，所述查询模块还用于：
接收单据查询请求，所述单据查询请求包括第二用户编码；
根据所述第二用户编码在所述预设的数据库中进行查询，得到查询结果，并输出所述查询结果。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括实时数据模块，用于将解析后的下单数据写入预设的搜索服务器中；
所述查询模块还用于在接收到单据查询请求时，根据所述单据查询请求中的第二用户编码，在所述搜索服务器中进行查询，得到查询结果，并输出所述查询结果。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110390528.4A CN113065920A (zh) | 2021-04-12 | 2021-04-12 | 数据处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110390528.4A CN113065920A (zh) | 2021-04-12 | 2021-04-12 | 数据处理方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065920A true CN113065920A (zh) | 2021-07-02 |
Family
ID=76566395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110390528.4A Pending CN113065920A (zh) | 2021-04-12 | 2021-04-12 | 数据处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065920A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599291A (zh) * | 2019-01-24 | 2019-12-20 | 王俊领 | 商家买家多种市场高效精准融合智能电商运营系统和方法 |
| CN110888869A (zh) * | 2018-09-06 | 2020-03-17 | 北京京东金融科技控股有限公司 | 一种数据处理方法和装置 |
| CN111708801A (zh) * | 2020-05-29 | 2020-09-25 | 北京金山云网络技术有限公司 | 报表生成方法、装置及电子设备 |
| CN111833169A (zh) * | 2020-07-01 | 2020-10-27 | 中国建设银行股份有限公司 | 一种分账管理方法和装置 |
| WO2020259147A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种字段信息检验方法及装置 |
-
2021
- 2021-04-12 CN CN202110390528.4A patent/CN113065920A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110888869A (zh) * | 2018-09-06 | 2020-03-17 | 北京京东金融科技控股有限公司 | 一种数据处理方法和装置 |
| CN110599291A (zh) * | 2019-01-24 | 2019-12-20 | 王俊领 | 商家买家多种市场高效精准融合智能电商运营系统和方法 |
| WO2020259147A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种字段信息检验方法及装置 |
| CN111708801A (zh) * | 2020-05-29 | 2020-09-25 | 北京金山云网络技术有限公司 | 报表生成方法、装置及电子设备 |
| CN111833169A (zh) * | 2020-07-01 | 2020-10-27 | 中国建设银行股份有限公司 | 一种分账管理方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| JINING ZHANG, HONGTAO ZHANG: "Design and implementation of sales management information system", 《MODERN APPLIED SCIENCE》, vol. 1, no. 4, pages 60 - 68 * |
| 任耕，王娟: "以诊改信息支撑平台拓展高职院校育人思路", 《西部素质教育》, vol. 2020, no. 06, 7 May 2020 (2020-05-07), pages 209 - 211 * |
| 吴晓芳: "网格服务在分布式电子商务中的应用研究", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》, 15 August 2006 (2006-08-15), pages 138 - 811 * |
| 张敏: "业务流程管理平台的研发及创新", 《科技创新导报》, vol. 2012, no. 25, pages 18 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109683998B (zh) | 国际化实现方法、装置和系统 | |
| CN107302597B (zh) | 消息文案推送方法和装置 | |
| WO2021023149A1 (zh) | 一种动态返回报文的方法和装置 | |
| CN110689268B (zh) | 一种提取指标的方法和装置 | |
| CN110473036B (zh) | 一种生成订单号的方法和装置 | |
| CN110706093A (zh) | 一种账务处理方法和装置 | |
| CN112835904A (zh) | 一种数据处理方法和数据处理装置 | |
| CN111881329A (zh) | 一种账户余额管理方法和系统 | |
| CN112947919A (zh) | 构建业务模型和处理业务请求的方法和装置 | |
| CN112182138A (zh) | 一种目录编制方法和装置 | |
| CN110928594A (zh) | 服务开发方法和平台 | |
| CN111258988B (zh) | 资产管理方法、装置、电子设备以及介质 | |
| CN116450622B (zh) | 数据入库的方法、装置、设备和计算机可读介质 | |
| CN112559024A (zh) | 一种生成交易码变更列表的方法和装置 | |
| CN113065920A (zh) | 数据处理方法和系统 | |
| CN112131287A (zh) | 一种读取数据的方法和装置 | |
| CN113704222A (zh) | 一种处理业务请求的方法和装置 | |
| CN112579428A (zh) | 接口测试的方法、装置、电子设备和存储介质 | |
| CN112785358A (zh) | 一种订单履约商家的接入方法和装置 | |
| CN113434754A (zh) | 确定推荐api服务的方法、装置、电子设备和存储介质 | |
| CN112862554A (zh) | 一种订单数据的处理方法和装置 | |
| CN111199437A (zh) | 一种数据处理方法和装置 | |
| CN113741796B (zh) | 一种终端应用的数据持久化方法和装置 | |
| CN113760981B (zh) | 一种数据查询方法和装置 | |
| CN114661833A (zh) | 一种业务图谱的生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |