CN104090938A - 一种提交数据的方法及装置 - Google Patents

一种提交数据的方法及装置 Download PDF

Info

Publication number
CN104090938A
CN104090938A CN201410301838.4A CN201410301838A CN104090938A CN 104090938 A CN104090938 A CN 104090938A CN 201410301838 A CN201410301838 A CN 201410301838A CN 104090938 A CN104090938 A CN 104090938A
Authority
CN
China
Prior art keywords
data
user
database
group
submission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410301838.4A
Other languages
English (en)
Inventor
黄晓禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingsoft Guangzhou Network Technology Co Ltd
Original Assignee
Kingsoft Guangzhou Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingsoft Guangzhou Network Technology Co Ltd filed Critical Kingsoft Guangzhou Network Technology Co Ltd
Priority to CN201410301838.4A priority Critical patent/CN104090938A/zh
Publication of CN104090938A publication Critical patent/CN104090938A/zh
Priority to PCT/CN2015/082128 priority patent/WO2015196983A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的实施例公开一种提交数据的方法及装置，能高效率地完成数据的上报。所述提交数据的方法包括：接收用户上报数据的请求；对用户请求上报的数据进行分组，并保存在临时存储器中；当向数据库提交数据时，将所述分组后的数据进行一次提交。所述提交数据装置包括：数据接收单元，用于接收用户上报数据的请求；分组单元，用于对用户请求上报的数据进行分组；临时存储器，用于保存所述用户请求上报的数据；数据提交单元，用于当向数据库提交数据时，将所述分组后的数据进行一次提交。本发明适用于数据上报。

Description

一种提交数据的方法及装置
技术领域
本发明涉及数据统计技术领域，尤其涉及一种提交数据的方法及装置。
背景技术
随着互联网技术的飞速发展，网络用户数量更是突飞猛进，为了能够更好地为网络用户提供服务，对大数据量用户千变万化的网络操作行为进行上报和统计成为目前互联网商家的研究课题。
现有技术对数据上报一般是通过如下方法完成：预先在后台数据库制定表格，定义各字段，每次用户提交数据时，将用户数据先逐条地存入临时存储器，再将用户数据逐条地录入数据库中，这种一次提交一条数据的数据上报方式，效率很低。
发明内容
有鉴于此，本发明实施例提供一种提交数据的方法及装置，能够高效率地完成数据的上报。
一方面，本发明实施例提供一种提交数据的方法，包括：
接收用户上报数据的请求；
对用户请求上报的数据进行分组，并保存在临时存储器中；
当向数据库提交数据时，将所述分组后的数据进行一次提交。
可选地，所述接收用户上报数据的请求包括：接收用户通过同一个应用程序接口上报数据的请求。
可选地，所述对用户请求上报的数据进行分组，并保存在临时存储器中包括：对用户请求上报的数据进行检测，确定出用户请求上报的数据类型；根据确定出的数据类型，对不同类型的数据生成不同的标识符编码；将具有相同标识符编码的数据分为同一组。
可选地，所述当向数据库提交数据时，将所述分组后的数据进行一次提交包括：当向数据库提交数据时，将所述分组后的各组数据进行一次提交；或者当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交。
可选地，所述当向数据库提交数据时，将所述分组后的各组数据进行一次提交包括：当向数据库提交数据时，在所述数据库中生成与所述分组后的各组数据相对应的表格，并将所述分组后的各组数据写入所述表格。
可选地，所述当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交，包括：当向数据库提交一组数据时，在所述数据库中生成与该组数据相对应的表格，并将该组数据写入所述表格。
可选地，在接收用户上报数据的请求之前包括：预先定义超文本传输协议请求中参数与数据库表之间的协议。
可选地，所述对用户请求上报的数据进行分组，并保存在临时存储器中之前包括：对用户上报数据的请求进行分析，确定用户所要上报的数据类型；根据确定出的所述数据类型，为所述上报数据的请求分配指定的服务器。
可选地，在对用户请求上报的数据进行分组，并保存在临时存储器中的同时，还包括：根据信息摘要算法5对用户上报数据的请求中的请求参数进行加密，生成唯一密钥；通过所述密钥在所述临时存储器中查找相应的数据；若所述数据已经存在，则将所述数据对应的计数器进行加法操作；若查找不到所述数据，则将所述数据保存在临时存储器中，并将所述数据对应的计数器初始化为1。
可选地，所述临时存储器是Redis存储系统。
本发明实施例的提交数据的方法，通过对用户请求上报的数据进行分组并保存在临时存储器中，当向数据库提交数据时，将所述分组后的数据进行一次提交，这样，通过分组的方式一次能够提交大量的数据，从而能够高效率地完成数据的上报。
另一方面，本发明实施例提供一种提交数据的装置，包括：数据接收单元，用于接收用户上报数据的请求；分组单元，用于对用户请求上报的数据进行分组；临时存储器，用于保存所述用户请求上报的数据；数据提交单元，用于当向数据库提交数据时，将所述分组后的数据进行一次提交。
可选地，所述数据接收单元用于接收用户通过同一个应用程序接口上报数据的请求。
可选地，所述分组单元包括：检测模块，用于对用户请求上报的数据进行检测，确定出用户请求上报的数据类型；编码生成模块，用于根据确定出的数据类型，对不同类型的数据生成不同的标识符编码；分组模块，用于将具有相同标识符编码的数据分为同一组。
可选地，所述数据提交单元用于当向数据库提交数据时，将所述分组后的各组数据进行一次提交；或者用于当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交。
可选地，所述数据提交单元包括：第一生成模块，用于当向数据库提交数据时，在所述数据库中生成与所述分组后的各组数据相对应的表格；第一写入模块，用于将所述分组后的各组数据写入所述表格。
可选地，所述数据提交单元包括：第二生成模块，用于当向数据库提交一组数据时，在所述数据库中生成与该组数据相对应的表格；第二写入模块，用于将该组数据写入所述表格。
可选地，所述提交数据的装置还包括：定义单元，用于预先定义超文本传输协议请求中参数与数据库表之间的协议。
可选地，所述提交数据的装置还包括：分析单元，用于对用户上报数据的请求进行分析，确定用户所要上报的数据类型；分配单元，用于根据确定出的所述数据类型，为所述上报数据的请求分配指定的服务器。
可选地，所述提交数据的装置还包括：加密单元，用于根据信息摘要算法5对用户上报数据的请求中的请求参数进行加密，生成唯一密钥；查找单元，用于通过所述密钥在所述临时存储器中查找相应的数据；计数单元，用于若所述数据在所述临时存储器中已经存在时，将所述数据对应的计数器进行加法操作；保存单元，用于若所述查找单元在所述临时存储器中查找不到所述数据，则将所述数据保存在临时存储器保存中，同时将所述数据对应的计数器初始化为1。
可选地，所述临时存储器是Redis存储系统。
本发明实施例所述提交数据的装置，所述分组单元对用户请求上报的数据进行分组，并保存在临时存储器中，当向数据库提交数据时，数据提交单元将所述分组后的数据进行一次提交。这样，通过分组的方式一次能够提交大量的数据，从而能够高效率地完成数据的上报。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的提交数据的方法一实施例的流程示意图；
图2为本发明的提交数据的装置一实施例的结构示意图；
图3为本发明的提交数据的装置另一实施例的结构示意图；
图4为本发明的提交数据的装置又一实施例的结构示意图；
图5为本发明的提交数据的装置再一实施例的结构示意图。
具体实施方式
下面结合附图对本发明实施例一种提交数据的方法及装置进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参看图1所示，本发明一种提交数据的方法的具体实施方式，包括：
S1、接收用户上报数据的请求；
S2、对用户请求上报的数据进行分组，并保存在临时存储器中；
S3、当向数据库提交数据时，将所述分组后的数据进行一次提交。
本发明实施例所述提交数据的方法，通过对用户请求上报的数据进行分组并保存在临时存储器中，当向数据库提交数据时，将所述分组后的数据进行一次提交。这样，通过分组的方式一次能够提交大量的数据，从而能够高效率地完成数据的上报。
在前述提交数据的方法的具体实施方式中，可选地，所述接收用户上报数据的请求(S1)包括：接收用户通过同一个应用程序接口上报数据的请求。本实施例中，对外提供一个同一数据上报的接口，而不是为每个上报内容定义不同的接口，从而节约资源。
在前述提交数据的方法的具体实施方式中，可选地，所述对用户请求上报的数据进行分组，并保存在临时存储器中(S2)包括：对用户请求上报的数据进行检测，确定出用户请求上报的数据类型；根据确定出的数据类型，对不同类型的数据生成不同的标识符编码；将具有相同标识符编码的数据分为同一组。这样，通过分组的方式便于一次能够提交大量的数据，例如，当向数据库提交数据时，将所述数据按组进行提交。
在前述提交数据的方法的具体实施方式中，可选地，所述当向数据库提交数据时，将所述分组后的数据进行一次提交(S3)包括：当向数据库提交数据时，将所述分组后的各组数据进行一次提交；或者当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交，从而高效率地完成了数据的提交，并且便于对数据进行统计。
在前述提交数据的方法的具体实施方式中，可选地，所述当向数据库提交数据时，将所述分组后的各组数据进行一次提交(S3)包括：当向数据库提交数据时，在所述数据库中生成与所述分组后的各组数据相对应的表格，并将所述分组后的各组数据写入所述表格。
本实施例中，用户的需求引导了用户的网络操作行为，而用户的网络操作行为会产生具有相应的字段名及类型的数据；在用户上报数据的请求中有各个数据对应的字段名及类型，因此，能够根据数据及数据对应的字段名、类型在数据库中生成相应的表格，这样，当用户需求的改变导致相应的数据的字段名或者类型改变时，能够根据这种改变自动生成的相应的新的表格。
相似地，可选地，所述当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交，包括：当向数据库提交一组数据时，在所述数据库中生成与该组数据相对应的表格，并将该组数据写入所述表格。
本实施例中，在处理数据的时候，比较关注的是在某段时间内的数据量，并且为了节约数据库资源，优选地，所述临时存储器缓存半个小时的数据后，向所述数据库提交数据，例如，把一天的时间进行切割成48个间隔，如0∶00-0∶30，0∶30-1∶00，1∶00-1∶30等，通过所述临时存储器缓存数据，使用后台线程进行轮询，当到达时间间隔点(如0∶30，1∶00)时，即当前的半个小时完结时，将所述缓存的数据写入所述数据库，从而，有助于节约数据库资源。
另外，这种根据提交的数据，实时动态生成表格的方式，在用户需求改变时，不需做大量的改动。
在前述提交数据的方法的具体实施方式中，为了便于根据所述用户上报数据的请求中的参数动态创建表格，可选地，在接收用户上报数据的请求(S1)之前包括：预先定义超文本传输协议请求中参数与数据库表之间的协议。
本实施例中，例如，接收的用户上报的一个完整的数据上报请求：http：//report.com？i_tryno＝2001&tablename＝mml&s_m＝3&s_mv＝3.1.0.6356&s_p＝11&s_pv＝0.0.0.0&s_dv＝3.1.0.110717
其中，“i_”前缀对应数据库中的“int”类型；“s_”对应数据库中的“char”类型；“tryno”表示在数据库中的字段名；参数对应的值即为要提交到数据库的数据；“tablename”表示应数据表名。
在前述提交数据的方法的具体实施方式中，可选地，所述对用户请求上报的数据进行分组，并保存在临时存储器中(S2)之前包括：对用户上报数据的请求进行分析，确定用户所要上报的数据类型；根据确定出的所述数据类型，为所述上报数据的请求分配指定的服务器。
本实施例中，在域名服务器中为多个互联网协议地址配置同一个域名，当用户请求解析这个域名时，根据该用户请求中的参数为该用户分配其中一个互联网协议地址，从而，使得不同的数据上报请求到不同的服务器，有助于使各服务器的负载均衡。
在前述提交数据的方法的具体实施方式中，可选地，在对用户请求上报的数据进行分组，并保存在临时存储器中(S2)的同时，还包括：根据信息摘要算法5对用户上报数据的请求中的请求参数进行加密，生成唯一密钥；通过所述密钥在所述临时存储器中查找相应的数据；若所述数据已经存在，则将所述数据对应的计数器进行加法操作；若查找不到所述数据，则将所述数据保存在临时存储器中，并将所述数据对应的计数器初始化为1。这样，对接收的数据进行归类，对相同的数据进行加法计数，而不是重复记录，能够节约高并发，大访问量的数据上报时所需的服务器资源。
参看图2所示，本发明一种提交数据的装置的具体实施方式，包括：数据接收单元1，用于接收用户上报数据的请求；分组单元2，用于对用户请求上报的数据进行分组；临时存储器3，用于保存所述用户请求上报的数据；数据提交单元4，用于当向数据库提交数据时，将所述分组后的数据进行一次提交。
本发明实施例的提交数据的装置，分组单元2对用户请求上报的数据进行分组，并保存在临时存储器3中，当向数据库提交数据时，数据提交单元4将所述分组后的数据进行一次提交。这样，通过分组的方式一次能够提交大量的数据，从而能够高效率地完成数据的上报。
在前述提交数据的装置的具体实施方式中，可选地，所述数据接收单元1用于接收用户通过同一个应用程序接口上报数据的请求。本实施例中，对外提供一个同一数据上报的接口，而不是为每个上报内容定义不同的接口，从而节约资源。
参看图3所示，在前述提交数据的装置的具体实施方式中，可选地，所述分组单元2包括：检测模块21，用于对用户请求上报的数据进行检测，确定出用户请求上报的数据类型；编码生成模块22，用于根据确定出的数据类型，对不同类型的数据生成不同的标识符编码；分组模块23，用于将具有相同标识符编码的数据分为同一组。这样，便于通过分组的方式一次能够提交大量的数据，例如，当向数据库提交数据时，将所述数据按组进行提交。
在前述提交数据的装置的具体实施方式中，可选地，所述数据提交单元4用于当向数据库提交数据时，将所述分组后的各组数据进行一次提交；或者当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交。从而，能够将所述数据一组一组的提交，而不是一条一条的提交。
参看图3所示，在前述提交数据的装置的具体实施方式中，可选地，所述数据提交单元4包括：第一生成模块41a，用于当向数据库提交数据时，在所述数据库中生成与所述分组后的各组数据相对应的表格；第一写入模块42a，用于将所述分组后的各组数据写入所述表格。
本实施例中，用户的需求引导了用户的网络操作行为，而用户的网络操作行为会产生具有相应的字段名及类型的数据；在用户上报数据的请求中有各个数据对应的字段名及类型，因此，能够根据数据及数据对应的字段名、类型在数据库中生成相应的表格，这样，当用户需求的改变导致相应的数据的字段名或者类型改变时，能够根据这种改变自动生成的相应的新的表格。
参看图4所示，相似地，可选地，所述数据提交单元4包括：第二生成模块41b，用于当向数据库提交一组数据时，在所述数据库中生成与该组数据相对应的表格；第二写入模块42b，用于将该组数据写入所述表格。
本实施例中，在处理数据的时候，比较关注的是在某段时间内的数据量，并且为了节约数据库资源，优选地，所述临时存储器3缓存半个小时的数据后，向所述数据库提交数据，例如，把一天的时间进行切割成48个间隔，如0∶00-0∶30，0∶30-1∶00，1∶00-1∶30等，通过所述临时存储器3缓存数据，使用后台线程进行轮询，当到达时间间隔点(如0∶30，1∶00)时，即当前的半个小时完结时，将所述缓存的数据写入所述数据库，从而，有助于节约数据库资源，并且有助于保障该提交数据的装置的稳定性，使得数据能够及时上报。
另外，这种根据提交的数据，实时动态生成表格的方式，在用户需求改变时，不需做大量的改动。
在前述提交数据的装置的具体实施方式中，为了便于根据所述用户上报数据的请求中的参数动态创建表格，可选地，所述提交数据的装置还包括：定义单元，用于预先定义超文本传输协议请求中参数与数据库表之间的协议。
本实施例中，例如，接收的用户上报的一个完整的数据上报请求：http：//report.com？i_tryno＝2001&tablename＝mml&s_m＝3&s_mv＝3.1.0.6356&s_p＝11&s_pv＝0.0.0.0&s_dv＝3.1.0.110717
其中，“i_”前缀对应数据库中的“int”类型；“s_”对应数据库中的“char”类型；“tryno”表示在数据库中的字段名；参数对应的值即为要提交到数据库的数据；“tablename”表示应数据表名。
参看图4所示，在前述提交数据的装置的具体实施方式中，可选地，所述提交数据的装置还包括：分析单元5，用于对用户上报数据的请求进行分析，确定用户所要上报的数据类型；分配单元6，用于根据确定出的所述数据类型，为所述上报数据的请求分配指定的服务器。
本实施例中，在域名服务器中为多个互联网协议地址配置同一个域名，当用户请求解析这个域名时，根据该用户请求中的参数为该用户分配其中一个互联网协议地址，从而，使得不同的数据上报请求到不同的服务器，有助于使各服务器的负载均衡。
参看图5所示，在前述提交数据的装置的具体实施方式中，可选地，所述提交数据的装置还包括：加密单元7，用于根据信息摘要算法5对用户上报数据的请求中的请求参数进行加密，生成唯一密钥；查找单元8，用于通过所述密钥在所述临时存储器3中查找相应的数据；计数单元9，用于若所述数据在所述临时存储器中已经存在时，将所述数据对应的计数器进行加法操作；保存单元10，用于若所述查找单元在所述临时存储器中查找不到所述数据，则将所述数据数据保存在临时存储器中，同时将所述数据对应的计数器初始化为1。这样，对接收的数据进行归类，对相同的数据进行加法计数，而不是重复记录，能够节约高并发，大访问量的数据上报时所需的服务器资源。
在前述各发明实施例中，可选地，所述临时存储器3是Redis存储系统。
本发明实施例中，Redis存储系统是一个key-value(键_值)存储系统，从而方便了对相同的数据进行加法计算；所述Redis存储系统支持存储的value(值)类型有string(字符串)、list(链表)、set(集合)、zset(sorted set-有序集合)和hash(哈希类型)，在此基础上，支持各种不同方式的排序；为了保证效率，数据缓存在内存中；所述Redis存储系统能够周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现master-slave(主从)同步，使用起来方便快捷。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种提交数据的方法，其特征在于，包括：
接收用户上报数据的请求；
对用户请求上报的数据进行分组，并保存在临时存储器中；
当向数据库提交数据时，将所述分组后的数据进行一次提交。
2.根据权利要求1所述的提交数据的方法，其特征在于，所述接收用户上报数据的请求包括：
接收用户通过同一个应用程序接口上报数据的请求。
3.根据权利要求1或2所述的提交数据的方法，其特征在于，所述对用户请求上报的数据进行分组，并保存在临时存储器中包括：
对用户请求上报的数据进行检测，确定出用户请求上报的数据类型；
根据确定出的数据类型，对不同类型的数据生成不同的标识符编码；
将具有相同标识符编码的数据分为同一组。
4.根据权利要求1所述的提交数据的方法，其特征在于，所述当向数据库提交数据时，将所述分组后的数据进行一次提交包括：
当向数据库提交数据时，将所述分组后的各组数据进行一次提交；或者
当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交。
5.根据权利要求4述的提交数据的方法，其特征在于，所述当向数据库提交数据时，将所述分组后的各组数据进行一次提交包括：
当向数据库提交数据时，在所述数据库中生成与所述分组后的各组数据相对应的表格，并将所述分组后的各组数据写入所述表格。
6.根据权利要求4所述的提交数据的方法，其特征在于，所述当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交，包括：
当向数据库提交一组数据时，在所述数据库中生成与该组数据相对应的表格，并将该组数据写入所述表格。
7.根据权利要求5或6所述的提交数据的方法，其特征在于，在接收用户上报数据的请求之前包括：
预先定义超文本传输协议请求中参数与数据库表之间的协议。
8.根据权利要求1或7所述的提交数据的方法，其特征在于，所述对用户请求上报的数据进行分组，并保存在临时存储器中之前包括：
对用户上报数据的请求进行分析，确定用户所要上报的数据类型；
根据确定出的所述数据类型，为所述上报数据的请求分配指定的服务器。
9.根据权利要求1或7所述的提交数据的方法，其特征在于，在对用户请求上报的数据进行分组，并保存在临时存储器中的同时，还包括：
根据信息摘要算法5对用户上报数据的请求中的请求参数进行加密，生成唯一密钥；
通过所述密钥在所述临时存储器中查找相应的数据；
若所述数据已经存在，则将所述数据对应的计数器进行加法操作；
若查找不到所述数据，则将所述数据保存在临时存储器中，并将所述数据对应的计数器初始化为1。
10.根据权利要求1、2、4-9任一项所述的提交数据的方法，其特征在于，所述临时存储器是Redis存储系统。
11.一种提交数据的装置，其特征在于，包括：
数据接收单元，用于接收用户上报数据的请求；
分组单元，用于对用户请求上报的数据进行分组；
临时存储器，用于保存所述用户请求上报的数据；
数据提交单元，用于当向数据库提交数据时，将所述分组后的数据进行一次提交。
12.根据权利要求11所述的提交数据的装置，其特征在于，所述数据接收单元用于接收用户通过同一个应用程序接口上报数据的请求。
13.根据权利要求11或12所述的提交数据的装置，其特征在于，所述分组单元包括：
检测模块，用于对用户请求上报的数据进行检测，确定出用户请求上报的数据类型；
编码生成模块，用于根据确定出的数据类型，对不同类型的数据生成不同的标识符编码；
分组模块，用于将具有相同标识符编码的数据分为同一组。
14.根据权利要求11所述的提交数据的装置，其特征在于，所述数据提交单元用于当向数据库提交数据时，将所述分组后的各组数据进行一次提交；或者用于当向数据库提交数据时，将所述分组后的各组数据按先后顺序提交，对同一组内的数据进行一次提交。
15.根据权利要求14所述的提交数据的装置，其特征在于，所述数据提交单元包括：
第一生成模块，用于当向数据库提交数据时，在所述数据库中生成与所述分组后的各组数据相对应的表格；
第一写入模块，用于将所述分组后的各组数据写入所述表格。
16.根据权利要求14所述的提交数据的装置，其特征在于，所述数据提交单元包括：
第二生成模块，用于当向数据库提交一组数据时，在所述数据库中生成与该组数据相对应的表格；
第二写入模块，用于将该组数据写入所述表格。
17.根据权利要求15或16所述的提交数据的装置，其特征在于，还包括：
定义单元，用于预先定义超文本传输协议请求中参数与数据库表之间的协议。
18.根据权利要求11或17所述的提交数据的装置，其特征在于，还包括：
分析单元，用于对用户上报数据的请求进行分析，确定用户所要上报的数据类型；
分配单元，用于根据确定出的所述数据类型，为所述上报数据的请求分配指定的服务器。
19.根据权利要求11或17所述的提交数据的装置，其特征在于，还包括：
加密单元，用于根据信息摘要算法5对用户上报数据的请求中的请求参数进行加密，生成唯一密钥；
查找单元，用于通过所述密钥在所述临时存储器中查找相应的数据；
计数单元，用于若所述数据在所述临时存储器中已经存在时，将所述数据对应的计数器进行加法操作；
保存单元，用于若所述查找单元在所述临时存储器中查找不到所述数据，则将所述数据保存在临时存储器中，同时将所述数据对应的计数器初始化为1。
20.根据权利要求11、12、14-19任一项所述的提交数据的装置，其特征在于，所述临时存储器是Redis存储系统。
CN201410301838.4A 2014-06-26 2014-06-26 一种提交数据的方法及装置 Pending CN104090938A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410301838.4A CN104090938A (zh) 2014-06-26 2014-06-26 一种提交数据的方法及装置
PCT/CN2015/082128 WO2015196983A1 (zh) 2014-06-26 2015-06-23 一种提交数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410301838.4A CN104090938A (zh) 2014-06-26 2014-06-26 一种提交数据的方法及装置

Publications (1)

Publication Number Publication Date
CN104090938A true CN104090938A (zh) 2014-10-08

Family

ID=51638654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410301838.4A Pending CN104090938A (zh) 2014-06-26 2014-06-26 一种提交数据的方法及装置

Country Status (2)

Country Link
CN (1) CN104090938A (zh)
WO (1) WO2015196983A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317934A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种快速批量外呼的方法及系统
CN104598547A (zh) * 2014-12-30 2015-05-06 深圳市兰丁科技有限公司 基于大数据的数据访问处理方法和装置
CN104866597A (zh) * 2015-05-29 2015-08-26 北京奇虎科技有限公司 数据库访问请求的分析方法和装置
CN104933105A (zh) * 2015-05-29 2015-09-23 北京奇虎科技有限公司 数据库访问请求的分析方法和装置
WO2015196983A1 (zh) * 2014-06-26 2015-12-30 广州金山网络科技有限公司 一种提交数据的方法及装置
CN106445704A (zh) * 2016-09-30 2017-02-22 乐视控股（北京）有限公司 数据上报方法、装置以及系统
CN109241162A (zh) * 2018-08-21 2019-01-18 中国平安财产保险股份有限公司 保单信息保存方法、装置、计算机设备及存储介质
CN109257450A (zh) * 2017-07-13 2019-01-22 中国移动通信有限公司研究院 域名解析方法、网络终端及域名解析系统及存储介质
CN110377342A (zh) * 2019-06-10 2019-10-25 平安科技（深圳）有限公司 基于卷积神经网络的显存处理方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030225780A1 (en) * 2002-05-31 2003-12-04 Sypherlink, Inc. System and method for making multiple databases appear as a single database
CN101515405A (zh) * 2009-03-23 2009-08-26 合肥工业大学 面向道路运输监控的多维信息系统及其实现方法
CN102937984A (zh) * 2012-10-22 2013-02-20 北京奇虎科技有限公司 一种收集数据的系统、客户端和方法
CN103412956A (zh) * 2013-08-30 2013-11-27 北京中科江南软件有限公司 异构数据源的数据加工处理方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116832A (zh) * 2011-11-16 2013-05-22 航天信息软件技术有限公司 一种分组汇总生成业务单据的方法及装置
CN104090938A (zh) * 2014-06-26 2014-10-08 广州金山网络科技有限公司 一种提交数据的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030225780A1 (en) * 2002-05-31 2003-12-04 Sypherlink, Inc. System and method for making multiple databases appear as a single database
CN101515405A (zh) * 2009-03-23 2009-08-26 合肥工业大学 面向道路运输监控的多维信息系统及其实现方法
CN102937984A (zh) * 2012-10-22 2013-02-20 北京奇虎科技有限公司 一种收集数据的系统、客户端和方法
CN103412956A (zh) * 2013-08-30 2013-11-27 北京中科江南软件有限公司 异构数据源的数据加工处理方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015196983A1 (zh) * 2014-06-26 2015-12-30 广州金山网络科技有限公司 一种提交数据的方法及装置
CN104317934B (zh) * 2014-10-31 2018-04-03 北京思特奇信息技术股份有限公司 一种快速批量外呼的方法及系统
CN104317934A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种快速批量外呼的方法及系统
CN104598547A (zh) * 2014-12-30 2015-05-06 深圳市兰丁科技有限公司 基于大数据的数据访问处理方法和装置
CN104598547B (zh) * 2014-12-30 2018-05-08 深圳市海蕴新能源有限公司 基于大数据的数据访问处理方法和装置
CN104933105A (zh) * 2015-05-29 2015-09-23 北京奇虎科技有限公司 数据库访问请求的分析方法和装置
CN104866597A (zh) * 2015-05-29 2015-08-26 北京奇虎科技有限公司 数据库访问请求的分析方法和装置
CN104933105B (zh) * 2015-05-29 2019-02-12 北京奇虎科技有限公司 数据库访问请求的分析方法和装置
CN106445704A (zh) * 2016-09-30 2017-02-22 乐视控股（北京）有限公司 数据上报方法、装置以及系统
CN109257450A (zh) * 2017-07-13 2019-01-22 中国移动通信有限公司研究院 域名解析方法、网络终端及域名解析系统及存储介质
CN109241162A (zh) * 2018-08-21 2019-01-18 中国平安财产保险股份有限公司 保单信息保存方法、装置、计算机设备及存储介质
CN110377342A (zh) * 2019-06-10 2019-10-25 平安科技（深圳）有限公司 基于卷积神经网络的显存处理方法、装置及存储介质
CN110377342B (zh) * 2019-06-10 2022-08-30 平安科技（深圳）有限公司 基于卷积神经网络的显存处理方法、装置及存储介质

Also Published As

Publication number Publication date
WO2015196983A1 (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
CN104090938A (zh) 一种提交数据的方法及装置
CN102375837B (zh) 数据采集系统和方法
CN104348679B (zh) 一种分桶测试的方法、装置和系统
US9607019B1 (en) Splitting database partitions
US11487745B2 (en) Workflow dependency management system
CN103729471A (zh) 数据库查询方法和装置
GB2594367A (en) Low entropy browsing history for content quasi-personalization
JP2020515961A (ja) ブロックチェーン部分台帳
CN103034735A (zh) 一种大数据分布式文件导出方法
CN111258978A (zh) 一种数据存储的方法
CN103310087A (zh) 业务数据统计分析方法和装置
CN111782640B (zh) 一种云平台的数据处理方法、系统、电子设备及存储介质
CN104899278B (zh) 一种Hbase数据库数据操作日志的生成方法及装置
CN106326012B (zh) web应用集群缓存利用方法和系统
CN110716950A (zh) 一种口径系统建立方法、装置、设备及计算机存储介质
CN103092886B (zh) 一种数据查询操作的实现方法、装置及系统
CN111694793A (zh) 一种日志存储方法、装置及日志查询方法、装置
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
US20170083550A1 (en) Adaptive query processor for query systems with limited capabilities
CN114090530A (zh) 分布式架构下的日志汇总查询方法及装置
Chang et al. Integration and optimization of multiple big data processing platforms
CN111400301A (zh) 一种数据查询方法、装置及设备
CN110943876A (zh) Url状态检测方法、装置、设备和系统
CN110532248B (zh) 一种基于cmdb的服务器应用信息获取及调整方法
CN102542019A (zh) 识别码存储方法及系统、识别码索引方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510623 unit 01-B, Guangzhou bank building, No. 30 Zhujiang Road, Guangzhou, Guangdong, Tianhe District, China

Applicant after: Guangzhou cheetah Network Technology Co., Ltd.

Address before: 510623 unit 01-B, Guangzhou bank building, No. 30 Zhujiang Road, Guangzhou, Guangdong, Tianhe District, China

Applicant before: Kingsoft, Guangzhou network technology Co., Ltd

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141008