CN110019239B - 上报数据的存储方法、装置、电子设备和存储介质 - Google Patents

上报数据的存储方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110019239B
CN110019239B CN201711478329.9A CN201711478329A CN110019239B CN 110019239 B CN110019239 B CN 110019239B CN 201711478329 A CN201711478329 A CN 201711478329A CN 110019239 B CN110019239 B CN 110019239B
Authority
CN
China
Prior art keywords
information
log
data
sub
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711478329.9A
Other languages
English (en)
Other versions
CN110019239A (zh
Inventor
季文驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711478329.9A priority Critical patent/CN110019239B/zh
Publication of CN110019239A publication Critical patent/CN110019239A/zh
Application granted granted Critical
Publication of CN110019239B publication Critical patent/CN110019239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种上报数据的存储方法、装置、电子设备和计算机可读存储介质。其中方法包括:获取客户端发送的上报数据;根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名;根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息;周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志;解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,其中,存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。该方法可以减少存储成本和工作量,并可以满足大量数据的存储需求,实现了有效分散和有序地存储用户数据入库,提高了数据的存储效率。

Description

上报数据的存储方法、装置、电子设备和存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种上报数据的存储方法、装置、电子设备和计算机可读存储介质。
背景技术
随着互联网的快速发展,网络中产生的用户数据呈爆炸式增长。提供服务的单位或机构面对数据时的存储压力变大,分布式存储数据开始普及。但是,当多个服务器数据汇总存储数据库时,如何解决数据大量导入数据库并保持主键唯一性便成了一个难题。
相关技术中,通用的方法是使用缓存技术,即将用户上传的上报数据保存到上报日志,然后,再从缓存中读取数据,导入数据库中。但是,该方法需要单独部署缓存服务,加大了机器数量,增加了机器成本和维护成本。另外,当业务增长,数据量变大时,每个存储服务器处理数据的时间会变多,使得数据入库时间无法维持在短时间内即完成,降低了数据的存储效率。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种上报数据的存储方法。该方法可以减少存储成本和工作量,并且,可以满足大量数据的存储需求,并通过机器号来调用对应的存储服务器,通过所述对应的存储服务器将其对应的日志数据存储到数据库中,实现了有效分散和有序地存储用户数据入库,提高了数据的存储效率。
本发明的第二个目的在于提出一种上报数据的存储装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提出的上报数据的存储方法,包括:获取客户端发送的上报数据;根据所述上报数据生成对应的日志,其中,所述日志的文件名以时间戳命名;根据序列号信息、机器号信息和时间戳信息,生成所述日志的ID信息;周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志;解析所述周期日志,并根据所述ID信息中的机器号调用对应的存储服务器,其中,所述存储服务器根据所述ID信息从解析后的所述周期日志中获取对应的日志数据,并将所述对应的日志数据存储至数据库中。
根据本发明实施例的上报数据的存储方法,可获取客户端发送的上报数据,并根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名,并根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息,之后,可周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志,然后,解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,以使存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。即通过使用按时间戳分日志保存的方法,可在原机器上完成,且可同原来的日志系统一起维护,减少了存储成本和工作量,并且,通过序列号信息、机器号信息和时间戳信息生成日志的ID信息,可以满足大量数据的存储需求,并通过机器号来调用对应的存储服务器,通过所述对应的存储服务器将其对应的日志数据存储到数据库中,实现了有效分散和有序地存储用户数据入库,提高了数据的存储效率。
为达到上述目的,本发明第二方面实施例提出的上报数据的存储装置,包括:获取模块,用于获取客户端发送的上报数据;第一生成模块,用于根据所述上报数据生成对应的日志,其中,所述日志的文件名以时间戳命名;第二生成模块,用于根据序列号信息、机器号信息和时间戳信息,生成所述日志的ID信息;日志合并模块,用于周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志;存储模块,用于解析所述周期日志,并根据所述ID信息中的机器号调用对应的存储服务器,其中,所述存储服务器根据所述ID信息从解析后的所述周期日志中获取对应的日志数据,并将所述对应的日志数据存储至数据库中。
根据本发明实施例的上报数据的存储装置,可通过获取模块获取客户端发送的上报数据,第一生成模块根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名,第二生成模块根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息,日志合并模块可周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志,存储模块解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,以使存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。即通过使用按时间戳分日志保存的方法,可在原机器上完成,且可同原来的日志系统一起维护,减少了存储成本和工作量,并且,通过序列号信息、机器号信息和时间戳信息生成日志的ID信息,可以满足大量数据的存储需求,并通过机器号来调用对应的存储服务器,通过所述对应的存储服务器将其对应的日志数据存储到数据库中,实现了有效分散和有序地存储用户数据入库,提高了数据的存储效率。
为达到上述目的,本发明第三方面实施例提出的电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明第一方面实施例所述的上报数据的存储方法。
为达到上述目的,本发明第四方面实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明第一方面实施例所述的上报数据的存储方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的上报数据的存储方法的流程图;
图2是根据本发明实施例的日志的ID信息中序列号、机器号和时间戳的排列顺序和位数的示例图;
图3是根据本发明一个实施例的上报数据的存储装置的结构示意图;
图4是根据本发明另一个实施例的上报数据的存储装置的结构示意图;
图5是根据本发明又一个实施例的上报数据的存储装置的结构示意图;
图6是根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的上报数据的存储方法、装置、电子设备和计算机可读存储介质。
随着互联网的发展,用户数据爆炸性增长。提供服务的单位或机构面对数据时的存储压力变大,分布式存储数据开始普及。但当多个服务器数据汇总存储数据库时,如何解决数据大量导入数据库并保持主键唯一性便成了一个难题。
例如,某服务提供商每小时可收集上报数据的大小约为5G,分布在不同的服务器上以日志的形式保存。在每个小时收集了大量数据,此时需要根据时间戳生成日志文件,否则会出现多进程抢夺文件读写权的情况,日志入库后,脚本会解析日志的内容,此时如果逐条入库的话速度很慢,尤其是当后期增长数据增加后,逐条录入会把用户数据时间变长超过1个小时的收集时间,因此使用dump方法,将数据批量录入是一种更有效的方法。根据数据库已有id,计算并将用户数据标上唯一id字段保存到数据库中,方便排序和读取是常用的方法。但当多台存储服务器同时根据数据库中id计算增加id并批量入库时,id重复变不可避免。如何在大量数据同时上报且同时入库的前提下保持id不重复,这成了开发者最关心的一个问题。为此,为了解决该技术问题,本发明提出了一种上报数据的存储方法。具体地,图1是根据本发明一个实施例的上报数据的存储方法的流程图。需要说明的是,本发明实施例的上报数据的存储方法可应用于本发明实施例的上报数据的存储装置。该存储装置可被配置于电子设备上。例如,该电子设备可以是具有数据处理和存储功能的服务器。
如图1所示,该上报数据的存储方法可以包括:
S110,获取客户端发送的上报数据。
可选地,可通过http接口接收客户端上传的上报数据。例如,客户端在产生需要进行上报的用户数据(即上报数据)时,可通过http接口向服务器发送http请求,该请求中可携带有所述上报数据,这样,在服务器接收到该请求时,可从该请求中获取客户端上传的上报数据。
S120,根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名。
可选地,在得到客户端上传的上报数据时,可将该上报数据存入到日志文件中,以得到与该上报数据对应的日志文件。作为一种示例的实现方式,可对该上报数据进行解析,并按照预设格式将该解析后的上报数据存入文件中,以生成对应的日志。例如,可解析所述上报数据,并按照预设的固定格式将该解析后的上报数据存入以时间戳命名的日志中。
其中,所述预设格式可以是预先设定的,例如,可根据实际的业务需要,规定以某种固定格式将所述上报数据以日志的形式保存。
S130,根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息。
可选地,可根据序列号的位数生成针对序列号信息的第一子ID,并根据机器号的位数生成针对机器号信息的第二子ID,并根据时间戳的位数生成针对时间戳信息的第三子ID,最后,按照序列号信息、机器号信息和时间戳信息的排列顺序,将第一子ID、第二子ID和第三子ID进行拼接,以生成所述日志的ID信息。
其中,在本发明的一个实施例中,该序列号的位数可为10位,该机器号的位数可为10位,该时间戳的位数可为40位。例如,该序列号、机器号和时间戳之间的排列顺序以及位数可如图2所示,该序列号可排列在机器号之前,机器号可排列在时间戳之间,其中,该序列号的位数可为10位,该机器号的位数可为10位,该时间戳的位数可为40位。
举例而言,序列号所对应的第一子ID可以是从0开始顺序自增的ID号码,共10位,这样,可支持每台机器每秒钟产生1023条指令针对序列号信息的自增ID号码;机器号所对应的第二子ID可以是为服务器添加的标识号码(其中,该标识号码可以是手动添加的,或者可以是随机生成的唯一标识号码),从0开始,共10位,可扩充1023条指令针对机器号信息的标识号码;时间戳所对应的第三子ID可以是40位时间戳,可以是根据当前时间而生成的时间戳,该时间戳可作为针对所述时间戳信息的第三子ID。这样,最后,根据序列号+机器号+时间戳的排序拼接而成所述日志的ID信息。
S140,周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志。
可选地,可周期性地对在一定时间内生成的日志进行合并,以得到合并后的周期日志。例如,假设预设时间为一个小时,则每过一个小时可对在该一个小时内生成的日志进行合并,得到合并后的小时日志(即所述周期日志)。
作为一种示例的实现方式,可预先编辑运行脚本,所述运行脚本可用于周期性对在预设时间内生成的日志进行合并。这样,在检测到当前时间满足所述脚本的运行条件时,可运行所述脚本,以实现对在预设时间内生成的日志进行合并,进而得到合并后的周期日志。
S150,解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,其中,存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。
可选地,在得到周期日志时,可解析该周期日志,可根据所述周期日志中各个日志的ID信息生成针对所述周期日志的批量导入数据库的SQL语句,并根据所述ID信息中的机器号调用对应的存储服务器,以使所述对应的存储服务器根据所述ID信息从所述解析后的周期日志中获取对应的日志数据,并根据所述SQL语句将所述对应的日志数据存储到数据库中。
也就是说,可根据所述ID信息中的机器号调用对应的存储服务器,使得存储服务器可将与自身机器号对应的日志数据批量导入到数据库中。其中,在本发明的实施例中,所述ID信息可作为日志数据在数据库中的ID存储到数据库中。这样,使得日志数据在生成和存储过程中通过同一ID进行标识,避免在多台机器同时根据数据库中ID计算增加ID并批量入库时,出现ID重复的情况。
为了提高本发明的可用性以及可行性,提高数据存储的准确率,避免数据的重复存储的情况发生,同时节省存储空间,可选地,在本发明的一个实施例中,在周期性地对在预设时间内生成的日志进行合并之后,该存储方法还可包括:删除所述在预设时间内生成的日志。也就是说,在周期性地对在预设时间内生成的日志进行合并之后,可删除在所述预设时间内生成的日志。例如,每过一个小时在对该一小时内生成的日志进行合并之后,可删除该每小时中生成的时间戳日志,只保留每小时合并生成的小时日志(即所述周期日志)。
根据本发明实施例的上报数据的存储方法,可获取客户端发送的上报数据,并根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名,并根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息,之后,可周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志,然后,解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,以使存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。即通过使用按时间戳分日志保存的方法,可在原机器上完成,且可同原来的日志系统一起维护,减少了存储成本和工作量,并且,通过序列号信息、机器号信息和时间戳信息生成日志的ID信息,可以满足大量数据的存储需求,并通过机器号来调用对应的存储服务器,通过所述对应的存储服务器将其对应的日志数据存储到数据库中,实现了有效分散和有序地存储用户数据入库,提高了数据的存储效率。
与上述几种实施例提供的上报数据的存储方法相对应,本发明的一种实施例还提供一种上报数据的存储装置,由于本发明实施例提供的上报数据的存储装置与上述几种实施例提供的上报数据的存储方法相对应,因此在前述上报数据的存储方法的实施方式也适用于本实施例提供的上报数据的存储装置,在本实施例中不再详细描述。图3是根据本发明一个实施例的上报数据的存储装置的结构示意图。如图3所示,该上报数据的存储装置300可以包括:获取模块310、第一生成模块320、第二生成模块330、日志合并模块340和存储模块350。
具体地,获取模块310可用于获取客户端发送的上报数据。
第一生成模块320可用于根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名。作为一种示例,第一生成模块320可对该上报数据进行解析,并按照预设格式将解析后的上报数据存入文件中,以生成对应的日志。
第二生成模块330可用于根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息。作为一种示例,如图4所示,第二生成模块330可包括第一生成单元331、第二生成单元332、第三生成单元333和第四生成单元334。其中,第一生成单元,用于根据序列号的位数生成针对序列号信息的第一子ID;第二生成单元,用于根据机器号的位数生成针对机器号信息的第二子ID;第三生成单元,用于根据时间戳的位数生成针对时间戳信息的第三子ID;第四生成单元,用于按照序列号信息、机器号信息和时间戳信息的排列顺序,将第一子ID、第二子ID和第三子ID进行拼接,以生成所述日志的ID信息。其中,在本发明的实施例中,该序列号的位数为10位,该机器号的位数为10位,该时间戳的位数为40位。
日志合并模块340可用于周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志。
存储模块350可用于解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,其中,存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。
为了提高本发明的可用性以及可行性,提高数据存储的准确率,避免数据的重复存储的情况发生,同时节省存储空间,可选地,在本发明的一个实施例中,如图5所示,该存储装置300还可包括:日志删除模块360。其中,日志删除模块360可用于在周期性地对在预设时间内生成的日志进行合并之后,删除该在预设时间内生成的日志。
根据本发明实施例的上报数据的存储装置,可通过获取模块获取客户端发送的上报数据,第一生成模块根据上报数据生成对应的日志,其中,日志的文件名以时间戳命名,第二生成模块根据序列号信息、机器号信息和时间戳信息,生成日志的ID信息,日志合并模块可周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志,存储模块解析周期日志,并根据ID信息中的机器号调用对应的存储服务器,以使存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据,并将对应的日志数据存储至数据库中。即通过使用按时间戳分日志保存的方法,可在原机器上完成,且可同原来的日志系统一起维护,减少了存储成本和工作量,并且,通过序列号信息、机器号信息和时间戳信息生成日志的ID信息,可以满足大量数据的存储需求,并通过机器号来调用对应的存储服务器,通过所述对应的存储服务器将其对应的日志数据存储到数据库中,实现了有效分散和有序地存储用户数据入库,提高了数据的存储效率。
为了实现上述实施例,本发明还提出了一种电子设备。
图6是根据本发明一个实施例的电子设备的结构示意图。如图6所示,该电子设备600可以包括:存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630,处理器620执行所述程序630时,实现本发明上述任一个实施例所述的上报数据的存储方法。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明上述任一个实施例所述的上报数据的存储方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种上报数据的存储方法,其特征在于,包括以下步骤:
获取客户端发送的上报数据;
根据所述上报数据生成对应的日志,其中,所述日志的文件名以时间戳命名;
根据序列号信息、机器号信息和时间戳信息,生成所述日志的ID信息;其中,所述根据序列号信息、机器号信息和时间戳信息,生成所述日志的ID信息,包括:
根据序列号的位数生成针对所述序列号信息的第一子ID;
根据机器号的位数生成针对所述机器号信息的第二子ID;
根据时间戳的位数生成针对所述时间戳信息的第三子ID,并根据所述第一子ID、所述第二子ID和所述第三子ID生成所述日志的ID信息;
周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志;
解析所述周期日志,并根据所述ID信息中的机器号调用对应的存储服务器,其中,所述存储服务器根据所述ID信息从解析后的所述周期日志中获取对应的日志数据,并将所述对应的日志数据存储至数据库中。
2.如权利要求1所述的方法,其特征在于,所述根据上报数据生成对应的日志,包括:
对所述上报数据进行解析;
按照预设格式将解析后的所述上报数据存入文件中,以生成对应的日志。
3.如权利要求1所述的方法,其特征在于,所述根据所述第一子ID、所述第二子ID和所述第三子ID生成所述日志的ID信息,包括:按照所述序列号信息、机器号信息和时间戳信息的排列顺序,将所述第一子ID、第二子ID和第三子ID进行拼接,以生成所述日志的ID信息。
4.如权利要求1至3中任一项所述的方法,其特征在于,所述序列号的位数为10位,所述机器号的位数为10位,所述时间戳的位数为40位。
5.如权利要求1所述的方法,其特征在于,在所述周期性地对在预设时间内生成的日志进行合并之后,所述方法还包括:
删除所述在预设时间内生成的日志。
6.一种上报数据的存储装置,其特征在于,包括:
获取模块,用于获取客户端发送的上报数据;
第一生成模块,用于根据所述上报数据生成对应的日志,其中,所述日志的文件名以时间戳命名;
第二生成模块,用于根据序列号信息、机器号信息和时间戳信息,生成所述日志的ID信息;其中,所述第二生成模块包括:
第一生成单元,用于根据序列号的位数生成针对所述序列号信息的第一子ID;
第二生成单元,用于根据机器号的位数生成针对所述机器号信息的第二子ID;
第三生成单元,用于根据时间戳的位数生成针对所述时间戳信息的第三子ID;
第四生成单元,用于根据所述第一子ID、所述第二子ID和所述第三子ID生成所述日志的ID信息;
日志合并模块,用于周期性地对在预设时间内生成的日志进行合并,得到合并后的周期日志;
存储模块,用于解析所述周期日志,并根据所述ID信息中的机器号调用对应的存储服务器,其中,所述存储服务器根据所述ID信息从解析后的所述周期日志中获取对应的日志数据,并将所述对应的日志数据存储至数据库中。
7.如权利要求6所述的装置,其特征在于,所述第一生成模块具体用于:
对所述上报数据进行解析;
按照预设格式将解析后的所述上报数据存入文件中,以生成对应的日志。
8.如权利要求6所述的装置,其特征在于,所述第四生成单元具体用于:
按照所述序列号信息、机器号信息和时间戳信息的排列顺序,将所述第一子ID、第二子ID和第三子ID进行拼接,以生成所述日志的ID信息。
9.如权利要求6至8中任一项所述的装置,其特征在于,所述序列号的位数为10位,所述机器号的位数为10位,所述时间戳的位数为40位。
10.如权利要求6所述的装置,其特征在于,所述装置还包括:
日志删除模块,用于在周期性地对在预设时间内生成的日志进行合并之后,删除所述在预设时间内生成的日志。
11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1至5中任一项所述的上报数据的存储方法。
12.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至5中任一项所述的上报数据的存储方法。
CN201711478329.9A 2017-12-29 2017-12-29 上报数据的存储方法、装置、电子设备和存储介质 Active CN110019239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711478329.9A CN110019239B (zh) 2017-12-29 2017-12-29 上报数据的存储方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711478329.9A CN110019239B (zh) 2017-12-29 2017-12-29 上报数据的存储方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110019239A CN110019239A (zh) 2019-07-16
CN110019239B true CN110019239B (zh) 2021-06-04

Family

ID=67187190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711478329.9A Active CN110019239B (zh) 2017-12-29 2017-12-29 上报数据的存储方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110019239B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704378A (zh) * 2019-09-30 2020-01-17 珠海港联科技有限公司 日志记录方法及日志记录系统
CN110865986B (zh) * 2019-11-12 2023-05-12 深圳易为控股有限公司 一种企业零售系统数据汇总同步方案
CN111309696A (zh) * 2020-03-20 2020-06-19 中电长城网际系统应用有限公司 日志处理方法及装置、电子设备、可读介质
CN111752801A (zh) * 2020-06-28 2020-10-09 中国银行股份有限公司 一种服务器监控方法及装置
CN113220868A (zh) * 2021-05-28 2021-08-06 国网绿色能源有限公司 一种文本数据过滤、获取方法、装置、设备及存储介质
CN115378802A (zh) * 2022-08-24 2022-11-22 深圳市晨北科技有限公司 一种日志收集方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199408A (ja) * 2002-12-18 2004-07-15 Fuji Xerox Co Ltd 文書処理方法、情報表示処理方法、情報表示処理システム、管理サーバ、クライアント端末、プログラム
CN105005617A (zh) * 2015-07-21 2015-10-28 领航动力信息系统有限公司 一种时间序列数据的存储方法及装置
CN107229555A (zh) * 2017-05-04 2017-10-03 北京小度信息科技有限公司 标识生成方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199408A (ja) * 2002-12-18 2004-07-15 Fuji Xerox Co Ltd 文書処理方法、情報表示処理方法、情報表示処理システム、管理サーバ、クライアント端末、プログラム
CN105005617A (zh) * 2015-07-21 2015-10-28 领航动力信息系统有限公司 一种时间序列数据的存储方法及装置
CN107229555A (zh) * 2017-05-04 2017-10-03 北京小度信息科技有限公司 标识生成方法和装置

Also Published As

Publication number Publication date
CN110019239A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110019239B (zh) 上报数据的存储方法、装置、电子设备和存储介质
CN105049287A (zh) 日志处理方法及装置
TWI711935B (zh) 檔案處理的方法及裝置
CN111159233B (zh) 分布式缓存方法、系统、计算机设备以及存储介质
CN109710439B (zh) 故障处理方法和装置
CN110109741B (zh) 循环任务的管理方法、装置、电子设备及存储介质
CN108763046B (zh) 线程运行监控方法、装置、计算机设备和存储介质
CN111258722A (zh) 一种集群的日志采集方法、系统、设备以及介质
CN109800269A (zh) 数据管理方法、装置、计算机设备及存储介质
CN110781149A (zh) 管理直播间信息的方法、装置、设备及存储介质
CN110780882A (zh) 代码文件的处理方法及装置、系统、电子设备、存储介质
CN111814045A (zh) 数据查询方法、装置、电子设备及存储介质
CN106789301B (zh) 一种生成web网关的运行日志的方法及装置
CN109714214B (zh) 一种服务器异常的处理方法及管理设备
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN110941632A (zh) 一种数据库审计方法、装置及设备
CN114385551B (zh) 日志分时管理方法、装置、设备及存储介质
CN110011845A (zh) 日志采集方法及系统
CN104317820A (zh) 报表的统计方法和装置
US8589354B1 (en) Probe based group selection
CN112632121A (zh) 区块链数据获取方法和装置
CN113392005A (zh) 大文件处理测试方法及系统
CN113421109A (zh) 一种业务核对方法、装置、电子设备和存储介质
CN112162951A (zh) 一种信息检索方法、服务器及存储介质
CN110008103B (zh) 第三方应用程序的日志收集方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant