CN107835080A - 一种分布式系统数据收集方法及数据签名生成方法 - Google Patents
一种分布式系统数据收集方法及数据签名生成方法 Download PDFInfo
- Publication number
- CN107835080A CN107835080A CN201711095546.XA CN201711095546A CN107835080A CN 107835080 A CN107835080 A CN 107835080A CN 201711095546 A CN201711095546 A CN 201711095546A CN 107835080 A CN107835080 A CN 107835080A
- Authority
- CN
- China
- Prior art keywords
- data
- signature
- character string
- spliced
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2151—Time stamp
Abstract
本发明提供了一种分布式系统数据收集方法，对更新的文件内容，根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾。与现有技术相比，能够保证分布式的采集数据的同时，不会对系统带宽造成过大压力，日志系统最大保全，同时还能够提供一定程度的信息安全保障。
Description
技术领域
本发明涉及一种分布式系统数据收集方法及数据签名生成方法，特别是涉及一种适用于大量数据进行收集的分布式系统数据收集方法及数据签名生成方法。
背景技术
随着互联网企业规模的扩大，面临的数据量、数据源都会成几何级数的上升，系统复杂度也急剧上升，对应的安全的收集数据的需求也会大大提高。
当今主流的监控数据采集框架或多或少都借鉴了Log4j库的设计理念。Log4j实现了一个基于Java的数据记录工具框架，其最初是由Ceki设计并开发，现在已经成为Apache的一个开放源代码项目。在Log4j中定义了3个重要概念，分别是Logger、Appender和Layout：Logger用于定义不同的数据采集对象；Appender描述输出流，如屏幕、文件、GUI组件、Socket服务器、NT事件记录器、syslog进程服务等，通过为Logger指定一个Appender，可以区分不同对象的输出目标；Layout用于指定监控信息的输出格式，通过为Appender来指定一个Layout，可以决定监控信息以何种格式输出，比如是否有带有时间戳，是否包含文件位置信息等。通过这三个组件协同的工作，Log4j为监控数据采集行为控制提供了极大的灵活性。此外，基于预定义的等级和过滤器，用户可以自由地选择需要记录的数据。目前Log4j的团队已经推出了Log4j 2.0，它通过提供一个插件架构，使得该库更具可扩展性。
Log4j虽然功能强大，但是该库只是面向Java语言的，因此基于Log4j机制的其他语言替代库相继应运而生。Log4c便是模仿Log4j原理的C语言实现。类似地，它通过定义Category，Appender和Layout三个属性唯一确定一个数据采集对象。Log4c不支持异步数据采集。
Log4g同样是C语言的一个实现，它基于glib的GObject开发，支持异步数据输出，此外Log4g还支持面向CouchDB的数据记录，便于日后利用基于NoSQL环境的大数据分析。Log4cplus和Log4cxx 是C++的Log4j实现，它们具有线程安全、灵活输出、以及多粒度控制的特点，但Log4cplus的移植性不高，而Log4cxx虽然通过使用APR增强了移植性，但是APR本身增加了用户系统的依赖性。此外，Zlog作为一款比较新的数据采集库，通过定义不同的fsync阈值来实现记录监控数据落地请求和磁盘IO工作的异步处理。
可以看到，现有的各种数据采集模块虽然能够实现监控信息的输出，但是在设计上都比较简单。无法将分布式的信息采集到一起，也无法保证信息的安全可靠，更无法根据系统的整体状况控制流量，因此在应用系统实时运行中，如果突然出现大量数据写入请求，必然导致出现性能瓶颈，轻则数据丢失，重则系统瘫痪。而且分布式系统具有单台计算机无法比拟的复杂性，网络带宽资源也更加的重要，怎么帮助监控系统在海量的服务器中，精准的找到故障现场，这些传统的数据收集方式，也是无法胜任。
综上，虽然目前有很多监控数据异步采集系统，但是无法兼顾分布式系统整体带宽、性能的基础上给出安全稳定的解决方案，缺陷很明显。
发明内容
本发明要解决的技术问题是提供一种能够保证分布式的采集数据的同时，不会对系统带宽造成过大压力，日志系统最大保全，同时还能够提供一定程度的信息安全保障的分布式系统数据收集方法及数据签名生成方法。
本发明采用的技术方案如下：
一种分布式系统数据收集方法，具体方法为：
应用系统启动完成后，初始化一个单独的数据采集模块线程负责应用系统的数据输出；应用系统每次调用数据采集接口时，调用一个写入线程，并立即返回写入请求；写入线程调用操作系统的文件读写接口，将数据写入到配置的本地磁盘目录中；
每隔一定的设置时间通过文件的操作接口，查询所述配置的目的磁盘目录下的所有文件，如果文件中的内容有更新，则根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；
所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾；
所述为数据生成签名的具体签名生成方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
接收到加密后的数据后，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
所述方法还包括：通过单例模式初始化一个单独的数据采集模块线程。
所述将数据加密后进行上报，为将数据加密后通过TCP网络通信协议将数据发送到中央数据总线。
所述方法还包括：将签名追加到数据的末尾后，根据用户配置的每分钟最大网络发送数据限制，将具有签名的数据通过TCP网络通信协议将数据发送到中央数据总线。
一种数据签名生成方法，具体方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名。
所述方法还包括：对签名后的数据进行验签时，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
与现有技术相比，本发明的有益效果是：通过流量控制、时间片安全校验的方法，保证分布式的采集数据的同时，不会对系统带宽造成过大压力，日志系统最大保全，同时还能够提供一定程度的信息安全保障。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
一种分布式系统数据收集方法，具体方法为：
应用系统启动完成后，初始化一个单独的数据采集模块线程负责应用系统的数据输出；应用系统每次调用数据采集接口时，调用一个写入线程，并立即返回写入请求；写入线程调用操作系统的文件读写接口，将数据写入到配置的本地磁盘目录中；
每隔一定的设置时间通过文件的操作接口，查询所述配置的目的磁盘目录下的所有文件，如果文件中的内容有更新，则根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；
所述流量控制逻辑为：根据用户配置的最大传输单元（MTU），将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾；
所述为数据生成签名的具体签名生成方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
接收到加密后的数据后，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
应用系统每次调用数据采集接口时，实际会调用一个写入线程，并立即返回写入请求，从而避免同步操作阻塞应用系统的应用逻辑。在本具体实施例中，写入线程会调用linux操作系统的文件读写接口，将数据写入到本地磁盘的/data/log（可任意配置，与数据上传处理匹配即可）目录中。在这里，并没有产生实际的网络请求。
Linux操作系统启动后，通过配置启动项，将数据上传处理模块启动起来。数据上传处理模块会每隔一定时间通过linux文件系统的操作接口，查询系统的/data/log（可任意配置，与数据异步采集处理匹配即可）目录下的所有文件，如果文件中的内容有更新，就采用流量控制逻辑将数据按照配置拆分成多个部分，每个部分分别调用安全加密函数，将数据加密后发送上传。
时间戳的值根据实际情况配置，单位是秒，例如，如果是/3600，则表明为整小时时间戳，划分时间片时，如果当前时间为2点到3点之间，则前一个时间片为1点到2点，当前时间片为2点到3点，后一个时间片为3点到4点。
具体实施例2
在具体实施例1的基础上，所述方法还包括：通过单例模式初始化一个单独的数据采集模块线程，能够避免并发带来的资源额外开销，同时能够避免并发可能导致的数据冲突。
具体实施例3
在具体实施例1或2的基础上，所述将数据加密后进行上报，为将数据加密后通过TCP网络通信协议将数据发送到中央数据总线。
具体实施例4
在具体实施例1到3之一的基础上，所述方法还包括：将签名追加到数据的末尾后，根据用户配置的每分钟最大网络发送数据限制，将具有签名的数据通过TCP网络通信协议将数据发送到中央数据总线。
具体实施例5
一种数据签名生成方法，具体方法步骤为：
方法一：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序（在本具体实施例中为ASCII码序），使用键值对的格式（即key1value1key2value2...）拼接成字符串para_str；
示例: para_str = apphardwarelogmessageStr23123
A2、在上述拼接成的字符串最后拼接上加密密钥；
即，在 para_str 最后拼接上appkey(找系统管理员分配xxxxx)
para_str = apphardwarelogmessageStr23123xxxxx
A3、步骤二最后拼接成的字符串最后拼接上时间戳/3600（该值根据实际情况配置，单位是秒）得到 paraWithKey_str 字符串，完成数据的签名；
paraWithKey_str=apphardwarelogmessageStrtopichardwarelog23123xxxxx 408510
或，
方法二
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；在方法一实施例的基础上，对 paraWithKey_str进行 MD5 运算,再将得到的字符串所有字符转换为大写,得到 sign 值
sign=EBABAD9FFFE5F52A56307ECE563D3040
或，
方法三：
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名。
具体实施例6
在具体实施例5的基础上，所述方法还包括：对签名后的数据进行验签时，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
时间戳的值根据实际情况配置，单位是秒，例如，如果是/3600，则表明为整小时时间戳，划分时间片时，如果当前时间为2点到3点之间，则前一个时间片为1点到2点，当前时间片为2点到3点，后一个时间片为3点到4点。
Claims (6)
1.一种分布式系统数据收集方法，具体方法为：
应用系统启动完成后，初始化一个单独的数据采集模块线程负责应用系统的数据输出；应用系统每次调用数据采集接口时，调用一个写入线程，并立即返回写入请求；写入线程调用操作系统的文件读写接口，将数据写入到配置的本地磁盘目录中；
每隔一定的设置时间通过文件的操作接口，查询所述配置的目的磁盘目录下的所有文件，如果文件中的内容有更新，则根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；
所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾；
所述为数据生成签名的具体签名生成方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
接收到加密后的数据后，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
2.根据权利要求1所述的分布式系统数据收集方法，所述方法还包括：通过单例模式初始化一个单独的数据采集模块线程。
3.根据权利要求1所述的分布式系统数据收集方法，所述将数据加密后进行上报，为将数据加密后通过TCP网络通信协议将数据发送到中央数据总线。
4.根据权利要求1所述的分布式系统数据收集方法，所述方法还包括：将签名追加到数据的末尾后，根据用户配置的每分钟最大网络发送数据限制，将具有签名的数据通过TCP网络通信协议将数据发送到中央数据总线。
5.一种数据签名生成方法，具体方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名。
6.根据权利要求5所述的数据签名生成方法，所述方法还包括：对签名后的数据进行验签时，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711095546.XA CN107835080B (zh) | 2017-11-09 | 2017-11-09 | 一种分布式系统数据收集方法及数据签名生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711095546.XA CN107835080B (zh) | 2017-11-09 | 2017-11-09 | 一种分布式系统数据收集方法及数据签名生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107835080A true CN107835080A (zh) | 2018-03-23 |
| CN107835080B CN107835080B (zh) | 2021-01-05 |
Family
ID=61654833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711095546.XA Active CN107835080B (zh) | 2017-11-09 | 2017-11-09 | 一种分布式系统数据收集方法及数据签名生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107835080B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109088736A (zh) * | 2018-09-25 | 2018-12-25 | 平安科技（深圳）有限公司 | 一种基于数字签名的数据通信方法、系统及装置 |
| WO2020062211A1 (zh) * | 2018-09-30 | 2020-04-02 | 北京大学深圳研究生院 | 一种融合区块链技术拟态存储防篡改日志的方法及系统 |
| CN113904840A (zh) * | 2021-09-30 | 2022-01-07 | 广州海鹚网络科技有限公司 | 基于签名的医院防篡改请求验证系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286895A (zh) * | 2008-05-22 | 2008-10-15 | 上海交通大学 | 可动态配置的分布式网络数据监控系统及方法 |
| JP4821499B2 (ja) * | 2006-08-21 | 2011-11-24 | ブラザー工業株式会社 | コンテンツ分散保存システム、フレーム取得方法、及びノード装置等 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103973695A (zh) * | 2014-05-16 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种与服务器验证的签名算法 |
| CN104754021A (zh) * | 2013-12-31 | 2015-07-01 | 伊姆西公司 | 用于促进对分布式存储系统中的数据的访问的装置和方法 |
| CN104935568A (zh) * | 2015-04-20 | 2015-09-23 | 成都康赛信息技术有限公司 | 一种面向云平台接口鉴权签名方法 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN106951557A (zh) * | 2017-03-31 | 2017-07-14 | 北京希嘉创智教育科技有限公司 | 日志关联方法、装置和应用其的计算机系统 |
-
2017
- 2017-11-09 CN CN201711095546.XA patent/CN107835080B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4821499B2 (ja) * | 2006-08-21 | 2011-11-24 | ブラザー工業株式会社 | コンテンツ分散保存システム、フレーム取得方法、及びノード装置等 |
| CN101286895A (zh) * | 2008-05-22 | 2008-10-15 | 上海交通大学 | 可动态配置的分布式网络数据监控系统及方法 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN104754021A (zh) * | 2013-12-31 | 2015-07-01 | 伊姆西公司 | 用于促进对分布式存储系统中的数据的访问的装置和方法 |
| CN103973695A (zh) * | 2014-05-16 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种与服务器验证的签名算法 |
| CN104935568A (zh) * | 2015-04-20 | 2015-09-23 | 成都康赛信息技术有限公司 | 一种面向云平台接口鉴权签名方法 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN106951557A (zh) * | 2017-03-31 | 2017-07-14 | 北京希嘉创智教育科技有限公司 | 日志关联方法、装置和应用其的计算机系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109088736A (zh) * | 2018-09-25 | 2018-12-25 | 平安科技（深圳）有限公司 | 一种基于数字签名的数据通信方法、系统及装置 |
| CN109088736B (zh) * | 2018-09-25 | 2023-10-03 | 平安科技（深圳）有限公司 | 一种基于数字签名的数据通信方法、系统及装置 |
| WO2020062211A1 (zh) * | 2018-09-30 | 2020-04-02 | 北京大学深圳研究生院 | 一种融合区块链技术拟态存储防篡改日志的方法及系统 |
| CN113904840A (zh) * | 2021-09-30 | 2022-01-07 | 广州海鹚网络科技有限公司 | 基于签名的医院防篡改请求验证系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107835080B (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10649838B2 (en) | Automatic correlation of dynamic system events within computing devices | |
| CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
| US9710367B1 (en) | Method and system for dynamic test case creation and documentation to the test repository through automation | |
| Lou et al. | Mining dependency in distributed systems through unstructured logs analysis | |
| US11177999B2 (en) | Correlating computing network events | |
| CN107835080A (zh) | 一种分布式系统数据收集方法及数据签名生成方法 | |
| US20160224323A1 (en) | Consolidating and reusing portal information | |
| US9342390B2 (en) | Cluster management in a shared nothing cluster | |
| CN107003931B (zh) | 将测试验证从测试执行分离 | |
| CN107797887B (zh) | 数据备份及恢复方法、装置、存储介质和电子设备 | |
| CN109558458A (zh) | 数据同步方法、配置平台、交易平台及数据同步系统 | |
| JP6256115B2 (ja) | 操作探索プログラム、操作探索方法、および操作探索装置 | |
| CN112860645A (zh) | 一种离线压缩文件的处理方法、装置、计算机设备及介质 | |
| US20220335013A1 (en) | Generating readable, compressed event trace logs from raw event trace logs | |
| CN103902666A (zh) | 一种基于ogg数据库复制的配置文件采集监控方法 | |
| CN112261114A (zh) | 一种数据备份系统及方法 | |
| US20100281294A1 (en) | Method of managing operations for administration, maintenance and operational upkeep, management entity and corresponding computer program product | |
| Barakat et al. | Windows forensic investigations using powerforensics tool | |
| CN105760456A (zh) | 一种保持数据一致性的方法和装置 | |
| US20150088958A1 (en) | Information Processing System and Distributed Processing Method | |
| US20220405115A1 (en) | Server and application monitoring | |
| US9633066B1 (en) | Taking a consistent cut during replication for storage across multiple nodes without blocking input/output | |
| JP5901962B2 (ja) | コマンド処理システム及び方法 | |
| US10038615B1 (en) | Providing metric data for a data storage system through a representational state transfer (RESTful) application programming interface (API) | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |