CN103138926B - 水印签名方法与装置 - Google Patents

水印签名方法与装置 Download PDF

Info

Publication number
CN103138926B
CN103138926B CN201110388841.0A CN201110388841A CN103138926B CN 103138926 B CN103138926 B CN 103138926B CN 201110388841 A CN201110388841 A CN 201110388841A CN 103138926 B CN103138926 B CN 103138926B
Authority
CN
China
Prior art keywords
daily record
watermark
sequence fragment
text
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110388841.0A
Other languages
English (en)
Other versions
CN103138926A (zh
Inventor
章军
唐维
李文宇
田朝文
贾海燕
冯晓东
张鉴
常力元
赵洪波
赵敬谦
俞韶桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201110388841.0A priority Critical patent/CN103138926B/zh
Publication of CN103138926A publication Critical patent/CN103138926A/zh
Application granted granted Critical
Publication of CN103138926B publication Critical patent/CN103138926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种水印签名方法与装置,其中,方法包括:对日志的文本内容进行片段拆分,得到M个文本序列片段,其中,M为大于1的整数;对M个文本序列片段进行非随机抽样,得到N个抽样序列片段,其中,N为大于0且不大于M的整数;分别去除N个抽样序列片段中的可变信息,得到N个目标序列片段;采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印。本发明实施例可以提高文本水印的生成效率,从而提高对日志的处理性能。

Description

水印签名方法与装置
技术领域
本发明涉及通信技术,尤其是一种水印签名方法与装置。
背景技术
在通信等各种业务中,经常需要对记录本次业务事件的日志进行解析识别处理。在日志处理领域,对日志的解析识别处理通常包括以下两个阶段:第一个阶段是,判断一条日志能否被解析识别;第二个阶段是,将可以解析识别的日志与解析识别规则进行匹配,并根据匹配上的解析识别规则对该日志进行相应处理。目前,第二个阶段中,通常通过将可以解析识别的日志与类似于访问控制链表(AccessControlLink,以下简称:ACL)结构的链式匹配规则列表逐一进行匹配,其中的链式匹配规则列表中的解析识别规则数量较高,可能高达1000条以上。因此,如果一种文本日志在第一个阶段无法被有效识别是否能被解析识别,每次接收到这种文本日志,在第二个阶段中,都要遍历全部的解析识别规则列表对其进行匹配处理,需要消耗大量的计算资源。
现有技术在第一个阶段中,采用摘要算法第五版(MessageDigestAlgorithm5,以下简称:MD5)或安全哈希算法(SecureHashAlgorithm,以下简称:SHA1)对日志的全部文本内容进行签名,对日志的原始文本内容抽取特征值并采用水印签名算法进行处理,从而得到该日志的文本水印,来识别该文本水印能否被解析识别,从而判断该文本水印对应的日志能否被解析识别。
在实现本发明的过程中,发明人发现,上述现有技术判断日志能否被解析识别的方法至少存在以下问题:
由于需要对日志的全部文本内容进行签名,当日志的文本内容较长时,由于水印签名算法本身性能的限制,导致文本水印的生成效率较低,从而影响对日志的处理性能,使得对日志的处理性能较差;
在类似日志处理等领域,日志的文本内容变化较大,例如,网络设备的同一种类型的日志,文本的部分内容,例如来源IP地址、来源端口等可变信息,会发生变化,而且变化的值域会非常大,例如会在整个IP地址范围、TCP/UDP端口范围内变化,再考虑到文本内容中多部分可变内容的交叉组合,值域范围无法穷尽。由于需要对全部文本内容进行抽样,当文本内容出现部分变化时,最终生成的文本水印会不同,从而增加了判断日志能否被解析识别的工作量,影响了对日志的处理性能。
发明内容
本发明实施例所要解决的技术问题是:提供一种水印签名方法与装置,以提高文本水印的生成效率,从而提高对日志的处理性能。
本发明实施例提供的一种水印签名方法,包括:
对日志的文本内容进行片段拆分,得到M个文本序列片段,其中,M为大于1的整数;
对M个文本序列片段进行非随机抽样,得到N个抽样序列片段,其中,N为大于0且不大于M的整数;
分别去除N个抽样序列片段中的可变信息,得到N个目标序列片段;
采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印。
本发明实施例提供的一种水印签名装置,包括:
拆分单元,用于对日志的文本内容进行片段拆分,得到M个文本序列片段,其中,M为大于1的整数;
抽样单元,用于对M个文本序列片段进行非随机抽样,得到N个抽样序列片段,其中,N为大于0且不大于M的整数;
信息去除单元,用于分别去除N个抽样序列片段中的可变信息,得到N个目标序列片段;
签名单元,用于采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印。
基于本发明上述实施例提供的水印签名方法与装置,对日志的文本内容进行片段拆分,对拆分得到的M个文本序列片段进行非随机抽样,并去除N个抽样序列片段中的可变信息,再采用预设水印签名算法对N个目标序列片段进行签名,得到日志的文本水印。与现有技术相比,本发明实施例仅对日志的若干片段进行签名,而无需对日志的全部文本内容进行签名,从而不会由于日志的文本内容长度影响文本水印的生成效率,有效提高了文本水印的生成效率与对日志的处理性能;并且,去除了签名片段中的可变信息部分,避免了可变信息对最终生成的文本水印的影响,减少了判断日志能否被解析识别的工作量,提高了对日志的处理性能。由此,本发明实施例提高了第一个阶段中日志能否被解析识别的识别效率与准确率,使无法匹配解析识别规则的日志在第一个阶段尽可能的被发现出来,避免其进入第二个阶段对解析识别规则列表的遍历,从而极大的提高日志处理的性能。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明水印签名方法一个实施例的流程图;
图2为本发明水印签名方法另一个实施例的流程图;
图3为本发明水印签名装置一个实施例的结构示意图;
图4为本发明水印签名装置另一个实施例的结构示意图;
图5为本发明水印签名装置又一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明水印签名方法一个实施例的流程图。如图1所示,该实施例的水印签名方法包括:
101,对日志的文本内容进行片段拆分,得到M个文本序列片段。
其中,M为大于1的整数。
示例性地,本发明实施例中可以采用定长的拆分方法,将日志的文本内容拆分为M个长度相同的文本序列片段;或者,也可以采用固定片段数量的拆分方法,将日志的文本内容拆分为M个文本序列片段,其中,M为预先设定的固定片段数量。
102,对M个文本序列片段进行非随机抽样,得到N个抽样序列片段。
其中,N为大于0且不大于M的整数。
示例性地,本发明实施例中,采用相同的方式对对M个文本序列片段进行多次非随机抽样,可以保证抽样结果的一致,即:保证抽样得到的N个抽样序列片段的正确性。
其中,非随机抽样,是指按照预设规定有规律的抽样,以确保相同或类似的内容,在多次抽样处理后,得到的抽样结果是一样的;并且,避免采用随机抽样的方式导致不同或不相似的内容在多次抽样后,得到的抽样结果反而是相同的,从而引起结果冲撞,这是必须要避免的。示例性地,在本发明实施例中,可以采用包括但不限于如下所示的两种非随机抽样方式:一是采用固定抽取方式,例如,抽取M个文本序列片段中的前N个;二是奇偶位抽取,例如,抽取M个文本序列片段中的奇数位片段。
103,分别去除N个抽样序列片段中的可变信息,得到N个目标序列片段。
示例性地,可以根据预先设定的可变信息定义,分别从N个抽样序列片段中去除预先设定的可变信息。
104,采用预设水印签名算法,例如,包括但不限于MD5或SHA1,对N个目标序列片段进行签名,得到日志的文本水印。
本发明上述实施例提供的水印签名方法,对日志的文本内容进行片段拆分,对拆分得到的M个文本序列片段进行非随机抽样,并去除N个抽样序列片段中的可变信息,再采用预设水印签名算法对N个目标序列片段进行签名,得到日志的文本水印。由于仅对日志的若干片段进行签名,而无需对日志的全部文本内容进行签名,从而不会由于日志的文本内容长度影响文本水印的生成效率,有效提高了文本水印的生成效率与对日志的处理性能;并且,去除了签名片段中的可变信息部分,避免了可变信息对最终生成的文本水印的影响,实现了基于模式的水印,其中的模式是指部分内容变化而大部分内容不变的形式,减少了判断日志能否被解析识别的工作量,提高了对日志的处理性能。由此,本发明实施例提高了第一个阶段中日志能否被解析识别的识别效率与准确率,使无法匹配解析识别规则的日志在第一个阶段尽可能的被发现出来,避免其进入第二个阶段对解析识别规则列表的遍历,从而极大的提高日志处理的性能。
另外,采用MD5、SHA1等方式对N个目标序列片段进行签名时,由于采用单向不可逆转换方法,从得到的签名中,无法还原签名前的内容,有效提高了日志的安全性;并且,两个不同的内容信息,经过签名算法处理后,得到的水印不相同。因此,可以以及极低的冲撞几率,应用于各种各样的系统。
根据本发明的一个示例而非限制,图1所示的上述各实施例中,具体可以通过以下方式实现103的操作:
分别从N个抽样序列片段中去除阿拉伯数字信息;
分别从N个抽样序列片段中去除成对的符号或其它预设符号中间的内容;
分别从N个抽样序列片段中去除等号之后直到分割边界的所有内容,以及冒号之后直到分割边界的所有内容。其中的分割边界包括但不限于空格、TAB制表符、行尾、小于号、前中括号、前大括号、前小括号、引号与单引号等。
根据本发明的另一个示例而非限制,在本发明上述各实施例的水印签名方法中,N为预先设定的固定整数,即:抽样序列片段的数量是固定的。
由于抽样序列片段的数量是固定的,即N的取值一定,该数值不会由于日志的文本内容的长度不同而变化,由于进行签名的目标序列片段数量一定,可以保证签名得到水印的过程中系统开销上限是收敛的,不会由于文本长度增加而导致性能的过度下降,当文本内容较长时,也不会出现性能下降,确保性能在可控范围之内。
图2为本发明水印签名方法另一个实施例的流程图。如图2所示,该实施例的水印签名方法包括:
201,对日志的文本内容进行片段拆分,得到M个文本序列片段。
示例性地,本发明实施例中可以采用定长的拆分方法,将日志的文本内容拆分为M个长度相同的文本序列片段;或者,也可以采用固定片段数量的拆分方法,将日志的文本内容拆分为M个文本序列片段,其中,M预先设定的固定片段数量,M的取值为大于1的整数。
202,对M个文本序列片段进行非随机抽样,得到N个抽样序列片段。
其中,N为预先设定的固定整数,且N的取值为大于0且不大于M的整数。
203,别从N个抽样序列片段中去除阿拉伯数字信息。
204,分别从N个抽样序列片段中去除成对的符号中间的内容。
其中,成对的符号例如尖括号<>、中括号[]、大括号{}、小括号()、双引号“”、单引号‘’等。
205,分别从N个抽样序列片段中去除等号之后直到分割边界的所有内容,以及冒号之后直到分割边界的所有内容,得到N个目标序列片段。
其中的分割边界例如,空格、TAB制表符、行尾、小于号、前中括号、前大括号、前小括号、引号与单引号。
206,采用预设水印签名算法,例如,包括但不限于MD5或SHA1,对N个目标序列片段进行签名,得到日志的文本水印。
根据本发明的一个具体实施例,在图2所示实施例的206中,具体可以将N个目标序列片段依次拼接,得到一个完整序列;并采用预设水印签名算法对该完整序列进行签名,得到日志的文本水印。相应的,本发明实施例判断该日志能否被解析识别以及将第一个阶段无法判定为无法解析识别的日志与解析识别规则进行匹配时,具体可以通过如下方式实现:将得到的日志的文本水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否有与日志的文本水印一致的水印;若历史记录中未识别日志的水印中有与该日志的文本水印一致的水印,确认该日志无法被解析识别;若历史记录中未识别日志的水印中没有与该日志的文本水印一致的水印,采用预先设置的解析识别规则列表,逐条对该日志进行匹配处理;若解析识别规则列表中的全部解析识别规则对该日志均匹配失败,将该日志的文本水印添加为历史记录中未识别日志的水印,以便据此判断后续日志的水印能否被解析识别。
根据本发明的另一个具体实施例,在图2所示实施例的206中,具体可以分别采用预设水印签名算法对N个目标序列片段进行签名,得到N个目标序列片段的水印,其中,日志的文本水印包括该N个目标序列片段的水印。相应的,本发明实施例判断该日志能否被解析识别以及将第一个阶段无法判定为无法解析识别的日志与解析识别规则进行匹配时,具体可以通过如下方式实现:分别将N个目标序列片段的水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否包括N个目标序列片段的水印;若历史记录中未识别日志的水印中包括该N个目标序列片段中一个或多个片段的水印,确认日志无法被解析识别;若历史记录中未识别日志的水印中不包括该N个目标序列片段中任意一个片段的水印,采用预先设置的解析识别规则列表,逐条对日志进行匹配处理;若解析识别规则列表中的全部解析识别规则对日志均匹配失败,将该N个目标序列片段的水印作为日志的文本水印,添加为历史记录中未识别日志的水印,以便据此判断后续日志的水印能否被解析识别。
相对于上述一个具体实施例而言,由于该另一个具体实施例中无需将N个目标序列片段依次拼接,可以进一步减少由此带来的运算开销,进一步提高了日志处理性能。无论采用上述两个具体实施例中的哪种方式,得到的日志的文本水印结果是一致的,此文本水印不会随着文本内容中可变信息部分的改变而改变,从而满足了同一种类日志处理系统的需求,解决了传统的MD5、SHA1等方法在此类系统中的不适用性的问题。
以下以对一个具体日志的处理为例,来进一步说明本发明水印签名方法的具体应用。如下所示为通信系统中的一条普通日志内容实例:
<189>gzgt-nsg2:NetScreendevice_id=gzgt-nsg2[Root]system-notification-00015:InfranetEnforcercouldnotconnecttotheInfranetControllerbecausetheControllercouldnotbereachedonthenetwork.(2010-10-0911:05:42)
在上述格式的日志中,“189”、“gzgt-nsg2”、“Root”、“00015”、“2010-10-0911:05:42”这几部分为可变信息,其余部分为不变信息。依据本发明上述实施例的水印签名方法,采用定长的拆分方法或者固定片段数量的拆分方法,对日志的文本内容进行片段拆分,得到M个文本序列片段。然后对M个文本序列片段进行非随即抽样,得到N个抽样序列片段,记为:P1,P2,...,PN,N为预先设定的抽样序列片段的最大数量值,例如取值为10,其取值不大于M,N的取值可以任意选取但是需要在日志开始处理前就确定并在日志处理的过程中始终保持不变。M个文本序列片段中未被抽样的其它文本序列片段丢弃。接下来,从这N个抽样序列片段中,依次除去可变信息。去掉可变信息的操作如下:首先,去掉N个抽样序列片段中的阿拉伯数字信息,即去掉该实例中的“189”数字信息;去掉成对的符号中间的内容,成对的符号例如尖括号<>、中括号[]、大括号{}、小括号()、双引号“”、单引号‘’等,即去掉该实例中的“Root”、“2010-10-0911:05:42”信息;然后去掉等号=、冒号:后面直到分割边界的所有内容,其中的分割边界例如,空格、TAB制表符、行尾、小于号、前中括号、前大括号、前小括号、引号、单引号等,即去掉该实例中的“gzgt-nsg2”信息。经过上述操作,可以得到全部为不可变内容的N个目标序列片段,记为:C1,C2,...,CN。
图3为本发明水印签名装置一个实施例的结构示意图。该实施例的水印签名装置可用于实现本发明上述各水印签名方法实施例的相应流程。如图3所示,其包括拆分单元301、抽样单元302、信息去除单元303与签名单元304。
其中,拆分单元301,用于对日志的文本内容进行片段拆分,得到M个文本序列片段,其中,M为大于1的整数。示例性地,拆分单元301对日志的文本内容进行片段拆分时,具体可以采用定长的拆分方法,将日志的文本内容拆分为M个长度相同的文本序列片段;或者,也可以采用固定片段数量的拆分方法,将日志的文本内容拆分为M个文本序列片段,M为预先设定的固定片段数量。
抽样单元302,用于对拆分单元301得到的M个文本序列片段进行非随机抽样,得到N个抽样序列片段,其中,N为大于0且不大于M的整数。
信息去除单元303,用于分别去除抽样单元302得到的N个抽样序列片段中的可变信息,得到N个目标序列片段。
签名单元304,用于采用预设水印签名算法,例如,MD5、SHA1等,对信息去除单元303得到的N个目标序列片段进行签名,得到日志的文本水印。
本发明上述实施例提供的水印签名装置,对日志的文本内容进行片段拆分,对拆分得到的M个文本序列片段进行非随机抽样,并去除N个抽样序列片段中的可变信息,再采用预设水印签名算法对N个目标序列片段进行签名,得到日志的文本水印。本发明实施例仅对日志的若干片段进行签名,而无需对日志的全部文本内容进行签名,从而不会由于日志的文本内容长度影响文本水印的生成效率,有效提高了文本水印的生成效率与对日志的处理性能;并且,去除了签名片段中的可变信息部分,避免了可变信息对最终生成的文本水印的影响,减少了判断日志能否被解析识别的工作量,提高了对日志的处理性能。由此,本发明实施例提高了第一个阶段中日志能否被解析识别的识别效率与准确率,使无法匹配解析识别规则的日志在第一个阶段尽可能的被发现出来,避免其进入第二个阶段对解析识别规则列表的遍历,从而极大的提高日志处理的性能。
根据本发明的一个示例而非限制,与本发明上述水印签名方法实施例相应的,信息去除单元303具体可以根据预先设定的可变信息定义,分别从N个抽样序列片段中去除预先设定的可变信息,得到N个目标序列片段。进一步示例性地,信息去除单元303可以分别从N个抽样序列片段中去除阿拉伯数字信息;分别从N个抽样序列片段中去除成对的符号中间的内容;以及分别从N个抽样序列片段中去除等号之后直到分割边界的所有内容,以及冒号之后直到分割边界的所有内容,得到N个目标序列片段。其中的分割边界可以包括但不限于空格、TAB制表符、行尾、小于号、前中括号、前大括号、前小括号、引号与单引号等。
根据本发明的另一个示例而非限制,与本发明上述水印签名方法实施例相应的,N为预先设定的固定整数,即:抽样序列片段的数量是固定的。
图4为本发明水印签名装置另一个实施例的结构示意图。与图3所示实施例的水印签名装置相比,该实施例中,签名单元304具体将N个目标序列片段依次拼接,得到一个完整序列,并采用预设水印签名算法对完整序列进行签名,得到日志的文本水印。相应的,如图4所示,该实施例中,水印签名装置还包括存储单元305、第一判断单元306与第一日志处理单元307。
其中,存储单元305,用于存储历史记录,该历史记录中包括未识别日志的水印。示例性地,该未识别日志的水印可以预先设置并可以在后续更新。
第一判断单元306,用于将签名单元304得到的日志的文本水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否有与签名单元304得到的日志的文本水印一致的水印;若历史记录中未识别日志的水印中有与签名单元304得到的日志的文本水印一致的水印,确认签名单元304得到的日志无法被解析识别。
第一日志处理单元307,用于根据第一判断单元306的判断结果,在历史记录中未识别日志的水印中没有与签名单元304得到的日志的文本水印一致的水印时,采用预先设置的解析识别规则列表,逐条对签名单元304得到的日志进行匹配处理;并在解析识别规则列表中的全部解析识别规则对签名单元304得到的日志均匹配失败时,将签名单元304得到的日志的文本水印添加倒存储单元305存储的历史记录中未识别日志的水印。
图5为本发明水印签名装置又一个实施例的结构示意图。与图3所示实施例的水印签名装置相比,该实施例中,签名单元304分别采用预设水印签名算法对N个目标序列片段进行签名,得到N个目标序列片段的水印,其中,日志的文本水印包括该N个目标序列片段的水印。相应的,如图5所示,该实施例中,水印签名装置还包括存储单元305、第二判断单元308与第二日志处理单元309。
其中,存储单元305,用于存储历史记录,该历史记录中包括未识别日志的水印。示例性地,该未识别日志的水印可以预先设置并可以在后续更新。
第二判断单元308,用于分别将签名单元304得到的N个目标序列片段的水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否包括该N个目标序列片段的水印;若历史记录中未识别日志的水印中包括该N个目标序列片段中一个或多个片段的水印,确认日志无法被解析识别。
第二日志处理单元309,用于根据第二判断单元308的判断结果,在历史记录中未识别日志的水印中不包括该N个目标序列片段中任意一个片段的水印时,采用预先设置的解析识别规则列表,逐条对日志进行匹配处理;并在解析识别规则列表中的全部解析识别规则对日志均匹配失败时,将该N个目标序列片段的水印作为对应日志的文本水印,添加在存储单元305存储的历史记录中未识别日志的水印。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例无需对日志的全部文本内容进行签名,从而不会由于日志的文本内容长度影响文本水印的生成效率,有效提高了文本水印的生成效率与对日志的处理性能;并且,去除了签名片段中的可变信息部分,当文本内容出现部分变化时,生成的文本水印会忽略内容变化部分,避免了可变信息对最终生成的文本水印的影响,实现了对文本内容模式的水印,保证用有限的、可枚举的模式水印,支持对无穷日志解析识别前的处理,减少了判断日志能否被解析识别的工作量,提高了对日志的处理性能。由此,本发明实施例提高了第一个阶段中日志能否被解析识别的识别效率与准确率,使无法匹配解析识别规则的日志在第一个阶段尽可能的被发现出来,避免其进入第二个阶段对解析识别规则列表的遍历,从而极大的提高日志处理的性能。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (18)

1.一种水印签名方法,其特征在于,包括:
对日志的文本内容进行片段拆分,得到M个文本序列片段,其中,M为大于1的整数;
对M个文本序列片段进行非随机抽样,得到N个抽样序列片段,其中,N为大于0且不大于M的整数;
分别去除N个抽样序列片段中预先设定的可变信息,得到N个目标序列片段;
采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印;
所述分别从N个抽样序列片段中去除预先设定的可变信息包括:
分别从N个抽样序列片段中去除阿拉伯数字信息;
分别从N个抽样序列片段中去除成对的符号中间的内容;
分别从N个抽样序列片段中去除等号之后直到分割边界的所有内容,以及冒号之后直到分割边界的所有内容。
2.根据权利要求1所述的方法,其特征在于,对日志的文本内容进行片段拆分包括:
采用定长的拆分方法,将日志的文本内容拆分为M个长度相同的文本序列片段;或者
采用固定片段数量的拆分方法,将日志的文本内容拆分为M个文本序列片段,M为预先设定的固定片段数量。
3.根据权利要求1所述的方法,其特征在于,所述分割边界包括空格、TAB制表符、行尾、小于号、前中括号、前大括号、前小括号、引号与单引号。
4.根据权利要求1所述的方法,其特征在于,所述预设水印签名算法包括消息摘要算法第五版MD5或安全哈希算法SHA1。
5.根据权利要求1至4任意一项所述的方法,其特征在于,N为预先设定的固定整数。
6.根据权利要求5所述的方法,其特征在于,采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印包括:
将N个目标序列片段依次拼接,得到一个完整序列;
采用预设水印签名算法对所述完整序列进行签名,得到所述日志的文本水印。
7.根据权利要求6所述的方法,其特征在于,还包括:
将所述日志的文本水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否有与所述日志的文本水印一致的水印;
若历史记录中未识别日志的水印中有与所述日志的文本水印一致的水印,确认所述日志无法被解析识别;
若历史记录中未识别日志的水印中没有与所述日志的文本水印一致的水印,采用预先设置的解析识别规则列表,逐条对所述日志进行匹配处理;
若解析识别规则列表中的全部解析识别规则对所述日志均匹配失败,将所述日志的文本水印添加为历史记录中未识别日志的水印。
8.根据权利要求5所述的方法,其特征在于,采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印包括:
分别采用预设水印签名算法对N个目标序列片段进行签名,得到N个目标序列片段的水印,所述日志的文本水印包括N个目标序列片段的水印。
9.根据权利要求8所述的方法,其特征在于,还包括:
分别将N个目标序列片段的水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否包括N个目标序列片段的水印;
若历史记录中未识别日志的水印中包括N个目标序列片段中一个或多个片段的水印,确认所述日志无法被解析识别;
若历史记录中未识别日志的水印中不包括N个目标序列片段中任意一个片段的水印,采用预先设置的解析识别规则列表,逐条对所述日志进行匹配处理;
若解析识别规则列表中的全部解析识别规则对所述日志均匹配失败,将N个目标序列片段的水印作为所述日志的文本水印,添加为历史记录中未识别日志的水印。
10.一种水印签名装置,其特征在于,包括:
拆分单元,用于对日志的文本内容进行片段拆分,得到M个文本序列片段,其中,M为大于1的整数;
抽样单元,用于对M个文本序列片段进行非随机抽样,得到N个抽样序列片段,其中,N为大于0且不大于M的整数;
信息去除单元,用于分别去除N个抽样序列片段中预先设定的可变信息,得到N个目标序列片段;具体用于分别从N个抽样序列片段中去除阿拉伯数字信息;分别从N个抽样序列片段中去除成对的符号中间的内容;以及分别从N个抽样序列片段中去除等号之后直到分割边界的所有内容,以及冒号之后直到分割边界的所有内容;
签名单元,用于采用预设水印签名算法对N个目标序列片段进行签名,得到所述日志的文本水印。
11.根据权利要求10所述的装置,其特征在于,所述拆分单元对日志的文本内容进行片段拆分时,具体采用定长的拆分方法,将日志的文本内容拆分为M个长度相同的文本序列片段;或者采用固定片段数量的拆分方法,将日志的文本内容拆分为M个文本序列片段,M为预先设定的固定片段数量。
12.根据权利要求11所述的装置,其特征在于,所述分割边界包括空格、TAB制表符、行尾、小于号、前中括号、前大括号、前小括号、引号与单引号。
13.根据权利要求10所述的装置,其特征在于,所述预设水印签名算法包括MD5或SHA1。
14.根据权利要求10至13任意一项所述的装置,其特征在于,N为预先设定的固定整数。
15.根据权利要求14所述的装置,其特征在于,所述签名单元具体将N个目标序列片段依次拼接,得到一个完整序列;并采用预设水印签名算法对所述完整序列进行签名,得到所述日志的文本水印。
16.根据权利要求15所述的装置,其特征在于,还包括:
存储单元,用于存储历史记录,所述历史记录中包括未识别日志的水印;
第一判断单元,用于将所述日志的文本水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否有与所述日志的文本水印一致的水印;若历史记录中未识别日志的水印中有与所述日志的文本水印一致的水印,确认所述日志无法被解析识别;
第一日志处理单元,用于根据第一判断单元的判断结果,在历史记录中未识别日志的水印中没有与所述日志的文本水印一致的水印时,采用预先设置的解析识别规则列表,逐条对所述日志进行匹配处理;并在解析识别规则列表中的全部解析识别规则对所述日志均匹配失败时,将所述日志的文本水印添加为历史记录中未识别日志的水印。
17.根据权利要求14所述的装置,其特征在于,所述签名单元具体分别采用预设水印签名算法对N个目标序列片段进行签名,得到N个目标序列片段的水印,所述日志的文本水印包括N个目标序列片段的水印。
18.根据权利要求17所述的装置,其特征在于,还包括:
存储单元,用于存储历史记录,所述历史记录中包括未识别日志的水印;
第二判断单元,用于分别将N个目标序列片段的水印依次与历史记录中未识别日志的水印比较,识别历史记录中未识别日志的水印中是否包括N个目标序列片段的水印;若历史记录中未识别日志的水印中包括N个目标序列片段中一个或多个片段的水印,确认所述日志无法被解析识别;
第二日志处理单元,用于根据第二判断单元的判断结果,在历史记录中未识别日志的水印中不包括N个目标序列片段中任意一个片段的水印时,采用预先设置的解析识别规则列表,逐条对所述日志进行匹配处理;并在解析识别规则列表中的全部解析识别规则对所述日志均匹配失败时,将N个目标序列片段的水印作为所述日志的文本水印,添加为历史记录中未识别日志的水印。
CN201110388841.0A 2011-11-30 2011-11-30 水印签名方法与装置 Active CN103138926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110388841.0A CN103138926B (zh) 2011-11-30 2011-11-30 水印签名方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110388841.0A CN103138926B (zh) 2011-11-30 2011-11-30 水印签名方法与装置

Publications (2)

Publication Number Publication Date
CN103138926A CN103138926A (zh) 2013-06-05
CN103138926B true CN103138926B (zh) 2016-01-13

Family

ID=48498284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110388841.0A Active CN103138926B (zh) 2011-11-30 2011-11-30 水印签名方法与装置

Country Status (1)

Country Link
CN (1) CN103138926B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470205B (zh) * 2015-08-21 2021-03-05 中兴通讯股份有限公司 一种安全配置变更检测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516470A (zh) * 2002-10-08 2004-07-28 数字电视应用的数字签名
US6983056B1 (en) * 1999-08-06 2006-01-03 International Business Machines Corporation Method and device for embedding and detecting watermarking information into a black and white binary document image
CN1897522A (zh) * 2005-07-15 2007-01-17 国际商业机器公司 水印嵌入和/或检测的方法、装置及系统
CN101051906A (zh) * 2007-05-14 2007-10-10 北京大学 发送、接收流式媒体的方法及流式媒体认证系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110170133A1 (en) * 2010-01-12 2011-07-14 Samsung Electronics Co,. Ltd. Image forming apparatus, method of forming image and method of authenticating document

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983056B1 (en) * 1999-08-06 2006-01-03 International Business Machines Corporation Method and device for embedding and detecting watermarking information into a black and white binary document image
CN1516470A (zh) * 2002-10-08 2004-07-28 数字电视应用的数字签名
CN1897522A (zh) * 2005-07-15 2007-01-17 国际商业机器公司 水印嵌入和/或检测的方法、装置及系统
CN101051906A (zh) * 2007-05-14 2007-10-10 北京大学 发送、接收流式媒体的方法及流式媒体认证系统

Also Published As

Publication number Publication date
CN103138926A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
US10831747B2 (en) Multi stage aggregation using digest order after a first stage of aggregation
US11762813B2 (en) Quality score compression apparatus and method for improving downstream accuracy
US10802923B2 (en) Method and apparatus for incremental backup based on file paths and a prefix tree
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
US10885085B2 (en) System to organize search and display unstructured data
CN105095287A (zh) Lsm数据合并排序方法和装置
CN103246484B (zh) 一种数据存储方法、装置及系统
CN104778222A (zh) 基于usb存储设备的媒体库建立及更新方法
CN102142032A (zh) 一种分布式文件系统的数据读写方法及系统
CN111813845A (zh) 基于etl任务的增量数据抽取方法、装置、设备及介质
CN103108033A (zh) 文件上传方法及系统
CN103138926B (zh) 水印签名方法与装置
CN1243431C (zh) 宽带网络通信产品的通用路由平台命令行的解析方法
CN107315806B (zh) 一种基于文件系统的嵌入式存储方法和装置
CN111538750A (zh) 一种信息还原方法、装置、计算机系统及可读存储介质
CN110196793B (zh) 针对插件数据库的日志分析方法及设备
CN106934041A (zh) 影像文件管理方法及装置
CN113407495A (zh) 一种基于simhash的文件相似度判定方法及系统
CN113537349A (zh) 大型主机硬件故障识别方法、装置、设备及存储介质
CN113076178B (zh) 报文存储方法、装置及设备
CN104462484A (zh) 数据处理方法、数据处理器及系统
CN115640170B (zh) 一种大数据同步备份及校验方法
KR102484316B1 (ko) 객체 인식을 위한 학습 데이터셋 구성 방법 및 장치
CN116644083B (zh) 数据更新方法、装置、设备及存储介质
CN110719260B (zh) 智能网络安全分析方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant