CN110765090A - 日志数据管理方法及装置、存储介质、电子设备 - Google Patents
日志数据管理方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN110765090A CN110765090A CN201911053711.4A CN201911053711A CN110765090A CN 110765090 A CN110765090 A CN 110765090A CN 201911053711 A CN201911053711 A CN 201911053711A CN 110765090 A CN110765090 A CN 110765090A
- Authority
- CN
- China
- Prior art keywords
- processed
- log data
- characteristic value
- preset
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例是关于一种日志数据管理方法及装置、存储介质、电子设备，属于日志数据处理技术领域，该方法包括：获取日志数据库中的待处理日志数据，并对待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；在确定待处理特征值以及预设特征值匹配失败时，根据匹配结果生成第一错误提示信息；根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将第一错误提示信息发送至客户端，以使客户端根据第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。本发明实施例提高了客户端的安全性。
Description
技术领域
本发明实施例涉及日志数据处理技术领域，具体而言，涉及一种日志数据管理方法、日志数据管理装置、计算机可读存储介质以及电子设备。
背景技术
日志数据是用于记录系统操作事件或者程序运行的记录文件或者文件集合，且日志数据可以作为获取网络系统状况的一个重要手段。因此，如何对日志数据进行合理的管理是一个较为重要的问题。
在现有的日志数据管理方法中，大多数是通过系统自身提供的事件查看器对日志数据进行基本的查看；当日志数据中出现异常时，再通过人工的方式进行处理。
但是，上述方案存在如下缺陷：通过系统自身提供的事件查看器无法及时获知运行中的异常，降低了系统的安全性。
因此，需要提供一种新的日志数据管理方法及装置。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供种日志数据管理方法、日志数据管理装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的系统的安全性较差的问题。
根据本公开的一个方面，提供一种日志数据管理方法，包括：
获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；
在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联；
根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
在本公开的一种示例性实施例中，所述日志数据管理方法还包括：
在确定所述待处理特征值以及所述预设特征值匹配成功时，对所述待处理日志数据中对应于所述待处理特征值的待处理关键字以及所述数据特征库中对应于所述预设特征值的预设关键字进行匹配；
在确定所述待处理关键字以及所述预设关键字匹配失败时，生成第二错误提示信息，该第二错误提示信息与对应于匹配失败的待处理关键字的待处理日志数据相关联。
在本公开的一种示例性实施例中，在确定所述待处理特征值以及所述预设特征值匹配成功时之后，所述日志数据管理方法还包括：
对所述待处理特征值在所述数据特征库中的位置进行标识；
根据所述待处理特征值在所述数据特征库中的位置标识，获取所述数据特征库中与所述预设特征值对应的预设关键字。
在本公开的一种示例性实施例中，所述日志数据管理方法还包括：
在确定所述待处理关键字以及所述预设关键字匹配成功时，对对应于匹配成功的待处理关键字的待处理日志数据进行备份。
在本公开的一种示例性实施例中，所述日志数据管理方法还包括：
根据对应于所述匹配失败的待处理特征值的待处理日志数据，和/或对应于所述匹配失败的待处理关键字的待处理日志数据生成异常数据列表；
对所述异常数据列表中的待处理日志数据中的异常信息和/或无用信息进行过滤。
在本公开的一种示例性实施例中，在生成第一错误提示信息之后，所述日志数据管理方法还包括：
在确定所述待处理特征值属于可信特征值后，利用所述待处理特征值对所述数据特征库进行更新。
在本公开的一种示例性实施例中，所述日志数据管理方法还包括：
利用所述预设关键字以及对应于所述预设关键字的预设特征值构建所述数据特征库；
其中，所述预设关键字包括IP地址、用户名、日志类型、日志来源、以及通信协议中的多种。
在本公开的一种示例性实施例中，在获取日志数据库中的待处理日志数据之前，所述日志数据管理方法还包括：
根据预设时间条件和/或预设采集频率对所述待处理日志数据进行采集；
将采集到的所述待处理日志数据存储至所述日志数据库中。
根据本公开的一个方面，提供一种日志数据管理装置，包括：
特征值匹配模块，用于获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；
第一提示信息生成模块，用于在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联；
第一提示信息发送模块，用于根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的日志数据管理方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的日志数据管理方法。
本发明实施例一种日志数据管理方法，一方面，通过获取日志数据库中的待处理日志数据，并对待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；并在确定待处理特征值以及预设特征值匹配失败时，根据匹配结果生成第一错误提示信息；最后根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理，解决了现有技术中由于通过系统自身提供的事件查看器无法及时获知运行程序中的异常，降低了系统的安全性的问题；另一方面，通过对待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配，提高了对待处理日志数据中的待处理特征值进行匹配的效率，进而提高了对待处理日志数据进行处理的效率；再一方面，在确定待处理特征值以及预设特征值匹配失败时，根据匹配结果生成第一错误提示信息；最后根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理，使得客户端可以及时的根据该第一错误提示信息对生成对应日志数据的运行程序进行处理，提高了客户端的安全性，同时也提高了系统的安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本发明示例实施例的一种日志数据管理方法的流程图。
图2示意性示出根据本发明示例实施例的一种日志数据示例图；
图3示意性示出根据本发明示例实施例的另一种日志数据管理方法的流程图；
图4示意性示出根据本发明示例实施例的另一种日志数据管理方法的流程图；
图5示意性示出根据本发明示例实施例的另一种日志数据管理方法的流程图；
图6示意性示出根据本发明示例实施例的另一种日志数据管理方法的流程图；
图7示意性示出根据本发明示例实施例的一种日志数据管理装置的框图；
图8示意性示出根据本发明示例实施例的一种用于实现上述日志数据管理方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
复杂的网络系统由种类繁多的安全设备、网络设备、主机系统及其应用等组成，每天产生大量日志信息，如何对其进行统一管理以及分析，以使得可以根据日志信息及时的了解系统状况；并且，在发生潜在威胁时可以第一时间对异常时间执行快速响应，是提高网络系统整体安全性的关键。
Windows操作平台作为一种主流的操作系统，经常被应用于各种服务器以及其他硬件设备上，其自身提供的事件查看器只能进行基本的日志信息查看，且无法及时获知运行中的异常和无用日志并及时应对，导致平台的安全性较差，且不够直观便于管理者查看。
本示例实施方式中首先提供了一种日志数据管理方法，该方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该日志数据管理方法可以包括以下步骤：
步骤S110.获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配。
步骤S120.在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联。
步骤S130.根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
上述日志数据管理方法中，一方面，通过获取日志数据库中的待处理日志数据，并对待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；并在确定待处理特征值以及预设特征值匹配失败时，根据匹配结果生成第一错误提示信息；最后根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理，解决了现有技术中由于通过系统自身提供的事件查看器无法及时获知运行程序中的异常，降低了系统的安全性的问题；另一方面，通过对待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配，提高了对待处理日志数据中的待处理特征值进行匹配的效率，进而提高了对待处理日志数据进行处理的效率；再一方面，在确定待处理特征值以及预设特征值匹配失败时，根据匹配结果生成第一错误提示信息；最后根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理，使得客户端可以及时的根据该第一错误提示信息对生成对应日志数据的运行程序进行处理，提高了客户端的安全性，同时也提高了系统的安全性。
以下，将结合附图对本发明示例实施例的日志数据管理方法中涉及的各步骤进行详细的解释以及说明。
在步骤S110中，获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配。
在本示例实施例中，首先，对数据特征库的由来进行解释以及说明。具体的，可以利用所述预设关键字以及对应于所述预设关键字的预设特征值构建所述数据特征库；其中，所述预设关键字包括IP地址、用户名、日志类型、日志来源以及通信协议中的多种。此处需要补充说明的是，数据特征库中的预设关键字以及对应于预设关键字的预设特征值可以以键值对的形式进行存储；当与待处理日志数据进行匹配时，可以先对特征值进行匹配，然后再对对应的关键字进行匹配。通过该方法，可以提高匹配速度，进而提高对待处理日志数据的处理速度。
进一步的，当得到数据特征库以后，可以实时的从日志数据库中获取待处理日志数据，然后对待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配。具体的，参考图2，可以根据各日志数据的生成时间，实时的从日志数据库中获取待处理日志数据，以便于在发现日志数据异常时，及时的发出错误提示信息。并且，由于待处理日志数据也是以键值的形式进行呈现的，因此可以直接与数据特征库中的特征值进行匹配。此处需要进一步补充说明的是，上述数据特征库中也可以包括其他预设关键字，例如日志级别等等，本示例对此不做特殊限制。
在步骤S120中，在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联。
在本示例实施例中，如果待处理特征值以及预设特征值匹配失败，则可以根据该匹配结果生成第一错误提示信息；其中，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联。此处需要补充说明的是，由于同一批待处理日志数据中同时包括很多不同IP地址以及不同来源的日志数据，因此需要对应的生成提示信息，进而提高提示信息的精确度。
在步骤S130中，根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
在本示例实施例中，可以根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将上述第一错误提示信息根据直接发送到与上述标识信息对应的客户端，以使客户端可以及时的接收到错误提示信息，并对该错误提示信息进行处理，进而提高了客户端的安全性，同时也可以提高数据库的安全性。此处需要补充说明的是，上述标识信息可以包括客户端的序列编码，也可以包括上述待处理日志数据中包括的客户端的IP地址，本示例对此不做特殊限制。
此外，为了避免出现当某一待处理特征在数据特征库中不存在，但是该待处理特征值属于可信特征值，进而使得生成的第一错误提示信息准确率较低的问题，该日志数据管理方法还可以包括：在确定所述待处理特征值属于可信特征值后，利用所述待处理特征值对所述数据特征库进行更新。详细而言：
在系统报警之后，可以通过人工的方式判断该待处理特征值是否属于安全特征值(可信任特征值)，如果安全，则将此待处理特征值加入数据特征库，以构成最近的数据特征库。此处需要补充说明的是，数据特征库在每次与待处理日志数据经过比对分析之后，都会对数据特征库的预定内容(预设关键字或者预设特征值)进行自动更新，为下次分析提供更为全面的特征库。
进一步的，该述日志数据管理方法还包括：在确定所述待处理关键字以及所述预设关键字匹配成功时，对匹配成功的待处理关键字对应的待处理日志数据进行备份。详细而言：
Windows平台对正常的日志数据进行加密备份，并对备份的日志数据存储到存储器内，存储器可以为磁盘存储器、CD-ROM、光学存储器中的一种，正常日志的备份信息可通过服务端输入密码进行日志的查询和提取。对日志数据进行备份后，对备份的日志数据进行加密，并将加密后的日志数据存储到存储器内，以提高系统的稳定性。
图3示意性示出根据本发明示例实施例的另一种日志数据管理方法的流程图。参考图3所示，该日志数据管理方法还可以包括步骤S310-步骤S320，以下进行详细说明。
在步骤S310中，在确定所述待处理特征值以及所述预设特征值匹配成功时，对所述待处理日志数据中对应于所述待处理特征值的待处理关键字以及所述数据特征库中对应于所述预设特征值的预设关键字进行匹配。
在步骤S320中，在确定所述待处理关键字以及所述预设关键字匹配失败时，生成第二错误提示信息；其中，该第二错误提示信息与对应于匹配失败的待处理关键字对应的待处理日志数据相关联。
在图3示出的实施例中，可以进一步的确保系统的安全性以及客户端的安全性，避免了由于仅仅只对特征值进行分析而没有对关键字进行分析而带来的潜在风险。
进一步的，为了提高对关键字进行匹配的速度，进而提高对待处理日志数据进行处理的速度该日志数据管理方法还可以包括：对所述待处理特征值在所述数据特征库中的位置进行标识；根据所述待处理特征值在所述数据特征库中的位置标识，获取所述数据特征库中与所述预设特征值对应的预设关键字。通过该方法，可以提高对关键字进行匹配的速度，进而提高对待处理日志数据进行处理的速度。
图4示意性示出根据本发明示例实施例的另一种日志数据管理方法的流程图。参考图4所示，该日志数据管理方法还可以包括步骤S410-步骤S420，以下进行详细说明。
在步骤S410中，根据预设时间条件和/或预设采集频率对所述待处理日志数据进行采集。
在步骤S420中，将采集到的所述待处理日志数据存储至所述日志数据库中。
以下，将对步骤S410以及步骤S420进行解释以及说明。首先，可以利用平台数据采集插件按照预设时间条件以及预设采集频率在Windows平台中收集需要管理的文本日志以及数据日志等等，然后再将采集到的待处理日志数据存储至日志数据库中，便于后续的处理。其中，该预设时间条件例如可以是间隔预设时间段(例如1min或者5min等等，本示例对此不做特殊限制)；预设采集频率例如可以根据生成的待处理日志数据的数据量的大小进行决定；当未达到上述预设时间段但是数据量已经达到预设数据量时，可以增加采集频率等等。通过该方法，可以避免由于某一时刻日志数据量过大对系统造成的负担等问题。
图5示意性示出根据本发明实例实施例的另一种日志数据管理方法。参考图5所示，该日志数据管理方法还可以包括步骤S510以及步骤S520，以下进行详细说明。
在步骤S510中，根据对应于所述匹配失败的待处理特征值的待处理日志数据，和/或对应于所述匹配失败的待处理关键字的待处理日志数据生成异常数据列表。
在步骤S520中，对所述异常数据列表中的待处理日志数据中的异常信息和/或无用信息进行过滤。
以下，将对步骤S510以及步骤S520进行解释以及说明。具体的，可以根据数据分析结果确定日志数据中的异常数据日志，并筛选出无用信息日志，分别单独生成异常数据列表和无用信息列表，经过管理员查看之后，选择是否将对异常数据和系统无用的信息过滤清楚。
以下，结合图6对本发明示例实施例的日志数据管理方法进行进一步的解释以及说明。参考图6所示，该日志数据管理方法可以包括以下步骤：
步骤S610，收集日志数据：在Windows平台中收集需要管理的文本日志以及数据日志，利用平台数据采集插件按预设的时间段、频率采集服务器运行的批量程序的日志数据。
步骤S620，建立数据特征库：将日志数据存储至日志数据库中，利用预设的关键字信息建立数据特征库，并将数据特征库与日志数据库中的日志数据进行比对分析；其中，关键字信息包括IP地址、用户名、类型、来源、使用的协议。
步骤S630，日志数据安全分析处理：根据日志数据的特征值查找数据特征库，如果特征值在数据特征库中存在，则将命中标识位置，如果特征值在数据特征库中不存在，系统将进行报警，报警方式为客户端接收到错误提示信息。
步骤S640，自更新数据特征库：在系统报警之后，管理员选择是否信任此特征值，如果信任，则将此特征值加入数据特征库，以构成最近的数据特征库，其中数据特征库在每次与日志数据库经过比对分析之后，都会对数据特征库的预定内容进行自动更新，为下次分析提供更为全面的特征库。
步骤S650，展示分析结果：根据数据分析结果确定日志数据中的异常数据日志，并筛选出无用信息日志，分别单独生成异常数据列表和无用信息列表，经过管理员查看之后，选择是否将对异常数据和系统无用的信息过滤清楚。
步骤S660，日志安全备份：Windows平台对正常的日志数据进行加密备份，并对备份的日志数据存储到存储器内，存储器可以为磁盘存储器、CD-ROM、光学存储器中的一种，正常日志的备份信息可通过服务端输入密码进行日志的查询和提取。
本发明示例实施例提供的日志数据管理方法中，至少具有以下优点：
一方面，可以及时分析并获知运行异常和无用的日志，分别单独生成异常数据列表和无用信息列表，便于管理员查看并及时应对，使平台故障及时得到处理。
另一方面，通过每次日志分析处理之后，可以及时更新数据特征库，保证数据特征库更全面，便于下一次与日志数据库比对分析，从而更精确的发现异常及无用日志，极大的降低了平台运行的潜在危险。
本发明示例实施例还提供了一种日志数据管理装置。参考图7所示，该日志数据管理装置可以包括特征值匹配模块710、第一提示信息生成模块720以及第一提示信息发送模块730。其中：
特征值匹配模块710可以用于获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配。
第一提示信息生成模块720可以用于在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联。
第一提示信息发送模块730可以用于根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
关键字匹配模块，可以用于在确定所述待处理特征值以及所述预设特征值匹配成功时，对所述待处理日志数据中对应于所述待处理特征值的待处理关键字以及所述数据特征库中对应于所述预设特征值的预设关键字进行匹配。
第二提示信息生成模块，可以用于在确定所述待处理关键字以及所述预设关键字匹配失败时，生成第二错误提示信息，该第二错误提示信息与对应于匹配失败的待处理关键字的待处理日志数据相关联。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
位置标识模块，可以用于对所述待处理特征值在所述数据特征库中的位置进行标识。
预设关键字获取模块，可以用于根据所述待处理特征值在所述数据特征库中的位置标识，获取所述数据特征库中与所述预设特征值对应的预设关键字。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
日志备份模块，可以用于在确定所述待处理关键字以及所述预设关键字匹配成功时，对对应于匹配成功的待处理关键字的待处理日志数据进行备份。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
数据列表生成模块，可以用于根据对应于所述匹配失败的待处理特征值的待处理日志数据，和/或对应于所述匹配失败的待处理关键字的待处理日志数据生成异常数据列表。
信息过滤模块，可以用于对所述异常数据列表中的待处理日志数据中的异常信息和/或无用信息进行过滤。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
数据特征库更新模块，可以用于在确定所述待处理特征值属于可信特征值后，利用所述待处理特征值对所述数据特征库进行更新。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
数据特征库构建模块，可以用于利用所述预设关键字以及与所述预设关键字对应的预设特征值构建所述数据特征库；其中，所述预设关键字包括IP地址、用户名、日志类型、日志来源、以及通信协议中的多种。
在本公开的一种示例性实施例中，所述日志数据管理装置还包括：
日志数据采集模块，可以用于根据预设时间条件和/或预设采集频率对所述待处理日志数据进行采集。
日志数据存储模块，可以用于将采集到的所述待处理日志数据存储至所述日志数据库中。
上述日志数据管理装置中各模块的具体细节已经在对应的日志数据管理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1中所示的步骤S110：获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；步骤S120：在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联；步骤S130：根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
Claims (10)
1.一种日志数据管理方法，其特征在于，包括：
获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；
在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联；
根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
2.根据权利要求1所述的日志数据管理方法，其特征在于，所述日志数据管理方法还包括：
在确定所述待处理特征值以及所述预设特征值匹配成功时，对所述待处理日志数据中对应于所述待处理特征值的待处理关键字以及所述数据特征库中对应于所述预设特征值的预设关键字进行匹配；
在确定所述待处理关键字以及所述预设关键字匹配失败时，生成第二错误提示信息，该第二错误提示信息与对应于匹配失败的待处理关键字的待处理日志数据相关联。
3.根据权利要求2所述的日志数据管理方法，其特征在于，在确定所述待处理特征值以及所述预设特征值匹配成功时之后，所述日志数据管理方法还包括：
对所述待处理特征值在所述数据特征库中的位置进行标识；
根据所述待处理特征值在所述数据特征库中的位置标识，获取所述数据特征库中与所述预设特征值对应的预设关键字。
4.根据权利要求2所述的日志数据管理方法，其特征在于，所述日志数据管理方法还包括：
在确定所述待处理关键字以及所述预设关键字匹配成功时，对对应于匹配成功的待处理关键字的待处理日志数据进行备份。
5.根据权利要求2所述的日志数据管理方法，其特征在于，所述日志数据管理方法还包括：
根据对应于所述匹配失败的待处理特征值的待处理日志数据，和/或对应于所述匹配失败的待处理关键字的待处理日志数据生成异常数据列表；
对所述异常数据列表中的待处理日志数据中的异常信息和/或无用信息进行过滤。
6.根据权利要求1所述的日志数据管理方法，其特征在于，在生成第一错误提示信息之后，所述日志数据管理方法还包括：
在确定所述待处理特征值属于可信特征值后，利用所述待处理特征值对所述数据特征库进行更新。
7.根据权利要求1所述的日志数据管理方法，其特征在于，所述日志数据管理方法还包括：
利用所述预设关键字以及对应于所述预设关键字的预设特征值构建所述数据特征库；
其中，所述预设关键字包括IP地址、用户名、日志类型、日志来源、以及通信协议中的多种。
8.一种日志数据管理装置，其特征在于，包括：
特征值匹配模块，用于获取日志数据库中的待处理日志数据，并对所述待处理日志数据中的待处理特征值以及数据特征库中的预设特征值进行匹配；
第一提示信息生成模块，用于在确定所述待处理特征值以及所述预设特征值匹配失败时，根据匹配结果生成第一错误提示信息，该第一错误提示信息与对应于匹配失败的待处理特征值的待处理日志数据相关联；
第一提示信息发送模块，用于根据对应于匹配失败的待处理特征值的待处理日志数据中包括的客户端的标识信息，将所述第一错误提示信息发送至所述客户端，以使所述客户端根据所述第一错误提示信息对产生对应于匹配失败的待处理特征值的待处理日志数据的运行程序进行处理。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的日志数据管理方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的日志数据管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911053711.4A CN110765090B (zh) | 2019-10-31 | 2019-10-31 | 日志数据管理方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911053711.4A CN110765090B (zh) | 2019-10-31 | 2019-10-31 | 日志数据管理方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765090A true CN110765090A (zh) | 2020-02-07 |
| CN110765090B CN110765090B (zh) | 2023-05-02 |
Family
ID=69335119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911053711.4A Active CN110765090B (zh) | 2019-10-31 | 2019-10-31 | 日志数据管理方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765090B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858782A (zh) * | 2020-07-07 | 2020-10-30 | Oppo（重庆）智能科技有限公司 | 基于信息安全的数据库构建方法、装置、介质与设备 |
| CN116107231A (zh) * | 2023-04-17 | 2023-05-12 | 深圳市华曦达科技股份有限公司 | 智能家居设备日志处理方法、装置和系统 |
| CN116661975A (zh) * | 2023-07-21 | 2023-08-29 | 天津卓朗昆仑云软件技术有限公司 | 进程运行控制方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104717085A (zh) * | 2013-12-16 | 2015-06-17 | 中国移动通信集团湖南有限公司 | 一种日志解析方法及装置 |
| CN107633026A (zh) * | 2017-08-30 | 2018-01-26 | 深圳云天励飞技术有限公司 | 数据同步异常处理方法、装置及服务器 |
| CN109325865A (zh) * | 2018-08-13 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 异常处理方法、装置、计算机设备及存储介质 |
| CN109359007A (zh) * | 2018-09-30 | 2019-02-19 | 江苏满运软件科技有限公司 | 错误日志的处理方法、系统、电子设备和存储介质 |
| CN109635300A (zh) * | 2018-12-14 | 2019-04-16 | 泰康保险集团股份有限公司 | 数据校验方法及装置 |
| CN110213207A (zh) * | 2018-05-07 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种基于日志分析的网络安全防御方法及设备 |
| CN110209644A (zh) * | 2019-05-21 | 2019-09-06 | 上海易点时空网络有限公司 | 日志管理的方法、装置及系统 |
-
2019
- 2019-10-31 CN CN201911053711.4A patent/CN110765090B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104717085A (zh) * | 2013-12-16 | 2015-06-17 | 中国移动通信集团湖南有限公司 | 一种日志解析方法及装置 |
| CN107633026A (zh) * | 2017-08-30 | 2018-01-26 | 深圳云天励飞技术有限公司 | 数据同步异常处理方法、装置及服务器 |
| CN110213207A (zh) * | 2018-05-07 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种基于日志分析的网络安全防御方法及设备 |
| CN109325865A (zh) * | 2018-08-13 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 异常处理方法、装置、计算机设备及存储介质 |
| CN109359007A (zh) * | 2018-09-30 | 2019-02-19 | 江苏满运软件科技有限公司 | 错误日志的处理方法、系统、电子设备和存储介质 |
| CN109635300A (zh) * | 2018-12-14 | 2019-04-16 | 泰康保险集团股份有限公司 | 数据校验方法及装置 |
| CN110209644A (zh) * | 2019-05-21 | 2019-09-06 | 上海易点时空网络有限公司 | 日志管理的方法、装置及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858782A (zh) * | 2020-07-07 | 2020-10-30 | Oppo（重庆）智能科技有限公司 | 基于信息安全的数据库构建方法、装置、介质与设备 |
| CN116107231A (zh) * | 2023-04-17 | 2023-05-12 | 深圳市华曦达科技股份有限公司 | 智能家居设备日志处理方法、装置和系统 |
| CN116661975A (zh) * | 2023-07-21 | 2023-08-29 | 天津卓朗昆仑云软件技术有限公司 | 进程运行控制方法、装置、电子设备及存储介质 |
| CN116661975B (zh) * | 2023-07-21 | 2023-10-13 | 天津卓朗昆仑云软件技术有限公司 | 进程运行控制方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765090B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765090B (zh) | 日志数据管理方法及装置、存储介质、电子设备 | |
| CN106201757B (zh) | 一种异常处理方法和装置 | |
| CN107797887B (zh) | 数据备份及恢复方法、装置、存储介质和电子设备 | |
| US8688866B1 (en) | Generating recommendations for peripheral devices compatible with a processor and operating system of a computer | |
| US10644973B2 (en) | Monitoring of availability data for system management environments | |
| CN106663041B (zh) | 从系统故障恢复基于云的服务的易用性的方法及装置 | |
| CN110737639A (zh) | 审计日志方法、装置、计算机设备及存储介质 | |
| CN112306802A (zh) | 系统的数据获取方法、装置、介质和电子设备 | |
| CN110851471A (zh) | 分布式日志数据处理方法、装置以及系统 | |
| CN113608964A (zh) | 一种集群自动化监控方法、装置、电子设备及存储介质 | |
| CN112130781A (zh) | 日志打印方法、装置、电子设备和存储介质 | |
| CN111831628A (zh) | 系统运维监控方法、装置、电子设备及存储介质 | |
| US10009220B2 (en) | In-vehicle information system and information processing method thereof | |
| EP2819020A1 (en) | Information system management device and information system management method and program | |
| US9367380B2 (en) | Dynamically altering error logging activities in a computing system | |
| CN111198902A (zh) | 元数据管理方法、装置、存储介质及电子设备 | |
| US20220179764A1 (en) | Multi-source data correlation extraction for anomaly detection | |
| CN109146096B (zh) | 报修事件的处理方法、装置、存储介质及电子设备 | |
| CN117221151A (zh) | 云计算存储的可视化管理装置及方法 | |
| CN116340115A (zh) | 小程序前端错误监控预警方法、系统、设备及介质 | |
| US8380729B2 (en) | Systems and methods for first data capture through generic message monitoring | |
| US20130246523A1 (en) | Browser based recovery discovery | |
| CN113128943B (zh) | 数据质量监控方法、装置、电子设备、存储介质 | |
| CN112463343B (zh) | 业务进程的重启方法和装置、存储介质、电子设备 | |
| CN111324516A (zh) | 自动记录异常事件的方法及装置、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |