CN118113569A - 边缘设备的日志解析方法、装置、设备及存储介质 - Google Patents
边缘设备的日志解析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118113569A CN118113569A CN202211516809.0A CN202211516809A CN118113569A CN 118113569 A CN118113569 A CN 118113569A CN 202211516809 A CN202211516809 A CN 202211516809A CN 118113569 A CN118113569 A CN 118113569A
- Authority
- CN
- China
- Prior art keywords
- log
- equipment
- read
- edge
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 118
- 238000003860 storage Methods 0.000 title claims abstract description 36
- 238000007726 management method Methods 0.000 claims abstract description 81
- 238000013507 mapping Methods 0.000 claims abstract description 60
- 238000013506 data mapping Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 61
- 238000012986 modification Methods 0.000 claims description 45
- 230000004048 modification Effects 0.000 claims description 45
- 238000012544 monitoring process Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009439 industrial construction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种边缘设备的日志解析方法、装置、设备及存储介质。包括：从设备管理平台处加载边缘设备对应的配置文件以及日志模板，配置文件中包含边缘设备的点位配置信息；对配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系；基于边缘设备各自对应的日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据；向设备管理平台上报边缘设备的点位数据。采用配置和模板组合实现边缘设备点位数据的采集解析，提高了日志采集解析的通用性和规范性，有利于后续扩展边缘设备。
Description
技术领域
本申请实施例涉及物联网技术领域，特别涉及一种边缘设备的日志解析方法、装置、设备及存储介质。
背景技术
随着物联网(Internet of Things，IoT)技术的不断发展，越来越多的设备通过接入网络，实现设备与设备、人与设备之间的泛在连接，实现对设备的智能化感知以及管理。
在工业场景下，为了对工业可编程逻辑控制(Programmable Logic Controller，PLC)设备的工作状态进行实时监测，相关技术中，工业PLC设备通过定时写日志的方式对设备运行状态、设备属性信息进行记录，而设备管理平台则通过日志拷贝等方式采集设备日志，并进行日志解析。
然而，由于工业PLC设备的类型多样，因此如何提高设备日志的采集以及解析效率成为急需解决的问题。
发明内容
本申请实施例提供了一种边缘设备的日志解析方法、装置、设备及存储介质，能够提高边缘设备的日志解析效率以及准确性。所述技术方案如下：
一方面，本申请实施例提供了一种边缘设备的日志解析方法，所述方法由边缘采集设备执行，所述方法包括：
从设备管理平台处加载边缘设备对应的配置文件以及日志模板，所述配置文件中包含边缘设备的点位配置信息；
对所述配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，所述日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系；
基于边缘设备各自对应的所述日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据；
向所述设备管理平台上报边缘设备的所述点位数据。
另一方面，本申请实施例提供了一种边缘设备的日志解析装置，所述装置包括：
加载模块，用于从设备管理平台处加载边缘设备对应的配置文件以及日志模板，所述配置文件中包含边缘设备的点位配置信息；
规则解析模块，用于对所述配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，所述日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系；
日志解析模块，用于基于边缘设备各自对应的所述日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据；
上报模块，用于向所述设备管理平台上报边缘设备的所述点位数据。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的边缘设备的日志解析方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的边缘设备的日志解析方法。
另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如上述方面所述的边缘设备的日志解析方法。
本申请实施例中，设备管理平台以及边缘设备之间设置有边缘采集设备，在设备管理平台完成边缘设备对应配置文件以及日志模板的配置后，边缘采集设备通过加载解析配置文件以及日志模板，得到边缘设备的日志解析映射规则后，利用该规则对边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据，进而向设备管理平台上报该点位数据，实现设备日志的采集、解析以及上报；采用云端管理+边缘采集的模式，将日志采集解析与设备管理解耦，有助于提高日志采集解析效率；采用配置和模板组合实现边缘设备点位数据的采集解析，提高了日志采集解析的通用性和规范性，有利于后续扩展边缘设备。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例示出的设备日志采集系统的示意图；
图2是本申请一个示例性实施例示出的设备日志采集系统工作过程的示意图；
图3示出了本申请一个示例性实施例提供的边缘设备的日志解析方法的流程图；
图4示出了本申请一个示例性实施例提供的待读取设备日志确定过程的流程图；
图5是本申请一个示例性实施例示出的确定待读取设备日志过程的流程图；
图6是本申请一个示例性实施例示出的日志解析以及数据映射过程的流程图；
图7是本申请一个示例性实施例示出的日志解析过程的流程图；
图8是本申请另一个示例性实施例示出的日志解析过程的流程图；
图9是本申请一个示例性实施例示出的设备配置以及日志解析过程的时序图；
图10是本申请一个示例性实施例示出的心跳过程的流程图；
图11是本申请一个示例性实施例提供的边缘设备的日志解析装置的结构框图；
图12示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了方便理解，下面对本申请实施例中涉及的名词进行说明：
云边架构：即云端和边缘端形成的结构，云端包括公有云和私有云，边缘端即为边缘设备端。云边架构适用于大型工业场景，边缘端设置在工业现场，主要进行设备数据采集、解析及上报；云端主要负载进行数据汇总，并进一步对数据进行处理，从而生成可视化报表或可视化视图。
点位：指边缘设备对应的数据采集点，通常对应一个传感器，相应的，点位数据可以是传感器数据，比如温度传感器、转速传感器、加速度传感器、湿度传感器等等。针对不同类型的边缘设备，其对应点位的数量以及类型可能不同。本申请实施例中，边缘设备生成的设备日志中包含点位数据。
日志共享：一种通过在网络上共享产生的设备日志，使网络上的其他参与方能够实时读取设备日志的技术。本申请实施例中，通过共享目录方式实现日志共享。
断点续采：一种能够在采集服务出现异常并恢复后，从异常出现前的位置继续进行数据采集，而非从头开始数据采集的技术，能够避免发生采集异常时重复采集数据的问题。
如图1所示，其示出了本申请一个示例性实施例示出的设备日志采集系统的示意图。该系统中包括：设备管理平台11、边缘采集设备12以及边缘设备13。
设备管理平台11是用于对边缘设备进行管理的平台，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例中，设备管理平台11具有设备接入管理功能以及存储计算功能。其中，设备接入功能用于实现对接入设备日志采集系统的边缘设备进行管理，包括协议管理(管理各个边缘设备遵循的协议)、设备接入、点位管理(管理各个边缘设备对应的点位)、数据处理、配置导出以及数据分析等功能；存储计算功能用于对边缘采集设备12上报的点位数据进行处理，包括数据存储、实时计算、离线计算、状态监测(监测边缘采集设备的设备状态)、数据解析(对边缘采集设备上报的数据进行解析)以及数据订阅(通过数据订阅方式获取边缘采集设备上报的数据)。
边缘采集设备12是设置在边缘端，用于读取边缘设备的设备日志，并对设备日志进行数据解析上报的计算机设备。在一些实施例中，边缘采集设备12通过PaaS(Platformas a Service，服务即平台)实现数据缓存以及数据上报。其中，PaaS提供关系型数据块(比如Mysql)、Redis缓存、时序数据库(比如influxDB)、流式作业(Flink)以及消息队列(比如kafka)等服务。
本申请实施例中，边缘采集设备12具有日志采集以及数据上报功能。其中，日志采集功能用于实现配置件与日志模板获取(从设备管理平台侧加载)、规则解析、日志读取与解析以及日志监测(监测设备日志的更新情况)；数据上报功能用于实现数据上报、连接监测、数据拼接以及心跳机制(与设备管理平台保持心跳连接)。
为了提高设备日志读取过程的实时性，边缘设备13通过共享目录的方式向边缘采集设备12传递设备日志。相应的，边缘采集设备12侧设置有共享目录，并通过该共享目录读取各个边缘设备的设备日志。
边缘设备13是设置在边缘端，且具有监测需求的设备。比如，边缘设备13是设置在工业施工现场的PLC设备。
在一些实施例中，边缘设备13设置有点位，设备运行过程中，边缘设备13基于采集到的点位数据生成设备日志，并将设备日志传递给边缘采集设备12。其中，该点位数据可以包括传感器数据、运行状态数据以及异常数据等等，本实施例对此不作限定。
如图2所示，设备管理平台11通过设备管理、点位管理完成边缘设备配置，并导出配置后，边缘采集设备12读取配置文件以及日志模板并进行解析，得到用于对设备日志进行解析和数据映射的规则。边缘设备13对生成的设备日志进行日志共享，使边缘采集设备12能够通过共享目录实时读取设备日志，并利用规则对日志进行解析和数据映射，从而通过kafka将点位数据转发至设备管理平台11。设备管理平台11通过数据订阅机制获取到上报的数据，并进一步对数据进行解析和数据映射处理，最终存储处理后的数据，用于后续可视化日志展示。
同时，为了保证边缘采集设备12与设备管理平台11间连接的可用性，设备管理平台11与边缘采集设备12之间通过心跳机制实现状态监测。
下述各个实施例中，以边缘设备的日志解析方法用于图1所示设备日志采集系统中的边缘采集设备12为例进行说明。
图3示出了本申请一个示例性实施例提供的边缘设备的日志解析方法的流程图。该方法包括如下步骤。
步骤301，从设备管理平台处加载边缘设备对应的配置文件以及日志模板，配置文件中包含边缘设备的点位配置信息。
在一些实施例中，在新增边缘设备的情况下，边缘采集设备从设备管理平台处加载新增边缘设备对应的配置文件以及日志模板；在边缘设备的配置发生变化的情况下(比如新增点位、删除点位或修改点位等等)，边缘采集设备从设备管理平台处加载更新后的配置文件以及日志模板。
配置文件中包含边缘设备的点位配置信息，该点位配置信息用于表征边缘设备可供监测的点位。可选的，该点位配置信息可以包括点位名称、点位类型、点位数据单位、点位数据类型、点位备注等信息，本实施例对此不作限定。
可选的，该配置文件可以采用excel格式。
日志模板用于表征边缘设备生成的设备日志的日志格式。在一个示意性的例子中，当设备日志的日志格式为AA BB CC时，该日志模板可以为：AA；BB；CC。
本实施例中，采用配置文件+日志模板的形式，可以实现边缘设备的灵活配置，且便于后续进行设备点位更新，有助于提高设备日志采集系统的可用性和扩展性。
关于配置文件以及日志模板的生成方式，在一种可能的实施方式中，设备管理平台获取到录入的设备配置信息以及点位配置信息后，生成配置文件；而后操作员基于配置文件以及日志格式配置日志模板，并将日志模板和配置文件关联存储在设备管理平台。
步骤302，对配置文件以及日志模板进行规则解析，得到日志解析映射规则，日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系。
由于配置文件和日志模板无法直接用于日志解析，因此边缘采集设备需要对配置文件以及日志模板进行规则解析，得到用于进行日志解析以及数据映射的日志解析映射规则。
在一些实施例中，该日志解析映射规则采用结构体的形式，并存储在缓存中，后续进行设备日志解析时，边缘采集设备则从缓存中读取日志解析映射规则，并利用该规则对设备日志进行解析(无需经过设备磁盘)，有助于提高日志解析的效率。
可选的，该日志解析映射规则可以为json格式的结构体。
可选的，对配置文件以及日志模板进行规则解析前，边缘采集设备对配置文件以及日志模板进行校验，并在通过校验后进行规则解析。
步骤303，基于边缘设备各自对应的日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据。
在一些实施例中，对于读取到的设备日志，边缘采集设备首先利用日志解析映射规则对设备日志中的字段进行解析，然后在利用日志解析映射规则对解析得到的字段进行数据映射，得到各个字段对应的具体点位数据。
由于不同边缘设备对应的点位不同，且不同边缘设备生成的设备日志的日志格式可能不同，因此边缘采集设备需要通过边缘设备各自对应日志解析映射规则对设备日志进行解析映射，保证解析得到的点位数据的准确性。
步骤304，向设备管理平台上报边缘设备的点位数据。
在一种可能的实施方式中，边缘采集设备与设备管理平台之间采用订阅机制进行点位数据传输。在一个示意性的例子中，边缘采集设备将点位数据组装成kafka报文格式，从而通过kafka方式向边缘设备上报点位数据。
可选的，设备管理平台获取到上报的点位数据后，可以进一步对点位数据进行解析处理，从而对各个边缘设备的点位数据进行可视化展示。其中，设备管理平台可以基于点位数据确定边缘设备的设备状态，并在设备状态异常时进行告警。
综上所述，本申请实施例中，设备管理平台以及边缘设备之间设置有边缘采集设备，在设备管理平台完成边缘设备对应配置文件以及日志模板的配置后，边缘采集设备通过加载解析配置文件以及日志模板，得到边缘设备的日志解析映射规则后，利用该规则对边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据，进而向设备管理平台上报该点位数据，实现设备日志的采集、解析以及上报；采用云端管理+边缘采集的模式，将日志采集解析与设备管理解耦，有助于提高日志采集解析效率；采用配置和模板组合实现边缘设备点位数据的采集解析，提高了日志采集解析的通用性和规范性，有利于后续扩展边缘设备。
在一些实施例中，通过解析映射得到的点位数据存在kv(key-value)列表中，而在向设备管理平台上报数据前，边缘采集设备需要进一步从kv列表中确定出需要上报的数据。
由于并非所有解析得到的数据均具有上报需求，在一种可能的实施方式中，边缘采集设备将kv列表与数据上报模板进行匹配，得到目标点位数据，从而向设备管理平台上报边缘设备的目标点位数据。其中，该数据上报模板用于指示需要上报点位数据的数据格式，匹配得到的目标点位数据符合该数据上报模板。
可选的，边缘采集设备对上述目标点位数据进行数据组装，得到符合上报格式需求的报文数据，从而将报文数据上报至设备管理平台。比如，边缘采集设备将目标点位数据组装为kafka报文后上报设备管理平台。
相关技术中，设备管理平台通过文件拷贝方式获取设备日志，存在延时较高的问题。本申请实施例中，为了提高设备日志解析实时性，边缘设备与边缘采集设备之间共享目录，使边缘采集设备能够通过共享目录实时监测边缘设备的日志更新情况，进而及时进行日志解析。
在一种可能的实施方式中，边缘采集设备进行日志监测，并基于设备日志监测结果，确定待读取设备日志，从而基于待读取设备日志所属边缘设备对应的日志解析映射规则，对待读取设备日志进行解析以及数据映射，得到点位数据。其中，该待读取设备日志为存在更新的设备日志。下面采用示例性的实施例对通过日志监测确定待读取设备日志的过程进行说明。
图4示出了本申请一个示例性实施例提供的待读取设备日志确定过程的流程图。该过程包括如下步骤。
步骤401，从缓存中获取历史日志读取信息。
由于设备日志是一个不断写入更新的过程，因此边缘采集设备需要持续监测各个边缘设备对设备日志的修改，以便在设备日志发生变化时及时解析上报。在一种可能的实施方式中，边缘采集设备每次进行日志读取解析后，更新缓存中的历史日志读取信息。其中，该历史日志读取信息可以包括设备日志标识以及历史修改时间。
在一些实施例中，在满足日志更新检测条件的情况下，边缘采集设备从缓存中获取历史日志读取信息，以此确定上一次日志读取时设备日志的状态。其中，该日志更新检测条件可以是达到更新周期，比如边缘采集设备每隔1小时进行一次日志更新检测。本申请实施例对此不作限定。
在一些实施例中，若从缓存中读取到历史日志读取信息，表明之前已进行过日志读取。
若从缓存中无法读取到历史日志读取信息，边缘采集设备进一步读取缓存(cache)文件，并尝试从缓存文件中读取历史日志读取信息。若从缓存文件中读取到历史日志读取信息，则表明之前已进行过日志读取，并基于该历史日志读取信息更新缓存；若无法从缓存文件中读取到历史日志读取信息，则表明为首次进行日志读取。
步骤402，对共享目录进行扫描，得到日志扫描结果，共享目录下包含各个边缘设备的设备日志。
在一些实施例中，为了提高实时性，降低日志读取时延，边缘设备通过目录共享的方式向边缘采集设备传递设备日志。当边缘设备更新设备日志时，边缘采集设备通过共享目录即可实时查看更新后的设备日志，无需进行文件拷贝。
为了确定各个边缘设备的设备日志更新情况，边缘采集设备对共享目录进行目录扫描，得到日志扫描结果，该日志扫描结果中包含各个边缘设备对应设备日志的实时日志信息。其中，该日志信息可以包括设备日志标识以及实时修改时间。
需要说明的是，获取历史日志读取信息与扫描共享目录之间并不存在严格的先后时序，两者可以同时执行，也可以先后执行，本实施例对此不作限定。
并且，边缘设备会定时对设备日志进行删除，相应的，边缘采集设备需要定期对共享目录进行更新。
步骤403，基于日志扫描结果以及历史日志读取信息，确定待读取设备日志。
进一步的，边缘采集设备通过比较日志扫描结果和历史日志读取信息，确定待读取设备日志。由于设备日志更新时，设备日志的修改时间会发生变更，因此边缘采集设备基于日志扫描结果以及历史日志读取信息中包含的日志修改时间确定待读取设备日志。
在一种可能的实施方式中，确定待读取设备日志可以包括如下步骤：
1、获取日志扫描结果中包含的第一日志修改时间，第一日志修改时间为共享目录下设备日志的最近一次修改时间。
在日志扫描结果中包含设备日志的日志修改时间的情况下，边缘采集设备获取共享目录下各个设备日志的第一日志修改时间，其中，第一日志修改时间为设备日志最近一次修改时间。
在一个示意性的例子中，边缘采集设备通过扫描共享目录得到的日志扫描结果如表一所示。
表一
| 设备日志标识 | 第一日志修改时间 |
| Device1/2022-9-1 | 2022-9-1 19:00:00 |
| Device2/2022-9-1 | 2022-9-1 18:00:00 |
| Device3/2022-9-1 | 2022-9-1 15:00:00 |
| Device4/2022-9-1 | 2022-9-1 19:00:00 |
2、获取历史日志读取信息中包含的第二日志修改时间，第二日志修改时间为上一次读取设备日志时设备日志的修改时间。
在历史日志读取信息中包含设备日志的历史修改时间(即上一次读取时设备日志的修改时间)的情况下，边缘采集设备获取历史日志读取信息中包含的第二日志修改时间。
在一个示意性的例子中，边缘采集设备获取到的历史日志读取信息如表二所示。
3、在设备日志对应的第一日志修改时间晚于第二日志修改时间的情况下，确定设备日志为待读取设备日志。
在一种可能的实施方式中，边缘采集设备比较同一设备日志标识对应的第一日志修改时间和第二日志修改时间，若第一日志修改时间晚于第二日志修改时间，则表明该设备日志存在更新，从而将其确定为待读取设备日志。
结合表一和表二的示例，边缘采集设备将Device1/2022-9-1和Device3/2022-9-1确定为待读取设备日志。
在一些可能的情况下，当在扫描周期新增边缘设备时，边缘采集设备从缓存中无法读取到新增边缘设备对应设备日志的历史读取信息，但是能够在扫描共享目录时扫描到新增边缘设备对应设备日志。为了保证新增设备日志能够被正常解析，在一种可能的实施方式中，确定待读取设备日志还可以包括如下步骤：
1、获取日志扫描结果中包含的第一日志列表，第一日志列表中包含共享目录下各个设备日志的文件标识。
在一种可能的实施方式中，边缘采集设备从日志扫描结果中提取设备日志的文件标识，得到第一日志列表。
结合表一提供的示例，边缘采集设备获取到的第一日志列表包括：Device1/2022-9-1、Device2/2022-9-1、Device3/2022-9-1和Device4/2022-9-1。
2、获取历史日志读取信息中包含的第二日志列表，第二日志列表中包含历史读取到的设备日志的文件名称。
在一种可能的实施方式中，边缘采集设备从历史日志读取信息中提取设备日志的文件标识，得到第二日志列表。
结合表二提供的示例，边缘采集设备获取到的第二日志列表包括：Device1/2022-9-1、Device2/2022-9-1和Device3/2022-9-1。
3、将属于第一日志列表且不属于第二日志列表的设备日志确定为待读取设备日志。
通过比较第一日志列表和第二日志列表，边缘采集设备将属于第一日志列表且不属于第二日志列表的设备日志确定为扫描周期内新增的设备日志，并将其确定为待读取设备日志。
结合上述步骤中的示例，边缘采集设备确定Device4/2022-9-1为扫描周期内新增的设备日志，从而将其确定为待读取设备日志。
结合上述步骤，在一个示例性的例子中，待读取设备日志的确定过程如图5所示。边缘采集设备首先检测缓存中是否存在lastFileinfo信息(即上述历史日志读取信息)。若缓存中存在，则将lastFileinfo信息组装为list对象。若缓存中不存在，则进一步读取缓存文件，检测缓存文件中是否存在lastFileinfo信息。若缓存文件中存在，则将lastFileinfo信息更新至缓存；若缓存文件中也不存在，则确定为首次设备日志采集，且后续过程中，共享目录下的各个设备日志均为待读取设备日志。
进一步的，边缘采集设备扫描共享目录下所有设备日志的元信息(即上述日志扫描结果)，并比较元信息与list对象中设备日志的日志修改时间，确定出待读取设备日志list。其中，对于缓存中不存在，但元信息中存在的设备日志，边缘采集设备将其确定为扫描周期内新增设备日志，并添加至list。
本实施例中，边缘采集设备通过读取缓存中的历史日志读取信息，以及对共享目录进行扫描，得到日志扫描结果，从而通过比较二者确定出日志监测周期(即扫描周期)内发生更新的设备日志以及日志监测周期内新增的设备日志。后续解析设备日志时，边缘采集设备仅需对上述确定出的待读取设备日志进行解析，在保证日志解析实时性的同时，能够避免全量读取解析设备日志造成的处理资源浪费(因此存在未发生更新的设备日志)。
边缘采集设备在运行过程中，可能会因某些情况导致设备异常重启。为了避免边缘采集设备从异常中恢复后，需要从头开始重新读取并解析设备日志，在一些实施例中，缓存中存储的历史日志读取信息中还包含设备日志的历史读取偏移量，该历史读取偏移量用于指示上一次设备日志解析时的解析截止位置。设备日志解析过程中，即根据该历史读取偏移量进行设备日志读取解析。
在一种可能的实施方式中，如图6所示，基于待读取设备日志所属设备对应的日志解析映射规则，对待读取设备日志进行解析以及数据映射，得到点位数据的过程可以包括如下步骤：
步骤601，基于历史日志读取信息中待读取设备日志的历史读取偏移量，确定待读取设备日志的起始读取位置。
在一些实施例中，历史日志读取信息中包含设备日志标识、日志修改时间以及历史读取偏移量之间的对应关系。在确定出待读取设备日志后，边缘采集设备进一步基于待读取设备日志的日志标识，从历史日志读取信息中获取待读取设备日志的历史读取偏移量，以此确定本次设备日志解析时待读取设备日志的起始读取位置，避免对设备日志中数据进行重复读取。
可选的，在设备日志采用行日志形式记载时，该偏移量可以为行号，本申请实施例并不对偏移量的具体表现形式进行限定。
通过上述实施例可知，由于待读取设备日志可能包括在扫描周期内发生更新的历史设备日志，以及在扫描周期内新增的设备日志，而缓存中并不包含新增设备日志的历史日志读取信息，因此为了准确确定历史设备日志以及新增设备日志的起始读取位置，在一种可能的实施方式中，确定起始读取位置可以包括下面两种情况：
情况1：在历史日志读取信息中存在待读取设备日志的历史读取偏移量的情况下，将历史读取偏移量指示的文件位置确定为待读取设备日志的起始读取位置。
在历史日志读取信息中存在待读取设备日志的历史读取偏移量的情况下，表明该待读取设备日志为历史设备日志，因此为了避免重复读取数据，边缘采集设备将该历史读取偏移量所指示的文件位置确定为起始读取位置。
在一个示意性的例子中，边缘采集设备获取到的历史日志读取信息如表三所示，边缘采集设备通过扫描共享目录得到的日志扫描结果如表一所示。
表三
| 设备日志标识 | 第二日志修改时间 | 偏移量 |
| Device1/2022-9-1 | 2022-9-1 18:00:00 | 45行 |
| Device2/2022-9-1 | 2022-9-1 18:00:00 | 127行 |
| Device3/2022-9-1 | 2022-9-1 14:00:00 | 18行 |
基于表一和表三，确定出的待读取设备日志包括Device1/2022-9-1、Device3/2022-9-1和Device4/2022-9-1。通过查询历史日志读取信息，边缘采集设备将第45行确定为Device1/2022-9-1的起始读取位置，将第18行确定为Device3/2022-9-1的起始读取位置。
情况2：在历史日志读取信息中不存在待读取设备日志的历史读取偏移量的情况下，确定待读取设备日志的起始读取位置为待读取设备日志的头部位置。
在历史日志读取信息中不存在待读取设备日志的历史读取偏移量的情况下，表明该待读取设备日志为新增设备日志，为了保证新增设备日志的读取完整性，边缘采集设备将新增设备日志的头部位置确定为起始读取位置。其中，头部位置对应的偏移量为0行。
结合表一和表三的示例，由于缓存中不存在Device4/2022-9-1对应的历史日志读取信息，因此边缘采集设备将第0行确定为Device4/2022-9-1的起始读取位置，保证新增设备日志从头开始读取解析。
步骤602，基于待读取设备日志所属设备对应的日志解析映射规则，从起始读取位置开始对待读取设备日志进行解析以及数据映射，得到点位数据。
相应的，边缘采集设备从各个待读取设备日志的起始读取位置开始，通过日志解析映射规则对读取到的数据进行解析和映射，得到点位数据。
结合上述步骤中的示例，边缘采集设备从第45行开始对Device1/2022-9-1进行解析和映射，得到Device1的点位数据；从第18行开始对Device3/2022-9-1进行解析和映射，得到Device3的点位数据；从第0行开始对Device4/2022-9-1进行解析和映射，得到Device4的点位数据。
本实施例中，边缘采集设备通过在缓存中维护各个设备日志的历史读取偏移量，并在进行设备日志读取时，基于该历史读取偏移量确定起始读取位置，避免设备日志的重复读取。
结合上述步骤，在一个示例性的例子中，设备日志的读取解析过程如图7所示。
边缘采集设备首先根据待读取设备日志的文件标识在缓存中查找对应的行号(即历史读取偏移量)。若缓存中存在对应的行号，则获取该行号；若缓存中不存在对应的行号，则读取缓存文件，检测缓存文件中是否存在文件标识对应的行号。
若缓存文件中存在对应的行号，则将该文件标识与对应的行号更新至缓存；若缓存文件中不存在对应的行号，则确定为首次采集，从而将各个待读取设备日志的行号设置为0(即将历史读取偏移量设置为0)。
确定出各个待读取设备日志的起始读取位置后，边缘采集设备扫描共享目录，得到各个设备日志的元信息，该元信息中包含设备日志的总行号。每次进行设备日志读取时，边缘采集设备检测是否读取到最后一行，若读取到最后一行，则将最后一行的行号和文件标识系写入缓存中。若未读取到最后一行，则从设备日志中截取点位数据字符串(比如一行日志)，并对点位数据字符串进行分组(比如按照空格符进行分组)。
对于截取到的点位数据字符串中的各个分组，边缘采集设备依次判断当前分组是否符合规定的数据格式、点位名称是否在配置文件中，从而将符合上述条件的点位数据组装为kafka报文格式。边缘采集设备重复执行上述步骤，对每一行日志进行读取解析映射。
由于边缘采集设备可能会同时接入大量边缘设备，因此边缘采集设备需要同时对大量设备日志进行读取解析。为了提高设备日志的读取效率，在一种可能的实施方式中，边缘采集设备通过多线程进行日志监测(不同线程用于监测不同设备日志)，从而基于多线程的设备日志监测结果，确定待读取设备日志。
相应的，对于确定出的待读取设备日志，边缘采集设备通过多线程方式，基于待读取设备日志所属设备对应的日志解析映射规则，对待读取设备日志进行解析以及数据映射，得到点位数据。
在一些实施例中，为了提高偏移量记录的实时性，在完成单位数据量的日志读取的情况下，边缘采集设备更新缓存中待读取设备日志所属边缘设备对应的历史读取偏移量。
可选的，该单位数据量可以为一条完整日志。比如，边缘采集设备每读取一行完整日志后，即对历史日志读取信息中的历史读取偏移量进行更新。
举个例子，边缘采集设备从第45行开始对Device1/2022-9-1进行解析和映射，并在每读取一行完整日志后更新设备日志的历史读取偏移量。当在读取到第50行发生异常时，边缘采集设备中断日志读取并尝试恢复。当从异常中恢复后，边缘采集设备重新读取Device1/2022-9-1的历史读取偏移量，从而从第50行开始继续进行日志读取。
示意性的，如图8所示，边缘采集设备加载配置文件以及日志模板后，对其进行验证。若通过验证，则对配置文件以及日志模板进行规则解析，从而将解析得到的日志解析映射规则存储在redis缓存中，以便后续调用。若未通过验证，则继续执行日志监测。
Redis缓存中存储由设备日志的历史日志读取信息，边缘采集设备从中读取上一次日志解析时设备日志的偏移量，并通过扫描共享目录，获取设备日志的实时偏移量。通过比较偏移量，边缘采集设备确定各个设备日志的日志读取范围，从而通过线程池中的多线程进行日志解析。每一次数据解析、映射、拼接后，边缘采集设备都会对redis缓存中的偏移量进行更新，避免异常情况下日志的重复读取。
对解析映射拼接得到的数据进行上报后，边缘采集设备继续进行日志监测。
本实施例中，通过多线程机制进行设备日志读取，实现了设备日志批量处理，提高了日志采集解析的效率；并且，通过设置历史读取偏移量实时更新机制，在发生异常并恢复后，边缘采集设备能够从发生异常前的读取位置开始继续读取设备日志，避免异常恢复前后设备日志的重复读取。
请参考图9，其示出了本申请一个示例性实施例示出的边缘设备配置以及设备日志解析过程的时序图。
在边缘设备配置阶段，用户通过设备管理平台提供的边缘设备添加页面进行设备添加(包括设备协议、设备地址、设备描述等等)，并针对边缘设备进行点位添加(包括点位名称、点位地址、点位序号等等)。完成设备以及点位添加后，可以通过边缘设备添加页面提供的配置导出功能excel格式的配置文件。
设备日志解析过程中，边缘采集设备的采集服务从redis缓存中读取各个设备日志的文件-偏移量，并通过扫描共享目录(系统中的边缘设备与边缘采集设备进行日志共享)遍历设备日志，得到日志列表，从而基于偏移量通过多线程进行日志读取。对于读取到的日志，采集服务进行数据解析、映射和上报，并根据读取进度对redis缓存中的偏移量进行实时更新。
由于采用平台与采集分离的架构，为了保证边缘采集端与平台端之间服务的连通，在一种可能的实施方式中，设备管理平台定时向边缘采集设备发送心跳数据。边缘采集设备在接收到设备管理平台发送的心跳数据的情况下，向设备管理平台发送心跳响应。
设备管理平台侧维护有最近一次心跳响应的响应时刻，当接收到边缘采集设备发送的心跳响应时，设备管理平台对响应时刻进行更新。若在预设时长内未更新响应时刻，设备管理平台则确定与边缘采集设备之间的连接异常，并进行异常告警。
可选的，该预设时长可以为心跳数据发送周期的n倍。比如，当心跳数据发送周期为5s时，若15s内响应时刻未发生更新，设备管理平台则进行异常告警。
如图10所示，边缘采集设备启动后，在设备管理平台进行注册，由设备管理平台将边缘采集设备的注册信息写入redis缓存中。完成注册后，设备管理平台通过定时任务向边缘采集设备发送心跳数据，并在接收到边缘采集设备的心跳响应时，对redis缓存中该边缘采集设备对应的心跳状态进行更新(设备管理平台可能同时维护多个边缘采集设备的心跳状态)。若边缘采集设备的心跳状态超时未更新(即长时间未接收到心跳响应)，设备管理平台则进行告警，以便操作人员进行故障排除。
图11是本申请一个示例性实施例提供的边缘设备的日志解析装置的结构框图，该装置包括：
加载模块1101，用于从设备管理平台处加载边缘设备对应的配置文件以及日志模板，所述配置文件中包含边缘设备的点位配置信息；
规则解析模块1102，用于对所述配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，所述日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系；
日志解析模块1103，用于基于边缘设备各自对应的所述日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据；
上报模块1104，用于向所述设备管理平台上报边缘设备的所述点位数据。
可选的，所述日志解析模块1103，用于：
基于设备日志监测结果，确定待读取设备日志，所述待读取设备日志为存在更新的设备日志；
基于所述待读取设备日志所属边缘设备对应的所述日志解析映射规则，对所述待读取设备日志进行解析以及数据映射，得到所述点位数据。
所述日志解析模块1103，用于：
从缓存中获取历史日志读取信息；
对共享目录进行扫描，得到日志扫描结果，所述共享目录下包含各个边缘设备的所述设备日志；
基于所述日志扫描结果以及历史日志读取信息，确定所述待读取设备日志。
可选的，所述日志解析模块1103，用于：
获取所述日志扫描结果中包含的第一日志修改时间，所述第一日志修改时间为所述共享目录下所述设备日志的最近一次修改时间；
获取所述历史日志读取信息中包含的第二日志修改时间，所述第二日志修改时间为上一次读取设备日志时所述设备日志的修改时间；
在所述设备日志对应的所述第一日志修改时间晚于所述第二日志修改时间的情况下，确定所述设备日志为所述待读取设备日志。
可选的，所述日志解析模块1103，用于：
获取所述日志扫描结果中包含的第一日志列表，所述第一日志列表中包含所述共享目录下各个设备日志的文件标识；
获取所述历史日志读取信息中包含的第二日志列表，所述第二日志列表中包含历史读取到的设备日志的文件标识；
将属于所述第一日志列表且不属于所述第二日志列表的设备日志确定为所述待读取设备日志。
可选的，所述日志解析模块1103，用于：
基于所述历史日志读取信息中所述待读取设备日志的历史读取偏移量，确定所述待读取设备日志的起始读取位置；
基于所述待读取设备日志所属设备对应的所述日志解析映射规则，从所述起始读取位置开始对所述待读取设备日志进行解析以及数据映射，得到所述点位数据。
可选的，所述日志解析模块1103，用于：
在所述历史日志读取信息中存在所述待读取设备日志的所述历史读取偏移量的情况下，将所述历史读取偏移量指示的文件位置确定为所述待读取设备日志的所述起始读取位置；
在所述历史日志读取信息中不存在所述待读取设备日志的所述历史读取偏移量的情况下，确定所述待读取设备日志的所述起始读取位置为所述待读取设备日志的头部位置。
可选的，所述装置，还包括：
更新模块，用于在完成单位数据量的日志读取的情况下，更新缓存中所述待读取设备日志所属边缘设备对应的所述历史读取偏移量。
可选的，所述日志解析模块1103，用于：
基于多线程的所述设备日志监测结果，确定所述待读取设备日志，其中，不同线程用于监测不同设备日志；
通过多线程方式，基于所述待读取设备日志所属设备对应的所述日志解析映射规则，对所述待读取设备日志进行解析以及数据映射，得到所述点位数据。
可选的，所述规则解析模块1102，用于：
对所述配置文件以及所述日志模板进行规则解析，得到结构体形式的所述日志解析映射规则；
将结构体形式的所述日志解析映射规则存储至缓存。
可选的，解析映射得到的所述点位数据存储在kv列表中；
所述上报模块1104，用于：
将所述kv列表与数据上报模板进行匹配，得到目标点位数据，所述目标点位数据符合所述数据上报模板；
向所述设备管理平台上报边缘设备的所述目标点位数据。
可选的，所述装置还包括：
心跳模块，用于在接收到所述设备管理平台发送的心跳数据的情况下，向所述设备管理平台发送心跳响应，所述心跳数据由所述设备管理平台定时发送，且所述设备管理平台用于记录最近一次心跳响应的响应时刻，以便在预设时长内未更新所述响应时刻的情况下进行异常告警。
综上所述，本申请实施例中，设备管理平台以及边缘设备之间设置有边缘采集设备，在设备管理平台完成边缘设备对应配置文件以及日志模板的配置后，边缘采集设备通过加载解析配置文件以及日志模板，得到边缘设备的日志解析映射规则后，利用该规则对边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据，进而向设备管理平台上报该点位数据，实现设备日志的采集、解析以及上报；采用云端管理+边缘采集的模式，将日志采集解析与设备管理解耦，有助于提高日志采集解析效率；采用配置和模板组合实现边缘设备点位数据的采集解析，提高了日志采集解析的通用性和规范性，有利于后续扩展边缘设备。
需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。
请参考图12，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图，该计算机设备可以为上述实施例中的投屏设备或终端。具体来讲：所述计算机设备1200包括中央处理单元(Central Processing Unit，CPU)1201、包括随机存取存储器1202和只读存储器1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述计算机设备1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。
所述基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中所述显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。所述基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(RAM，Random Access Memory)、只读存储器(ROM，Read Only Memory)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1201执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1201执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统(未示出)。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例所述的边缘设备的日志解析方法。
可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘(SSD，Solid StateDrives)或光盘等。其中，RAM可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例所述的边缘设备的日志解析方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (16)
1.一种边缘设备的日志解析方法，其特征在于，所述方法由边缘采集设备执行，所述方法包括：
从设备管理平台处加载边缘设备对应的配置文件以及日志模板，所述配置文件中包含边缘设备的点位配置信息；
对所述配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，所述日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系；
基于边缘设备各自对应的所述日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据；
向所述设备管理平台上报边缘设备的所述点位数据。
2.根据权利要求1所述的方法，其特征在于，所述基于边缘设备各自对应的所述日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据，包括：
基于设备日志监测结果，确定待读取设备日志，所述待读取设备日志为存在更新的设备日志；
基于所述待读取设备日志所属边缘设备对应的所述日志解析映射规则，对所述待读取设备日志进行解析以及数据映射，得到所述点位数据。
3.根据权利要求2所述的方法，其特征在于，所述基于设备日志监测结果，确定待读取设备日志，包括：
从缓存中获取历史日志读取信息；
对共享目录进行扫描，得到日志扫描结果，所述共享目录下包含各个边缘设备的所述设备日志；
基于所述日志扫描结果以及历史日志读取信息，确定所述待读取设备日志。
4.根据权利要求3所述的方法，其特征在于，所述基于所述日志扫描结果以及历史日志读取信息，确定所述待读取设备日志，包括：
获取所述日志扫描结果中包含的第一日志修改时间，所述第一日志修改时间为所述共享目录下所述设备日志的最近一次修改时间；
获取所述历史日志读取信息中包含的第二日志修改时间，所述第二日志修改时间为上一次读取设备日志时所述设备日志的修改时间；
在所述设备日志对应的所述第一日志修改时间晚于所述第二日志修改时间的情况下，确定所述设备日志为所述待读取设备日志。
5.根据权利要求3所述的方法，其特征在于，所述基于所述日志扫描结果以及历史日志读取信息，确定所述待读取设备日志，还包括：
获取所述日志扫描结果中包含的第一日志列表，所述第一日志列表中包含所述共享目录下各个设备日志的文件标识；
获取所述历史日志读取信息中包含的第二日志列表，所述第二日志列表中包含历史读取到的设备日志的文件标识；
将属于所述第一日志列表且不属于所述第二日志列表的设备日志确定为所述待读取设备日志。
6.根据权利要求3所述的方法，其特征在于，所述基于所述待读取设备日志所属设备对应的所述日志解析映射规则，对所述待读取设备日志进行解析以及数据映射，得到所述点位数据，包括：
基于所述历史日志读取信息中所述待读取设备日志的历史读取偏移量，确定所述待读取设备日志的起始读取位置；
基于所述待读取设备日志所属设备对应的所述日志解析映射规则，从所述起始读取位置开始对所述待读取设备日志进行解析以及数据映射，得到所述点位数据。
7.根据权利要求6所述的方法，其特征在于，所述基于所述历史日志读取信息中所述待读取设备日志的历史读取偏移量，确定所述待读取设备日志的起始读取位置，包括：
在所述历史日志读取信息中存在所述待读取设备日志的所述历史读取偏移量的情况下，将所述历史读取偏移量指示的文件位置确定为所述待读取设备日志的所述起始读取位置；
在所述历史日志读取信息中不存在所述待读取设备日志的所述历史读取偏移量的情况下，确定所述待读取设备日志的所述起始读取位置为所述待读取设备日志的头部位置。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在完成单位数据量的日志读取的情况下，更新缓存中所述待读取设备日志所属边缘设备对应的所述历史读取偏移量。
9.根据权利要求2所述的方法，其特征在于，所述基于设备日志监测结果，确定待读取设备日志，包括：
基于多线程的所述设备日志监测结果，确定所述待读取设备日志，其中，不同线程用于监测不同设备日志；
所述基于所述待读取设备日志所属设备对应的所述日志解析映射规则，对所述待读取设备日志进行解析以及数据映射，得到所述点位数据，包括：
通过多线程方式，基于所述待读取设备日志所属设备对应的所述日志解析映射规则，对所述待读取设备日志进行解析以及数据映射，得到所述点位数据。
10.根据权利要求1所述的方法，其特征在于，所述对所述配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，包括：
对所述配置文件以及所述日志模板进行规则解析，得到结构体形式的所述日志解析映射规则；
将结构体形式的所述日志解析映射规则存储至缓存。
11.根据权利要求1所述的方法，其特征在于，解析映射得到的所述点位数据存储在kv列表中；
所述向所述设备管理平台上报边缘设备的所述点位数据，包括：
将所述kv列表与数据上报模板进行匹配，得到目标点位数据，所述目标点位数据符合所述数据上报模板；
向所述设备管理平台上报边缘设备的所述目标点位数据。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在接收到所述设备管理平台发送的心跳数据的情况下，向所述设备管理平台发送心跳响应，所述心跳数据由所述设备管理平台定时发送，且所述设备管理平台用于记录最近一次心跳响应的响应时刻，以便在预设时长内未更新所述响应时刻的情况下进行异常告警。
13.一种边缘设备的日志解析装置，其特征在于，所述装置包括：
加载模块，用于从设备管理平台处加载边缘设备对应的配置文件以及日志模板，所述配置文件中包含边缘设备的点位配置信息；
规则解析模块，用于对所述配置文件以及所述日志模板进行规则解析，得到日志解析映射规则，所述日志解析映射规则用于指示设备日志的解析方式以及解析所得数据的数据映射关系；
日志解析模块，用于基于边缘设备各自对应的所述日志解析映射规则，对不同边缘设备的设备日志进行解析以及数据映射，得到边缘设备的点位数据；
上报模块，用于向所述设备管理平台上报边缘设备的所述点位数据。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至12任一所述的边缘设备的日志解析方法。
15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至12任一所述的边缘设备的日志解析方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至12任一所述的边缘设备的日志解析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211516809.0A CN118113569A (zh) | 2022-11-29 | 2022-11-29 | 边缘设备的日志解析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211516809.0A CN118113569A (zh) | 2022-11-29 | 2022-11-29 | 边缘设备的日志解析方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118113569A true CN118113569A (zh) | 2024-05-31 |
Family
ID=91216751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211516809.0A Pending CN118113569A (zh) | 2022-11-29 | 2022-11-29 | 边缘设备的日志解析方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118113569A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118885361A (zh) * | 2024-09-30 | 2024-11-01 | 山东远盾网络技术股份有限公司 | 基于标识解析的数据获取方法及系统 |
-
2022
- 2022-11-29 CN CN202211516809.0A patent/CN118113569A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118885361A (zh) * | 2024-09-30 | 2024-11-01 | 山东远盾网络技术股份有限公司 | 基于标识解析的数据获取方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10649838B2 (en) | Automatic correlation of dynamic system events within computing devices | |
| CN107729210B (zh) | 分布式服务集群的异常诊断方法和装置 | |
| CN111881011B (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN107832196B (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
| JP6996812B2 (ja) | 分散データベースにおけるデータブロックを処理する方法、プログラム、およびデバイス | |
| CN113472858B (zh) | 埋点数据处理方法、装置及电子设备 | |
| CN109710439B (zh) | 故障处理方法和装置 | |
| CN104462606B (zh) | 一种基于日志数据确定诊断处理措施的方法 | |
| CN112528279A (zh) | 一种入侵检测模型的建立方法和装置 | |
| US9058330B2 (en) | Verification of complex multi-application and multi-node deployments | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN111782134A (zh) | 数据处理方法、装置、系统和计算机可读存储介质 | |
| CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN114238018B (zh) | 日志采集文件完整性检测方法、系统、装置及存储介质 | |
| CN118113569A (zh) | 边缘设备的日志解析方法、装置、设备及存储介质 | |
| CN118282870A (zh) | 网络故障分析方法及系统 | |
| CN115033764A (zh) | 一种元数据采集方法、装置、存储介质及电子设备 | |
| WO2016100737A1 (en) | Method and system to search logs that contain a massive number of entries | |
| CN110011845B (zh) | 日志采集方法及系统 | |
| CN115225470B (zh) | 一种业务异常监测方法、装置、电子设备及存储介质 | |
| CN116303320A (zh) | 基于日志文件的实时任务管理方法、装置、设备及介质 | |
| CN114465884A (zh) | 一种自动巡检的方法、设备、系统及程序产品 | |
| CN110166421B (zh) | 基于日志监控的入侵控制方法、装置及终端设备 | |
| CN118193547A (zh) | 日志管理方法、日志管理系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |