CN115294203A

CN115294203A - 电子地图的日志处理方法、设备和计算机可读存储介质

Info

Publication number: CN115294203A
Application number: CN202211224183.6A
Authority: CN
Inventors: 贾郭峰; 王艳君; �罗普; 朱磊; 贾双成
Original assignee: Zhidao Network Technology Beijing Co Ltd
Current assignee: Zhidao Network Technology Beijing Co Ltd
Priority date: 2022-10-09
Filing date: 2022-10-09
Publication date: 2022-11-04

Abstract

本申请涉及一种电子地图的日志处理方法、设备和计算机可读存储介质。该方法包括：基于电子地图中业务的操作，生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识，其中，整个调用链路包括用于执行业务的至少一个线程；将踪迹跟随标识存储至调用链路的每个线程的调用记录中，生成包括踪迹跟随标识的日志数据；汇总每个线程对应的日志数据，得到业务的汇总日志数据；通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据后进行存储。本申请的技术方案降低了日志数据的存储成本，并使得后续能够迅速、准确地分析电子地图发生异常的原因。

Description

电子地图的日志处理方法、设备和计算机可读存储介质

技术领域

本申请涉及计算机软件领域，尤其涉及电子地图的日志处理方法、设备和计算机可读存储介质。

背景技术

电子地图是一套用于在GPS设备上导航的软件，主要是用于路径的规划和导航功能上的实现。电子地图从组成形式上看，由道路、背景、注记和兴趣点等要素组成，当然还可以有很多的特色内容，例如，3D路口实景放大图、三维建筑物等，都可以算做电子地图的特色部分。作为一种计算机软件，电子地图也会有异常的时候。在这种情况下，一般通过对电子地图的日志数据进行分析，查出电子地图异常的原因。因此，对电子地图的日志数据妥善处理，能够有助于迅速查出电子地图异常的原因。然而，相关技术在处理电子地图的日志数据时，由于生成的日志数据中含有无效信息，导致分析人员在分析时，不仅效率低下，而且不容易分析出电子地图异常的真正原因所在；此外，对海量日志数据的直接存储，带来了成本的攀升。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种电子地图的日志处理方法、设备和计算机可读存储介质，可以降低日志数据的存储成本，并使得后续能够迅速、准确地分析电子地图发生异常的原因。

本申请第一方面提供一种电子地图的日志处理方法，包括：

从车道相关数据帧获取车道线位置信息，所述车道相关数据帧包括所述车道的图像帧以及所述图像帧对应的点云帧；

采用外边框算法对所述车道线位置信息对应位置的点集进行聚类分析，识别出所述车道相关数据帧中的目标车道线；

基于特征分析，识别所述目标车道线中的实车道线和虚车道线；

确定所述目标车道线中实车道线和虚车道线的接驳点；

根据标准虚车道线以及所述接驳点与所述虚车道线的距离，计算所述目标车道线的打断点。

本申请第二方面提供一种电子地图的日志处理装置，包括：

获取模块，用于从车道相关数据帧获取车道线位置信息，所述车道相关数据帧包括所述车道的图像帧以及所述图像帧对应的点云帧；

聚类模块，用于采用外边框算法对所述车道线位置信息对应位置的点集进行聚类分析，识别出所述车道相关数据帧中的目标车道线；

识别模块，用于基于特征分析，识别所述目标车道线中的实车道线和虚车道线；

第一确定模块，用于确定所述目标车道线中实车道线和虚车道线的接驳点；

第二确定模块，用于根据标准虚车道线以及所述接驳点与所述虚车道线的距离，计算所述目标车道线的打断点。

本申请第三方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：由于生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识，因此，后续根据踪迹跟随标识能够迅速重现电子地图出现异常的场景，提高了分析人员对电子地图异常分析的效率和准确度；此外，通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据，降低了存储所述业务的汇总日志数据所需存储空间，降低了存储电子地图的日志数据的成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的电子地图的日志处理方法的流程示意图；

图2是本申请实施例示出的电子地图的日志处理装置的结构示意图；

图3是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

针对上述问题，本申请实施例提供一种电子地图的日志处理方法，可以降低日志数据的存储成本，并使得后续能够迅速、准确地分析电子地图发生异常的原因。

以下结合附图详细描述本申请实施例的技术方案。

参见图1，是本申请实施例示出的电子地图的日志处理方法的流程示意图，主要包括步骤S101至步骤S104，说明如下：

步骤S101：基于电子地图中业务的操作，生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识，其中，整个调用链路包括用于执行业务的至少一个线程。

在本申请实施例中，踪迹跟随标识用于唯一标识一个业务。可以针对每一业务，在该业务开始时，在该业务中添加预设的踪迹跟随标识。具体地，可以是在业务开始时，获取踪迹跟随标识，并将踪迹跟随标识添加至线性局部变量中；通过事务管理器判断业务的业务类型；若判定业务类型为可写类型，则从线性局部变量中读取踪迹跟随标识，在业务中添加预设的踪迹跟随标识。

作为本申请一个实施例，生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识可以是：生成与业务唯一对应的踪迹跟随标识，并将踪迹跟随标识写入业务启动入口对应的第一线程的执行语境中；将踪迹跟随标识从第一线程传递到第二线程，并将踪迹跟随标识写入第二线程的执行语境中；若第二线程不是调用链路的最后一个线程，则执行将踪迹跟随标识从第二线程传递至第三线程，并将踪迹跟随标识写入第三线程的执行语境中，直至将踪迹跟随标识写入调用链路的最后一个线程的执行语境中为止。需要说明的是，所谓调用链路，其是通过一条链对一系列方法进行组织形成的。每一调用链路都具有唯一的调用链路标识(ID)。在对通过运行调用链路中的方法而产生的日志数据进行分析时，可以基于该日志数据中携带的调用链路进行调用链路的分析。在本申请实施例中，业务的整个调用链路可以通过如下方式生成：根据线程的标识和当前时间戳，生成识别码；监听识别码在各个线程之间的传递顺序；提取各个线程中与识别码对应的日志，按照传递顺序对所提取的日志进行排列组合，得到业务的整个调用链路。上述实施例中，监听识别码在各个线程之间的传递顺序可以是监听对线程中各个子线程的调用顺序，以按照该调用顺序，将识别码在各个子线程之间进行顺序传递。后续在对调用链路分析时，可以获得运行调用链路时产生的原始日志数据，对获得的原始日志数据去噪，以得到符合数据要求的有效日志数据集合；为这些有效日志数据集合中每一有效日志数据确定对应的日志特征向量；对各有效日志数据对应的日志特征向量进行分类，得到至少一类日志特征向量；将每一类日志特征向量中的日志特征向量进行划分，以将属于同一调用链的日志特征数据划分在同一调用链路。

步骤S102：将踪迹跟随标识存储至调用链路的每个线程的调用记录中，生成包括踪迹跟随标识的日志数据。

具体地，将踪迹跟随标识存储至调用链路的每个线程的调用记录中，生成包括踪迹跟随标识的日志数据可以是：从业务的整个调用链路的各个线程的执行语境中获取踪迹跟随标识，将踪迹跟随标识转换得到的字符串写入至整个调用链路的每个线程的调用记录中，生成包括踪迹跟随标识的日志数据，包括线程的调用时间戳、调用服务名和其他线程的调用关系，等等。

步骤S103：汇总每个线程对应的日志数据，得到业务的汇总日志数据。

在本申请实施例中，可以按照每个线程中事件发生顺序和/或子线程调用顺序，汇总每个线程对应的日志数据，从而得到业务的汇总日志数据。需要说明的是，由于日志数据的输出量通常比较大，因此，日志数据的输出对整个系统性能的影响至关重要。由于分析人员在对日志进行分析使用、解决问题时，大部分情况只对异常日志数据感兴趣，因此，在这种情况下海量的日志数据反而成为了冗余，不仅不能为我所用，反而增加分析人员对日志数据中有效信息检索的困难，成了系统的负担。为了剔除冗余的日志信息，在本申请实施例中，在汇总每个线程对应的日志数据之时或之后，可以识别汇总的日志数据中是否包括预设的目标业务日志；若汇总日志数据中包括目标业务日志数据，则上传汇总日志数据；若汇总日志数据中还包括目标业务日志数据之外的日志数据，则清除目标业务日志数据之外的日志数据。

步骤S104：通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据后进行存储。

进一步地，上述实施例的方法还可以包括在压缩业务的汇总日志数据后进行存储后，提取压缩后的业务的汇总日志数据，按照时间线依次在不同线程中执行日志数据中的方法。例如，通过遍历汇总日志数据中的时间线，按照时间线依次在不同线程中执行日志数据中的方法，从而可以很方便地重现电子地图出现异常的场景，其中，汇总日志数据中的时间线可以是前述实施例提及的线程中事件发生顺序、子线程调用顺序或线程的调用时间戳等。

如前所述，通常而言，日志数据的输出量较大，这对存储空间和成本提出了较高的要求。为了降低电子地图的日志数据对存储空间的占用，同时降低存储成本，在本申请实施例中，可以通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据后进行存储。具体地，作为本申请一个实施例，步骤S104的通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据后进行存储可以通过步骤S1041至步骤S1045现，详细说明如下：

步骤S1041：从汇总日志数据中提取源字段、宿字段、起始时刻字段、终结时刻字段和操作字段。

一般地，汇总日志数据中每个字段在汇总日志数据中所处的位置是预先设定好的，例如，汇总日志数据中第一个字段为源字段，第三个字段为宿字段等等。因此，在提取时，可以根据预先设定好的字段与位置的对应关系，从汇总日志数据中提取所需的字段。具体的，可以先获取汇总日志数据中目标字段对应的字段信息，为了后续便于对字段信息的识别，可以基于字段信息以及每个字段信息各自对应的目标字段的预设字段名建立键值对，并将得到的键值对确定为目标信息。

步骤S1042：以源字段和宿字段为节点，以起始时刻字段、终结时刻字段和操作字段为边属性，将节点和边属性合并至根据前条日志数据生成的有向图中。

有向图中通常包括节点和边，边为具有指向性的有向边，而汇总日志数据中源字段与宿字段之间也是具有方向性的，因此，可以将汇总日志数据中的源字段和宿字段作为有向图中的节点，源字段和宿字段之间具有边，边的指向信息为源字段对应的节点指向目的字段对应的节点。

步骤S1043：根据有向图中边的指向信息，对有向图进行压缩。

具体地，根据有向图中边的指向信息，对有向图进行压缩可以是：聚合所有目标边一端的源字段对应的节点进行，得到聚合节点，并存储聚合节点与所有目标边一端的源字段对应的节点之间的对应关系，将所有目标边进行聚合，得到聚合边，并对所有目标边的边属性进行聚合，得到聚合边属性，将聚合边属性确定为聚合边的边属性。需要说明的是，上述目标边可以是对于任一目的字段对应的节点，确定有向图中共享目的字段对应的节点的目标边。

步骤S1044：对压缩后的有向图中的边属性进行压缩。

具体地，对压缩后的有向图中的边属性进行压缩可以是：按照预设编码方式对聚合边的边属性中的起始时刻字段和终结时刻字段进行编码；将编码得到的信息替换边属性中的起始时刻字段和终结时刻字段。

步骤S1045：存储有向图中的边属性进行压缩后的汇总日志数据。

从上述图1示例的电子地图的日志处理方法可知，由于生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识，因此，后续根据踪迹跟随标识能够迅速重现电子地图出现异常的场景，提高了分析人员对电子地图异常分析的效率和准确度；此外，通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据，降低了存储所述业务的汇总日志数据所需存储空间，降低了存储电子地图的日志数据的成本。

与前述应用功能实现方法实施例相对应，本申请还提供了一种电子地图的日志处理装置、电子设备及相应的实施例。

参见图2，是本申请实施例示出的电子地图的日志处理装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图2示例的电子地图的日志处理装置主要包括第一生成模块201、第二生成模块202、汇总模块203和压缩模块204，其中：

第一生成模块201，用于基于电子地图中业务的操作，生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识，其中，整个调用链路包括用于执行业务的至少一个线程；

第二生成模块202，用于将踪迹跟随标识存储至调用链路的每个线程的调用记录中，生成包括踪迹跟随标识的日志数据；

汇总模块203，用于汇总每个线程对应的日志数据，得到业务的汇总日志数据；

压缩模块204，用于通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据后进行存储。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

从上述图2示例的电子地图的日志处理装置可知，由于生成与业务唯一对应的踪迹跟随标识，并且在业务的整个调用链路中传递踪迹跟随标识，因此，后续根据踪迹跟随标识能够迅速重现电子地图出现异常的场景，提高了分析人员对电子地图异常分析的效率和准确度；此外，通过提取汇总日志数据中的目标信息字段，压缩业务的汇总日志数据，降低了存储所述业务的汇总日志数据所需存储空间，降低了存储电子地图的日志数据的成本。

图3是本申请实施例示出的电子设备的结构示意图。

参见图3，电子设备300包括存储器310和处理器320。

处理器320可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被电子设备（或服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims

1.一种电子地图的日志处理方法，其特征在于，所述方法包括：

基于电子地图中业务的操作，生成与所述业务唯一对应的踪迹跟随标识，并且在所述业务的整个调用链路中传递所述踪迹跟随标识，所述整个调用链路包括用于执行所述业务的至少一个线程；

将所述踪迹跟随标识存储至所述调用链路的每个线程的调用记录中，生成包括所述踪迹跟随标识的日志数据；

汇总所述每个线程对应的日志数据，得到所述业务的汇总日志数据；

通过提取所述汇总日志数据中的目标信息字段，压缩所述业务的汇总日志数据后进行存储。

2.根据权利要求1所述的电子地图的日志处理方法，其特征在于，所述生成与所述业务唯一对应的踪迹跟随标识，并且在所述业务的整个调用链路中传递所述踪迹跟随标识，包括：

生成与所述业务唯一对应的踪迹跟随标识，并将所述踪迹跟随标识写入所述业务启动入口对应的第一线程的执行语境中；

将所述踪迹跟随标识从所述第一线程传递到第二线程，并将所述踪迹跟随标识写入所述第二线程的执行语境中；

若所述第二线程不是所述调用链路的最后一个线程，则执行将所述踪迹跟随标识从所述第二线程传递至第三线程，并将所述踪迹跟随标识写入所述第三线程的执行语境中，直至将所述踪迹跟随标识写入到所述调用链路的最后一个线程的执行语境中为止。

3.根据权利要求2所述的电子地图的日志处理方法，其特征在于，所述将所述踪迹跟随标识存储至所述调用链路的每个线程的调用记录中，生成包括所述踪迹跟随标识的日志数据，包括：

从所述调用链路的各个线程的执行语境中获取所述踪迹跟随标识；

将所述踪迹跟随标识转换得到的字符串写入到所述调用链路的每个线程的调用记录中，生成包括所述踪迹跟随标识的日志数据。

4.根据权利要求1所述的电子地图的日志处理方法，其特征在于，所述通过提取所述汇总日志数据中的目标信息字段，压缩所述业务的汇总日志数据后进行存储，包括：

从所述汇总日志数据中提取源字段、宿字段、起始时刻字段、终结时刻字段和操作字段；

以所述源字段和所述宿字段为节点，以所述起始时刻字段、终结时刻字段和操作字段为边属性，将所述节点和所述边属性合并至根据前条日志数据生成的有向图中；

根据所述有向图中边的指向信息，对所述有向图进行压缩；

对所述压缩后的有向图中的边属性进行压缩；

存储所述有向图中的边属性进行压缩后的汇总日志数据。

5.根据权利要求4所述的电子地图的日志处理方法，其特征在于，所述根据所述有向图中边的指向信息对所述有向图进行压缩，包括：

聚合所有目标边一端的源字段对应的节点进行，得到聚合节点，并存储所述聚合节点与所有所述目标边一端的源字段对应的节点之间的对应关系；

将所有所述目标边进行聚合，得到聚合边，并对所有所述目标边的边属性进行聚合，得到聚合边属性，将所述聚合边属性确定为所述聚合边的边属性。

6.根据权利要求5所述的电子地图的日志处理方法，其特征在于，所述对所述压缩后的有向图中的边属性进行压缩，包括：

按照预设编码方式对所述聚合边的边属性中的起始时刻字段和终结时刻字段进行编码；

将编码得到的信息替换所述边属性中的起始时刻字段和终结时刻字段。

7.根据权利要求1至6任意一项所述的电子地图的日志处理方法，其特征在于，所述业务的整个调用链路通过如下方式生成：

根据所述线程的标识和当前时间戳，生成识别码；

监听所述识别码在各个线程之间的传递顺序；

提取所述各个线程中与所述识别码对应的日志，按照所述传递顺序对所提取的日志进行排列组合，得到所述业务的整个调用链路。

8.根据权利要求1至6任意一项所述的电子地图的日志处理方法，其特征在于，所述方法还包括：

识别所述汇总日志数据中是否包括预设的目标业务日志；

若所述汇总日志数据中包括所述目标业务日志数据，则上传所述汇总日志数据；

若所述汇总日志数据中还包括所述目标业务日志数据之外的日志数据，则清除所述目标业务日志数据之外的日志数据。

9.根据权利要求1至6任意一项所述的电子地图的日志处理方法，其特征在于，所述方法还包括：

在压缩所述业务的汇总日志数据后进行存储后，提取所述压缩后的业务的汇总日志数据，按照时间线依次在不同线程中执行所述日志数据中的方法。

10.一种电子地图的日志处理装置，其特征在于，所述装置包括：

第一生成模块，用于基于电子地图中业务的操作，生成与所述业务唯一对应的踪迹跟随标识，并且在所述业务的整个调用链路中传递所述踪迹跟随标识，所述整个调用链路包括用于执行所述业务的至少一个线程；

第二生成模块，用于将所述踪迹跟随标识存储至所述调用链路的每个线程的调用记录中，生成包括所述踪迹跟随标识的日志数据；

汇总模块，用于汇总所述每个线程对应的日志数据，得到所述业务的汇总日志数据；

压缩模块，用于通过提取所述汇总日志数据中的目标信息字段，压缩所述业务的汇总日志数据后进行存储。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至9中任意一项所述的方法。

12.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至9中任意一项所述的方法。