CN114724276B - 一种多类型日志数据的处理方法、播放方法及相关设备 - Google Patents
一种多类型日志数据的处理方法、播放方法及相关设备 Download PDFInfo
- Publication number
- CN114724276B CN114724276B CN202210380316.2A CN202210380316A CN114724276B CN 114724276 B CN114724276 B CN 114724276B CN 202210380316 A CN202210380316 A CN 202210380316A CN 114724276 B CN114724276 B CN 114724276B
- Authority
- CN
- China
- Prior art keywords
- target
- data
- log file
- frame
- time frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims description 51
- 239000013598 vector Substances 0.000 claims description 45
- 230000003068 static effect Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种多类型日志数据的处理方法、播放方法及相关设备，该处理方法包括：基于导入的各日志文件，确定需要保留的目标日志文件及各目标时间帧；根据每一目标日志文件在一目标时间帧及其之前的若干目标时间帧的数据内容，确定该目标日志文件在该目标时间帧的数据内容，得到各目标日志文件在该目标时间帧的数据帧；将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；其中，该统一的数据帧结构包括多种数据对象；该转换池包括若干转换模块，每一转换模块对应一种日志文件类型。本申请可以实现各目标日志文件在时间上的填补、对齐以及数据帧格式的统一，有利于后续对其进行融合播放。
Description
技术领域
本申请涉及自动驾驶技术领域，更具体地说，是涉及一种多类型日志数据的处理方法、播放方法及相关设备。
背景技术
自动驾驶过程中生成的日志文件大多以rosbag的形式保存，但是其实很多模块的内部数据并不适合用这种方式存储,所以往往不同模块会生成各自独特的日志数据文件来保存模块的输入输出和内部状态。例如，一些自动驾驶设备所生成的日志文件可以包括rosbag文件、mbag文件、plog文件、pcd文件和mplog文件。
目前，针对上述不同的日志文件，都分别有相应的专有可视化软件对其进行单独的解析及渲染，使得用户可以根据需要查看不同的日志文件。然而，有些应用场景下，用户需要对同一时间段收集的不同日志数据进行同时回放，以便更全面地了解这一时段的路上情况。而现有的这些可视化软件就无法对此提供相关的支持。
发明内容
有鉴于此，本申请提供了一种多类型日志数据的处理方法、播放方法及相关设备，以实现多类型日志文件的处理，使得多类型的日志文件可以在可视化平台上实现同时播放。
为实现上述目的，本申请第一方面提供了一种多类型日志数据处理方法，包括：
基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，所述统一的数据帧结构包括多种数据对象。
优选地，所述根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容的过程，包括：
对于每一目标日志文件，根据所述目标日志文件每一目标时间帧的数据内容以及所述目标时间帧之前的N个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，N为预设的自然数。
优选地，根据所述目标日志文件每一目标时间帧的数据内容以及所述目标时间帧之前的N个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容的过程，包括：
针对所述目标日志文件的每一目标时间帧：
判断所述目标日志文件在所述目标时间帧的数据内容是否不为空；
若是，将所述目标日志文件在所述目标时间帧的数据内容确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，判断所述目标日志文件在所述目标时间帧之前的N个目标时间帧的数据内容是否不为空；
若是，将所述目标日志文件在所述目标时间帧之前的，数据内容不为空且距离所述目标时间帧最近的目标时间帧的数据内容，确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，将所述目标日志文件在所述目标时间帧的数据内容设置为空。
优选地，所述将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构的过程，包括：
针对每一目标日志文件：
根据所述目标日志文件的文件类型确定与所述目标日志文件相匹配的转换模块；
通过所述转换模块将所述目标日志文件的数据帧的结构转换成统一的数据帧结构，所述统一的数据帧结构的数据对象包括点云数据、图形对象数据、图像数据、结构化的文本信息数据以及位置信息数据中的至少一种。
优选地，所述基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧的过程，包括：
获取每一日志文件的时间区间与参考时间区间之间的差值，基于所述差值确定需要保留的目标日志文件；
对于各目标日志文件的原始数据帧，将时间最早的原始数据帧的时间帧确定为开始时间帧，将时间最晚的原始数据帧的时间帧确定为结束时间帧，将开始时间帧至结束时间帧之间的各时间帧确定为目标时间帧。
优选地，所述参考时间区间的计算方法，包括：
以用户选定的日志文件作为参考日志文件，将所述参考日志文件的时间区间确定为所述参考时间区间。
优选地，所述多类型日志数据处理方法还包括：
对各日志文件中属于同一目标时间帧的目标数据帧进行合并，得到合并后的目标数据帧；
对所述合并后的目标数据帧进行去重处理。
优选地，对所述合并后的目标数据帧进行去重处理的过程，包括：
对于所述合并后的目标数据帧中存在多份数据内容的每一种数据对象：
对于每一份数据内容，提取与所述数据对象的每一特征指标对应的指标值，并构建于各指标值对应的多维向量；
对各向量进行聚类运算，得到若干聚类簇，并确定每一聚类簇的目标向量；
基于各目标向量重新组建所述数据对象的数据内容。
优选地，所述聚类运算为K-means算法或DBSCAN算法；所述确定每一聚类簇的目标向量的过程，包括：
从每一聚类簇中随机选取一个向量，并将所述向量确定为目标向量；
或者，
获取每一聚类簇的中心点，并将每一聚类簇中距离所述中心点最近的向量确定为目标向量。
本申请第二方面提供了一种多类型日志数据处理装置，包括：
时间帧确定单元，用于基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
数据帧填充单元，用于对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
数据帧转换单元，用于将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，所述统一的数据帧结构包括多种数据对象。
本申请第三方面提供了一种多类型日志数据处理设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述的多类型日志数据处理方法的各个步骤。
本申请第四方面提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的多类型日志数据处理方法的各个步骤。
本申请第五方面提供了一种多类型日志数据播放方法，包括：
基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
采用如上述的多类型日志数据处理方法对各日志文件进行处理，得到各目标数据帧；
从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
优选地，所述各日志文件还包括动态数据流文件，所述多类型日志数据播放方法还包括：
利用缓冲队列来接收所述动态数据流文件中的流数据，并根据所述流数据的时间信息，以及下一帧待播放的项目的时间信息，对所述流数据进行播放。
优选地，所述各日志文件还包括动态数据流文件，所述方法还包括：
利用缓冲队列来接收所述动态数据流文件中的流数据，并根据所述流数据的时间信息，以及下一帧待播放的项目的时间信息，对所述流数据进行播放。
本申请第六方面提供了一种多类型日志数据播放装置，包括：
场景生成单元，用于基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
数据处理单元，用于采用如上述的多类型日志数据处理方法对各日志文件进行处理，得到各目标数据帧；
内容播放单元，用于从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
本申请第七方面提供了一种多类型日志数据播放设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述的多类型日志数据播放方法的各个步骤。
本申请第八方面提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的多类型日志数据播放方法的各个步骤。
经由上述的技术方案可知，本申请首先基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧。其中，所述各个目标时间帧可用于各目标日志文件的数据帧在时间上的对齐；该步骤可以依照预设的规则，将个别日志文件剔除在外，仅保留相互具备参考意义的目标日志文件；或者，不作筛选，直接将所有导入的日志文件视为目标日志文件。然后，对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧。该步骤可以一定程度上实现目标日志文件在目标时间帧的内容填补，减少了空数据帧的占比，便于对各日志文件在各目标时间帧的数据内容进行关联处理。最后，将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，所述统一的数据帧结构包括多种数据对象，最终得到各目标日志文件的目标数据帧。其中，所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，用于将一种日志文件类型的日志文件内的数据帧转换成匹配于相应的数据对象的数据帧；此外，各转换模块相互独立，便于对转换池进行扩展。经过上述处理步骤，可以实现各目标日志文件在时间上的填补、对齐以及数据帧格式的统一，有利于后续对其进行融合播放。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的多类型日志数据处理方法的示意图；
图2示例了本申请实施例公开的对数据帧进行对齐的示意图；
图3示例了本申请实施例公开的各目标日志文件及其数据帧的示意图；
图4示例了本申请实施例公开的对不同文件类型日志文件的数据帧进行格式转换的示意图；
图5为本申请实施例公开的多类型日志数据处理方法的另一示意图；
图6为本申请实施例公开的多类型日志数据处理装置的示意图；
图7为本申请实施例公开的多类型日志数据处理装置的另一示意图；
图8为本申请实施例公开的设备示意图；
图9为本申请实施例公开的多类型日志数据播放方法的示意图；
图10为本申请实施例公开的多类型日志数据播放方法的另一示意图；
图11为本申请实施例公开的多类型日志数据播放装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面介绍本申请实施例提供的多类型日志数据处理方法。请参阅图1，本申请实施例提供的多类型日志数据处理方法可以包括如下步骤：
步骤S101，基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧。
其中，各日志文件可以包括多种类型的静态文件和动态文件，例如，这些日志文件可以包括rosbag文件、mbag文件、plog文件、pcd文件和mplog文件等，均记录着各时刻以及与每一时刻相对应的数据内容，每一数据帧记录着一个时间帧内的数据内容，通常地，帧频为60Hz，相应地，1个时间帧的长度是1/60秒。通常地，各个静态文件类型的日志文件是从多个不同角度同时去记录车辆的感知信息。因此，在某些情况下，只有记录时间相接近的日志文件，才具有相互参考价值，在这种前提下，若导入的各日志文件中存在记录时间相差较大的日志文件，可以选择将其剔除掉，仅保留记录时间比较一致的日志文件。在另外一些情况，例如，对于动态数据流等动态文件类型的日志文件(如mbag echo文件、lidar driverstream文件等)，可以无需考虑其记录时间，全部予以保留。
各个目标时间帧可以是依据各保留下来的日志文件重新确定的时间信息，其沿着时间轴从记录时间的起始时刻到结束时刻，将整个记录时间等间距地划分成多个时间区间，每一时间区间就构成一个目标时间帧。通过对各日志文件设定统一的目标时间帧，使得可以通过目标时间帧索引到在相应的时间区间上的各日志文件所记录的数据内容。
步骤S102，对于每一目标时间帧，根据每一目标日志文件在该目标时间帧以及该目标时间帧之前的若干个目标时间帧的数据内容，确定该目标日志文件在该目标时间帧的数据内容，得到各目标日志文件在该目标时间帧的数据帧。
各目标日志文件很可能会具有不同的日志记录周期，因此，对于较细粒度的划分方式下的目标时间帧，会导致某些目标时间帧上不存在数据记录。这种情况下，可以依据目标时间帧邻近的数据内容来对该目标时间帧的数据内容进行填充。
步骤S103，将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧。
其中，该统一的数据帧结构包括多种数据对象，这些数据对象可以是点云数据、基础图形对象数据、图像数据、结构化的文本信息数据以及位置信息数据。该转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，可以将目标日志文件中的数据帧转换成具有匹配于该日志文件类型的数据对象的目标数据帧。
本申请实施例首先基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧。其中，该各个目标时间帧可用于各目标日志文件的数据帧在时间上的对齐；该步骤可以依照预设的规则，将个别日志文件剔除在外，仅保留相互具备参考意义的目标日志文件；或者，不作筛选，直接将所有导入的日志文件视为目标日志文件。然后，对于每一目标时间帧，根据每一目标日志文件在该目标时间帧以及该目标时间帧之前的若干个目标时间帧的数据内容，确定该目标日志文件在该目标时间帧的数据内容，得到各目标日志文件在该目标时间帧的数据帧。该步骤可以一定程度上实现目标日志文件在目标时间帧的内容填补，减少了空数据帧的占比，便于对各日志文件在各目标时间帧的数据内容进行关联处理。最后，将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，该统一的数据帧结构包括多种数据对象，最终得到各目标日志文件的目标数据帧。其中，该转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，用于将一种日志文件类型的日志文件内的数据帧转换成匹配于相应的数据对象的数据帧；此外，各转换模块相互独立，便于对转换池进行扩展。经过上述处理步骤，可以实现各目标日志文件在时间上的填补、对齐以及数据帧格式的统一，有利于后续对其进行融合播放。
在本申请的一些实施例中，上述步骤S101基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧的过程，可以包括：
S1，获取每一日志文件的时间区间与参考时间区间之间的差值，基于该差值确定需要保留的目标日志文件。
其中，该参考时间区间作为一个参考基准，可以用来从时间维度上确认各日志文件的参考意义。例如，若某日志文件的时间区间与参考时间区间之间的差值较大，则可以认为该日志文件的参考意义不大，从而将其剔除掉。最后仅保留在时间上比较一致的日志文件，并将保留下来的日志文件确认为目标日志文件。
S2，对于各目标日志文件的原始数据帧，将时间最早的原始数据帧的时间帧确定为开始时间帧，将时间最晚的原始数据帧的时间帧确定为结束时间帧，将开始时间帧至结束时间帧之间的各时间帧确定为目标时间帧。
通过确立统一的目标时间，使得可以通过目标时间帧索引到在相应的时间区间上的各日志文件所记录的数据内容。
进一步地，该参考时间区间可以是用户指定的，例如，将用户指定的某一个日志文件为基准，以该日志文件的时间区间作为参考时间区间。也可以直接约定用户导入的第一文件作为基准，以该日志文件的时间区间作为参考时间区间。
基于此，在本申请的一些实施例中，上述S1所提及的参考时间区间的计算方法，可以包括：
以用户选定的日志文件作为参考日志文件，将该参考日志文件的时间区间确定为该参考时间区间。
此外，也可以比较计算各日志文件的时间区间，将重合度较高的时间区间确定为参考时间区间。
在本申请的一些实施例中，上述步骤S102根据每一日志文件在该目标时间帧以及该目标时间帧之前的若干个目标时间帧的数据内容，确定该日志文件在该目标时间帧的数据内容的过程，可以包括：
对于每一目标日志文件，根据该目标日志文件每一目标时间帧的数据内容以及该目标时间帧之前的N个目标时间帧的数据内容，确定该目标日志文件在该目标时间帧的数据内容，其中，N为预设的自然数。
不同的目标日志文件通常对应有不同的感知设备，考虑到有一些感知设备进行感知测量的频率会比其他的低，那么，可能存在某些目标时间帧的数据内容为空的情况，那么，可以以该目标时间帧之前的一些目标时间帧的数据内容作为参考，来填补数据内容为空的目标时间帧。
在本申请的一些实施例中，请参阅图2，上述步骤S102的细化步骤中，根据该目标日志文件每一目标时间帧的数据内容以及该目标时间帧之前的N个目标时间帧的数据内容，确定该目标日志文件在该目标时间帧的数据内容的过程，可以包括：
针对该目标日志文件的每一目标时间帧：
S1，判断该目标日志文件在该目标时间帧的数据内容是否不为空，若是，执行S2；若否，执行S3。
可以理解的是，若该目标日志文件在该目标时间帧的数据内容为空，则意味着该日志文件在该目标时间帧内不存在相关记录，没有进行相关的感知测量；若该目标日志文件在该目标时间帧的数据内容不为空，则意味着在该时间帧内执行过感知测量，相应地该日志文件在该目标时间帧内存在相关记录。
S2，将该目标日志文件在该目标时间帧的数据内容确定为该目标日志文件在该目标时间帧的数据内容。
S3，判断该目标日志文件在该目标时间帧之前的N个时间帧的数据内容是否不为空，若是，执行S4；若否，执行S5。
S4，将该目标日志文件在该目标时间帧之前的，数据内容不为空且距离该目标时间帧最近的目标时间帧的数据内容，确定为该目标日志文件在该目标时间帧的数据内容。
S5，将该目标日志文件在该目标时间帧的数据内容设置为空。
示例性地，请参阅图3，假设有目标日志文件A、目标日志文件B以及目标日志文件C，依据上述S2，将时间最早的数据帧的时间帧T1确定为开始时间帧，将时间最晚的数据帧的时间帧T11确定为结束时间帧，将开始时间帧至结束时间帧之间的各时间帧T1至T11确定为目标时间帧。
对于目标时间帧T3，由于目标日志文件A、目标日志文件B以及目标日志文件C均存在相应的数据帧，即目标日志文件A、目标日志文件B以及目标日志文件C的数据内容均不为空，因此，根据上述S32，则直接将目标日志文件A的帧b、目标日志文件B的帧a以及目标日志文件C的帧a的数据内容确定为相应的目标文件在T3的数据内容。
对于目标时间帧T7，由于目标日志文件A、目标日志文件B均不存在相应的数据帧，即目标日志文件A、目标日志文件B的数据内容均为空，因此根据上述S33，往前最多N个时间帧搜索是否存在不为空的数据内容。假设N为3，那么，根据上述S34，将目标日志文件A的帧c以及目标日志文件B的帧b的数据内容确定为相应的目标文件在T7的数据内容。而根据上述S32，则直接将目标日志文件C的帧b的数据内容确定为其在T7的数据内容。因此，对于目标时间帧T7，仍能凑齐所有目标日志文件的相应数据内容。
对于目标时间帧T10，由于目标日志文件A、目标日志文件B均不存在相应的数据帧，即目标日志文件A、目标日志文件B的数据内容均为空，根据上述S33，在N为3的假设下，往前最多3个时间帧搜索是否存在不为空的数据内容，那么，根据上述S34，将目标日志文件B的帧c以及目标日志文件C的帧b的数据内容确定为相应的目标文件在T10的数据内容；根据上述S35，将目标日志文件A在T10的数据内容设置为空。因此，对于目标时间帧T10，仅能凑齐目标日志文件B即目标日志文件C的数据内容。
在本申请的一些实施例中，上述步骤S103将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构的过程，可以包括：
针对每一目标日志文件：
S1，根据该目标日志文件的文件类型确定与该目标日志文件相匹配的转换模块。
S2，通过该转换模块将该目标日志文件的数据帧的结构转换成统一的数据帧结构。
其中，该统一的数据帧结构的数据对象包括点云数据、图形对象数据、图像数据、结构化的文本信息数据以及位置信息数据中的至少一种。
具体地，不同文件类型的文件具有不同的数据类型，相应地，不同的文件类型对应有不同处理逻辑的转换模块。每个转换模块指明并实现了各自匹配的数据类型和统一渲染数据类型之间的映射和转换关系。这样的转换模块使用起来可以非常灵活方便,例如，可以通过维护该转换池,每添加一种新的文件类型的文件,就往这个转换池里注册一个新的转换模块，这样此类型的文件就能被支持了。而这个转换池,可以很方便地开放给用户自行设计和注册，不再需要额外的开发支持,提高了开发和调试的效率。
例如，请参阅图4，对于目标日志文件A、目标日志文件B以及目标日志文件C，其文件类型分别为mbag文件、plog文件和pcd文件，对应的相匹配的转换模块分别为mbag转换模块、plog转换模块和雷达流数据转换模块。那么，通过mbag转换模块、plog转换模块和雷达流数据转换模块分别对目标日志文件A、目标日志文件B和目标日志文件C中的数据帧进行转换后，变成具有统一数据帧结构的目标数据帧。
在本申请的一些实施例中，请参阅图5，上述的多类型日志数据处理方法，还可以包括：
步骤S104，对各日志文件中属于同一目标时间帧的目标数据帧进行合并，得到合并后的目标数据帧。
通过将各日志文件中属于同一时间帧的多个目标数据帧，合并成一个数据帧，使得一帧中包含各个日志文件的信息，便于对各日志文件的信息进行参照阅读。
步骤S105，对该合并后的目标数据帧进行去重处理。
其中，该合并后的目标数据帧里可能会存在重复的数据，比如不同的多个文件都具有对同一个障碍物的描述，但是由于感知设备本身的角度问题以及自带的误差等原因，导致描述的数据内容可能存在细微的差异(例如文件A记录到的障碍物长度为1.5米,而文件B记录到的障碍物长度为1.45米)，对于这种情况，如果不进行去重,就会在画布上出现多个障碍物重叠的现象，极大地影响视觉体验和调试操作，也给前端的渲染带来了极大的压力。因此，有必要对重复的数据进行去重。
在本申请的一些实施例中，上述步骤S105对该合并后的目标数据帧进行去重处理的过程，可以包括：
对于所述合并后的目标数据帧中存在多份数据内容的每一种数据对象：
S1，对于每一份数据内容，提取与该数据对象的每一特征指标对应的指标值，并构建于各指标值对应的多维向量。
S2，对各向量进行聚类运算，得到若干聚类簇，并确定每一聚类簇的目标向量。
S3，基于各目标向量重新组建该数据对象的数据内容。
其中，若每一种数据对象仅存在一份数据内容，则意味着该数据对象不存在内容重复，无需进行去重操作。数据去重可以仅针对存在2份或以上的数据对象进行处理。可选地，可以基于特征空间相似度匹配的方式来实现去重操作。
示例性地，对于存在内容重复的每一种数据对象，根据S1及S2，采用预先定义的一定数量的特征指标来描述该数据对象。例如，以障碍物对象为例，可以将特征指标预先定义为6个，分别为位置position(x1)、宽度width(x2)、高度height(x3)、长度length(x4)、类别classification(x5)以及观察时长observed duration(x6)，那么获取与这些特征指标相对应的数据内容来构成6维向量V6(x1,x2,x3,x4,x5,x6)，并将每个向量映射到6维空间中，这样就得到了同一种数据对象的一个特征向量集合Set(V6:Objects)。接着可以对该特征向量集合进行聚类运算，得到多个聚类簇，其中，每个聚类簇中的特征向量都是特征非常相似的数据对象，可以认为这些数据对象其实就是不同文件中对同一个对象的不同描述，因此只需要选取这个聚类簇的一个数据对象作为代表就足够了，其他的都可以抛弃掉。经过去重后的目标数据帧将会变得非常简洁和轻量，减少了前端数据渲染的压力,也不会影响用户的视觉体验。
在本申请的一些实施例中，上述S2提及的聚类运算可以为K-means算法或DBSCAN算法。上述S2确定每一聚类簇的目标向量的过程，可以包括：
从每一聚类簇中随机选取一个向量，并将所述向量确定为目标向量；
或者，
获取每一聚类簇的中心点，并将每一聚类簇中距离所述中心点最近的向量确定为目标向量。
下面对本申请实施例提供的多类型日志数据处理装置进行描述，下文描述的多类型日志数据处理装置与上文描述的多类型日志数据处理方法可相互对应参照。
请参见图6，本申请实施例提供的多类型日志数据处理装置，可以包括：
时间帧确定单元21，用于基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
数据帧填充单元22，用于对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
数据帧转换单元23，用于将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，所述统一的数据帧结构包括多种数据对象。
在本申请的一些实施例中，时间帧确定单元21基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧的过程，可以包括：
获取每一日志文件的时间区间与参考时间区间之间的差值，基于所述差值确定需要保留的目标日志文件；
对于各目标日志文件的原始数据帧，将时间最早的原始数据帧的时间帧确定为开始时间帧，将时间最晚的原始数据帧的时间帧确定为结束时间帧，将开始时间帧至结束时间帧之间的各时间帧确定为目标时间帧。
在本申请的一些实施例中，时间帧确定单元21中的参考时间区间的计算方法，可以包括：
以用户选定的日志文件作为参考日志文件，将所述参考日志文件的时间区间确定为所述参考时间区间。
在本申请的一些实施例中，数据帧填充单元22根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容的过程，可以包括：
对于每一目标日志文件，根据所述目标日志文件每一目标时间帧的数据内容以及所述目标时间帧之前的N个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，N为预设的自然数。
在本申请的一些实施例中，数据帧填充单元22根据所述目标日志文件每一目标时间帧的数据内容以及所述目标时间帧之前的N个时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容的过程，包括：
针对所述目标日志文件的每一目标时间帧：
判断所述目标日志文件在所述目标时间帧的数据内容是否不为空；
若是，将所述目标日志文件在所述目标时间帧的数据内容确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，判断所述目标日志文件在所述目标时间帧之前的N个时间帧的数据内容是否不为空；
若是，将所述目标日志文件在所述目标时间帧之前的，数据内容不为空且距离所述目标时间帧最近的目标时间帧的数据内容，确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，将所述目标日志文件在所述目标时间帧的数据内容设置为空。
在本申请的一些实施例中，数据帧转换单元23将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构的过程，包括：
针对每一目标日志文件：
根据所述目标日志文件的文件类型确定与所述目标日志文件相匹配的转换模块；
通过所述转换模块将所述目标日志文件的数据帧的结构转换成统一的数据帧结构，所述统一的数据帧结构的数据对象包括点云数据、图形对象数据、图像数据、结构化的文本信息数据以及位置信息数据中的至少一种。
在本申请的一些实施例中，请参见图7，该多类型日志数据处理装置还可以包括：
数据帧合并单元24，用于对各日志文件中属于同一目标时间帧的目标数据帧进行合并，得到合并后的目标数据帧；
数据帧去重单元25，用于对所述合并后的目标数据帧进行去重处理。
在本申请的一些实施例中，数据帧去重单元25对所述合并后的目标数据帧进行去重处理的过程，可以包括：
对于所述合并后的目标数据帧中存在多份数据内容的每一种数据对象：
对于每一份数据内容，提取与所述数据对象的每一特征指标对应的指标值，并构建于各指标值对应的多维向量；
对各向量进行聚类运算，得到若干聚类簇，并确定每一聚类簇的目标向量；
基于各目标向量重新组建所述数据对象的数据内容。
在本申请的一些实施例中，数据帧去重单元25中提及的聚类运算为K-means算法或DBSCAN算法；数据帧去重单元25确定每一聚类簇的目标向量的过程，可以包括：
从每一聚类簇中随机选取一个向量，并将所述向量确定为目标向量；
或者，
获取每一聚类簇的中心点，并将每一聚类簇中距离所述中心点最近的向量确定为目标向量。
本申请实施例提供的多类型日志数据处理装置可应用于多类型日志数据处理设备，如计算机等。可选的，图8示出了多类型日志数据处理设备的硬件结构框图，参照图8，多类型日志数据处理设备的硬件结构可以包括：至少一个处理器31，至少一个通信接口32，至少一个存储器33和至少一个通信总线34。
在本申请实施例中，处理器31、通信接口32、存储器33、通信总线34的数量为至少一个，且处理器31、通信接口32、存储器33通过通信总线34完成相互间的通信；
处理器31可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等；
存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器33存储有程序，处理器31可调用存储器33存储的程序，所述程序用于：
基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述统一的数据帧结构包括多种数据对象；所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述统一的数据帧结构包括多种数据对象；所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
基于上述各实施例提供的多类型日志数据处理方法，请参阅图9，本申请的一些实施例还提供一种多类型日志数据播放方法，该方法可以包括如下步骤：
步骤S201，基于导入的各日志文件，生成画布场景。
其中，各日志文件可以包括多种类型的静态文件，如rosbag文件、mbag文件、plog文件、pcd文件和mplog文件等。画布场景包括各日志文件中待展示的项目，如点云信息、图像、图形信息、位置信息以及文本信息等。
各日志文件可以同时导入，也可以分开多次导入。对于分开多次导入日志文件的情况，可以以第一次导入的日志文件为参考，对画布场景进行初始化，生成与所导入的日志文件相符合的画布场景。对于后续新增导入的日志文件，则在已生成的画布场景的基础上增加与该日志文件相符合的项目，而非重新构建整个画布场景。
步骤S202，采用多类型日志数据处理方法对各日志文件进行处理，得到各目标数据帧。
其中，该多类型日志数据处理方法可以为上述各实施例提供的多类型日志数据处理方法。
步骤S203，从各目标数据帧的数据内容中获取与待展示的项目相对应对应的内容，在画布场景中依照各目标数据帧的时间进度展示该内容。
通过步骤S202对各日志文件的处理，使得各日志文件的数据内容实现了时间上的帧对齐，更为准确地复现当时场景的进行时；对各日志文件的数据帧格式的统一以及数据去重，保证画布的整洁和高可读性；对各日志文件的融合处理，形成一份日志数据帧，实现了各日志文件在可视化平台上的回放，以支持工程师更全面地了解问题现场，提高了发现和解决问题的效率。
在本申请的一些实施例中，请参阅图10，上述步骤S201所提及的各日志文件还包括动态数据流文件，该多类型日志数据播放还可以包括：
步骤S204，利用缓冲队列来接收动态数据流文件中的流数据，并根据该流数据的时间信息，以及下一帧待播放的项目的时间信息，对该流数据进行播放。
例如，可以完全不对动态数据流文件中的流数据进行时间对其，依据现有的播放进度播放下一帧时，将最新收到的流数据加到播放任务中；或者，定位到与当前播放进度相匹配的流数据，然后再将其加到播放任务中。
下面对本申请实施例提供的多类型日志数据播放装置进行描述，下文描述的多类型日志数据播放装置与上文描述的多类型日志数据播放方法可相互对应参照。
请参见图11，本申请实施例提供的多类型日志数据播放装置，可以包括：
场景生成单元10，用于基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
数据处理单元20，用于采用如上述各实施例提供的多类型日志数据处理方法对各日志文件进行处理，得到各目标数据帧；
内容播放单元40，用于从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
本申请实施例提供的多类型日志数据播放装置可应用于多类型日志数据播放设备，如计算机等。可选的，图8示出了多类型日志数据播放设备的硬件结构框图，参照图8，多类型日志数据播放设备的硬件结构可以包括：至少一个处理器31，至少一个通信接口32，至少一个存储器33和至少一个通信总线34。
在本申请实施例中，处理器31、通信接口32、存储器33、通信总线34的数量为至少一个，且处理器31、通信接口32、存储器33通过通信总线34完成相互间的通信；
处理器31可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等；
存储器32可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器33存储有程序，处理器31可调用存储器33存储的程序，所述程序用于：
基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
采用如上述各实施例提供的多类型日志数据处理方法对各日志文件进行处理，得到各目标数据帧；
从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
采用如上述各实施例提供的多类型日志数据处理方法对各日志文件进行处理，得到各目标数据帧；
从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
综上所述：
本申请首先基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧。其中，所述各个目标时间帧可用于各目标日志文件的数据帧在时间上的对齐；该步骤可以依照预设的规则，将个别日志文件剔除在外，仅保留相互具备参考意义的目标日志文件；或者，不作筛选，直接将所有导入的日志文件视为目标日志文件。然后，对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧。该步骤可以一定程度上实现目标日志文件在目标时间帧的内容填补，减少了空数据帧的占比，便于对各日志文件在各目标时间帧的数据内容进行关联处理。最后，将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，所述统一的数据帧结构包括多种数据对象，最终得到各目标日志文件的目标数据帧。其中，所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，用于将一种日志文件类型的日志文件内的数据帧转换成匹配于相应的数据对象的数据帧；此外，各转换模块相互独立，便于对转换池进行扩展。经过上述处理步骤，可以实现各目标日志文件在时间上的填补、对齐以及数据帧格式的统一，有利于后续对其进行融合播放。
进一步地，还通过数据帧合并将来自各静态文件属于同一目标时间帧的多个目标数据帧合并成一个数据帧，便于对其进行播放。此外，还可以对合并后的目标数据帧中的数据对象进行去重处理，通过所述去重处理，避免了数据帧中出现重复的或者相互矛盾的内容，使得后续播放时画面元素更简洁，并减少了前端数据渲染的压力。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种多类型日志数据处理方法，其特征在于，包括：
基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述统一的数据帧结构包括多种数据对象；所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型；
所述根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容的过程，包括：
针对所述目标日志文件的每一目标时间帧：
判断所述目标日志文件在所述目标时间帧的数据内容是否不为空；
若是，将所述目标日志文件在所述目标时间帧的数据内容确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，判断所述目标日志文件在所述目标时间帧之前的N个时间帧的数据内容是否不为空，N为预设的自然数；
若是，将所述目标日志文件在所述目标时间帧之前的，数据内容不为空且距离所述目标时间帧最近的目标时间帧的数据内容，确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，将所述目标日志文件在所述目标时间帧的数据内容设置为空。
2.根据权利要求1所述的方法，其特征在于，所述将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构的过程，包括：
针对每一目标日志文件：
根据所述目标日志文件的文件类型确定与所述目标日志文件相匹配的转换模块；
通过所述转换模块将所述目标日志文件的数据帧的结构转换成统一的数据帧结构，所述统一的数据帧结构的数据对象包括点云数据、图形对象数据、图像数据、结构化的文本信息数据以及位置信息数据中的至少一种。
3.根据权利要求1所述的方法，其特征在于，所述基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧的过程，包括：
获取每一日志文件的时间区间与参考时间区间之间的差值，基于所述差值确定需要保留的目标日志文件；
对于各目标日志文件的原始数据帧，将时间最早的原始数据帧的时间帧确定为开始时间帧，将时间最晚的原始数据帧的时间帧确定为结束时间帧，将开始时间帧至结束时间帧之间的各时间帧确定为目标时间帧。
4.根据权利要求3所述的方法，其特征在于，所述参考时间区间的计算方法，包括：
以用户选定的日志文件作为参考日志文件，将所述参考日志文件的时间区间确定为所述参考时间区间。
5.根据权利要求1～4任一项所述的方法，其特征在于，还包括：
对各日志文件中属于同一目标时间帧的目标数据帧进行合并，得到合并后的目标数据帧；
对所述合并后的目标数据帧进行去重处理。
6.根据权利要求5所述的方法，其特征在于，对所述合并后的目标数据帧进行去重处理的过程，包括：
对于所述合并后的目标数据帧中存在多份数据内容的每一种数据对象：
对于每一份数据内容，提取与所述数据对象的每一特征指标对应的指标值，并构建于各指标值对应的多维向量；
对各向量进行聚类运算，得到若干聚类簇，并确定每一聚类簇的目标向量；
基于各目标向量重新组建所述数据对象的数据内容。
7.根据权利要求6所述的方法，其特征在于，所述聚类运算为K-means算法或DBSCAN算法；所述确定每一聚类簇的目标向量的过程，包括：
从每一聚类簇中随机选取一个向量，并将所述向量确定为目标向量；
或者，
获取每一聚类簇的中心点，并将每一聚类簇中距离所述中心点最近的向量确定为目标向量。
8.一种多类型日志数据播放方法，其特征在于，包括：
基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
采用如权利要求1～7中任一项所述的方法对各日志文件进行处理，得到各目标数据帧；
从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
9.根据权利要求8所述的方法，其特征在于，所述各日志文件还包括动态数据流文件，所述方法还包括：
利用缓冲队列来接收所述动态数据流文件中的流数据，并根据所述流数据的时间信息，以及下一帧待播放的项目的时间信息，对所述流数据进行播放。
10.一种多类型日志数据处理装置，其特征在于，包括：
时间帧确定单元，用于基于导入的各日志文件，确定需要保留的目标日志文件以及各个目标时间帧；
数据帧填充单元，用于对于每一目标时间帧，根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容，得到各目标日志文件在所述目标时间帧的数据帧；
数据帧转换单元，用于将各目标日志文件的数据帧的结构通过预设的转换池转换成统一的数据帧结构，得到各目标日志文件的目标数据帧；
其中，所述转换池包括若干转换模块，每一转换模块对应于一种日志文件类型，所述统一的数据帧结构包括多种数据对象；
所述根据每一目标日志文件在所述目标时间帧以及所述目标时间帧之前的若干个目标时间帧的数据内容，确定所述目标日志文件在所述目标时间帧的数据内容的过程，包括：
针对所述目标日志文件的每一目标时间帧：
判断所述目标日志文件在所述目标时间帧的数据内容是否不为空；
若是，将所述目标日志文件在所述目标时间帧的数据内容确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，判断所述目标日志文件在所述目标时间帧之前的N个时间帧的数据内容是否不为空，N为预设的自然数；
若是，将所述目标日志文件在所述目标时间帧之前的，数据内容不为空且距离所述目标时间帧最近的目标时间帧的数据内容，确定为所述目标日志文件在所述目标时间帧的数据内容；
若否，将所述目标日志文件在所述目标时间帧的数据内容设置为空。
11.一种多类型日志数据播放装置，其特征在于，包括：
场景生成单元，用于基于导入的各日志文件，生成画布场景，所述各日志文件包括多种类型的静态文件，所述画布场景包括各日志文件中待展示的项目；
数据处理单元，用于采用如权利要求1～7中任一项所述的方法对各日志文件进行处理，得到各目标数据帧；
内容播放单元，用于从各目标数据帧的数据内容中获取与待展示的项目相对应的内容，在所述画布场景中依照各目标数据帧的时间进度展示所述内容。
12.一种多类型日志数据处理设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～7中任一项所述的多类型日志数据处理方法，或权利要求8或9所述的多类型日志数据播放方法的各个步骤。
13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～7中任一项所述的多类型日志数据处理方法，或权利要求8或9所述的多类型日志数据播放方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380316.2A CN114724276B (zh) | 2022-04-12 | 2022-04-12 | 一种多类型日志数据的处理方法、播放方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380316.2A CN114724276B (zh) | 2022-04-12 | 2022-04-12 | 一种多类型日志数据的处理方法、播放方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114724276A CN114724276A (zh) | 2022-07-08 |
| CN114724276B true CN114724276B (zh) | 2023-10-24 |
Family
ID=82243210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210380316.2A Active CN114724276B (zh) | 2022-04-12 | 2022-04-12 | 一种多类型日志数据的处理方法、播放方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114724276B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0619749A (ja) * | 1992-07-01 | 1994-01-28 | Fujitsu Ltd | ログデータ圧縮装置 |
| CA2419305A1 (en) * | 2003-02-20 | 2004-08-20 | Ibm Canada Limited - Ibm Canada Limitee | Unified logging service for distributed applications |
| CN101888309A (zh) * | 2010-06-30 | 2010-11-17 | 中国科学院计算技术研究所 | 在线日志分析方法 |
| CN105142164A (zh) * | 2015-06-24 | 2015-12-09 | 北京邮电大学 | 待估节点的数据填补方法和装置 |
| CN109710659A (zh) * | 2018-12-16 | 2019-05-03 | 苏州城方信息技术有限公司 | 基于时空相关性的检测器缺失数据的填补方法 |
| CN110083656A (zh) * | 2013-03-15 | 2019-08-02 | 亚马逊科技公司 | 日志记录管理 |
| JP2019175263A (ja) * | 2018-03-29 | 2019-10-10 | サイレックス・テクノロジー株式会社 | ログ記録装置、制御方法、及び、プログラム |
| WO2020253082A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技（深圳）有限公司 | 处理svn日志文件的方法、装置、设备及存储介质 |
| CN113987303A (zh) * | 2021-09-28 | 2022-01-28 | 广州文远知行科技有限公司 | 自动驾驶的日志数据处理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170331772A1 (en) * | 2014-10-27 | 2017-11-16 | Clutch Group, Llc | Chat Log Analyzer |
-
2022
- 2022-04-12 CN CN202210380316.2A patent/CN114724276B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0619749A (ja) * | 1992-07-01 | 1994-01-28 | Fujitsu Ltd | ログデータ圧縮装置 |
| CA2419305A1 (en) * | 2003-02-20 | 2004-08-20 | Ibm Canada Limited - Ibm Canada Limitee | Unified logging service for distributed applications |
| CN101888309A (zh) * | 2010-06-30 | 2010-11-17 | 中国科学院计算技术研究所 | 在线日志分析方法 |
| CN110083656A (zh) * | 2013-03-15 | 2019-08-02 | 亚马逊科技公司 | 日志记录管理 |
| CN105142164A (zh) * | 2015-06-24 | 2015-12-09 | 北京邮电大学 | 待估节点的数据填补方法和装置 |
| JP2019175263A (ja) * | 2018-03-29 | 2019-10-10 | サイレックス・テクノロジー株式会社 | ログ記録装置、制御方法、及び、プログラム |
| CN109710659A (zh) * | 2018-12-16 | 2019-05-03 | 苏州城方信息技术有限公司 | 基于时空相关性的检测器缺失数据的填补方法 |
| WO2020253082A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技（深圳）有限公司 | 处理svn日志文件的方法、装置、设备及存储介质 |
| CN113987303A (zh) * | 2021-09-28 | 2022-01-28 | 广州文远知行科技有限公司 | 自动驾驶的日志数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114724276A (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8938720B2 (en) | Trace visualization for object oriented programs | |
| US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
| WO2022062610A1 (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
| CN112088372B (zh) | 二部图的简化图形描绘的方法和系统 | |
| US20100289924A1 (en) | Imager that adds visual effects to an image | |
| US8515953B2 (en) | Temporal visualization of query results | |
| CN104199858A (zh) | 专利文件的检索方法和可视化专利检索系统 | |
| CN104321802A (zh) | 图像分析装置、图像分析系统、图像分析方法 | |
| CN108536467B (zh) | 代码的定位处理方法、装置、终端设备及存储介质 | |
| CN106446223B (zh) | 地图数据的处理方法和装置 | |
| US10121278B2 (en) | Data plot processing | |
| CN103150359A (zh) | 微博信息显示方法和装置 | |
| US9224069B2 (en) | Program, method and apparatus for accumulating images that have associated text information | |
| CN114724276B (zh) | 一种多类型日志数据的处理方法、播放方法及相关设备 | |
| CN104573132A (zh) | 歌曲查找方法及装置 | |
| CN117390195A (zh) | 基于图编辑器的知识溯源连线方法、系统、设备和介质 | |
| CN110929097A (zh) | 录像记录显示方法、装置及存储介质 | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| CN106294709B (zh) | 云存储文件的展示方法及装置 | |
| CN107038687B (zh) | 抽稀图像的生成方法及装置 | |
| US9626161B2 (en) | Computer readable medium and methods for filtering a dynamic comparison model | |
| CN115357696A (zh) | 基于组件的动态图表看板展示方法及相关设备 | |
| CN104239449B (zh) | 信息展现方法和装置 | |
| US10372694B2 (en) | Structured information differentiation in naming | |
| JP6037443B2 (ja) | 映像間対応関係表示システム及び映像間対応関係表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |