CN116506702A - 一种数据处理和同步方法、系统、设备及存储介质 - Google Patents

一种数据处理和同步方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116506702A
CN116506702A CN202310520023.4A CN202310520023A CN116506702A CN 116506702 A CN116506702 A CN 116506702A CN 202310520023 A CN202310520023 A CN 202310520023A CN 116506702 A CN116506702 A CN 116506702A
Authority
CN
China
Prior art keywords
data
video
analyzed
full
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310520023.4A
Other languages
English (en)
Inventor
吴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Ruichi Automotive Technology Dalian Co ltd
Original Assignee
Neusoft Ruichi Automotive Technology Dalian Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Ruichi Automotive Technology Dalian Co ltd filed Critical Neusoft Ruichi Automotive Technology Dalian Co ltd
Priority to CN202310520023.4A priority Critical patent/CN116506702A/zh
Publication of CN116506702A publication Critical patent/CN116506702A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40169—Flexible bus arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种数据处理和同步方法、系统、设备及存储介质。在执行所述方法时，先获取路采数据中的CAN数据包和视频数据；后对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据，然后在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示，以通过预设同步条件调用与视频对应的解析后的CAN数据使得CAN数据和视频同步显示。这样，通过预设同步条件调用全量解析后的CAN数据，使得CAN数据和视频同步显示，达到了视频数据和CAN数据同步的效果。如此，可以使得CAN数据和视频进行同步显示，并且通过预设同步条件，可以提高同步CAN数据管理的灵活度，降低用户处理数据的难度，增加数据分析效率。

Description

一种数据处理和同步方法、系统、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理和同步方法、系统、设备及存储介质。
背景技术
随着电子技术、数字信号处理技术和自动化的飞速发展，信号的采集开始从机械化转为智能化，并不断向着自动化、智能化方向发展。CAN(Controller Area Network，控制器局域网络)是国际上应用最广泛的现场总线之一，可以组建通信网络，保证各个节点间的自由通信。通过提取CAN总线信号，能够解析出大量汽车运行数据。
其中自动驾驶、高级辅助驾驶产品开发和测试行业产品出现多通道传输多种类型数据，因此对多通道大数据处理方法应运而生。相关技术中的CAN总线信号采集设备都是内嵌于汽车内部的，对于提取CAN总线信号需要对数据进行存储、解析、同步及回放处理。但是相关技术中对于多通道多类型数据的分析往往需要复杂的同步处理，例如将视频数据与CAN数据进行同步回放需要对视频数据和CAN数据分别进行同步处理。
因此如何提供一种数据处理和同步方法使得CAN数据和视频进行同步显示，并且提高同步CAN数据管理的灵活度，降低用户处理数据的难度，提高数据分析效率是目前亟待解决的问题。
发明内容
有鉴于此，本申请提供了一种数据处理和同步方法、系统、设备及存储介质，旨在使得CAN数据和视频进行同步显示，并且提高同步CAN数据管理的灵活度，降低用户处理数据的难度，提高数据分析效率。
第一方面，本申请提供了一种数据处理和同步方法，所述方法包括：
获取路采数据中的CAN数据包和视频数据；
对所述CAN数据包中的CAN报文进行全量解析得到解析后的CAN数据；
在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
可选地，所述对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据，包括：
基于CAN数据包包名、CAN数据时间戳和CAN数据标识对所述CAN数据包中的CAN数据进行全量解析；
通过所述全量解析得到所述CAN数据包中的CAN数据全量解析结果；
将所述CAN数据全量解析结果存储到第二存储模块得到解析后的CAN数据。
可选地，所述第一存储模块为MongoDB存储，所述将所述全量解析结果存储到第一存储模块得到解析后的CAN数据，包括：
采用分片技术，构建基于MongoDB的CAN数据全量解析结果分布式存储框架；
对所述CAN数据全量解析结果进行分片，将分片后的CAN数据全量解析结果存储到集群中的不同服务器上得到解析后的CAN数据。
可选地，所述在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示，包括：
基于所述视频确定CAN数据包包名，所述CAN数据包包名与所述视频的视频包名相同；根据所述视频的时间戳确定所述CAN数据时间戳；预设CAN数据标识，所述CAN数据标识用于确定调用的CAN数据身份信息；
将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示。
可选地，所述将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示，包括：
将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为预设同步条件输入应用程序接口；
通过所述应用程序接口对所述解析后的CAN数据进行筛选，调用所述解析后的CAN数据与视频同步显示。
可选地，所述调用所述解析后的CAN数据与视频同步显示，包括：
调用所述解析后的CAN数据，将所述解析后的CAN数据在第一画面区域进行可视化的显示；所述第一画面区域位于第二画面区域中；
所述在第二画面区域进行可视化的显示的解析后的CAN数据与视频显示区域显示的视频同步显示；所述视频显示区域位于第二画面区域中。
可选地，所述CAN数据包中包括多个CAN数据标识对应的多个CAN数据身份信息，所述每个CAN数据身份信息匹配对应的CAN数据，所述预设CAN数据标识通过以下方式获得：
在播放视频前，预先配置CAN数据标识，或者，在播放视频时，实时配置CAN数据标识。
可选地，所述获取路采数据中的CAN数据包和视频数据前，还包括：
响应于上传路采数据的操作将所述路采数据存储到第一存储模块；所述第一存储模块为MINIO存储。
第二方面，本申请提供了一种数据处理和同步系统，所述系统包括：
数据文件模块，用于获取路采数据中的CAN数据包和视频数据；
全量解析模块，用于对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据；
同步显示模块，用于通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
第三方面，本申请提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面所述的数据处理和同步方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面所述的数据处理和同步方法。
本申请提供了一种数据处理和同步方法。在执行所述方法时，先获取路采数据中的CAN数据包和视频数据；后对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据，然后在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示，以通过预设同步条件调用与视频对应的解析后的CAN数据使得CAN数据和视频同步显示。这样，通过预设同步条件调用全量解析后的CAN数据，使得CAN数据和视频同步显示，达到了视频数据和CAN数据同步的效果。如此，可以使得CAN数据和视频进行同步显示，并且通过预设同步条件，可以提高同步CAN数据管理的灵活度，降低用户处理数据的难度，提高数据分析效率。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供一种数据处理和同步方法的架构示意图；
图2为本申请实施例提供的一种实现数据处理和同步方法的场景架构图；
图3为本申请实施例提供的一种数据处理和同步方法的流程图；
图4为本申请实施例提供的一种同步显示示意图；
图5为本申请实施例提供的步骤S302一种可选的方法流程图；
图6为本申请实施例提供的解析后的CAN数据部分解析结果的示意图；
图7为本申请实施例提供的步骤S303一种可选的方法流程图；
图8为本申请实施例提供的一种数据处理和同步系统的示例图；
图9为本申请实施例提供的数据处理和同步装置的一种结构示意图；
图10为本申请一个实施例提供的一个示例性装置的结构示意图。
具体实施方式
在相关技术中，对于数据处理和同步主要是将需要同步的不同通道和不同类型的数据进行解析，然后将解析后的数据根据时间戳等标识存储到一个序列中，当程序中运行或者调用该序列中的某一类型数据时将其他类型的数据同步显示或者索引出来，程序是指一组计算机能识别和执行的指令，主要运行于计算机上，满足某种需求的信息化工具。例如，各种用于播放视频的应用软件、应用平台、网页等都可以视为本申请中的程序。在将需要同步的不同通道和不同类型的数据进行解析时，需要将用于同步的数据逐个进行解析并且在同步数据之间提前建立索引关系，从而使得该类型数据能和其他类型数据同步显示。
然而，这种数据处理和同步方式需要对数据进行大量的预处理和筛选从而消耗大量的成本，同时效率较低，也难以保障同步的精确性。例如车载路采数据中的CAN数据和视频数据，具体而言CAN(Controller Area Network，控制器局域网络)是目前应用最广泛的现场总线之一，可以组建通信网络，保证各个节点间的自由通信，通过提取CAN总线信号，能够解析出大量汽车运行数据。但是对于多个节点的CAN数据如何与视频数据同步回放往往需要复杂的同步处理，在相关技术中每次进行同步时CAN数据和视频数据深度绑定，导致数据同步的灵活度低，从而使得数据分析效率低下。
有鉴于此，本申请提供了一种数据处理和同步方法。在执行所述方法时，先响应于上传路采数据的操作将所述路采数据存储到第一存储模块；所述路采数据至少包括CAN数据包和视频数据；后对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据，然后通过预设同步条件调用所述解析后的CAN数据与视频同步显示，以通过预设同步条件调用与视频对应的解析后的CAN数据使得CAN数据和视频同步显示。这样，通过预设同步条件调用全量解析后的CAN数据，使得CAN数据和视频同步显示，达到了视频数据和CAN数据同步的效果。并且通过预设同步条件，可以提高同步CAN数据管理的灵活度，降低用户处理数据的难度，增加数据分析效率。
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
图1为本申请提供一种数据处理和同步方法的架构示意图，如图1的架构示意图所示，该架构包括数据文件模块10、全量解析模块20和同步显示模块30。
其中，数据文件模块10用于获取路采数据中的CAN数据包和视频数据。具体而言，车载的传感器会产生大量的数据，这些路采数据经过车载计算单元的收集打包上传至计算中心，在计算中心进行一系列的导入、存储、溶解、萃取后形成数据资产，可供工程师在标注、训练、仿真各环节进一步使用。在路采数据中，通常是打包成一个Bag文件。其中可以包括录制GPS、惯导、相机、雷达等的信息，然后回放进行数据处理和分析。Bag数据的解析过程则主要采用递归的方式，遍历全部的Message data，生成不同数据类型的文件，最后上传至对象存储或者数据平台，其中不同数据类型的文件包括图片、视频和点云等非结构化数据，GPS、惯导等半结构化数据和车辆状态信息等结构化数据。响应于上传路采数据的操作将上述路采数据存储到数据库，需要说明的是，上述上传数据的操作可以由人工进行上传，也可以通过联网自动上传到云端服务器，然后从数据库中获取路采数据中的CAN数据包和视频数据。
全量解析模块20用于对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据。其中，CAN数据也就是CAN报文，是指发送单元向接受单元传送数据的帧。CAN报文一般是指在CAN总线(内部CAN、整车CAN、充电CAN)上利用ECU和CAN卡接收到的十六进制报文。获取CAN报文之后，需要根据具体的通信协议解析，通常接收到的CAN报文由很多部分组成，解析报文时用到的主要是帧ID和数据段两部分。其中帧ID的组成通常为十六进制的ID，实际上是由29位标识符转换而来，目前大多数的通信协议中都直接给出了相应的帧ID，不需要换算。数据段的组成数据段一般由1～8个字节(Byte)组成，来代表通信协议中相应的含义。每个字节有2个字符，分为高4位和低4位。有的数据需要相邻的2个字节组合才能表示，则需要分为高字节和低字节。通过对CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据，解析后的CAN数据中包括了车辆运行的具体状态数据。
同步显示模块30用于通过预设同步条件调用所述解析后的CAN数据与视频同步显示。具体而言，上述已经对CAN数据进行全量解析，通过预设同步条件即可调用解析后的CAN数据，其中预设同步条件可以包括包名、CAN数据标识和时间戳，可以理解的是，预设条件的包名与视频的包名相同，用于保证调用的CAN数据包与视频对应，时间戳为视频的实时时间戳，用于确定调用的解析后的CAN数据与视频同步，CAN数据标识为需要调用的CAN信号的身份标识，可以理解的是，在车载CAN数据中包括上百个节点，每个节点的CAN数据都有对应的CAN数据标识以表明CAN信号的身份，例如车速信号、方向盘转角信号、油门开度信号等，通过预设不同的CAN数据标识，可以灵活的调用用户需求的同步数据，从而使得解析后的CAN数据和视频同步。
需要说明的是，本申请实施例不限定的执行主体，例如，本申请实施例的方法可以应用于终端设备或服务器等数据处理设备。其中，终端设备可以为车辆终端、计算机、个人数字助理(PersonalDigitalAssistant，PDA)或平板电脑等。服务器可以为独立服务器、集群服务器或云服务器。
在一些其他的实现方式中，本申请实施例中提供的数据处理和同步方法还可以通过终端设备和服务器共同去实现。图2为本申请实施例提供的一种实现数据处理和同步方法的场景架构图。为便于理解本申请实施例提供的技术方案，以下结合图2介绍方案的实现场景。在实现场景中，涉及到终端设备和服务器。例如，可以在终端设备上提取车载数据，并将这些数据汇集到服务器中。服务器针对这些数据进行存储得到路采数据，其中路采数据包括CAN数据包，对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据；通过预设同步条件调用所述解析后的CAN数据与视频同步显示，以便用户能够通过同步数据进行数据分析。
图2所示的服务器可以是独立的物理服务器，也可以是多个物理服务器。构成的服务器集群或者分布式系统。另外，服务器还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解方案中数据处理和同步方法的具体实现方式，以下结合方法流程图进行说明。图3为本申请实施例提供的一种数据处理和同步方法的流程图。在图3所示的数据处理和同步方法中，包括：
S301：获取路采数据中的CAN数据包和视频数据。
在本实施例中，首先从路采数据中的获取CAN数据包和视频数据，具体而言，CAN总线是一种多主控(Multi-Master)的总线系统。传统总线系统如USB或以太网等是在总线控制器的协调下，实现从A节点到B节点大量数据的传输。CAN网络的消息是广播式的，即在同一时刻网络上所有节点侦测的数据是一致的，它是一种基于消息广播模式的串行通信总线。汽车在运行的过程中，会产生大量的CAN信号，例如，发动机相关的信号、电动机相关的信号、与车灯、车门相关的信号、车速信号、报警信号等等。通过获取路采数据中的CAN数据包和视频数据以便对CAN数据包的CAN数据进行解析。
可选地，在获取路采数据中的CAN数据包和视频数据前，还包括：响应于上传路采数据的操作将所述路采数据存储到第一存储模块。
在本实施例中，通过CAN总线配置硬件设备通信通道、建立实际路试工程，添加测量信号，即可同步采集实车运行状态和周围路试环境。在实际路试采集中，大多数测量模块至少以1Gb的以太网连接到记录仪，传输数据带宽高达1GByte/s左右，每个工作日数据存储数量级高达TB级别。因此通过降低无效数据存储量或提供可更换的记录硬盘以解决存储和传输的问题。例如，在实车路试过程中，由于实时存储的数据量巨大(～1GByte/s)，因此当固态硬盘数据存满文件之后，需要替代硬盘记录。通过实车携带可供更换的固态硬盘，当前工作固态硬盘存储满状态后，将该硬盘取下换上新替代硬盘，然后将换下来的固态硬盘运送计算中心，以采用人工上传的方式将固态硬盘中的路采数据上传到计算中心进行存储和分析。又例如，通过降低无效数据存储量实现将路采数据利用无线网络直接传输到计算中心进行存储和分析。
具体而言，响应于上传路采数据的操作，将该路采数据存储到第一存储模块，需要说明的是，本申请实施例中的存储方式可以是包括直接连接存储、存储区域网络和网络接入存储。其中直接连接存储(DAS：Direct Attach STorage)是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通。存储区域网络(SAN：Storage Area Network)：是一种用高速(光纤)网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O联结方式，如SCSI,ESCON及Fibre-Channels，具有高带宽、低延迟等优势。网络接入存储(NAS：Network AttachedStorage)：是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好。
在本实施例中，将路采数据上传并储存到第一存储模块，路采数据至少包括can信号asc文件和摄像头传感器的视频文件，其中，ASC(ASCII)即文本文件，是CAN信号的一种数据格式，数据以可视化的文本存储。该数据以CAN数据包的形式上传并存储到第一存储模块。
可选的，本申请实施例的第一存储模块为MINIO存储。具体而言，MINIO存储是一种对象存储系统用以提供对象存储服务，对象存储服务(Object Storage Service，OSS)是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。并且MINIO对象存储自带应用程序接口，故前端可以通过拉流的形式，在视频播放时可以边缓存边播放，从而提高数据分析的效率。
S302：对所述CAN数据包中的CAN报文进行全量解析得到解析后的CAN数据。
在本实施例中，CAN数据包中包括CAN报文，CAN报文是指发送单元向接受单元传送数据的帧。通常所说的CAN报文是指在CAN线上利用ECU和CAN卡接收到的十六进制报文，包括数据帧、远程帧、错误帧、过载帧和帧间隔。通常接收到的CAN报文由很多部分组成，解析报文时用到的主要是帧ID和数据两部分，例如可以包括序号、传输方向、时间标识、帧ID、帧格式、帧类型、数据长度和数据等。其中序号即指数据序列号，传输方向可以包括接收和发送，时间标识即为接收或者发送对应数据的时间，数据即为该帧数据对应的数据信息，均为十六进制报文，通过解析该十六进制报文的数据信息，例如将0x57通过解析为87，基于预先配置的定义可以表示目标ID为87，其中数据信息还可以包括速度、距离和方向等信息，利用全量解析，将CAN数据包中的CAN数据解析之后即可以得到解析后的CAN数据。
S303：在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
在本实施例中，上述已经对CAN报文进行了全量解析，全量解析后的CAN数据可以通过预设同步条件进行调用和视频数据进行同时显示，从而达到CAN数据和视频同步显示的效果，可以理解的是，所述预设同步条件即为筛选解析后的CAN数据以使在播放视频时，在视频播放的当前节点显示与视频事件对应的CAN数据。例如在播放车辆行驶视频时，显示该视频对应时间点的车速数据、方向盘角度和油门开度。需要说明的是，本申请上述车速数据、方向盘角度和油门开度是通过预设同步条件预先配置对应的CAN数据标识确定的，用户可以根据需求，通过配置不同的CAN数据标识使得对应的CAN数据和视频进行同步显示，本实施例中对于预设同步条件的配置方式不做限定。
可选地，所述调用所述解析后的CAN数据与视频同步显示，包括：调用所述解析后的CAN数据，将所述解析后的CAN数据在第一画面区域进行可视化的显示；所述第一画面区域位于第二画面区域中；所述在第二画面区域进行可视化的显示的解析后的CAN数据与视频显示区域显示的视频同步显示；所述视频显示区域位于第二画面区域中。
在本实施例中，调用解析后的CAN数据，图4为本申请实施例提供的一种同步显示示意图，如图4所示，将解析后的CAN数据在第一画面区域4b进行可视化的显示，其中所述第一画面区域4b位于第二画面区域4a中，在第二画面区域4a进行可视化的显示的解析后的CAN数据与视频显示区域4c显示的视频同步显示；所述视频显示区域4c位于第二画面区域4a中。需要说明的是，本申请实施例上述同步显示示意图仅作为示例，对于具体的区域划分和可视化界面设置不做限制。
可选的，本申请将解析后的CAN数据在第一画面区域进行可视化的显示时可以基于预设画面长度保留上一时间戳数据，也可以在同步显示时只显示当前时间戳的同步CAN数据。
在本实施例中，通过预设同步条件调用全量解析后的CAN数据，使得CAN数据和视频同步显示，达到了视频数据和CAN数据同步的效果。如此，可以使得CAN数据和视频进行同步显示，并且通过预设同步条件，可以提高同步CAN数据管理的灵活度，降低用户处理数据的难度，增加数据分析效率。
在本申请实施例中，上述图3所述的步骤S302存在多种可能的实现方式，下面分别进行介绍。需要说明的是，下文介绍中给出的实现方式仅作为示例性的说明，并不代表本申请实施例的全部实现方式。
图5为本申请实施例提供的步骤S302一种可选的方法流程图。结合图5所示，本申请实施例提供的对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据方法，可以包括：
S501：基于CAN数据包包名、CAN数据时间戳和CAN数据标识对所述CAN数据包中的CAN数据进行全量解析。
在本实施例中，通过CAN数据包包名、CAN数据时间戳和CAN数据标识对所述CAN数据包中的CAN数据进行全量解析。其中，CAN数据包包名即为上传数据中对CAN数据包的命名，例如："采集源编码_采集时间_项目_车号"，用于表示该数据的来源，CAN数据时间戳即为每个CAN报文中对应的时间标识，可以理解的是，在同一时间采集的是CAN数据和视频的时间戳存在对应关系，CAN数据标识用于确定CAN数据身份信息，由于同一车辆存在上百个CAN数据节点对应的CAN数据，每个CAN数据节点都具有对应的CAN数据标识用以标明对应的CAN数据身份信息，例如车辆左前轮速度、车辆右前轮速度、车辆左前轮角度和车辆右前轮角度等，均由不同的CAN数据标识标明，在对数据进行解析时，基于CAN数据包的CAN数据包包名、CAN数据时间戳和CAN数据标识对所述CAN数据包中的CAN数据进行全量解析，需要说明的是，本实施例是对CAN数据包中的CAN报文进行全量解析，也就是说，本实施例中的所有CAN报文数据均被解析。
S502：通过所述全量解析得到所述CAN数据包中的CAN数据全量解析结果。
在本实施例中，通过所述全量解析得到所述CAN数据包中的CAN数据全量解析结果。图6为本申请实施例提供的解析后的CAN数据部分解析结果的示意图，其解析后的数据结构可以如图6示例。
S503：将所述CAN数据全量解析结果存储到第一存储模块得到解析后的CAN数据。
在本实施例中，在得到CAN数据全量解析结果之后，将CAN数据全量解析结果存储到第一存储模块得到解析后的CAN数据。通过存储CAN数据全量解析结果，可以随时对解析后的CAN数据进行调用，保证数据同步的效率。
可选地，所述第一存储模块为MongoDB存储，所述将所述全量解析结果存储到第一存储模块得到解析后的CAN数据，包括：采用分片技术，构建基于MongoDB的CAN数据全量解析结果分布式存储框架；对所述CAN数据全量解析结果进行分片，将分片后的CAN数据全量解析结果存储到集群中的不同服务器上得到解析后的CAN数据。
具体而言，高数据量和吞吐量的数据库应用会对单机的性能造成较大压力，当查询量较大时，会将单机的CPU耗尽，并且大量数据时会使得存储压力较大，从而导致数据处理和查询的效率低下，因此可以利用分片减少了每个分片需要处理的请求数，通过水平扩展，可以提高自己的存储容量和吞吐量。上文中提及本申请中所述路采数据在实车路试过程中，实时存储的数据量巨大，每个工作日数据存储数量级高达TB级别，因此对解析后的数据进行存储时，本实施例采用分片技术，构建基于MongoDB的CAN数据全量解析结果分布式存储框架，然后对CAN数据全量解析结果进行分片，将分片后的CAN数据全量解析结果存储到集群中的不同服务器上得到解析后的CAN数据。
本实施例通过构建基于MongoDB的CAN数据全量解析结果分布式存储框架，使得MongoDB可以通过多种途径来确保集群的可用性和可靠性。进一步地，将MongoDB的分片和复制功能结合使用，在确保数据分片到多台服务器的同时，也确保了每分数据都有相应的备份，这样就可以确保有服务器换掉时，其他的从库可以立即接替坏掉的部分继续工作。另一方面，当系统需要更多的空间和资源的时候，MongoDB可以扩充系统容量。
在本申请实施例中，上述图3所述的步骤S303存在多种可能的实现方式，下面分别进行介绍。需要说明的是，下文介绍中给出的实现方式仅作为示例性的说明，并不代表本申请实施例的全部实现方式。
图7为本申请实施例提供的步骤S303一种可选的方法流程图。结合图7所示，本申请实施例提供的对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据方法，可以包括：
S701：基于所述视频确定CAN数据包包名，所述CAN数据包包名与所述视频的视频包名相同；根据所述视频的时间戳确定所述CAN数据时间戳；预设CAN数据标识，所述CAN数据标识用于确定调用的CAN数据身份信息。
在本实施例中，通过所述视频的包名来确定CAN数据包包名，可以理解的是，在同一时间段采集的视频数据和CAN数据包在路采数据中的包名是相同的，例如：“采集源编码_采集时间_项目_车号”，利用该包名命名的文件可以包括对应的视频文件和CAN数据包文件，在播放视频时，通过视频的包名即确定对应的CAN数据包包名。进一步的，在播放视频时，通过播放的视频的时间戳确定CAN数据时间戳，可以理解的是，由于视频数据和CAN数据是同时采集的，因此CAN数据时间戳和视频的时间戳存在对应关系，即可以通过视频的时间戳和CAN数据时间戳的对应关系索引CAN数据使得对应时间戳的视频内容和CAN数据同步显示。
在有一种可能的情况中，由于车载的CAN信号包括成百上千个，因此通过预设CAN数据标识，将用户需要的CAN数据进行同步显示，可以理解的，上述的多个CAN信号均拥有各自对应的CAN数据标识，例如编号1、2、3、4等，通过预设具体的CAN数据标识，可以将对应的CAN数据与视频进行同步显示。例如can_id：87，表示方向盘转角信号，通过配置CAN数据标识87即可将对应的方向盘转角信号与视频进行同步。
可选地，所述CAN数据包中包括多个CAN数据标识对应的多个CAN数据身份信息，所述每个CAN数据身份信息匹配对应的CAN数据，所述预设CAN数据标识通过以下方式获得：在播放视频前，预先配置CAN数据标识，或者，在播放视频时，实时配置CAN数据标识。
具体而言，由于CAN数据包中包括多个CAN数据标识对应的多个CAN数据身份信息，所述每个CAN数据身份信息匹配对应的CAN数据。
在一种可选的实现方式中，可以在播放视频前配置对应的CAN数据标识，用于提前设定CAN数据标识，在进行视频播放时，直接以预设的CAN数据标识调用解析后的CAN数据，以使得解析后的对应CAN数据标识的CAN数据在播放视频时和视频同步显示，在本实施例中，在视频播放前配置预设CAN数据标识，可以在播放多个不同的视频时复用CAN数据标识条件，提高CAN数据和视频数据同步的灵活性，从而增加数据同步的效率。需要说明的是，在上述实施例中，用户可以根据需求在播放不同的视频前配置不同的CAN数据标识。
在另一种可选的实现方式中，在播放视频时，实时配置CAN数据标识。可以理解的，当用户在进行数据同步回放分析时，对于同一个视频不同时间段的同步数据有不同的需求，例如在车辆加速阶段需要同步车辆的速度数据，在车辆转弯节点需要同步车辆的方向盘角度信息，基于上述需求，本申请可以在播放视频的过程中，通过实时配置CAN数据标识，从而从解析后的CAN数据中同步对应的CAN数据。对于上述CAN数据标识的配置方式可以包括键入或者在系统页面选择等，本申请不做具体限制。
S702：将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示。
在本实施例中，将上述确定的CAN数据包包名、CAN数据时间戳和预设CAN数据标识作为所述预设同步条件，对解析后的CAN数据基于预设条件进行筛选，然后调用筛选后的已解析的CAN数据与视频同步显示。
可选地，所述将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示，包括：将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为预设同步条件输入应用程序接口；通过所述应用程序接口对所述解析后的CAN数据进行筛选，调用所述解析后的CAN数据与视频同步显示。
在本实施例中，将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为预设同步条件输入应用程序接口，其中，应用程序接口(API：ApplicationProgramming Interface)，又称为应用编程接口，是一种计算接口，它定义多个软件中介之间的交互，以及可以进行的调用(call)或请求(request)的种类，如何进行调用或发出请求，应使用的数据格式，应遵循的惯例等。其主要目的是让应用程序开发人员得以调用一组例程功能，而无须考虑其底层的源代码为何、或理解其内部工作机制的细节。本申请通过将预设同步条件输入应用程序接口，通过应用程序接口对解析后的CAN数据进行筛选，调用解析后的CAN数据与视频同步显示。通过应用程序接口设计可以降低系统各部分的相互依赖，提高组成单元的内聚性，降低组成单元间的耦合程度，从而提高系统的维护性和扩展性进一步提高数据同步的灵活性。
上面介绍了本申请实施例提供的一种数据处理和同步方法，下面结合具体的应用场景，对该数据处理和同步方法做示例性的说明。
图8为本申请实施例提供的一种数据处理和同步系统的示例图。结合图8所示，在本申请实施例提供的数据处理和同步系统可以包括：数据文件模块801、全量解析模块802和同步显示模块803，所述数据文件模块801和全量解析模块802连接，数据文件模块801与全量解析模块802分别和同步显示模块803连接；
数据文件模块801，用于获取路采数据中的CAN数据包和视频数据。
在本实施例中，数据文件模块801通过获取路采数据中的CAN数据包和视频数据得到CAN数据包的CAN数据和视频数据。
可选地，本实施例中的数据文件模块801具体可以包括存储单元，作为示例，本申请中的存储单元为Minio，Minio是一款高性能、分布式的对象存储系统，它是一款软件产品，可以运行在标准硬件。首先搭建Minio集群，响应于上传路采数据的操作将路采数据存储到该存储单元，通过Minio上传数据时，先根据对象名建立Hash，计算出对应的Set，然后创建临时目录。创建临时目录的目的是为了确保数据强一致性，中间数据都会被写入到临时目录里，直到所有数据写完后，再统一把目录写入到最终的路径上，通过读数据编码，每次可读10M的数据处理，然后做编码，再被写入到磁盘上，循环将数据保存，数据保存完后，写meta信息，最后将数据挪到最终的位置上，删除临时目录。在读取数据时，先根据对象名做Hash，找到对象对应的Set，然后读取meta信息，通过meta信息来获得编码的方式，最后解码。由于Minio存储是以10M数据做纠删编码，因此在读取数据时也是逐个部分解析。故将CAN数据包的CAN数据和视频数据存储在Minio中，当播放视频时，从Minio读取视频数据可以进行拉流播放，也就是边缓存边播放，从而提高数据同步的效率。
全量解析模块802，用于对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据。
在本实施例中，CAN通讯矩阵中详细定义了CAN报文data字段各个bit的详细释义。通常所说的CAN报文是指在CAN线上利用ECU和CAN卡接收到的十六进制报文，包括数据帧、远程帧、错误帧、过载帧和帧间隔。通过解析该十六进制报文的数据信息，例如将0x57通过解析为87，基于预先配置的定义可以表示目标ID为87，其中数据信息还可以包括速度、距离和方向等信息，利用全量解析，将CAN数据包中的CAN数据解析之后即可以得到解析后的CAN数据。解析后的CAN数据可以直观显示对应节点的状态信息。
同步显示模块803，用于通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
在本实施例中，在系统上可以封装应用程序接口，通过将预设同步条件输入应用程序接口，通过应用程序接口对解析后全量解析结果进行筛选处理并返回结果，在前端页面与视频同步显示。可以理解的是，该同步显示模块具体可以通过前端可视化设计实现。
通过上述系统，可以实现本申请上述提到数据处理和同步方法。
以上为本申请实施例提供方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。
参见图9所示的数据处理和同步装置900的结构示意图，该装置900包括获取模块901、解析模块902和同步模块903。
获取模块901，用于获取路采数据中的CAN数据包和视频数据；
解析模块902，用于对所述CAN数据包中的CAN报文进行全量解析得到解析后的CAN数据；
同步模块903，用于在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
可选地，所述解析模块902，包括：
解析单元，用于基于CAN数据包包名、CAN数据时间戳和CAN数据标识对所述CAN数据包中的CAN数据进行全量解析；
获取单元，用于通过所述全量解析得到所述CAN数据包中的CAN数据全量解析结果；
存储单元，用于将所述CAN数据全量解析结果存储到第一存储模块得到解析后的CAN数据。
所述第一存储模块为MongoDB存储，所述存储单元具体用于：
采用分片技术，构建基于MongoDB的CAN数据全量解析结果分布式存储框架；
对所述CAN数据全量解析结果进行分片，将分片后的CAN数据全量解析结果存储到集群中的不同服务器上得到解析后的CAN数据。
可选地，所述同步模块903，包括：
确定单元，用于基于所述视频确定CAN数据包包名，所述CAN数据包包名与所述视频的视频包名相同；根据所述视频的时间戳确定所述CAN数据时间戳；预设CAN数据标识，所述CAN数据标识用于确定调用的CAN数据身份信息；
调用显示单元，用于将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示。
所述调用单元具体用于：
将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为预设同步条件输入应用程序接口；
通过所述应用程序接口对所述解析后的CAN数据进行筛选，调用所述解析后的CAN数据与视频同步显示。
所述调用单元具体用于：
调用所述解析后的CAN数据，将所述解析后的CAN数据在第一画面区域进行可视化的显示；所述第一画面区域位于第二画面区域中；
所述在第一画面区域进行可视化的显示的解析后的CAN数据与视频显示区域显示的视频同步显示；所述视频显示区域位于第二画面区域中。
所述CAN数据包中包括多个CAN数据标识对应的多个CAN数据身份信息，所述每个CAN数据身份信息匹配对应的CAN数据，所述确定单元包括：
配置子单元，用于在播放视频前，预先配置CAN数据标识，或者，在播放视频时，实时配置CAN数据标识。
可选地，上述数据处理和同步装置还包括：存储模块。
存储模块，用于响应于上传路采数据的操作将所述路采数据存储到第一存储模块；所述第一存储模块为MINIO存储。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括终端设备、服务器(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括：终端设备、服务器(集群)等电子设备。图10示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1100。
对于一个实施例，图10示出了示例性装置1100，该装置具有一个或多个处理器1102、被耦合到(一个或多个)处理器1102中的至少一个的控制模块(芯片组)1104、被耦合到控制模块1104的存储器1106、被耦合到控制模块1104的非易失性存储器(NVM)/存储设备1108、被耦合到控制模块1104的一个或多个输入/输出设备1110，以及被耦合到控制模块1104的网络接口1112。
处理器1102可包括一个或多个单核或多核处理器，处理器1102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1100能够作为本申请实施例中所述终端设备、服务器(集群)等设备。
在一些实施例中，装置1100可包括具有指令1114的一个或多个计算机可读介质(例如，存储器1106或NVM/存储设备1108)以及与该一个或多个计算机可读介质相合并被配置为执行指令1114以实现模块从而执行本公开中所述的动作的一个或多个处理器1102。
对于一个实施例，控制模块1104可包括任意适当的接口控制器，以向(一个或多个)处理器1102中的至少一个和/或与控制模块1104通信的任意适当的设备或组件提供任意适当的接口。
控制模块1104可包括存储器控制器模块，以向存储器1106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1106可被用于例如为装置1100加载和存储数据和/或指令1114。对于一个实施例，存储器1106可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块1104可包括一个或多个输入/输出控制器，以向NVM/存储设备1108及(一个或多个)输入/输出设备1110提供接口。
例如，NVM/存储设备1108可被用于存储数据和/或指令1114。NVM/存储设备1108可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1108可包括在物理上作为装置1100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1108可通过网络经由(一个或多个)输入/输出设备1110进行访问。
(一个或多个)输入/输出设备1110可为装置1100提供接口以与任意其他适当的设备通信，输入/输出设备1110可以包括通信组件、音频组件、传感器组件等。网络接口1112可为装置1100提供接口以通过一个或多个网络通信，装置1100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，装置1100可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种测试数据处理方法、装置、电子设备和介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种数据处理和同步方法，其特征在于，所述方法包括：
获取路采数据中的CAN数据包和视频数据；
对所述CAN数据包中的CAN报文进行全量解析得到解析后的CAN数据；
在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
2.根据权利要求1所述的方法，其特征在于，所述对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据，包括：
基于CAN数据包包名、CAN数据时间戳和CAN数据标识对所述CAN数据包中的CAN数据进行全量解析；
通过所述全量解析得到所述CAN数据包中的CAN数据全量解析结果；
将所述CAN数据全量解析结果存储到第一存储模块得到解析后的CAN数据。
3.根据权利要求2所述的方法，其特征在于，所述第一存储模块为MongoDB存储，所述将所述全量解析结果存储到第一存储模块得到解析后的CAN数据，包括：
采用分片技术，构建基于MongoDB的CAN数据全量解析结果分布式存储框架；
对所述CAN数据全量解析结果进行分片，将分片后的CAN数据全量解析结果存储到集群中的不同服务器上得到解析后的CAN数据。
4.根据权利要求1所述的方法，其特征在于，所述在播放视频时，通过预设同步条件调用所述解析后的CAN数据与视频同步显示，包括：
基于所述视频确定CAN数据包包名，所述CAN数据包包名与所述视频的视频包名相同；根据所述视频的时间戳确定所述CAN数据时间戳；预设CAN数据标识，所述CAN数据标识用于确定调用的CAN数据身份信息；
将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示。
5.根据权利要求4所述的方法，其特征在于，所述将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为所述预设同步条件，调用所述解析后的CAN数据与视频同步显示，包括：
将所述CAN数据包包名、所述CAN数据时间戳和所述预设CAN数据标识作为预设同步条件输入应用程序接口；
通过所述应用程序接口对所述解析后的CAN数据进行筛选，调用所述解析后的CAN数据与视频同步显示。
6.根据权利要求1所述的方法，其特征在于，所述调用所述解析后的CAN数据与视频同步显示，包括：
调用所述解析后的CAN数据，将所述解析后的CAN数据在第一画面区域进行可视化的显示；所述第一画面区域位于第二画面区域中；
所述在第一画面区域进行可视化的显示的解析后的CAN数据与视频显示区域显示的视频同步显示；所述视频显示区域位于第二画面区域中。
7.根据权利要求4所述的方法，其特征在于，所述CAN数据包中包括多个CAN数据标识对应的多个CAN数据身份信息，所述每个CAN数据身份信息匹配对应的CAN数据，所述预设CAN数据标识通过以下方式获得：
在播放视频前，预先配置CAN数据标识，或者，在播放视频时，实时配置CAN数据标识。
8.根据权利要求1所述的方法，其特征在于，所述获取路采数据中的CAN数据包和视频数据前，还包括：
响应于上传路采数据的操作将所述路采数据存储到第一存储模块；所述第一存储模块为MINIO存储。
9.一种数据处理和同步系统，其特征在于，所述系统包括：
数据文件模块，用于获取路采数据中的CAN数据包和视频数据；
全量解析模块，用于对所述CAN数据包中的CAN数据进行全量解析得到解析后的CAN数据；
同步显示模块，用于通过预设同步条件调用所述解析后的CAN数据与视频同步显示。
10.一种电子设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行权利要求1-8任一项所述的数据处理和同步方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现权利要求1-8任一项所述的数据处理和同步方法。
CN202310520023.4A 2023-05-09 2023-05-09 一种数据处理和同步方法、系统、设备及存储介质 Pending CN116506702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310520023.4A CN116506702A (zh) 2023-05-09 2023-05-09 一种数据处理和同步方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310520023.4A CN116506702A (zh) 2023-05-09 2023-05-09 一种数据处理和同步方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116506702A true CN116506702A (zh) 2023-07-28

Family

ID=87328280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310520023.4A Pending CN116506702A (zh) 2023-05-09 2023-05-09 一种数据处理和同步方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116506702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057163A (zh) * 2023-10-11 2023-11-14 富钛字节车载软件(长春)有限公司 基于无线通信的远程仿真方法、系统、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057163A (zh) * 2023-10-11 2023-11-14 富钛字节车载软件(长春)有限公司 基于无线通信的远程仿真方法、系统、设备和存储介质
CN117057163B (zh) * 2023-10-11 2024-01-19 富钛字节车载软件(长春)有限公司 基于无线通信的远程仿真方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
US10133622B2 (en) Enhanced error detection in data synchronization operations
CN106326292B (zh) 数据结构和文件聚合、读取方法及装置
CN116506702A (zh) 一种数据处理和同步方法、系统、设备及存储介质
CN105574109A (zh) 一种数据库同步方法、同步设备及系统
US11902402B2 (en) Compressing digital metrics for transmission across a network utilizing a graph-based compression dictionary and time slice delta compression
WO2018156979A1 (en) Selective distribution of messages in a publish-subscribe system
WO2013097812A1 (zh) 一种下载字库文件的方法和系统
US20190073390A1 (en) Data storage with improved efficiency
CN104951482A (zh) 一种操作Sparse格式的镜像文件的方法及装置
CN111198861A (zh) 逻辑日志的处理方法、装置及电子设备
CN111835801B (zh) 文件下载方法、装置、服务器、边缘设备、终端及介质
CN112214801A (zh) 电子取证管理方法、电子取证设备和计算机可读存储介质
CN114363304B (zh) Rtp视频流存储、播放方法及装置
CN111563017A (zh) 数据处理方法及装置
CN116108091A (zh) 数据处理方法、事件追踪分析方法、装置、设备及介质
CN115866331A (zh) 视频抽帧分析方法、装置、设备及存储介质
CN115269519A (zh) 一种日志检测方法、装置及电子设备
CN110324293B (zh) 一种交通数据处理系统及方法
CN112752165A (zh) 字幕处理方法、装置、服务器及计算机可读存储介质
CN113676840B (zh) 数据处理方法、装置、电子设备、存储介质和程序产品
CN110809013B (zh) 一种监控数据采集方法、装置、电子设备及存储介质
US20140074869A1 (en) Autoclassifying compound documents for enhanced metadata search
CN114556283A (zh) 一种数据写入、一致性检查和读取的方法及装置
CN116820867B (zh) 一种芯片调试方法、装置及芯片
CN117435670A (zh) 异构数据源同步方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination