CN116346650A - 一种can信号处理方法、装置、系统及电子设备 - Google Patents

一种can信号处理方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN116346650A
CN116346650A CN202310295837.2A CN202310295837A CN116346650A CN 116346650 A CN116346650 A CN 116346650A CN 202310295837 A CN202310295837 A CN 202310295837A CN 116346650 A CN116346650 A CN 116346650A
Authority
CN
China
Prior art keywords
data
signal
data stream
data channel
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310295837.2A
Other languages
English (en)
Inventor
何快洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Selis Phoenix Intelligent Innovation Technology Co ltd
Original Assignee
Chengdu Seres Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Seres Technology Co Ltd filed Critical Chengdu Seres Technology Co Ltd
Priority to CN202310295837.2A priority Critical patent/CN116346650A/zh
Publication of CN116346650A publication Critical patent/CN116346650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40006—Architecture of a communication node
    • H04L12/40013—Details regarding a bus controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及汽车领域，提供了一种CAN信号处理方法、装置、系统及电子设备。该方法包括：获取原始CAN信号集合；对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流；创建第一数据通道、第二数据通道和第三数据通道；基于第一数据通道、第二数据通道，将CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流；在第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。本申请可有效提高汽车诊断系统的对CAN信号的解析效率，同时可实现计算资源的隔离以及节省计算资源。

Description

一种CAN信号处理方法、装置、系统及电子设备
技术领域
本申请涉及汽车领域，尤其涉及一种CAN信号处理方法、装置、系统及电子设备。
背景技术
随着现代汽车(如新能源汽车等)的不断发展，汽车各个控制器之间的相互通信也越来越频繁，因而CAN总线上的数据量也随之大幅度增多。
例如，在汽车故障诊断业务场景中，汽车诊断系统需要对CAN总线上的CAN信号进行解析和分析统计，以确定汽车故障位置和原因等。
然而，CAN总线上的信号复杂多样且数量庞大，很多信号实际上对于汽车诊断故障而言是无用信号。对过多的无用信号进行解析，不仅需要耗费大量的计算资源，且容易导致汽车诊断系统的解析效率低下，还会大大增加汽车诊断系统的存储负担。
发明内容
有鉴于此，本申请实施例提供了一种CAN信号处理方法、装置、系统及电子设备，以解决现有技术中对CAN总线上的过多无用信号进行解析，需要耗费大量的计算资源，容易导致汽车诊断系统的解析效率低下，并大大增加汽车诊断系统的存储负担的问题。
本申请实施例的第一方面，提供了一种CAN信号处理方法，包括：
获取原始CAN信号集合，原始CAN信号集合包括多条原始CAN信号；
对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流；
创建第一数据通道、第二数据通道和第三数据通道；
基于第一数据通道、第二数据通道，将CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流；
在第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。
本申请实施例的第二方面，提供了一种CAN信号处理装置，包括：
获取模块，被配置为获取原始CAN信号集合，原始CAN信号集合包括多条原始CAN信号；
过滤模块，被配置为对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流；
创建模块，被配置为创建第一数据通道、第二数据通道和第三数据通道；
划分模块，被配置为基于第一数据通道、第二数据通道，将CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流；
解析模块，被配置为在第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。
本申请实施例的第三方面，提供了一种汽车智能诊断系统，包括实时计算引擎、联机分析处理引擎；
实时计算引擎用于实现第一方面的CAN信号处理方法，以将解析数据写入联机分析处理引擎中；
联机分析处理引擎用于对解析数据进行数据分析，并对数据分析结果进行展示。
本申请实施例的第四方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比，其有益效果至少包括：在汽车故障诊断业务场景中，可以先从汽车的CAN总线上获取到原始CAN信号集合；然后对原始CAN信号集合进行数据过滤处理，以将该原始CAN信号集合中与后续的分析任务无关或者无用的数据过滤掉，从而大大减少了后续需求解析的数据量，不仅可减少计算资源的耗费量，还可有效地提高汽车诊断系统的解析效率，同时还可以大大地减轻汽车诊断系统的数据存储负担，有利于释放出更多的内存空间。此外，通过创建第一数据通道、第二数据通道和第三数据通道，并基于第一数据通道、第二数据通道将从CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流，之后在第三数据通道中接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据，可实现各个数据通道的计算资源相互隔离，提升对CAN信号数据流的流式处理效率，避免不同的数据流处理逻辑之间受到干扰影响而导致数据处理效率降低的问题(如简单的数据流处理逻辑容易受到复杂的数据流处理逻辑的影响而导致数据处理效率降低)，有利于提高整体的数据处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种CAN信号处理方法的流程示意图；
图2是本申请实施例提供的一种CAN信号处理装置的结构示意图；
图3是本申请实施例提供的一种CAN信号处理系统的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
下面将结合附图详细说明根据本申请实施例的一种CAN信号处理方法、装置和系统。
图1是本申请实施例提供的一种CAN信号处理方法的流程示意图。该CAN信号处理方法可由汽车智能诊断系统中的实时计算引擎执行，如图1所示，该CAN信号处理方法包括：
步骤S101，获取原始CAN信号集合，原始CAN信号集合包括多条原始CAN信号。
作为一示例，在汽车故障诊断业务场景中，汽车智能诊断系统可以从CAN总线上获取到待分析的原始CAN信号集合。
CAN(Controller Area Network，控制器局域网络)，是ISO国际标准化的串行通信协议。车辆内部的各个执行器之间可以利用CAN总线进行传输数据。
在本申请实施例中，原始CAN信号是指汽车智能诊断系统从CAN总线上获取到的原始CAN报文。
步骤S102，对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流。
通常汽车智能诊断系统直接从CAN总线上获取到的原始CAN信号集合中包含了复杂多样的原始CAN信号，其中有很大一部分的原始CAN信号在实际的诊断分析中是无用的。例如，在针对车辆噪声故障的诊断分析场景中，主要是要对发动机噪声、风噪、车身共振、悬架噪声及胎声这五个方面相关的CAN信号进行分析，而其他方面的CAN信号基本上是无用信号。过多的无用信号不仅无益于该场景的诊断分析，反而会浪费计算资源，并且还会导致汽车智能诊断系统的解析效率降低和存储负担的加重。
本申请实施例通过设置前置过滤器对原始CAN信号集合进行数据过滤处理，可以将与故障分析无关或者无用的原始CAN信号过滤掉，保留与目标诊断分析相关的有用的原始CAN信号，不仅可以节省计算资源，而且还可有效提高汽车智能诊断系统的解析效率，并大大减轻汽车智能诊断系统的存储负担，有利于释放出更多的内存空间。与此同时，还有利于提高诊断分析的准确性。
步骤S103，创建第一数据通道、第二数据通道和第三数据通道。
在一实施例中，可以在汽车智能诊断系统中预先创建三条用于处理CAN信号的第一数据通道、第二数据通道和第三数据通道。
步骤S104，基于第一数据通道和第二数据通道，将CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流。
一般地，CAN总线上的诊断信号的信号ID的十六进制字符串头采用固定格式0x7或0x07。因此，可以利用诊断信号的信号ID的十六进制字符串头的固定格式来区分开CAN信号数据流中的实时CAN信号和诊断信号。
在一实施例中，可基于第一数据通道和第二数据通道中预先定义的流式处理算子和侧输出流，对CAN信号数据流中的每一条数据进行实时流式计算，以将其中信号ID的十六进制字符串头采用0x7或0x07固定格式的数据从CAN信号数据流中筛选出来，得到诊断信号数据流，剩余的数据则被划分为实时CAN信号数据流。
步骤S105，在第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。
在第三数据通道中，可先提取实时CAN信号数据流中的实时CAN信号的标识信息(如CAN信号ID)，以及诊断信号数据流中的诊断信号的标识信息(如诊断信号ID)；然后调取存储于指定内存(如汽车智能诊断系统的实时计算引擎的内存)中的CAN信号解析基线文件，根据CAN信号ID和诊断信号ID，从CAN信号解析基线文件中查找到相应的零部件名称、信号值、报文ID，即得到解析数据。之后，可将解析数据写入联机分析处理引擎(OLAP分析引擎)中，以便于OLAP分析引擎对解析数据做进一步的数据分析，得到数据分析结果并展示。
其中，CAN信号解析基线文件，通常是根据整车通信所需的通信矩阵编写而成的一种标准文件，该标准文件描述了整车中CAN信号网络中的报文结构、格式以及相应的信息。
本申请实施例提供的技术方案，通过对原始CAN信号集合进行数据过滤处理，以将该原始CAN信号集合中与后续的分析任务无关或者无用的数据过滤掉，从而大大减少了后续需求解析的数据量，不仅可减少计算资源的耗费量，还可有效地提高汽车诊断系统的解析效率，同时还可以大大地减轻汽车诊断系统的数据存储负担，有利于释放出更多的内存空间。此外，通过创建多个数据通道对数据流进行处理，可实现不同数据通道之间的计算资源的相互隔离，提升对CAN信号数据流的流式处理效率，避免不同的数据流处理逻辑之间受到干扰影响而导致数据处理效率降低的问题(如简单的数据流处理逻辑容易受到复杂的数据流处理逻辑的影响而导致数据处理效率降低)，有利于提高整体的数据处理效率。
在一些实施例中，上述步骤S102，具体包括：
确定业务场景信息；
确定业务场景信息匹配的目标保留数据集合，目标保留数据集合包括多条目标保留数据，每一条目标保留数据对应一个唯一标识信息；
提取原始CAN信号集合中的每一条原始CAN信号对应的数据标识信息；
根据唯一标识信息和数据标识信息，对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流。
在实际应用中，可以根据实际业务需求，配置不同的业务场景信息。该业务场景信息包括业务场景ID、业务场景类型(如汽车故障诊断场景、汽车性能测试场景等)、与诊断相关联的CAN信号、诊断信号等。
一般地，不同的业务场景，相关联的(有用的)CAN信号和诊断信号往往是不同的。因此，可以预先根据不同的业务场景与相关联的CAN信号、诊断信号之间的关联关系，创建CAN信号ID过滤表。该CAN信号ID过滤表中包括业务场景信息、CAN信号ID、诊断信号ID等。一个业务场景对应创建一个CAN信号ID过滤表，以便于维护和管理。创建好的CAN信号ID过滤表可以存储至关系型数据库中，并同步到实时计算引擎中，以便于后续调用。
通常情况下，针对一个业务场景的业务分析，所需要使用到的CAN信号(即有用的CAN信号)的数量往往要远少于无用的CAN信号的数量，因此，在创建CAN信号ID过滤表时，可以将针对该业务场景进行业务分析需要用到的CAN信号和诊断信号的相关信息(包括信号ID)写入到表中，其他无用的CAN信号和诊断信号的相关信息则不写入该表中。由此得到的一个CAN信号ID过滤表中的所有CAN信号和诊断信号，即构成该业务场景对应一个保留数据集合。
在一些实施例中，可以根据下述步骤获取与业务场景信息匹配的目标保留数据集合：
监听关系型数据库的操作日志，关系型数据库中存储有多个保留数据集合；
从操作日志中查找出与业务场景信息对应的最新保留数据集合和最新操作数据；
从指定内存中调取出与业务场景信息对应的预选保留数据集合，基于最新保留数据集合和最新操作数据，对预选保留数据集合进行同步更新，得到目标保留数据集合。
其中，操作日志中包括操作数据的详情和类型。操作数据的类型主要包括Update(更新)、Create(添加)和Delete(删除)三种类型。
最新操作数据，是指针对关系型数据库中与业务场景信息对应的最新保留数据集合中的数据进行更新、添加或者删除的操作。
最新保留数据集合，是指对关系型数据库中的与业务场景信息对应的保留数据集合进行最后一次数据处理后得到的保留数据集合。即最后一次改动的保留数据集合。
在实际应用中，可以预先把关系型数据库中存储有多个保留数据集合同步至汽车智能诊断系统的内存中，以便于后续的调用。
作为一示例，关系型书库中存储有n个业务场景(业务场景01、02...n)，n为≥1的正整数，以及与这n个业务场景一一对应的n个保留数据集合(CAN信号ID过滤表)。
假设根据获取到的业务场景信息确定目标业务场景为业务场景01，那么汽车智能诊断系统可通过监听关系型数据库的操作日志，并从操作日志中查找出与业务场景01对应的最新保留数据集合01的最新操作数据01。然后，从指定内存(如实时计算引擎中的内存)中调取出与业务场景信息对应的预选保留数据集合01；接着，根据该最新操作数据01确认最新保留数据集合01和预选保留数据集合01是否完全一致。
如果是完全一致，则将预选保留数据集合01确定为目标保留数据集合。
如果不是完全一致，则基于最新操作数据01和最新保留数据集合01，对预选保留数据集合01进行同步更新，得到目标保留数据集合。例如，若实时计算引擎收到Create操作类型的数据，则将关系型数据库中的最新保留数据集合01中的新增数据添加至预选保留数据集合01的相应位置中；若收到Update操作类型的数据，则将预选保留数据集合01中对应数据进行更新；若收到Delete操作类型数据，则将预选保留数据集合01中对应的原有数据进行删除，以保持实时计算引擎的内存中的预选保留数据集合01与最新保留数据集合01的强一致性。
唯一标识信息，可以是目标保留数据的唯一ID或者其他编码符号等。
数据标识信息，可以是原始CAN信号的唯一ID或者其他编码符号等。
汽车智能诊断系统可对目标保留数据集合中的唯一标识信息和提取到的原始CAN信号集合中的每一条原始CAN信号对应的数据标识信息进行比对，将没有查找到与目标保留数据集合中的唯一标识信息对应的数据标识信息的原始CAN信号丢弃，将查找到与目标保留数据集合中的唯一标识信息对应的数据标识信息的原始CAN信号保留下来，获得CAN信号数据流(即未被丢弃的原始CAN信号)。
本申请实施例提供的技术方案，通过对原始CAN信号集合进行数据过滤处理，以将该原始CAN信号集合中与后续的分析任务无关或者无用的数据过滤掉，从而大大减少了后续需求解析的数据量，不仅可减少计算资源的耗费量，还可有效地提高汽车诊断系统的解析效率，同时还可以大大地减轻汽车诊断系统的数据存储负担，有利于释放出更多的内存空间。
在一些实施例中，上述步骤S104，具体包括如下步骤：
基于第一数据通道中的第一流式计算策略对CAN信号数据流进行流式计算，得到实时CAN信号数据流；
基于第二数据通道中的第二流式计算策略对CAN信号数据流进行流式计算，得到诊断信号数据流。
第一流式计算策略，是指针对CAN信号数据流进行流式计算以获得实时CAN信号数据流的流式处理算子。
第二流式计算策略，是指针对CAN信号数据流进行流式计算以获得诊断信号数据流的流式处理算子。
一般地，实时CAN信号的数据量大解析逻辑简单，诊断信号的数据量少解析逻辑复杂。如果采用单数据通道对CAN信号数据流进行数据处理，那么数据量大解析逻辑简单的实时CAN信号的数据处理效率容易因受到数据量少解析逻辑复杂的诊断信号的复杂逻辑的干扰影响而降低，从而影响到对CAN信号数据流的整体处理效率。
为解决上述问题，本申请实施例提出了在第一数据通道中调取第一流式计算策略对CAN信号数据流进行流式计算，得到实时CAN信号数据流；在第二数据通道中调取第二流式计算策略对CAN信号数据流进行流式计算，得到诊断信号数据流，即采用双数据通道对CAN信号数据流进行流式处理的方式，可避免数据量大解析逻辑简单的实时CAN信号的数据处理效率因受到数据量少解析逻辑复杂的诊断信号的复杂逻辑的干扰影响而降低，从而有效地提高了对CAN信号数据流的整体处理效率。
在一些实施例中，可先确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源；然后，在第一数据通道中，利用第一虚拟计算资源和第一流式计算策略对CAN信号数据流进行流式计算，得到实时CAN信号数据流；在第二数据通道中，利用第二虚拟计算资源和第二流式计算策略对CAN信号数据流进行流式计算，得到诊断信号数据流。
可以根据下述步骤确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源。具体地，可先确定实时CAN信号数据流的第一数据吞吐量，以及诊断信号数据流的第二数据吞吐量；最后根据第一数据吞吐量和第二数据吞吐量，确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源。
可以根据下述步骤确定实时CAN信号数据流的第一数据吞吐量：确定实时CAN信号数据流的上报频率；根据上报频率，计算第一数据吞吐量。
其中，第一虚拟计算资源，可以理解为用于对流入第一数据通道内的CAN信号数据流进行流式计算的虚拟资源(如运用数据库、程序编辑而成的信息资源)。
第二虚拟计算资源，可以理解为用于对流入第二数据通道内的CAN信号数据流进行流式计算的虚拟资源(如运用数据库、程序编辑而成的信息资源)。
上报频率，是指CAN总线向汽车诊断系统上报CAN信号的时间间隔，该时间间隔可以根据实际情况灵活设置，例如，该时间间隔为1秒、2秒、10秒等。
第一数据吞吐量，可以理解为单位时间内对CAN信号数据流中的数据进行流式计算以输出实时CAN信号数据流的数量(以比特、字节、分组等测量)。
第二数据吞吐量，可以理解为单位时间内对CAN信号数据流中的数据进行流式计算以输出诊断信号数据流的数量(以比特、字节、分组等测量)。
由于CAN信号数据流中的实时CAN信号与诊断信号的数据量和解析逻辑存在很大的差别，所以对于虚拟计算资源的需求也往往是不同的。如果分配的虚拟计算资源不恰当，很可能会因计算资源分配过多而导致计算资源耗费，或者因计算资源分配不足而导致数据处理缓慢，甚至无法完成全部数据的处理。
作为一示例，首先，获取与业务场景对应的目标保留数据集合，从原始CAN信号集合中筛选出CAN信号数据流；然后，根据CAN信号和诊断信号的上报频率，计算出对CAN信号数据流进行处理以获得实时CAN信号数据流的第一数据吞吐量；以及对CAN信号数据流进行处理以获得诊断信号数据流的第二数据吞吐量。
接下来，根据下述公式(1)：T1＝(P1*M1/W1)，计算出第一数据通道中用于对CAN信号数据流进行处理以获得实时CAN信号数据流的第一算子并行度T1。式(1)中，P1表示CAN信号频率，即实时CAN信号的上报频率，M1表示CAN信号过滤表中实时CAN信号的数量，W1表示单个算子的并发处理能力。
第一数据吞吐量与CAN信号过滤表中的实时CAN信号的数量有关。
根据下述公式(2)：T2＝(P2*M2/W2)，计算出第二数据通道中用于对CAN信号数据流进行处理以获得诊断信号数据流的第二算子并行度T2。式(2)中，P2表示诊断信号的上报频率，M2表示CAN信号过滤表中的诊断信号的数量，W2表示单个算子的并发处理能力。
其中，W1与W2可以是相同的，也可以是不同的。
第二数据吞吐量与CAN信号过滤表中诊断信号的数量有关。
算子并行度，是指某个算子被切分为多少个算子子任务，每一个算子子任务处理一部分数据。各个算子子任务并行地在多个子任务上执行。例如，算子并行度为2，那么它被切分为2个算子子任务，这2个算子子任务分别并行处理一部分数据。
接着，根据第一算子并行度和第二算子并行度，确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源。一般情况下，算子并行度越大，对虚拟计算资源的需求越大，相应的应该多分配一些虚拟计算资源给该数据通道，以提高对CAN信号数据流进行流式计算的整体效率。
最后，在第一数据通道中，利用第一虚拟计算资源对CAN信号数据流进行流式计算，得到实时CAN信号数据流。在第二数据通道中，利用第二虚拟计算资源对CAN信号数据流进行流式计算，得到诊断信号数据流。
本申请实施例提供的技术方案，可实现按需合理分配虚拟计算资源，并利用第一数据通道和第二数据通道分配到的虚拟计算资源对CAN信号数据流进行双通道分流处理，在达到计算资源的相互隔离目的的同时可节省计算资源，从而有利于降低整体数据处理的成本。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图2是本申请实施例提供的一种CAN信号处理装置的示意图。如图2所示，该CAN信号处理装置包括：
获取模块201，被配置为获取原始CAN信号集合，原始CAN信号集合包括多条原始CAN信号；
过滤模块202，被配置为对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流；
创建模块203，被配置为创建第一数据通道、第二数据通道和第三数据通道；
划分模块204，被配置为基于第一数据通道、第二数据通道，将CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流；
解析模块205，被配置为在第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。
本申请实施例提供的技术方案，通过过滤模块202对原始CAN信号集合进行数据过滤处理，以将该原始CAN信号集合中与后续的分析任务无关或者无用的数据过滤掉，从而大大减少了后续需求解析的数据量，不仅可减少计算资源的耗费量，还可有效地提高汽车诊断系统的解析效率，同时还可以大大地减轻汽车诊断系统的数据存储负担，有利于释放出更多的内存空间。此外，通过创建模块203创建多个数据通道，并通过划分模块204对数据流进行双通道分流处理，可实现不同数据通道之间的计算资源的相互隔离，提升对CAN信号数据流的流式处理效率，避免不同的数据流处理逻辑之间受到干扰影响而导致数据处理效率降低的问题(如简单的数据流处理逻辑容易受到复杂的数据流处理逻辑的影响而导致数据处理效率降低)，有利于提高整体的数据处理效率。
在一些实施例中，上述过滤模块202包括：
确定单元，被配置为确定业务场景信息；
获取单元，被配置为获取业务场景信息匹配的目标保留数据集合，目标保留数据集合包括多条目标保留数据，每一条目标保留数据对应一个唯一标识信息；
提取单元，被配置为提取原始CAN信号集合中的每一条原始CAN信号对应的数据标识信息；
过滤单元，被配置为根据唯一标识信息和数据标识信息，对原始CAN信号集合进行数据过滤处理，得到CAN信号数据流。
在一些实施例中，上述获取单元，具体包括：
监听组件，被配置为监听关系型数据库的操作日志，关系型数据库中存储有多个保留数据集合；
查找组件，被配置为从操作日志中查找出与业务场景信息对应的最新保留数据集合和最新操作数据；
同步组件，被配置为从指定内存中调取出与业务场景信息对应的预选保留数据集合，基于最新操作数据和最新保留数据集合，对预选保留数据集合进行同步更新，得到目标保留数据集合。
本申请实施例提供的技术方案，通过对原始CAN信号集合进行数据过滤处理，以将该原始CAN信号集合中与后续的分析任务无关或者无用的数据过滤掉，从而大大减少了后续需求解析的数据量，不仅可减少计算资源的耗费量，还可有效地提高汽车诊断系统的解析效率，同时还可以大大地减轻汽车诊断系统的数据存储负担，有利于释放出更多的内存空间。
在一些实施例中，上述划分模块204，包括：
第一计算单元，被配置为基于第一数据通道中的第一流式计算策略对CAN信号数据流进行流式计算，得到实时CAN信号数据流；
第二计算单元，被配置为基于第二数据通道中的第二流式计算策略对CAN信号数据流进行流式计算，得到诊断信号数据流。
在一些实施例中，上述划分模块204，还包括：
资源确定单元，被配置为确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源；
上述第一计算单元，具体包括：
第一计算组件，被配置为在第一数据通道中，利用第一虚拟计算资源和第一流式计算策略对CAN信号数据流进行流式计算，得到实时CAN信号数据流；
上述第二计算单元，具体包括：
第二计算组件，被配置为在第二数据通道中，利用第二虚拟计算资源和第二流式计算策略对CAN信号数据流进行流式计算，得到诊断信号数据流。
在一些实施例中，上述资源确定单元，具体包括：
确定组件，被配置为确定实时CAN信号数据流的第一数据吞吐量，以及诊断信号数据流的第二数据吞吐量；
分配组件，被配置为根据第一数据吞吐量和第二数据吞吐量，确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源。
在一些实施例中，上述确定组件，具体包括：
确定部件，被配置为确定实时CAN信号数据流的上报频率；
计算部件，被配置为根据上报频率，计算第一数据吞吐量。
本申请实施例提供的技术方案，可实现按需合理分配虚拟计算资源，并利用第一数据通道和第二数据通道分配到的虚拟计算资源对CAN信号数据流进行双通道分流处理，在达到计算资源的相互隔离目的的同时可节省计算资源，从而有利于降低整体数据处理的成本。
图3是本申请实施例的一种汽车智能诊断系统的结构示意图。如图3所示，该汽车智能诊断系统包括实时计算引擎301和联机分析处理引擎302。
其中，实时计算引擎301用于实现上述的CAN信号处理方法，以将目标数据写入联机分析处理引擎中；
联机分析处理引擎302用于对目标数据进行数据分析，以将数据分析结果进行展示。
本申请实施例提供的技术方案，通过实时计算引擎301获取CAN总线上的原始CAN信号集合，并对对原始CAN信号集合进行数据过滤处理，以将该原始CAN信号集合中与后续的分析任务无关或者无用的数据过滤掉，从而大大减少了后续需求解析的数据量，不仅可减少计算资源的耗费量，还可有效地提高汽车诊断系统的解析效率，同时还可以大大地减轻汽车诊断系统的数据存储负担，有利于释放出更多的内存空间。此外，通过创建多个数据通道对数据流进行处理，可实现不同数据通道之间的计算资源的相互隔离，提升对CAN信号数据流的流式处理效率，避免不同的数据流处理逻辑之间受到干扰影响而导致数据处理效率降低的问题(如简单的数据流处理逻辑容易受到复杂的数据流处理逻辑的影响而导致数据处理效率降低)，有利于提高整体的数据处理效率。之后，实时计算引擎301将解析得到的解析数据写入到联机分析处理引擎302中。联机分析处理引擎302在接收到该解析数据后，对该解析数据做进一步的数据分析、统计、展现。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种CAN信号处理方法，其特征在于，包括：
获取原始CAN信号集合，所述原始CAN信号集合包括多条原始CAN信号；
对所述原始CAN信号集合进行数据过滤处理，得到CAN信号数据流；
创建第一数据通道、第二数据通道和第三数据通道；
基于所述第一数据通道、第二数据通道，将所述CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流；
在所述第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对所述实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。
2.根据权利要求1所述的方法，其特征在于，对所述原始CAN信号集合进行数据过滤处理，得到CAN信号数据流，包括：
确定业务场景信息；
获取所述业务场景信息匹配的目标保留数据集合，所述目标保留数据集合包括多条目标保留数据，每一条目标保留数据对应一个唯一标识信息；
提取所述原始CAN信号集合中的每一条原始CAN信号对应的数据标识信息；
根据所述唯一标识信息和数据标识信息，对所述原始CAN信号集合进行数据过滤处理，得到CAN信号数据流。
3.根据权利要求2所述的方法，其特征在于，获取与所述业务场景信息匹配的目标保留数据集合，包括：
监听关系型数据库的操作日志，所述关系型数据库中存储有多个保留数据集合；
从所述操作日志中查找出与所述业务场景信息对应的最新保留数据集合和最新操作数据；
从指定内存中调取出与所述业务场景信息对应的预选保留数据集合，基于所述最新操作数据和所述最新保留数据集合，对所述预选保留数据集合进行同步更新，得到目标保留数据集合。
4.根据权利要求1所述的方法，其特征在于，基于所述第一数据通道、第二数据通道，将所述CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流，包括：
基于第一数据通道中的第一流式计算策略对所述CAN信号数据流进行流式计算，得到实时CAN信号数据流；
基于第二数据通道中的第二流式计算策略对所述CAN信号数据流进行流式计算，得到诊断信号数据流。
5.根据权利要求4所述的方法，其特征在于，基于第一数据通道中的第一流式计算策略对所述CAN信号数据流进行流式计算，得到实时CAN信号数据流之前，还包括：
确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源；
基于第一数据通道中的第一流式计算策略对所述CAN信号数据流进行流式计算，得到实时CAN信号数据流，包括：
在第一数据通道中，利用第一虚拟计算资源和第一流式计算策略对所述CAN信号数据流进行流式计算，得到实时CAN信号数据流；
基于第二数据通道中的第二流式计算策略对所述CAN信号数据流进行流式计算，得到诊断信号数据流，包括：
在第二数据通道中，利用第二虚拟计算资源和第二流式计算策略对所述CAN信号数据流进行流式计算，得到诊断信号数据流。
6.根据权利要求5所述的方法，其特征在于，确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源，包括：
确定所述实时CAN信号数据流的第一数据吞吐量，以及所述诊断信号数据流的第二数据吞吐量；
根据所述第一数据吞吐量和第二数据吞吐量，确定分配给第一数据通道的第一虚拟计算资源，以及分配给第二数据通道的第二虚拟计算资源。
7.根据权利要求6所述的方法，其特征在于，确定所述实时CAN信号数据流的第一数据吞吐量，包括：
确定所述实时CAN信号数据流的上报频率；
根据所述上报频率，计算第一数据吞吐量。
8.一种CAN信号处理装置，其特征在于，包括：
获取模块，被配置为获取原始CAN信号集合，所述原始CAN信号集合包括多条原始CAN信号；
过滤模块，被配置为对所述原始CAN信号集合进行数据过滤处理，得到CAN信号数据流；
创建模块，被配置为创建第一数据通道、第二数据通道和第三数据通道；
划分模块，被配置为基于所述第一数据通道、第二数据通道，将所述CAN信号数据流划分为实时CAN信号数据流和诊断信号数据流；
解析模块，被配置为在所述第三数据通道中，接收来自第一数据通道的实时CAN信号数据流和来自第二数据通道的诊断信号数据流，并对所述实时CAN信号数据流和诊断信号数据流进行解析，得到解析数据。
9.一种汽车智能诊断系统，其特征在于，包括实时计算引擎、联机分析处理引擎；
所述实时计算引擎用于实现权利要求1～7中任一项所述的CAN信号处理方法，以将解析数据写入联机分析处理引擎中；
所述联机分析处理引擎用于对所述解析数据进行数据分析，并对数据分析结果进行展示。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
CN202310295837.2A 2023-03-24 2023-03-24 一种can信号处理方法、装置、系统及电子设备 Pending CN116346650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310295837.2A CN116346650A (zh) 2023-03-24 2023-03-24 一种can信号处理方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310295837.2A CN116346650A (zh) 2023-03-24 2023-03-24 一种can信号处理方法、装置、系统及电子设备

Publications (1)

Publication Number Publication Date
CN116346650A true CN116346650A (zh) 2023-06-27

Family

ID=86875776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310295837.2A Pending CN116346650A (zh) 2023-03-24 2023-03-24 一种can信号处理方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN116346650A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194094A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 数据处理方法、装置、存储介质及计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194094A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 数据处理方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN111400186A (zh) 性能测试方法及系统
CN112527848B (zh) 基于多数据源的报表数据查询方法、装置、系统及存储介质
CN116346650A (zh) 一种can信号处理方法、装置、系统及电子设备
CN110704484A (zh) 一种对海量实时数据流进行处理的方法及系统
CN113656503A (zh) 数据同步方法、装置、系统及计算机可读存储介质
CN110765195A (zh) 一种数据解析方法、装置、存储介质及电子设备
CN116016628A (zh) 一种api网关埋点分析方法及装置
CN112416557B (zh) 调用关系的确定方法和装置、存储介质及电子装置
CN110968592A (zh) 元数据采集方法、装置、计算机设备及计算机可读存储介质
CN114095032A (zh) 基于Flink和RVR的数据流压缩方法、边缘计算系统及存储介质
CN114238516A (zh) 数据同步方法、系统及计算机可读介质
CN113726624A (zh) Tbox装置采集can信号的方法和装置
CN113535757A (zh) 一种冷热数据的发现方法、装置、设备及可读存储介质
CN112232290A (zh) 数据聚类方法、服务器、系统以及计算机可读存储介质
CN109558403B (zh) 数据聚合方法及装置、计算机装置及计算机可读存储介质
CN111343047A (zh) 一种监控ib网络流量的方法及系统
CN116029731A (zh) 一种处理行情数据的方法、装置及电子设备
CN111737097B (zh) 一种流处理系统的性能测试方法及相关装置
CN112799776B (zh) 多分区操作系统监控方法、装置、计算设备及存储介质
DE112010003922T5 (de) Verringern von Mehraufwänden bei einer Anwendungsverarbeitung
CN112818055B (zh) 区块链的性能优化方法、装置及设备
CN116962407B (zh) 分布式链路标签的处理方法和装置、分布式链路追踪系统及分布式系统
US20230334068A1 (en) Data processing method and apparatus thereof, electronic device, and computer-readable storage medium
CN117648373A (zh) 一种数据同步方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240117

Address after: No. 13 Xingxiang Road, Zengjia Town, High tech Zone, Shapingba District, Chongqing, 400039

Applicant after: Chongqing Selis Phoenix Intelligent Innovation Technology Co.,Ltd.

Address before: 610095 No. 2901, floor 29, unit 1, building 1, No. 151, Tianfu Second Street, high tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan Province

Applicant before: Chengdu Thalys Technology Co.,Ltd.