CN111586155A - 车辆数据处理方法和系统 - Google Patents

车辆数据处理方法和系统 Download PDF

Info

Publication number
CN111586155A
CN111586155A CN202010367673.6A CN202010367673A CN111586155A CN 111586155 A CN111586155 A CN 111586155A CN 202010367673 A CN202010367673 A CN 202010367673A CN 111586155 A CN111586155 A CN 111586155A
Authority
CN
China
Prior art keywords
event
data
uploaded
cloud server
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010367673.6A
Other languages
English (en)
Inventor
沈亮
刘咪咪
黎雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai East China Automotive Information Technology Co Ltd
Original Assignee
Shanghai OFilm Smart Car Technology Co Ltd
Shanghai East China Automotive Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai OFilm Smart Car Technology Co Ltd, Shanghai East China Automotive Information Technology Co Ltd filed Critical Shanghai OFilm Smart Car Technology Co Ltd
Priority to CN202010367673.6A priority Critical patent/CN111586155A/zh
Publication of CN111586155A publication Critical patent/CN111586155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5683Storage of data provided by user terminals, i.e. reverse caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种车辆数据处理方法和系统,所述方法包括:辆终端采集车辆原始数据,并对所述车辆原始数据计算进行解析获得面向不同基本事件的事件数据;所述车辆终端对所述事件数据进行预处理,以从所述事件数据中剔除无用数据;所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据;所述车辆终端将所述待上传事件数据上传至云端服务器。采用本方法能够减少上传的数据量,从而可以降低资源消耗,且云端服务器可以对该些待上传数据进行分析,这样数据量较少,可以减少云端数据分析负荷。

Description

车辆数据处理方法和系统
技术领域
本申请涉及车辆智能技术领域,特别是涉及一种车辆数据处理方法和系统。
背景技术
现代汽车工业快速发展,自动驾驶、车联网、远程控制等各种新型功能和用户体验被引入到汽车中,汽车的复杂度几何级的提升,车内通信负载从原先的30-40%到现在70-90%,翻了一倍多,从而对于车辆的运行监控和异常行为的捕获带来了很大的困扰。自从有了车联网之后,数据可以实时上传到云端,大量的数据上传之后进行汇总,利用数据统计和模型算法进行各种大数据分析。一台车一天的数据量就可以达到几GB,消耗大量的数据流量和云端存储的资源,和云端数据分析的负荷。
发明内容
基于此,有必要针对上述技术问题,提供一种能够降低资源消耗,减少云端数据分析负荷的车辆数据处理方法和系统。
一种车辆数据处理方法,所述方法包括:
车辆终端采集车辆原始数据,并对所述车辆原始数据进行解析获得面向不同基本事件的事件数据;
所述车辆终端对所述事件数据进行预处理,以从所述事件数据中剔除无用数据;
所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据;
所述车辆终端将所述待上传事件数据上传至云端服务器。
上述实施例中,车辆终端通过对原始数据进行解析获得面向不同基本事件的事件数据,然后对事件数据进行预处理,以从事件数据中剔除无用数据,这样对剔除无用数据的事件数据进行分级处理得到待上传事件数据,从而车辆终端可以直接对该待上传事件上传至云端服务器,这样可以减少上传的数据量,从而可以降低资源消耗,且云端服务器可以对该些待上传数据进行分析,这样数据量较少,可以减少云端数据分析负荷。
在其中一个实施例中,所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据,包括:
车辆终端获取到云端服务器更新分级策略,并根据所述分级策略对所述事件数据进行分级处理得到待上传事件。
上述实施例中,分级策略时云端服务器下发的,这样云端服务器可以根据大数据分析的结果对分级策略进行更新,从而可以实现分级策略的迭代优化,使得待上传事件数据更加准确,为后续的数据分析的准确性奠定基础。
在其中一个实施例中,所述事件数据包括多种类型的基本事件,所述车辆终端对所述事件数据进行预处理,以从所述事件数据中剔除无用数据,包括:
所述车辆终端根据终端规则判断所述基本事件是否为异常事件;
当所述车辆终端判定所述基本事件不为异常事件时,则从所述事件数据中剔除与所述异常事件对应的事件数据;
所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据,包括:
当所述车辆终端判定所述基本事件为异常事件时,对为异常事件的基本事件增加异常标识;
所述车辆终端将添加有异常标识的基本事件作为待上传事件。
上述实施例中,当基本事件被判定为异常事件时,说明车辆当前存在故障,这样的异常事件极有可能造成事故,因此为了避免这种情况的发生,可以直接将存在问题的异常事件作为待上传事件进行上传,这样的数据才是有价值的,为后续云端服务器的大数据分析奠定基础。
在其中一个实施例中,所述车辆终端将所述待上传事件数据上传至云端服务器之后,还包括:
云端服务器对所述待上传事件数据进行大数据分析。
上述实施例中,车辆终端通过对原始数据进行计算得到基本事件,然后对剔除无用数据的事件数据进行分级处理得到待上传事件数据,从而车辆终端可以直接对该待上传事件上传至云端服务器,这样可以减少上传的数据量,从而可以降低资源消耗,且云端服务器可以对该些待上传数据进行分析,这样数据量较少,可以减少云端数据分析负荷。
在其中一个实施例中,所述待上传事件数据包括多种类型的待上传事件,所述云端服务器对所述待上传事件数据进行大数据分析之前,还包括:
云端服务器判断所述待上传事件是否为异常事件;
当所述待上传事件为异常事件时,则所述云端服务器向所述车辆终端发送日志上传请求;
所述车辆终端根据所述日志上传请求将异常事件对应的系统日志上传至云端服务器。
上述实施例中,由于数据分析是在云端的,车辆终端仅是进行简单的分析,因此车辆终端所判断的异常事件是部分的,比较简单的判断,而云端服务器则是更高价的判断,这样在云端进行进一步的分析,可以提高大数据分析的准确性,且仅在车辆终端进行部分分析,也可以减少车辆终端的压力。
在其中一个实施例中,所述云端服务器判断所述待上传事件是否为异常事件,包括:
云端服务器判断所述待上传事件是否携带有异常标识,或者是根据云端规则判断所述待上传事件是否为异常事件。
上述实施例中,云端服务器可以根据异常标识来进行判断,这样减少云端服务器的占用,提高数据的处理效率。且在云端进行进一步的分析,可以提高大数据分析的准确性,且仅在车辆终端进行部分分析,也可以减少车辆终端的压力。
在其中一个实施例中,所述云端服务器对所述待上传事件进行大数据分析,包括:
所述云端服务器判断所述异常事件是否对应有分级策略;
当所述异常事件未对应有分级策略时,则云端服务器增加上传所述异常事件的分级策略。
上述实施例中,云端服务器可以根据异常事件来对分级策略进行更新优化,通过不断地采集,分析,优化分级策略,在演进过程中数据越传越少,信息量却不会丢失;或者剔除无用数据,深入采集更多有用数据。
在其中一个实施例中,所述分级策略的生成方式包括:
车辆终端采集车辆原始数据,并判断所述车辆原始数据是否存在异常;
当所述车辆原始数据存在异常时,则所述车辆终端将存在异常的车辆原始数据上传至云端服务器;
云端服务器对存在异常的车辆原始数据进行分析得到初步上传事件;
所述云端服务器根据所述初步上传事件生成分级策略。
上述实施例中,在初始使用的时候,可以仅是异常数据采集的策略,这样只需要通车辆终端来采集车辆原始数据,然后获取到容易出现异常的上传到云端服务器,从而来生成分级策略,保证了一开始使用的准确性。
在其中一个实施例中,所述云端服务器根据所述初步上传事件生成分级策略,包括:
云端服务器对所述初步上传事件进行分组得到需上传事件、待计算事件以及无需上传事件;
所述云端服务器配置与所述待计算事件对应的新事件计算逻辑,并根据所述新事件计算逻辑对所述待计算事件进行处理得到新增事件;
所述云端服务器根据所述需上传事件、新增事件以及无需上传事件生成分级策略。
上述实施例中,云端服务器对初步事件进行分组处理,这样针对不同份的分组分别建立不同的处理逻辑,从而保证分级策略的准确性。
在其中一个实施例中,所述云端服务器根据所述需上传事件、新增事件以及无需上传事件生成分级策略,包括:
云端服务器配置所述需上传事件以及新增事件的上传频率;
云端服务器根据所述需上传事件、所述需上传事件的上传频率、所述新增事件、所述新增事件的上传频率以及无需上传事件生成分级策略。
上述实施例中,云端服务器还根据需要来调整各个事件的上传频率,这样保证分级策略的准确性。
在其中一个实施例中,所述方法还包括:
所述云端服务器接收针对所述分级策略的开发指令;
所述云端服务器根据所述开发指令对所述分级策略进行调整。
上述实施例中,对于分级策略还可以支持二次开发,提供可编程逻辑实现,这样可以使得该方法的适用范围更广,适用性更强。
一种车辆数据处理系统,所述系统包括车辆终端和云端服务器:
所述车辆终端用于采集车辆原始数据,并对所述车辆原始数据计算进行解析获得面向不同基本事件的事件数据;对所述事件数据进行预处理,以从所述事件数据中剔除无用数据;根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据;以及将所述待上传事件数据上传至云端服务器。
上述实施例中,车辆终端通过对原始数据进行解析获得面向不同基本事件的事件数据,然后对事件数据进行预处理,以从事件数据中剔除无用数据,这样对剔除无用数据的事件数据进行分级处理得到待上传事件数据,从而车辆终端可以直接对该待上传事件上传至云端服务器,这样可以减少上传的数据量,从而可以降低资源消耗,且云端服务器可以对该些待上传数据进行分析,这样数据量较少,可以减少云端数据分析负荷。
附图说明
图1为一个实施例中车辆数据处理系统的结构框图;
图2为一个实施例中车辆数据处理方法的流程示意图;
图3为一个实施例中的异常事件处理步骤的流程图;
图4为另一个实施例中的车辆数据处理方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的车辆数据处理方法,可以应用于如图1所示的应用环境中。其中,车辆终端102通过网络与云端服务器104进行通信。其中车辆终端102 采集车辆的车辆原始数据,这样可以对车辆原始数据计算进行解析获得面向不同基本事件的事件数据,然后对事件数据进行预处理,以从事件数据中剔除无用数据,这样根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据,从而将待上传事件数据上传至云端服务器即可,这样云端服务器对待上传事件数据进行大数据分析。采用上述车辆数据处理方法可以减少上传的数据量,从而可以降低资源消耗,且云端服务器可以对该些待上传事件数据进行分析,这样数据量较少,可以减少云端数据分析负荷。车辆终端实时采集车辆原始数据,加载分级策略进行“事件”抽象,周期性将事件包和相关日志上传云端服务器,同时车辆终端支持分级策略的实时更新,满足迭代升级的需求。相比较传统的采集原始数据的方法来说,本申请提供的车辆数据处理方法提供数据预加工,从原材料变成半成品,所以很多车辆原始数据经过分级策略计算之后可能只有一个数值或者一条事件记录,减少了数据量。其中,车辆终端102可以但不限于是安装在车辆上的各种个人计算机、笔记本电脑、智能手机、平板电脑等,且每一台车内配置一个专用终端或者是一个满足采集需求替代控制器为载体,可以是硬件形式也可以以软件为载体植入已有终端,只要能获得车内网络数据和连接到云端,有配套数据记录载体即可。云端服务器104 可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种车辆数据处理方法,包括以下步骤:
S202:车辆终端采集车辆原始数据,并对车辆原始数据计算进行解析获得面向不同基本事件的事件数据。
具体地,车辆原始数据是指车辆上各个传感器以及控制器所采集的数据,例如车速等。车辆终端可以实时采集车辆原始数据并将该车辆原始数据进行存储,例如存储到一缓存队列中,以便于进行下一步的基本事件计算。
其中面向不同基本事件的事件数据的计算可以包括信号解析以及对解析后的数据的提取,其中信号解析可以是指按照预设的规则对所采集的车辆原始数据进行处理得到可以用于生成基本事件的数据,然后车辆终端按照预先设置的基本事件对解析后的事件数据进行分类得到面向各种基本事件的事件数据,其中,基本事件可以包括但不限于数值型基本事件、事件型基本事件以及异常基本事件等。
S204:车辆终端对事件数据进行预处理,以从事件数据中剔除无用数据。
具体地,此处的预处理是指对事件中的无用数据的删除,包括一些常规的不变的数据,或者是正常的数据,这样对有价值的数据进行后续处理,可以减少数据处理的量,提高处理效率。
S206:车辆终端根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据。
具体地,分级策略是用于对剔除无用数据的事件数据进行分级处理得到待上传事件数据的策略,该分级策略是对基本事件的二次分拣,该二次分拣是针对于预处理来说的,该二次分拣是用于判定哪些需要上传,哪些是需要根据基本事件再进行计算得到新的事件,以及各个待上传事件上传的频率等。因此对基本事件的处理可以包括直接缓存以及对基本事件进行二次计算后再缓存,以便于得到待上传事件,这样车辆原始数据经过分级策略计算之后可能只有一个数值或者一条事件记录,减少了数据量。
S208:车辆终端将待上传事件数据上传至云端服务器。
具体地,车辆终端在讲待上传事件上传至云端服务器时,可以是对缓存的待上传事件进行打包,然后将打包好的数据按照固定的周期上传至云端服务器,例如按照1分钟/次的频率进行上传等。
其中,可选地,车辆终端将待上传数据上传至云端服务器后,云端服务器可以对待上传事件进行大数据分析。
具体地,云端服务器主要是用于收集车辆终端上传的各种待上传事件,然后汇总加工成有用的信息,并将有用的信息提供给各种应用以进行大数据分析,云端服务器的视角相比较车辆终端来说是多维度的,主要的分析角度是以单车时间轴的纵向维度和所有同款车的对比的横向维度,按照分级策略计算可以将一部分的纵向和一部分的横向维度的计算由云端服务器统筹下发执行,从而让车辆终端的计算也有云端的一部分全局视角,甚至可以带有一定的预测性(同款单车的某个特征,在其他同款车上的预测和预警)。这样车辆终端可以由云端服务器进行统筹指挥,任务分派,分担一部分算量,提升车辆终端事件处理的及时性,提升数据的准确性、针对性以及有效性。
上述实施例中,车辆终端通过对原始数据进行解析获得面向不同基本事件的事件数据,然后对事件数据进行预处理,以从事件数据中剔除无用数据,这样对剔除无用数据的事件数据进行分级处理得到待上传事件数据,从而车辆终端可以直接对该待上传事件上传至云端服务器,这样可以减少上传的数据量,从而可以降低资源消耗,且云端服务器可以对该些待上传数据进行分析,这样数据量较少,可以减少云端数据分析负荷。
在其中一个实施例中,车辆终端根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据,包括:车辆终端获取到云端服务器更新后的分级策略,并根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据。
具体地,云端服务器和车辆终端形成一个分级策略的迭代更新功能,通过不断地采集、分析、优化分级策略的任务量和策略,在演进过程中数据越传越少,信息量却不会丢失;或者踢出无用数据,深入采集更多有用数据。
具体地,分级策略不仅包括各个待上传事件的上传频率,还包括对基本事件的二次分拣的规则,例如哪些事件以后不需要上传或者是上传频率减少或增加,新增需要上传的待上传事件等等。云端服务器根据各个车辆终端上传的待上传事件、各个应用对事件的关注点以及随着技术的发展来调整分级策略,例如随着技术的发展某些待上传事件其不会出现异常,则后续没有必要再上传到云端服务器,因此分级策略中可以删除掉针对该待上传事件的上传策略以及生成策略等。
上述实施例中,分级策略时云端服务器下发的,这样云端服务器可以根据大数据分析的结果对分级策略进行更新,从而可以实现分级策略的迭代优化,使得待上传事件更加准确,为后续的数据分析的准确性奠定基础。
在其中一个实施例中,事件数据包括多种类型的基本事件,车辆终端对事件数据进行预处理,以从事件数据中剔除无用数据,包括:车辆终端根据终端规则判断基本事件是否为异常事件;当车辆终端判定基本事件不为异常事件时,则从事件数据中剔除与异常事件对应的事件数据;车辆终端根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据,包括:当车辆终端判定基本事件为异常事件时,对为异常事件的基本事件增加异常标识;车辆终端将添加有异常标识的基本事件作为待上传事件
上述实施例中,当基本事件被判定为异常事件时,说明车辆当前存在故障,这样的异常事件极有可能造成事故,因此为了避免这种情况的发生,可以直接将存在问题的异常事件作为待上传事件进行上传,这样的数据才是有价值的,为后续云端服务器的大数据分析奠定基础。
在其中一个实施例中,云端服务器对待上传事件进行大数据分析之前,还包括:云端服务器判断待上传事件是否为异常事件;当待上传事件为异常事件时,则云端服务器向车辆终端发送日志上传请求;车辆终端根据日志上传请求将异常事件对应的系统日志上传至云端服务器。
上述实施例中,由于数据分析是在云端的,车辆终端仅是进行简单的分析,因此车辆终端所判断的异常事件是部分的,比较简单的判断,而云端服务器则是更高价的判断,这样在云端进行进一步的分析,可以提高大数据分析的准确性,且仅在车辆终端进行部分分析,也可以减少车辆终端的压力。
在其中一个实施例中,云端服务器判断待上传事件是否为异常事件,包括:云端服务器判断待上传事件是否携带有异常标识,或者是根据云端规则判断待上传事件是否为异常事件。
上述实施例中,云端服务器可以根据异常标识来进行判断,这样减少云端服务器的占用,提高数据的处理效率。且在云端进行进一步的分析,可以提高大数据分析的准确性,且仅在车辆终端进行部分分析,也可以减少车辆终端的压力。
具体地,请参见图3所示,图3为一个实施例中的异常事件处理步骤的流程图,本实施例中存在两次异常事件的判断,一次是在车辆终端进行简单的异常事件的判断,另外一次是在云端服务器进行高级的异常事件的判断。且由于整车的正常数据都是时时刻刻在传输的,如果都上传数据量太大。所以只有出现问题的时候再上传数据才是有价值的,平时正常开车数据的价值则不是很高。因此分级策略中可以包括触发车辆终端上传异常事件的策略。
具体地,终端规则即是云端服务器下发到车辆终端进行数据处理的规则,云端规则是在车辆终端无法进行判断的异常事件的识别规则。具体地,车辆终端首先根据终端规则判断基本事件是否为异常事件,例如通过数值范围判断、平均值偏离异常以及信号确实异常等方式进行简单判断,如果存在异常,则对该些基本事件添加异常标识,并将该些添加有异常标识的基本事件作为待上传事件进行缓存,以便于车辆终端进行上传等。
云端服务器在接收到车辆终端上传的待上传事件数据后,也需要判断待上传事件数据对应的待上传事件是否为异常事件,且由于在车辆终端进行了一部分的判断,因此针对该部分判断,云端服务器可以直接获取到添加有异常标识的待上传事件,而针对有没有添加异常标识的待上传事件,则可以根据云端规则进行处理,以得到异常事件。
此外,为了后续云端服务器的分析的可靠性,车辆终端在判断出基本事件为异常事件后,则需要对异常事件对应的原始车辆数据的日志进行缓存,并建立该些日志与异常事件的关联关系,从而云端服务器在判断出异常事件后,可以根据大数据分析的需求来判断是否需要车辆终端发送该些日志,如果需要,则云端服务器向车辆终端发送日志上传请求;车辆终端根据日志上传请求将异常事件对应的系统日志上传至云端服务器,从而保证了后续大数据分析的准确性。
且可选地,云端服务器可以进行横向处理,即云端服务器接收到各个车辆终端上传的待上传事件后,则进行预检,其中预检时可以对待上传数据进行分类并行处理,这样可以提高处理效率,例如按照事件的类型进行分类,每一分类对应一套预检规则,则并行执行该些预检规则以判断各个车辆终端上传的待上传事件是否异常,然后再分类执行后,按照车辆进行汇总以得到每个车辆对应的异常事件等,便于后续获取异常事件对应的系统日志。
上述实施例中,云端服务器收到车辆终端发送的待上传事件之后进行暂存,然后“预检”进行数据初筛,当发现数据异常发送时,获取上传车辆原始数据。预检之后的数据就提供给大数据系统进行进一步的分析和提炼,形成有价值的信息。
在其中一个实施例中,云端服务器对待上传事件进行大数据分析,包括:云端服务器判断异常事件是否对应有分级策略;当异常事件未对应有分级策略时,则云端服务器增加上传异常事件的分级策略。
具体地,云端服务器对待上传事件进行大数据分析的一个目的是更新分级策略,例如云端服务器可以根据异常事件来更新分级策略,例如分级策略中增加新的策略,或者是调整分级策略中事件的发送频率,以及分级策略中删除一些测流等。当存在异常事件,且该异常事件的次数大于预设值,例如大于100 次,则需要对该事件进行关注,因此可以查看分级策略是否存在针对该异常事件的处理策略,如果不存在,则云端服务器增加上传异常事件的分级策略。且此外,如果存在该异常事件对应的分级策略,但是当前是每5次上传一次,且该异常事件的次数大于预设值,例如大于100次,则需要对该事件进行关注,因此云端服务器增加该异常事件上传频率的策略。
上述实施例中,云端服务器可以根据异常事件来对分级策略进行更新优化,通过不断地采集,分析,优化分级策略,在演进过程中数据越传越少,信息量却不会丢失;或者踢出无用数据,深入采集更多有用数据。
在其中一个实施例中,分级策略的生成方式包括:车辆终端采集车辆原始数据,并判断车辆原始数据是否存在异常;当车辆原始数据存在异常时,则车辆终端将存在异常的车辆原始数据上传至云端服务器;云端服务器对存在异常的车辆原始数据进行分析得到初步上传事件;云端服务器根据初步上传事件生成分级策略。
上述实施例中,在方法初始使用的时候,可以仅是异常数据采集的策略,这样只需要通车辆终端来采集车辆原始数据,然后获取到容易出现异常的上传到云端服务器,从而来生成分级策略,保证了方法一开始使用的准确性。
在其中一个实施例中,云端服务器根据初步上传事件生成分级策略,包括:云端服务器对初步上传事件进行分组得到需上传事件、待计算事件以及无需上传事件;云端服务器配置与待计算事件对应的新事件计算逻辑,并根据新事件计算逻辑对待计算事件进行处理得到新增事件;云端服务器根据需上传事件、新增事件以及无需上传事件生成分级策略。
上述实施例中,云端服务器对初步事件进行分组处理,这样针对不同份的分组分别建立不同的处理逻辑,从而保证分级策略的准确性。
在其中一个实施例中,云端服务器根据需上传事件、新增事件以及无需上传事件生成分级策略,包括:云端服务器配置需上传事件以及新增事件的上传频率;云端服务器根据需上传事件、需上传事件的上传频率、新增事件、新增事件的上传频率以及无需上传事件生成分级策略。
上述实施例中,云端服务器还根据需要来调整各个事件的上传频率,这样保证分级策略的准确性。
在其中一个实施例中,上述的车辆数据处理方法还包括:云端服务器接收针对分级策略的开发指令;云端服务器根据开发指令对分级策略进行调整。
上述实施例中,对于分级策略还可以支持二次开发,提供可编程逻辑实现,这样可以使得该方法的适用范围更广,适用性更强。
具体地,本实施例中提供一种补充机制,即“发现异常提取车辆原始数据”,这个机制主要用于弥补云端服务器不知道要采集什么数据的问题,例如系统刚上线的时候,云端服务器和车辆终端会有一个初始的策略,按照“是否运行正常”进行计算。当出现偏离预期或者横向纵向比较数据发生异常的时候,由云端服务器触发车辆原始数据的上传,车辆终端在收到这个请求的时候,将相关车辆原始数据上传备案,等候云端服务器分析判断,等云端服务器进行数据分析之后相应的事件就可以配置成不需要上传车辆原始数据,即系统日志,所以上传的系统日志数量会逐渐减少。
具体地,云端服务器在进行分析的时候,可以对初步上传事件进行分组得到需上传事件、待计算事件以及无需上传事件,这样云端服务器可以根据有价值事件进行配置,以确定根据待计算事件计算得到有价值事件的计算逻辑,从而云端服务器根据新事件计算逻辑对待计算事件进行处理得到新增事件。这样云端服务器就可以根据需上传事件、新增事件以及无需上传事件生成分级策略。且在根据需上传事件、新增事件以及无需上传事件生成分级策略时,云端服务器配置需上传事件以及新增事件的上传频率,这样还可以对各个事件的频率进行控制,从而使得分级策略更为准确,且事件的频率可以是根据云端事件的分析来确定的或者是第三方服务的数据更新频率来进行确定。
此外,为了保证分级策略的个性化,该分级策略还可以支持二次开发提供可编程逻辑实现,这样可以使得该方法的适用范围更广,适用性更强,例如,可以接收到用户输入的二次开发的分级策略,然后计算运算量,若运算量小于预设值,则继续判断该二次开发的分级策略是否为符合要求,例如是否是死循环等,只有合适后,云端服务器根据开发指令对分级策略进行调整。
请继续参见图4所示,图4为另一个实施例中的车辆数据处理方法的流程图,在该实施例中,车辆终端采集到车辆原始数据,对事件数据进行预处理,以从事件数据中剔除无用数据;车辆终端根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据,然后将待上传事件数据上传到云端服务器,云端服务器汇总得到所有车辆的待上传事件数据,然后进行预检后,云端服务器进行大数据分析,得到有价值的数据,此外根据该大数据分析还可以进行优化分级策略,并将优化后的分级策略下发到车辆终端。
此外,在一开始时,例如系统刚上线的时候,云端服务器和车辆终端会有一个初始的策略,按照“是否运行正常”进行计算。当出现偏离预期或者横向纵向比较数据发生异常的时候,由云端服务器触发车辆原始数据的上传,车辆终端在收到这个请求的时候,将相关车辆原始数据上传备案,等候云端服务器分析判断,等云端服务器进行数据分析之后相应的事件就可以配置成不需要上传车辆原始数据,即系统日志,所以上传的系统日志数量会逐渐减少。
上述车辆数据处理方法利用分级策略,在保证信息量不丢失的前提下,减少数据传输的量;利用分级策略的迭代策略进一步提升信息的有效性(剔除不关心的数据,搜集有针对性的数据),利用云端服务器和车辆终端的一体化架构,将整个云端服务器和所有车辆终端组成一个大系统。车辆终端首先将原先的需要上传的数据保存到“数据采集缓存”,然后根据分级策略对数据进行计算,所遵循的是由云端服务器下发的“分级策略”。经过分级策略计算车辆原始数据将会被分类加工,成为“事件信息”,这些事件的数据量相比较原始数据的量要少非常多,几百个字节的原始数据可以压缩到仅仅几个事件十几个字节,缩小10 倍以上,从而可以减少数据传输和处理。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图1所示,提供了一种车辆数据处理系统,包括:车辆终端和云端服务器:
车辆终端用于采集车辆原始数据,并对车辆原始数据进行解析获得面向不同基本事件的事件数据;对事件数据进行预处理,以从事件数据中剔除无用数据;根据分级策略对剔除无用数据的事件数据进行分级处理得到待上传事件数据;将待上传事件数据上传至云端服务器。
在其中一个实施例中,车辆终端还用于获取到云端服务器更新分级策略,并根据分级策略对事件数据进行分级处理得到待上传事件。
在其中一个实施例中,事件数据包括多种类型的基本事件,车辆终端还用于根据终端规则判断基本事件是否为异常事件;当车辆终端判定基本事件不为异常事件时,则从事件数据中剔除与异常事件对应的事件数据;当车辆终端判定基本事件为异常事件时,对为异常事件的基本事件增加异常标识;将添加有异常标识的基本事件作为待上传事件。
在其中一个实施例中,云端服务器用于对待上传事件数据进行大数据分析。
在其中一个实施例中,云端服务器还用于判断待上传事件是否为异常事件;当待上传事件为异常事件时,则向车辆终端发送日志上传请求。
车辆终端还用于根据日志上传请求将异常事件对应的系统日志上传至云端服务器。
在其中一个实施例中,云端服务器还用于判断待上传事件是否携带有异常标识,或者是根据云端规则判断待上传事件是否为异常事件。
在其中一个实施例中,云端服务器还用于判断异常事件是否对应有分级策略;当异常事件未对应有分级策略时,则增加上传异常事件的分级策略。
在其中一个实施例中,车辆终端还用于采集车辆原始数据,并判断车辆原始数据是否存在异常;当车辆原始数据存在异常时,则将存在异常的车辆原始数据上传至云端服务器。
云端服务器还用于对存在异常的车辆原始数据进行分析得到初步上传事件;根据初步上传事件生成分级策略。
在其中一个实施例中,云端服务器还用于对初步上传事件进行分组得到需上传事件、待计算事件以及无需上传事件;配置与待计算事件对应的新事件计算逻辑,并根据新事件计算逻辑对待计算事件进行处理得到新增事件;根据需上传事件、新增事件以及无需上传事件生成分级策略。
在其中一个实施例中,云端服务器还用于配置需上传事件以及新增事件的上传频率;根据需上传事件、需上传事件的上传频率、新增事件、新增事件的上传频率以及无需上传事件生成分级策略。
在其中一个实施例中,云端服务器还用于接收针对分级策略的开发指令;根据开发指令对分级策略进行调整。
关于车辆数据处理系统的具体限定可以参见上文中对于车辆数据处理方法的限定,在此不再赘述。上述车辆数据处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限, RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种车辆数据处理方法,所述方法包括:
车辆终端采集车辆原始数据,并对所述车辆原始数据进行解析获得面向不同基本事件的事件数据;
所述车辆终端对所述事件数据进行预处理,以从所述事件数据中剔除无用数据;
所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据;
所述车辆终端将所述待上传事件数据上传至云端服务器。
2.根据权利要求1所述的方法,其特征在于,所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据,包括:
车辆终端获取到云端服务器更新分级策略,并根据所述分级策略对所述事件数据进行分级处理得到待上传事件。
3.根据权利要求2所述的方法,其特征在于,所述事件数据包括多种类型的基本事件,所述车辆终端对所述事件数据进行预处理,以从所述事件数据中剔除无用数据,包括:
所述车辆终端根据终端规则判断所述基本事件是否为异常事件;
当所述车辆终端判定所述基本事件不为异常事件时,则从所述事件数据中剔除与所述异常事件对应的事件数据;
所述车辆终端根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据,包括:
当所述车辆终端判定所述基本事件为异常事件时,对为异常事件的基本事件增加异常标识;
所述车辆终端将添加有异常标识的基本事件作为待上传事件。
4.根据权利要求1至3任意一项所述的方法,其特征在于,所述车辆终端将所述待上传事件数据上传至云端服务器之后,还包括:
云端服务器对所述待上传事件数据进行大数据分析。
5.根据权利要求4所述的方法,其特征在于,所述待上传事件数据包括多种类型的待上传事件,所述云端服务器对所述待上传事件数据进行大数据分析之前,还包括:
云端服务器判断所述待上传事件是否为异常事件;
当所述待上传事件为异常事件时,则所述云端服务器向所述车辆终端发送日志上传请求;
所述车辆终端根据所述日志上传请求将异常事件对应的系统日志上传至云端服务器。
6.根据权利要求5所述的方法,其特征在于,所述云端服务器判断所述待上传事件是否为异常事件,包括:
云端服务器判断所述待上传事件是否携带有异常标识,或者是根据云端规则判断所述待上传事件是否为异常事件。
7.根据权利要求6所述的方法,其特征在于,所述云端服务器对所述待上传事件进行大数据分析,包括:
所述云端服务器判断所述异常事件是否对应有分级策略;
当所述异常事件未对应有分级策略时,则云端服务器增加上传所述异常事件的分级策略。
8.根据权利要求4所述的方法,其特征在于,所述分级策略的生成方式包括:
车辆终端采集车辆原始数据,并判断所述车辆原始数据是否存在异常;
当所述车辆原始数据存在异常时,则所述车辆终端将存在异常的车辆原始数据上传至云端服务器;
云端服务器对存在异常的车辆原始数据进行分析得到初步上传事件;
所述云端服务器根据所述初步上传事件生成分级策略。
9.根据权利要求8所述的方法,其特征在于,所述云端服务器根据所述初步上传事件生成分级策略,包括:
云端服务器对所述初步上传事件进行分组得到需上传事件、待计算事件以及无需上传事件;
所述云端服务器配置与所述待计算事件对应的新事件计算逻辑,并根据所述新事件计算逻辑对所述待计算事件进行处理得到新增事件;
所述云端服务器根据所述需上传事件、新增事件以及无需上传事件生成分级策略。
10.根据权利要求9所述的方法,其特征在于,所述云端服务器根据所述需上传事件、新增事件以及无需上传事件生成分级策略,包括:
云端服务器配置所述需上传事件以及新增事件的上传频率;
云端服务器根据所述需上传事件、所述需上传事件的上传频率、所述新增事件、所述新增事件的上传频率以及无需上传事件生成分级策略。
11.根据权利要求8所述的方法,其特征在于,所述方法还包括:
所述云端服务器接收针对所述分级策略的开发指令;
所述云端服务器根据所述开发指令对所述分级策略进行调整。
12.一种车辆数据处理系统,其特征在于,所述系统包括车辆终端和云端服务器:
所述车辆终端用于采集车辆原始数据,并对所述车辆原始数据计算进行解析获得面向不同基本事件的事件数据;对所述事件数据进行预处理,以从所述事件数据中剔除无用数据;根据分级策略对剔除无用数据的所述事件数据进行分级处理得到待上传事件数据;以及将所述待上传事件数据上传至云端服务器。
CN202010367673.6A 2020-04-30 2020-04-30 车辆数据处理方法和系统 Pending CN111586155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367673.6A CN111586155A (zh) 2020-04-30 2020-04-30 车辆数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367673.6A CN111586155A (zh) 2020-04-30 2020-04-30 车辆数据处理方法和系统

Publications (1)

Publication Number Publication Date
CN111586155A true CN111586155A (zh) 2020-08-25

Family

ID=72127602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367673.6A Pending CN111586155A (zh) 2020-04-30 2020-04-30 车辆数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN111586155A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170705A (zh) * 2021-11-17 2022-03-11 华人运通(江苏)技术有限公司 车辆数据上传方法、装置和设备
CN114647229A (zh) * 2022-03-25 2022-06-21 重庆长安汽车股份有限公司 基于大数据框架的整车通信网络的处理系统及处理方法
CN114945148A (zh) * 2021-02-07 2022-08-26 广州汽车集团股份有限公司 一种车载通信终端信息安全入侵检测方法及系统
CN115473910A (zh) * 2022-06-01 2022-12-13 北京罗克维尔斯科技有限公司 数据管理方法及装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954420A (zh) * 2014-03-25 2015-09-30 福特全球技术公司 可变报告速率远程信息处理
CN105009098A (zh) * 2013-03-01 2015-10-28 丰田自动车株式会社 数据发送装置、数据共享系统、数据共享方法以及消息交换系统
CN105049512A (zh) * 2015-07-28 2015-11-11 深圳市汇川技术股份有限公司 物联网数据传输方法及系统
CN106364424A (zh) * 2015-07-24 2017-02-01 广州汽车集团股份有限公司 一种车辆异常信息传输系统、方法及智能车载盒
CN107249169A (zh) * 2017-05-31 2017-10-13 厦门大学 车载网络环境下基于雾节点的事件驱动的数据收集方法
US20170302626A1 (en) * 2016-04-13 2017-10-19 VisualThreat Inc. Vehicle communication system based on controller-area network bus firewall
CN109308749A (zh) * 2017-07-26 2019-02-05 比亚迪股份有限公司 车辆缺陷诊断方法、汽车及服务器
CN109801398A (zh) * 2018-12-14 2019-05-24 福建钰辰微电子有限公司 一种基于rfid物联网车载智能终端数据监控管理系统
CN111049937A (zh) * 2019-12-31 2020-04-21 长城汽车股份有限公司 智能网联汽车的数据处理系统及数据传输方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009098A (zh) * 2013-03-01 2015-10-28 丰田自动车株式会社 数据发送装置、数据共享系统、数据共享方法以及消息交换系统
CN104954420A (zh) * 2014-03-25 2015-09-30 福特全球技术公司 可变报告速率远程信息处理
CN106364424A (zh) * 2015-07-24 2017-02-01 广州汽车集团股份有限公司 一种车辆异常信息传输系统、方法及智能车载盒
CN105049512A (zh) * 2015-07-28 2015-11-11 深圳市汇川技术股份有限公司 物联网数据传输方法及系统
US20170302626A1 (en) * 2016-04-13 2017-10-19 VisualThreat Inc. Vehicle communication system based on controller-area network bus firewall
CN107249169A (zh) * 2017-05-31 2017-10-13 厦门大学 车载网络环境下基于雾节点的事件驱动的数据收集方法
CN109308749A (zh) * 2017-07-26 2019-02-05 比亚迪股份有限公司 车辆缺陷诊断方法、汽车及服务器
CN109801398A (zh) * 2018-12-14 2019-05-24 福建钰辰微电子有限公司 一种基于rfid物联网车载智能终端数据监控管理系统
CN111049937A (zh) * 2019-12-31 2020-04-21 长城汽车股份有限公司 智能网联汽车的数据处理系统及数据传输方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945148A (zh) * 2021-02-07 2022-08-26 广州汽车集团股份有限公司 一种车载通信终端信息安全入侵检测方法及系统
CN114170705A (zh) * 2021-11-17 2022-03-11 华人运通(江苏)技术有限公司 车辆数据上传方法、装置和设备
CN114647229A (zh) * 2022-03-25 2022-06-21 重庆长安汽车股份有限公司 基于大数据框架的整车通信网络的处理系统及处理方法
CN115473910A (zh) * 2022-06-01 2022-12-13 北京罗克维尔斯科技有限公司 数据管理方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111586155A (zh) 车辆数据处理方法和系统
CN110445637B (zh) 事件监控方法、系统、计算机设备和存储介质
WO2021217624A1 (zh) 车辆数据处理方法和系统
WO2021217630A1 (zh) 车辆数据上传方法、装置、计算机设备和存储介质
CN111586150A (zh) 车辆数据上传方法、装置、计算机设备和存储介质
CN110690984A (zh) 基于Spark的大数据网络日志采集分析和预警的方法、系统
WO2021217637A1 (zh) 终端策略配置方法、装置、计算机设备和存储介质
CN110134738B (zh) 分布式存储系统资源预估方法、装置
CN111583442B (zh) 终端策略配置方法、装置、计算机设备和存储介质
CN117040141B (zh) 电力智能网关的安全监测系统及方法
CN113326177A (zh) 一种指标异常检测方法、装置、设备及存储介质
CN112612680A (zh) 一种消息告警方法、系统、计算机设备及存储介质
CN112463542A (zh) 日志异常原因诊断方法、装置、计算机设备和存储介质
CN113051330A (zh) 基于大数据的实时环境监控方法、装置及计算机设备
CN115622867A (zh) 一种工控系统安全事件预警分类方法及系统
CN113268530A (zh) 海量异构数据采集方法、系统、计算机设备和存储介质
CN118275903A (zh) 一种基于数据分析的电池性能测试方法
CN117112039B (zh) 一种数据中心的传输优化系统及运行方法
WO2021217626A1 (zh) 车辆数据处理方法、装置、计算机设备和存储介质
CN116071902B (zh) 一种监控机房动力设备的方法、设备及介质
CN111523609A (zh) 车辆数据处理方法、装置、计算机设备和存储介质
CN116630978A (zh) 长尾数据获取方法、装置、系统、设备和存储介质
CN115664992A (zh) 网络运行数据的处理方法、装置、电子设备及介质
CN115269519A (zh) 一种日志检测方法、装置及电子设备
CN114328750A (zh) 一种将业务数据同步ods层的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210118

Address after: No.21, Lane 2277, Zuchongzhi Road, Pudong New Area, Shanghai, 200135

Applicant after: SHANGHAI CETC-MOTOR Co.,Ltd.

Address before: No.21, Lane 2277, Zuchongzhi Road, Pudong New Area, Shanghai, 200135

Applicant before: SHANGHAI CETC-MOTOR Co.,Ltd.

Applicant before: SHANGHAI OFILM INTELLIGENT VEHICLE Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200825

WD01 Invention patent application deemed withdrawn after publication