CN110011962B - 一种车联网业务数据的识别方法 - Google Patents

Abstract

本发明公开了一种车联网业务数据的识别方法：根据已知车联网平台IP或已知车联网协议标识位，采集车联网业务数据样本，并对采集到的每个车联网业务数据样本数据包按照已知车联网协议规则进行解析，得到每个样本数据包所包含的字段；统计所得到字段的出现频率，将出现频率大于第一预定阈值的字段作为车联网业务字段；提取每种车联网业务字段的特征，并制定车联网业务字段内容特征规则；利用制定的车联网业务字段内容特征规则，以及车联网业务字段关联特征规则和车联网业务数据判定规则，生成特征文件；根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据。能够识别未知车联网协议的业务数据。

Description

一种车联网业务数据的识别方法

技术领域

本发明涉及车联网技术领域，特别涉及一种车联网业务数据的识别方法。

背景技术

车联网是利用先进传感技术、网络技术、计算技术、控制技术、智能技术、安全技术对道路和交通进行全面感知，实现大范围、大容量数据的交互，以提供智能化交通管理、智能动态信息服务和车辆智能化控制的一体化网络，是物联网技术在交通领域的典型应用。随着科学技术的发展，车联网已经成为未来机动车网络的主要发展方向。

近年来，车联网被认为是物联网体系中最有产业潜力、市场需求最明确的领域之一，是信息化与工业化深度融合的重要方向，具有应用空间广、产业潜力大、社会效益强的特点，对促进汽车和信息通信产业创新发展，构建汽车和交通服务新模式新业态，推动自动驾驶技术创新和应用，提高交通效率和安全水平具有重要意义。

车联网业务数据以移动网络作为传输载体，车联网业务数据识别技术能够从大量网络流量数据中准确提取与联网车有关的信息，剔除无关流量。使用车联网业务数据识别技术从网络中获取联网车辆的数据，并对数据进行实时分析，能够对联网车辆进行位置监控，运行管理，安全预警等管理，从整体上把控车联网安全态势。

车联网目前处于起步发展状态，现有的车联网业务数据识别技术主要有，车联网平台IP检测，已知协议格式检测，专用卡号检测。

一、车联网平台IP检测，是指通过预先调研车联网监控或管理平台相关信息，获取车联网平台IP，利用IP为规则作为对应的平台产出的车联网业务数据的特征。车联网服务器(Telematics Service Provider，TSP平台，车联网平台)是车联网架构中数据处理中心和储存中心，车辆的运行信息如经纬度，速度，方向，载重等信息常通过移动网络向服务器传输。通过获取车辆和TSP平台的通讯样例，可从中提取TSP平台的IP地址，从而依靠各种平台的IP地址作为车联网业务数据识别的依据。

而目前国内对联网车没有集中管理，甚至对于每种车型，每种品牌的车辆都不具有统一的管理平台，车联网管理平台数量过多，难以统计，平台数据难以收集是车联网平台IP识别面临的最大问题。

二、已知协议格式检测指从已知的多种车联网通信协议中提取规则特征，按照特征从移动网络流量中识别车联网业务数据。

车辆和TSP平台通信数据通常按照国家规定标准或企业标准使用特定的协议格式，当已知某种通信协议格式时，可对协议格式中规定的报文序列进行分析，利用报文规定的特定标识位作为车联网业务数据特征。

通过协议特征提取所得到的车联网业务数据通常具有业务专一性，且可灵活控制，相较于车联网平台IP识别，能够剔除连接建立数据包或其他业务的干扰数据，专注于车辆信息或者人员信息等数据，便于下一步分析业务的处理。同时已知协议格式特征识别也是各大数据识别软件最常用的协议识别方法，例如wireshark，fiddler等，是目前使用的主流方法。

三、专用卡号检测

车联网体系由于车辆终端的户外和移动特性，必然使用移动网络作为网络传输媒介。联网车辆出厂前安装有能够接入运营商基站的专用物联网卡，由移动网络的核心网将以IMSI为身份识别的数据包转化为以IP为身份的数据包。结合运营商核心网可通过联网车辆使用的IMSI从海量移动网络数据中提取指定IMSI卡号发送和接收的数据，即监测指定车辆的通信数据。

然而通常联网车辆卡号分配相关信息由车企和车机生厂商保存，难以获得全面的物联网卡号分配信息，无法满足大量车联网业务数据获取和分析的需求。

由上述可见，目前主流的车联网业务数据识别方式能够有效的检测到已知格式和已知来源的协议，但对于未知格式车联网协议，私有车联网协议和标准格式的变种协议无法有效检测，无法在协议格式信息不足的情况下把控车联网整体局势。

无法识别未知协议

基于已知协议格式的特征的识别方法可以识别已知协议格式的车联网业务数据，但无法识别未知格式的协议。目前公开的车联网协议标准仅有GB/T国标，各车企通过自建平台管理车辆数据，使用自己的私有通信协议格式，这些协议通常不公开，给全面采集车联网数据带来巨大挑战。

无法有效识别变种协议

多数国家标准如新能源车辆通信标准如GB/T 32960标准为了适应多种不同车企和车型，给协议格式留下了较大的改动空间。部分车企使用的通信协议是标准协议的变种，甚至每种车型都具备自己的变种协议。这类变种协议数据通常与标准协议类似，但又存在字段增删，特征码意义更换，字段位置互换等情况，常规的协议无法检测并分析这类协议，极容易导致车联网业务数据的漏识别。

发明内容

有鉴于此，本发明的发明目的是：能够识别未知车联网协议的业务数据。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明提供了一种车联网业务数据的识别方法，该方法包括：

根据已知车联网平台IP或已知车联网协议标识位，采集车联网业务数据样本，并对采集到的每个车联网业务数据样本数据包按照已知车联网协议规则进行解析，得到每个样本数据包所包含的字段；

统计所得到字段的出现频率，将出现频率大于第一预定阈值的字段作为车联网业务字段；

提取每种车联网业务字段的特征，并制定车联网业务字段内容特征规则；

利用制定的车联网业务字段内容特征规则，以及制定的车联网业务字段关联特征规则和车联网业务数据判定规则，生成特征文件；

根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据。

由上述的技术方案可见，本发明首先根据已知车联网平台IP或已知车联网协议标识位进行特征提取，形成特征文件，然后根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据。本发明的方案具有识别未知车联网协议的能力，同时具有识别变种车联网协议的能力，能够最大限度的抓取常规车联网业务数据。

附图说明

图1为本发明提出的一种车联网业务数据的识别方法的流程示意图。

图2为采集到的车联网业务数据样本数据包示意图。

具体实施方式

为使本发明的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

现有技术中也可以实现车联网业务数据的识别，但主要识别的是已知车联网协议，但无法识别未知车联网协议，以及无法有效识别变种的车联网协议。本发明的核心思想是，首先根据已知车联网协议，尽可能大量采集车联网业务数据样本，进行车联网业务字段特征提取，形成特征文件，然后根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据。本发明的方案可以识别使用未知协议或基于多种标准格式变种的车联网业务数据。需要注意的是，本发明中对于车联网业务数据样本，指的是车载终端和车联网平台之间的通信数据。采集的样本越多，提取的特征就越多，越有利于对未知车联网协议的数据包的检测。对于车联网业务数据，不同的业务包括车况监控，车辆诊断等，其中车况监控业务数据中包含车辆电量/油量，车辆速度，车辆高度，车辆位置，车辆载人情况，车辆里程等业务字段。

本发明实施例提出的一种车联网业务数据的识别方法，其流程示意图如图1所示，该方法包括：

步骤11、根据已知车联网平台IP或已知车联网协议标识位，采集车联网业务数据样本，并对采集到的每个车联网业务数据样本数据包按照已知车联网协议规则进行解析，得到每个样本数据包所包含的字段；

本发明中可以通过两种方式采集车联网业务数据样本，第一种是根据已知车联网平台IP采集车联网业务数据样本，第二种是根据已知车联网协议标识位采集车联网业务数据样本。其中，第一种，根据已知车联网平台IP采集车联网业务数据样本的方法包括：根据已知车联网平台IP查找到与所述已知车联网平台IP有关的数据包；根据已知车联网协议标识位，对查找到的与所述已知车联网平台IP有关的数据包进行进一步查找，将与所述已知车联网协议标识位有关的数据包作为车联网业务数据样本。第二种，直接根据已知车联网协议标识位，查找到与所述已知车联网协议标识位有关的数据包作为车联网业务数据样本。

步骤12、统计所得到字段的出现频率，将出现频率大于第一预定阈值的字段作为车联网业务字段；

在具体实施例统计中，一般经纬度、身份证号、车辆速度等都是高频出现字段，可作为车联网业务字段。而中文地名，运营商名称，系统名称，系统版本等都可能属于低频出现字段。

步骤13、提取每种车联网业务字段的特征，并制定车联网业务字段内容特征规则；

本步骤中结合提取的每种车联网业务字段的特征，制定车联网业务字段内容特征规则包括：每个车联网业务字段的字段长度，字段上下阈值，字段位置。字段上下阈值可以根据字段的实际意义结合采集的样本数据来确定。

步骤14、利用制定的车联网业务字段内容特征规则，以及制定的车联网业务字段关联特征规则和车联网业务数据判定规则，生成特征文件；

所述特征文件为自定义格式。

其中，制定车联网业务字段关联特征规则包括：对于每个车联网业务字段，设定该车联网业务字段在同一数据包中是否允许重复，并设定该车联网业务字段在同一数据包中必须关联出现的其他车联网业务字段。

其中，制定车联网业务数据判定规则可以有两种方式：

第一种是，如果一个数据包中包含的车联网业务字段数量超过第二预定阈值，则确定该数据包为车联网业务数据。

第二种是，将统计所得到的车联网业务字段出现频率作为车联网业务字段的权重系数，将一个数据包中包含的每个车联网业务字段的权重系数相加后得到权重和，如果所述权重和超过第三预定阈值，则确定该数据包为车联网业务数据。

需要说明的是，步骤11至14，是采集车联网业务数据样本，进行特征提取，形成特征文件的过程。在具体应用中可以将所得到的特征文件加载到车联网业务数据识别引擎中，以进行未知车联网协议的数据包的识别。

步骤15、根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据。

本步骤中，如果按照第一种车联网业务数据判定规则，则具体方法包括：

根据特征文件中车联网业务字段内容特征规则，确定该未知车联网协议的数据包中的每个字段是否满足车联网业务字段的特征，并确定满足车联网业务字段特征的字段数量M；

根据特征文件中车联网业务字段关联特征规则，对该M个满足车联网业务字段特征的每一个字段进行关联检测，如果存在不满足关联特征的字段，则确定该数据包不是车联网业务数据；如果该M个都满足关联特征，则，

根据特征文件中车联网业务数据判定规则，如果该未知车联网协议的数据包中包含的车联网业务字段数量M超过第二阈值，则确定该数据包为车联网业务数据。

本步骤中，如果按照第二种车联网业务数据判定规则，则具体方法包括：

根据特征文件中车联网业务字段内容特征规则，确定该未知车联网协议的数据包中的每个字段是否满足车联网业务字段的特征，并确定满足车联网业务字段特征的字段数量M；

根据特征文件中车联网业务字段关联特征规则，对该M个满足车联网业务字段特征的每一个字段进行关联检测，如果存在不满足关联特征的字段，则确定该数据包不是车联网业务数据；如果该M个都满足关联特征，则，

根据特征文件中车联网业务数据判定规则，将M个车联网业务字段各自对应的权重系数相加得到权重和，如果所述权重和超过第三预定阈值，则确定该数据包为车联网业务数据。

至此，完成了本发明的车联网业务数据的识别方法。

优选地，在确定该未知车联网协议的数据包是车联网业务数据之后，该方法进一步包括：输出识别报告；所述识别报告包括：该未知车联网协议的数据包IP地址，端口以及内容；该未知车联网协议的数据包内所包含车联网业务字段的数量，以及各车联网业务字段的内容和在该未知车联网协议的数据包内的相应位置。本发明优选实施例中，输出识别报告目的是为了后续可以对识别报告进行人工检测，对检测为车联网业务数据的数据包进行人工再确认，以确保准确性。

为清楚说明本发明，下面列举具体场景进行说明。

1)根据已知车联网平台IP，查找到与所述已知车联网平台IP有关的数据包。

已知车联网平台IP有多个，本发明中会根据每个已知车联网平台IP，在整个移动网络中去查找相应的数据包。

例如，已知一个车联网平台IP 34.123.14.121，则使用过滤规则“dst ip＝34.123.14.121”，在整个移动网络中查找与该IP通信的所有数据包。

2)根据已知车联网协议标识位，对查找到的与所述已知车联网平台IP有关的数据包进行进一步查找，将与所述已知车联网协议标识位有关的数据包作为车联网业务数据样本。

已知车联网协议有多个，每个车联网协议的特定标识位是不同的，本发明中，对于1)中已经查找到的数据包，会根据每个已知车联网协议标识位，进一步去查找相应的数据包。

例如，道路运输车辆国家标准的车辆位置上报数据使用TCP连接，在应用层数据以“\x7e\x02\x00”开头，以“\x7e”结尾，则使用正则表达式“$\x7e\x02\x00+.\x7e？”过滤，在1)中已经查找到的数据包的基础上，进一步去查找相应的数据包。

3)采集到的车联网业务数据样本数据包有多个，假设采集到的一个车联网业务数据样本数据包如图2所示，该数据包为已知协议格式的数据包，灰色部分为应用层数据。按照已知协议规则进行解析，得到该样本数据包所包含的字段包括但不限于下面这几个字段：电话号码：64698854061；经纬度：01dc6725(hex)06d28de9(hex)；速度：0；时间：17年10月16日15时11分47。

步骤1)至3)是采集样本并解析的过程，所以会得到相当多个字段，以便在后续步骤4)中进行统计以得到出现频率较高的车联网业务字段。

4)统计所得到字段的出现频率，将出现频率大于第一预定阈值的字段作为车联网业务字段。

5)通过采集样本得到的车联网业务字段有多个，

例如，对于经纬度字段，提取并制定的车联网业务字段内容特征规则为：

字段长度：8byte

字段位置：出现在第5个byte后

字段上下阈值：数值上满足如下条件，如表1所示：

表1

例如，对于车架号字段，提取到车架号字段的特征为：

字段长度：17byte

字段上下阈值：所有字节均在ASCII码内

字段位置：第一个byte为“L”

6)制定车联网业务字段关联特征规则，假设如表2所示。

表2

7)制定车联网业务数据判定规则：如果一个数据包中包含的车联网业务字段数量超过第二预定阈值，则确定该数据包为车联网业务数据。

8)利用制定的车联网业务字段内容特征规则，以及制定的车联网业务字段关联特征规则和车联网业务数据判定规则，生成特征文件。在具体应用中可以将所得到的特征文件加载到车联网业务数据识别引擎中，以进行未知车联网协议的数据包的识别。在具体实例中，可以将步骤5)、步骤6)以及步骤7)得到的规则生成特征文件。

9)对每个未知车联网协议的数据包进行检测。本步骤中提取到每个数据包的应用层数据后，依次按照车联网业务字段内容特征规则，车联网业务字段关联特征规则和车联网业务数据判定规则进行检测。

例如，解析到未知车联网协议的数据包内应用层数据为(十六进制)：0xab 0xab0x10 0x29 0x12 0x23 0x34 0x21 0x12 0x13 0x44 0x53 0x43 0x50 0xa9 0xb0 0x020x34 0x7b 0x02

根据特征文件中的车联网业务字段内容特征规则，将其中的每个车联网业务字段进行比对，

例如，根据经纬度字段的特征规则，

字段长度：8byte

字段位置：出现在第5个byte后

字段上下阈值：数值上满足如下条件，如表1所示：

表1

因此，根据字段位置从报文的第6位开始，根据字段长度取8个字节：0x23 0x340x21 0x12 0x13 0x44 0x53 0x43，然后根据字段上下阈值，其中第一个字节0x23>0x07，第5个字节0x13>0x04，所以不满足经纬度字段的特征。

然后，指针后移一字节，再取8个字节，检测0x34 0x21 0x12 0x13 0x44 0x530x43 0x50，依此类推，检测该未知车联网协议的数据包内的应用层数据是否存在经纬度字段。

再例如，根据里程数字段的特征规则，

字段长度：4byte

字段位置：出现在第8个字节之后

字段上下阈值：数值上满足如下条件，如表3所示：

0x00	0x0a	X	X
				byte0	byte1	byte 2	byte 3

表3

因此，根据字段位置从报文的第9位开始，根据字段长度取4个字节：0x12 0x130x44 0x53，然后根据字段上下阈值，其中，第一个字节0x12不等于0x00，第二个字节0x13不等于0x0a，所以不满足里程数字段的特征。

然后，指针后移一字节，再取4个字节，检测0x13 0x44 0x53 0x43，依此类推，检测该未知车联网协议的数据包内的应用层数据是否存在里程数字段。

假设最终检测到该未知车联网协议的数据包内满足车联网业务字段特征的字段有100个，其中包括身份证号字段、以及车辆速度等车联网业务字段。

10)根据特征文件中车联网业务字段关联特征规则，仍然以表2为例，对该100个满足车联网业务字段特征的每一个字段进行关联检测。

例如，只检测到身份证号字段，没有检测到任何与车辆信息相关的字段(车架号或车牌号)，则直接可以确定该数据包不是车联网业务数据。再例如，只检测到车辆速度字段，没有检测到经纬度字段，则直接确定该数据包不是车联网业务数据。

如果这100个车联网业务字段都满足关联特征，则，

11)根据特征文件中车联网业务数据判定规则，确定100是否超过设定的第二预定阈值，如果是，则确定该数据包为车联网业务数据。

如此，每个未知车联网协议的数据包，以及变种车联网协议的数据包都可以得到识别是否是车联网业务数据。

综上，本发明基于车联网业务内容的特征提取将特征提取技术与车联网的实际应用业务相结合，将特征提取技术应用到车联网场景中，是基于大量车联网数据的统计和人工分析的结果。通过本发明的方案，具有识别未知车联网协议的能力，同时具有识别变种车联网协议的能力，能够最大限度的抓取常规车联网业务数据。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种车联网业务数据的识别方法，其特征在于，该方法包括：

根据已知车联网平台IP或已知车联网协议标识位，采集车联网业务数据样本，并对采集到的每个车联网业务数据样本数据包按照已知车联网协议规则进行解析，得到每个样本数据包所包含的字段；

统计所得到字段的出现频率，将出现频率大于第一预定阈值的字段作为车联网业务字段；

提取每种车联网业务字段的特征，并制定车联网业务字段内容特征规则；

利用制定的车联网业务字段内容特征规则，以及制定的车联网业务字段关联特征规则和车联网业务数据判定规则，生成特征文件；

根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据；

其中，制定车联网业务字段关联特征规则包括：对于每个车联网业务字段，设定该车联网业务字段在同一数据包中是否允许重复，并设定该车联网业务字段在同一数据包中必须关联出现的其他车联网业务字段。

2.如权利要求1所述的方法，其特征在于，在确定该未知车联网协议的数据包是车联网业务数据之后，该方法进一步包括：输出识别报告；

所述识别报告包括：该未知车联网协议的数据包IP地址，端口以及内容；该未知车联网协议的数据包内所包含车联网业务字段的数量，以及各车联网业务字段的内容和在该未知车联网协议的数据包内的相应位置。

3.如权利要求1所述的方法，其特征在于，所述根据已知车联网平台IP采集车联网业务数据样本的方法包括：

根据已知车联网平台IP查找到与所述已知车联网平台IP有关的数据包；

根据已知车联网协议标识位，对查找到的与所述已知车联网平台IP有关的数据包进行进一步查找，将与所述已知车联网协议标识位有关的数据包作为车联网业务数据样本。

4.如权利要求1所述的方法，其特征在于，制定车联网业务字段内容特征规则包括：每个车联网业务字段的字段长度，字段上下阈值，字段位置。

5.如权利要求1所述的方法，其特征在于，制定车联网业务数据判定规则包括：

如果一个数据包中包含的车联网业务字段数量超过第二预定阈值，则确定该数据包为车联网业务数据。

6.如权利要求5所述的方法，其特征在于，根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据的方法包括：

根据特征文件中车联网业务字段内容特征规则，确定该未知车联网协议的数据包中的每个字段是否满足车联网业务字段的特征，并确定满足车联网业务字段特征的字段数量M；

根据特征文件中车联网业务字段关联特征规则，对该M个满足车联网业务字段特征的每一个字段进行关联检测，如果存在不满足关联特征的字段，则确定该数据包不是车联网业务数据；如果该M个都满足关联特征，则，

根据特征文件中车联网业务数据判定规则，如果该未知车联网协议的数据包中包含的车联网业务字段数量M超过第二阈值，则确定该数据包为车联网业务数据，M为自然数。

7.如权利要求1所述的方法，其特征在于，制定车联网业务数据判定规则包括：

将统计所得到的车联网业务字段出现频率作为车联网业务字段的权重系数，将一个数据包中包含的每个车联网业务字段的权重系数相加后得到权重和，如果所述权重和超过第三预定阈值，则确定该数据包为车联网业务数据。

8.如权利要求7所述的方法，其特征在于，根据所述特征文件对未知车联网协议的数据包进行检测，识别该未知车联网协议的数据包是否是车联网业务数据的方法包括：

根据特征文件中车联网业务字段内容特征规则，确定该未知车联网协议的数据包中的每个字段是否满足车联网业务字段的特征，并确定满足车联网业务字段特征的字段数量M；

根据特征文件中车联网业务字段关联特征规则，对该M个满足车联网业务字段特征的每一个字段进行关联检测，如果存在不满足关联特征的字段，则确定该数据包不是车联网业务数据；如果该M个都满足关联特征，则，

根据特征文件中车联网业务数据判定规则，将M个车联网业务字段各自对应的权重系数相加得到权重和，如果所述权重和超过第三预定阈值，则确定该数据包为车联网业务数据，M为自然数。

9.如权利要求1所述的方法，其特征在于，所述特征文件为自定义格式。

Images