CN112566058A - 一种车联网自适应防御方法、系统、介质、设备及终端 - Google Patents

Abstract

本发明属于车联网及无线传感器网络中的安全防护技术领域，公开了一种车联网自适应防御方法、系统、介质、设备及终端，获得节点的数据可信度；进行决策后对数据进行验证，统计交互过程中的特征数据；将特征数据以及信任评级上传至云服务器；云服务器根据网络中节点的所有评级计算该节点的信誉值；节点根据信誉值及以及信任阈值得到数据可信度，做出正确决策，使系统效益达到最大，基于不完全信息随机博弈与Q‑learning云服务器选取当前系统最佳的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。本发明降低虚假消息的接受率，抵御恶意节点随机多样化的攻击策略。

Description

一种车联网自适应防御方法、系统、介质、设备及终端

技术领域

本发明属于车联网及无线传感器网络中的安全防护技术领域，尤其涉及一种车联网自适应防御方法、系统、介质、设备及终端。

背景技术

目前：车载自组织网络(VANET)是由车载节点、路边通信基础设施和后台服务器组成的自组织、异构的无线多跳网络，能够为驾驶员提供超视距的道路交通信息，实现碰撞避免、事故告警、路况感知等应用。作为城市智能交通(CIT)系统中的一项关键技术，通过在网络中各个实体之间交换信息来提供道路安全，增强驾驶体验并提高交通的整体效率。网络实体间定期共享安全信息，因此确保通信和内容的安全至关重要。由于VANET中车辆之间的通信是间歇性，当网络中存在恶意节点时，提供基础安全信息的共享环境面临挑战。VANET中不同类型的车辆节点互相通信协作以完成各种任务。每个节点在其传输范围内向/从其邻居节点发送/接收消息，某些节点可能处出于自私或恶意原因而行为不当，影响网络的性能，导致交通拥堵甚至发生交通事故。

针对网络内部的恶意节点，信誉机制得到广泛研究。文献(S.Ahmed，S.Al-Rubeaai:Novel Trust Framework forVehicularNetworks，IEEE Transactions onVehicular Technology，vol.66，no.10，pp.9498-9511，Oct.2017)利用节点间的直接交互经验以及其他节点的推荐经验进行本地信任的计算，该信誉机制对独立、不理性恶意节点的攻击检测有效，但当网络中恶意节点进行合谋攻击时，该信誉机制下对于节点的评估将不准确。并且在当前的信誉机制研究中，恶意车辆节点的行为总是预先定义，并且恶意车辆节点的攻击频率、攻击策略在整个攻击过程中不变，正常车辆节点通过信誉机制计算其他车辆节点的信誉值，与系统预设的信誉阈值进行比较可有效判断出恶意车辆节点。但在实际应用场景中，恶意车辆节点不仅存在多种类型，而且能够根据网络状态拥有动态多样化的攻击策略。同时，当攻击者调整攻击策略保证自身的信誉值在阈值以上时，传统信誉机制评估检测的有效性将受到影响。

通过上述分析，现有技术存在的问题及缺陷为：在实际应用场景中，恶意车辆节点不仅存在多种类型，而且能够根据网络状态拥有动态多样化的攻击策略。同时，当攻击者调整攻击策略保证自身的信誉值在阈值以上时，传统信誉机制评估检测的有效性将受到影响。

解决以上问题及缺陷的难度为：实际应用场景中，无法预测恶意节点的攻击策略，即何时发出虚假消息，以及连续时间片内发出的消息总数中虚假消息比例，当恶意节点采用一定的策略向网络中注入虚假消息时，导致固定不变的评估机制有效性降低，因此防御系统应自适应地采取动态评估的方法，根据恶意节点的攻击强度动态调整评估阈值。引入不完全信息随机博弈，系统对恶意节点的攻击策略未知，借助Q-learning学习所有网络状态下最佳的评估阈值。

解决以上问题及缺陷的意义为：当网络中出现恶意节点时，系统通过及时调整评估阈值可以有效的抵御恶意节点的消息对正常节点决策的影响，从而保证车联网系统的可用性及安全性。

发明内容

针对现有技术存在的问题，本发明提供了一种车联网自适应防御方法、系统、介质、设备及终端。

本发明是这样实现的，一种车联网自适应防御方法，所述车联网自适应防御方法包括：

获取接入网元的车辆节点数据；

基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

进行决策后对数据进行验证，统计交互过程中的特征数据；

基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度；

云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

进一步，所述节点数据中至少包括所述节点与所述接入网元交互的控制面信息和数据面信息；

所述节点的控制面板信息包括：节点当前的全网信誉值、系统当前的信任阈值；

所述节点的数据面信息包括：节点的速度信息、加速度信息、位置信息、业务识别信息。

进一步，所述基于节点的信任值以及当前的信任阈值获得节点的数据可信度，所述方法包括：

采用SIGMOD激励函数描述节点信任值与消息可信度的关系，将系统的信任阈值作为激励函数的阈值，以所述节点当前的信任值作为参数进行计算当前节点的消息可信度；

将消息可信度转化为消息接受率，以消息可信度的概率接受该消息。

进一步，所述进行决策后对数据进行验证，统计交互过程中的特征数据，所述方法包括：

统计时间片内所述节点发送的消息中实际发生的业务消息数，以及虚假的业务消息数。

进一步，所述基于特征数据更新该节点的信任评级，所述方法包括：

采用贝叶斯理论中的Beta分布描述所述节点的信任分布；

特征数据中真实的业务消息数以及虚假消息数分别为Beta分布中的α参数以及β参数；

利用Beta分布的期望值表示对所述节点的信任评级；

同时将所述节点的特征数据以及信任评级上传至云服务器；

所述云服务器根据网络中节点的所有评级计算该节点的信誉值，所述方法包括：

将对所述节点进行评级的所有节点的信誉值归一化，作为其评级的权重因子，计算节点的全网信誉值；

所述云服务器根据各节点的相关数据更新当前系统的信任阈值，所述方法包括：

以恶意节点与系统为博弈双方构建不完全信息随机博弈模型；

基于网络状态的随机性，模型中状态转移概率的未知以及不确定性，借助Q-learning从恶意节点的攻击与阈值调整机制的对抗中对收益函数进行学习，解得更准确的贝叶斯纳什均衡，得到合理的防御策略，使得网络中各节点最大概率接受真实消息拒绝虚假消息，以及最小概率拒绝真实消息接收虚假消息。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取接入网元的车辆节点数据；

基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

进行决策后对数据进行验证，统计交互过程中的特征数据；

基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度；

云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取接入网元的车辆节点数据；

基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

进行决策后对数据进行验证，统计交互过程中的特征数据；

基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度；

云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的车联网自适应防御方法。

本发明的另一目的在于提供一种执行所述车联网自适应防御方法的节点决策设备，所述节点决策设备包括：

请求模块，用于向最近的路边基础设施RSU请求当前时间片内网络中所有节点的信誉值及系统当前信任阈值；

接收模块，用于获取接入网元传输的节点数据以及请求模块中请求的数据；

计算模块，用于计算所述节点所发数据的消息可信度；

决策模块，用于基于所述节点的消息可信度进行消息的接受或拒绝的决策；

统计模块，用于统计时间片内所述节点的特征数据，即发出的消息总数中，实际发生或可信的消息数以及实际未发生或不可信的消息数；

更新模块，用于基于统计模块的结果更新所述节点的信任评级；

发送模块，将所述节点的特征数据以及更新的信任评级向所述云服务器发送。

所述节点请求与所述接入网元交互的控制面信息；

所述节点的控制面信息包括：节点当前的全网信誉值、系统当前的信任阈值；

所述节点接收数据中至少包括所述节点与所述接入网元交互的控制面信息和数据面信息；

所述节点的控制面板信息包括：节点当前的全网信誉值、系统当前的信任阈值；

所述节点的数据面信息包括：节点的速度信息、加速度信息、位置信息、业务识别信息；

所述基于节点的信任值以及当前的信任阈值获得节点的数据可信度，所述方法包括：

采用SIGMOD激励函数描述节点信任值与消息可信度的关系，将系统的信任阈值作为激励函数的阈值，以所述节点当前的信任值作为参数进行计算当前节点的消息可信度；

所述基于将消息可信度转化为消息接受率，以消息可信度的概率接受该消息进行决策；

所述进行决策后对数据进行验证，统计交互过程中的特征数据，所述方法包括：

统计时间片内所述节点发送的消息中实际发生的业务消息数，以及虚假的业务消息数；

所述基于特征数据更新该节点的信任评级，所述方法包括：

采用贝叶斯理论中的Beta分布描述所述节点的信任分布；

特征数据中真实的业务消息数以及虚假消息数分别为Beta分布中的α参数以及β参数；

利用Beta分布的期望值表示对所述节点的信任评级；

将所述节点的特征数据以及信任评级上传至云服务器。

本发明的另一目的在于提供一种执行所述车联网自适应防御方法的信任阈值调整设备，所述信任阈值调整设备包括：

接收模块，用于获取节点传输的特征数据以及信任评级；

计算模块，用于获取网络中各节点的信誉值；

调整模块，用于调整当前系统的最佳信任阈值；

发送模块，用于向RSU下发网络中各节点的信誉值及当前的系统信任阈值。

所述节点的特征数据包括所述节点发出的可信消息数与虚假消息数，用于计算系统在进行不完全信息随机博弈时的最大效益。

所述节点的信誉值由其他节点对该节点的评级得到，对其他节点的信誉值进行归一化作为权重因子。

所述当前系统的最佳信任阈值基于不完全信息随机博弈与Q-learning得出，其中，

所述不完全信息随机博弈模型的参与者为网络内部的恶意节点与系统，随机博弈状态为网络中虚假消息比例，恶意节点向网络中注入不同比例的虚假消息，影响正常节点的决策，降低网络的可用性与安全性；系统选取当前最佳的信任阈值，使正常节点正确评估消息的可信度以最大概率做出正常决策，抵御恶意节点的虚假消息攻击。

恶意节点的虚假消息攻击与阈值调整具有策略依存性，双方的最优策略依据对手策略的变化而变化，双方在制定策略时，会对对手的策略进行预测，根据预测结果选择自己的最优策略，也会预测到对手对自己的预测，从而进一步调整自己的策略因此利用贝叶斯纳什均衡进行攻击预测和防御策略选取。

所述Q-learning方法是由于网络状态的随机性，系统进行阈值调整时无法确定其状态转移概率，导致系统无法获得准确的收益，借助Q-learning方法从恶意节点的攻击与阈值调整机制的对抗中对收益函数进行学习，解得更准确的贝叶斯纳什均衡，得到合理的防御策略。

所述各节点的信誉值及当前的系统信任阈值为最新值，并且只在当前时间片内有效。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明基于不完全信息随机博弈与Q-learning的信任阈值自适应调整机制，动态评估节点消息的可信度，降低虚假消息的接受率，抵御恶意节点随机多样化的攻击策略。

本发明面向多样化攻击策略(动态攻击)的车联网自适应防御系统，基于不完全信息随机博弈与Q-learning的信任阈值自适应调整机制来实现。本发明考虑安全信息的有效传播对于车联网正常运行的意义，针对内部恶意节点的虚假消息攻击，通过信任阈值的自适应调整机制动态评估节点消息的可信度，降低虚假消息的接受率，抵御恶意节点随机多样化的攻击策略。包括：获取接入网元的车辆节点数据；根据节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；进行决策后对数据进行验证，统计交互过程中的特征数据；(可信消息与虚假消息的数量)根据特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；云服务器根据网络中节点的所有评级计算该节点的信誉值，即全网的可信度；云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的车联网自适应防御方法流程图。

图2是本发明实施例提供的车联网自适应防御系统的结构示意图；

图2中：201、请求模块；202、接收模块；203、计算模块；204、决策模块；205、统计模块；206、更新模块；207、发送模块。

图3是本发明实施例提供的信任阈值调整实体组成结构示意图，图3中：301、接收模块；302、计算模块；303、调整模块；304、发送模块。

图4是本发明实施例提供的根据最新的节点信誉值以及最佳的信任阈值，降低网络中恶意节点的虚假消息对其他正常节点的影响，进而维护车联网的可用性及安全性示意图。

图5是本发明实施例提供的防御系统的结构图，图5中：501、第一节点；502、第二节点；503、路边基础设施RSU；504、后台服务器；505、状态数据库。

具体实施方式

为了使本发明的目的、技术方案车联网自适应防御方法、系统、介质、设备及终端中及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种车联网自适应防御方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的车联网自适应防御方法包括以下步骤：

S101：获取接入网元的车辆节点数据；

S102：根据节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

S103：进行决策后对数据进行验证，统计交互过程中的特征数据(可信消息与虚假消息的数量)；

S104：根据特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

S105：云服务器根据网络中节点的所有评级计算该节点的信誉值，即全网的可信度；

S106：云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

本发明提供的车联网自适应防御方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的车联网自适应防御方法仅仅是一个具体实施例而已。

下面结合附图对本发明的技术方案作进一步的描述。

本发明提供的车联网自适应防御系统的架构，包括路边基础设施RSU、云服务器、以及接入车联网的车辆节点；基于本发明中的系统架构，节点实时接收与发送相关业务消息，如安全告警信息、路况感知信息、事故信息等，当网络中存在恶意节点发起随机多样化策略的虚假消息攻击时，影响正常节点的决策，从而降低网络的安全性。

图2为本发明实施例节点决策实体组成结构示意图，如图2所示，本发明实施例节点决策实体组成包括：请求模块201、接收模块202、计算模块203、决策模块204、统计模块205、更新模块206、发送模块207；其中，

请求模块201，用于向最近的路边基础设施RSU请求当前时间片内网络中所有节点的信誉值及系统当前信任阈值；

接收模块202，用于获取接入网元传输的节点数据以及请求模块中请求的数据；

计算模块203，用于计算所述节点所发数据的消息可信度；

决策模块204，用于基于所述节点的消息可信度进行消息的接受或拒绝的决策；

统计模块205，用于统计时间片内所述节点的特征数据，即发出的消息总数中，实际发生或可信的消息数以及实际未发生或不可信的消息数；

更新模块206，用于基于统计模块的结果更新所述节点的信任评级；

发送模块207，将所述节点的特征数据以及更新的信任评级向所述云服务器发送。

图3为本发明实施例信任阈值调整实体组成结构示意图，如图3所示，本发明实施例信任阈值调整实体组成包括：接收模块301、计算模块302、调整模块303、发送模块304；其中，

接收模块301，用于获取节点传输的特征数据以及信任评级；

计算模块302，用于获取网络中各节点的信誉值；

调整模块303，用于调整当前系统的最佳信任阈值；

发送模块304，用于向RSU下发网络中各节点的信誉值及当前的系统信任阈值。

如图1所示，针对恶意节点的随机多样化攻击策略，提出了一种车联网自适应防御系统，包括以下步骤：

步骤101：获取接入网元传输的节点数据；

其中，所述节点数据中至少包括所述节点与所述接入网元交互的控制面信息和数据面信息；

所述节点的控制面信息包括：节点当前的全网信誉值、系统当前的信任阈值，向最近的RSU发出请求获取，由节点决策实体中的请求模块201完成。

所述节点的数据面信息包括：节点的速度信息、加速度信息、位置信息、业务识别信息，由节点间的交互产生；

上述节点数据由节点决策实体中的接收模块202进行接收。

步骤102：基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

采用SIGMOD激励函数描述节点信任值与消息可信度的关系；

将系统的信任阈值作为激励函数的阈值，以所述节点当前的信任值作为参数进行计算当前节点的消息可信度，公式如下：

由节点决策实体中的计算模块203进行计算。

根据计算的消息可信度进行数据接受或者拒绝的决策，由于节点接受该消息的概率取决于消息可信度，因此消息可信度可转化为消息接受率，以可信度的概率接受该消息，由节点决策实体中的决策模块204完成。

步骤103：进行决策后对数据进行验证，统计交互过程中的特征数据；

在时间片t内，当从所述节点处接收到α_i条可信消息数，β_i条虚假消息数，由节点决策实体中的统计模块205完成。

步骤104：基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

节点决策实体中的更新模块206进行节点信任评级的更新，当从所述节点处接收到一定数量的消息时，根据所述节点的信任值评估其消息的可信度对消息进行决策，即采用该消息或者拒绝该消息，并将这些消息与实际状态(例如发生或未发生)进行比较，以更新所述节点的信任级别，如果所述发出的消息有效且准确，则信任评级升高，如果所述节点发出虚假消息时其信任评级降低。信任评级的更新表示为：

T_i'＝F(T_i；α_i,β_i)；

采用Beta分布描述所述节点的信任分布，可表示为R_i～Be(α_i+1,β_i+1)。Beta分布是指一组定义在(0，1)区间的连续分布，是贝叶斯理论中常用的拟合分布模型。其中，α_i表示可信消息数，β_i表示虚假消息数。Beta分布的概率密度函数为：

利用Beta分布的期望值表示对所述节点的信任评级；

当节点完成对所述节点的信任评级后，将信任评级以及所述节点的特征数据上传至云服务器，由节点决策实体中的发送模块207发送至云服务器。

步骤105：云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度。表示为：

其中，N表示与节点i交互并给出评级的节点集，w_j为节点j对节点i评级的权重，

其中，通过信任阈值调整实体中的接收模块301接收目标节点的相关数据，并由计算计算模块302完成各节点信誉值的计算。

由于博弈论与网络攻防所具有的目标对立性、关系非合作性和策略依存性高度契合，可将恶意车辆节点对车辆网络的攻击与系统的信任阈值调整机制作为一个网络攻防过程，并将攻防对抗进行离散化处理，整个过程看作一系列时间片，每个时间片都包含且只包含一个量化后的网络状态，这里网络状态网络中的虚假消息比例表示。

步骤106：云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU；

下面结合具体实施例对本发明作进一步描述。

实施例1

图2为本发明实施例节点决策实体组成结构示意图，如图2所示，本发明实施例节点决策实体组成包括：请求模块201、接收模块202、计算模块203、决策模块204、统计模块205、更新模块206、发送模块207；其中，

请求模块201，用于向最近的路边基础设施RSU请求当前时间片内网络中所有节点的信誉值及系统当前信任阈值；

接收模块202，用于获取接入网元传输的节点数据以及请求模块中请求的数据；

计算模块203，用于计算所述节点所发数据的消息可信度；

决策模块204，用于基于所述节点的消息可信度进行消息的接受或拒绝的决策；

统计模块205，用于统计时间片内所述节点的特征数据，即发出的消息总数中，实际发生或可信的消息数以及实际未发生或不可信的消息数；

更新模块206，用于基于统计模块的结果更新所述节点的信任评级；

发送模块207，将所述节点的特征数据以及更新的信任评级向所述云服务器发送。

其中，节点501通过请求模块201向路边基础设施RSU503请求当前时间片内节点502的信誉值及系统当前信任阈值，RSU503向节点501发送的请求数据以及与节点502的业务交互数据通过接受模块202到达节点501,处理器，节点501根据上述数据计算节点502业务交互数据的消息可信度，由计算模块203完成，然后通过决策模块204，基于计算模块203的计算结果进行节点502业务交互数据的接受或者拒绝的决策，并且统计记录截止到下一更新时间间隔内所收到节点502发出消息总数中，真实消息数以及虚假消息数量，即节点502的特征数据，根据统计模块205的特征数据，进行节点502信任评级的更新，由更新模块206完成；最后通过发送模块207将节点502的特征数据以及更新的信任评级上传至后台服务器504，由后台服务器进行当前网络状态的获取并更新最新的信任阈值。

实施例2

图3为本发明实施例信任阈值调整实体组成结构示意图，如图3所示，本发明实施例信任阈值调整实体组成包括：接收模块301、计算模块302、调整模块303、发送模块304；其中，

接收模块301，用于获取节点传输的特征数据以及信任评级；

计算模块302，用于获取网络中各节点的信誉值；

调整模块303，用于调整当前系统的最佳信任阈值；

发送模块304，用于向RSU下发网络中各节点的信誉值及当前的系统信任阈值。

其中，调整模块303根据不完全信息随机博弈及Q-learning生成的状态数据库505进行阈值的选择。

所述通过不完全信息随机博弈及Q-learning生成所有网络状态下的最佳防御策略，首先根据系统构建不完全信息随机博弈模型，由于状态转移概率的未知，引入Q-learning学习所有状态下的纳什均衡，得到所有网络状态下的最优防御策略。

假设整个系统时间由一系列离散的时间片构成，对每个时间片中博弈所需的“信息”和“行动顺序”这2个基本要素做进一步假设。假设当前博弈处于时间片t中，在t中恶意节点的攻击强度为其私有信息，双方的共同知识为：

①时间片t中的状态和对应状态双方可采取的动作；

②攻击者在t采取的动作，在t+1会被调整机制观察到，调整机制在t采取的动作，在t+1会被恶意节点观察到，即其虚假消息是否被接受进而影响其他节点的决策。

行动顺序：在每个时间片，博弈双方是同时行动的，这里的“同时”是一个信息概念，非时间概念，即尽管从时间概念上博弈双方的动作可能不在同一时刻，但只要双方在行动时不知道对手的选择就认为是同时行动。

定义1不完全信息随机博弈模型(II-SGM)是一个七元组，即II-SGM＝(S,A,D,P,π,r,U)，其中，各变量定义如下：

S＝(s₁,s₂,...s_n)为随机博弈状态集合，每个博弈状态代表一个网络状态。

A＝(A₁,A₂,...,A_n)为恶意节点动作集合，其中，A_k＝{a₁,a₂,...,a_n)为恶意节点在博弈状态s_k的动作集合，a_i∈[0,1]，即当前发出消息中的虚假消息比例，即欺骗强度，为一系列的离散值。

D＝(D₁,D₂,...D_n)为防御动作集合，其中，D_k＝{d₁,d₂,...,d_n)为在状态s_k下的系统信任阈值动作集合，d_i∈[0,1]，为一系列的离散值。

π＝(π_a,π_d)为攻防策略集合，π_a(s_k)＝(σ_a(s_k,a₁),...,σ_a(s_k,a_m))为恶意节点在网络状态s_k的策略，σ_a(s_k,a_m)为其选择动作a_m的概率，其中，

同样的，π_d(s_k)＝(σ_d(s_k,d₁),...,σ_d(s_k,d_m))，为阈值在网络状态s_k的策略，σ_d(s_k,d_m)为其选择动作d_m的概率，其中，

策略以概率的形式规定各方在每个网络状态选择什么动作。

P为状态转移函数，S×A×D→ΔS，其中，P(s'|s,a,d)为在状态s恶意节点与阈值调整机制采取动作对(a,d)后，网络转移到状态s'的概率，其中，

在每个时间片中，节点发出N_i条消息，当恶意节点V_i发起攻击行为采取a_i的攻击动作时，则其发出的真实消息数与虚假消息数分别为：

其中，N_i＝α_i+β_i，当前网络状态可表示为：

由于下一时间片的网络状态只与当前状态有关，与之前状态无关，即状态的转移符合一阶马尔可夫假设，当前状态与双方的行动有关，因此双方的动作选择决定了状态的转移。

r为立即回报，S×A×D→R，当恶意车辆节点向车联网中注入虚假信息，正常节点没有及时判断出消息的真实性而接受时，不仅可能导致诚实车辆节点的决策误判造成严重的交通事故，还会危及整个网络的安全性以及可用性。通常认为，节点发送消息的可信度与节点性质有关，采用SIGMOD激励函数描述节点信任值与消息可信度的关系，可表示为：

由于节点接受该消息的概率取决于消息可信度，因此消息可信度可转化为消息接受率。若阈值较小并且保持不变时，会使得系统的假阴性升高，其发出的虚假信息的可信度升高使得网络中其他节点对该消息的接受率增大，造成错误决策；若阈值较高并且保持不变时，会使得系统的假阳性升高，即诚实节点被判定为恶意节点的概率增大，其发出可信信息的可信度降低使得网络中其他节点对该消息的接受率减小，降低网络的可用性。因此阈值调整使得节点可以及时评估消息的可信度，降低虚假消息的接受率以及真实消息的拒绝率。因此，调整的立即收益可以表示为：

当恶意节点V_i采取a_i的攻击动作向网络中注入虚假消息时，根据消息可信度得到虚假消息的接受度，当虚假消息被其他节点接受并用于决策时，恶意节点的目的达到。因此，恶意节点的立即收益可表示为：

收益函数U为攻防双方策略制定的依据，攻防对抗是一个序列式决策问题，决策不仅影响当前的收益，还会影响未来的收益，故U应该包含立即回报和未来回报，是一种累积收益函数。本发明内容采用折扣因子γ(0＜γ＜1)表示攻防双方对未来回报的偏好。由于网络的随机性，导致同一状态下相同的攻防动作也会引向不同的攻防过程，因此无法对具体的收益进行度量，只能通过期望来表示系统效用：

定义2贝叶斯纳什均衡。在博弈状态s_i上，对于所有恶意节点的所有攻击策略π_a(s_i)有：

对于所有防御策略π_d(s_i)有：

则策略

是网络状态s_i上的一个贝叶斯纳什均衡。

恶意节点的虚假消息攻击与阈值调整具有策略依存性，双方的最优策略依据对手策略的变化而变化，双方在制定策略时，会对对手的策略进行预测，根据预测结果选择自己的最优策略，也会预测到对手对自己的预测，从而进一步调整自己的策略，双方的预测和调整是一个螺旋上升过程，而贝叶斯纳什均衡就是这个螺旋上升过程的最终状态。根据贝叶斯纳什均衡定义可知，均衡策略是攻防双方根据对手策略做出的最优响应，任何一方无法通过单方面努力提高自己的收益。综上可知，利用贝叶斯纳什均衡进行攻击预测和防御策略选取是一种合理、有效的方法。

定理1不完全信息零和随机博弈模型II-SGM＝(S,A,D,P,π,r)存在稳定贝叶斯纳什均衡。

证明II-SGM模型中博弈参与人N为攻击者和防御者，是一个有限集。S由网络状态组成，A为攻击者动作集合，D为防御者动作集合，三者也都是有限集，并且博弈双方的目的相反，当一方收益增加时代表另一方受益降低，故II-SGM模型是一个有限不完全信息零和随机博弈模型，任何零和随机博弈都存在稳定贝叶斯纳什均衡。所以，II-SGM模型存在稳定贝叶斯纳什均衡解。并且本发明内容将由矩阵博弈和马尔可夫决策结合的随机博弈的求解问题转化为一个非线性规划问题对随机博弈进行求解。

本发明内容的模型均衡解就是每个状态贝叶斯纳什均衡解的集合。其中，状态s_i上贝叶斯纳什均衡求解问题可以归纳为：

函数f是一个从收益和概率判断到均衡的映射，是一个二次规划问题，旨在满足某些约束条件下寻找最大收益。因此须先确定随机博弈中收益函数Q，其经典的定义方式为：

其中，包含立即回报r_h(s,a,d)以及未来回报

并以期望表示受益，但在车辆网络中以虚假消息比例对网络状态进行描述时，阈值的调整机制无法确定其状态转移概率p(s'|s,a,d)，这导致防御者无法得到准确的收益，将其设为U^*，也就不能求解贝叶斯纳什均衡。同时，由于车辆网络的动态性，状态转移概率是一个变化的值，收益U^*应依据转移概率的变化而变化。因此借鉴强化学习思想，拟引入基于数据驱动的Q-learning算法，从恶意车辆节点的攻击与阈值调整机制的对抗中对U^*进行在线学习。

Q-learning是一种被广泛应用的典型免模型强化学习算法，能够求解马尔可夫决策的最大回报和最优策略问题。虽然Q-learning和随机博弈的基础理论都是马尔可夫决策，但是Q-learning中只有一个参与人，其决策只受环境的影响，每个状态下参与人最大收益的动作是固定的，而随机博弈中有2个参与人，其决策不仅受环境的影响，还要依赖于对手的决策，每个状态下对手采取不同策略，自己的最大收益策略也不同，将Q-learning应用在随机博弈中还需要对其进行改进。

Q-learning中agent通过与环境的交互可以获得回报和环境状态转移的知识，算法中知识用收益函数U来表示，通过更新U来进行学习。其收益函数U可定义为：

π^q＝argmaxU(s,d)；

收益函数U包含立即回报r(s,d)和未来回报γV(s',π(s'))。通过引入学习率

以增量求和的方式对收益进行更新，其本质是一种求平均的期望收益，符合上述对攻防收益函数的分析，而且学习率

的引入使收益U^*的获取不再需要转移概率，解决了现有定义方式存在的问题。不足的是Q-learning定义的收益函数U只与环境和参与人本身行动有关，且其策略π^q也不适用于双人博弈，所以对上式进行改进，将Q-learning的收益函数由一个参与者扩展为2个参与者，同时策略由π^q变为贝叶斯纳什均衡策略，改进后的U为：

本博弈模型的状态—动作收益函数U由上式定义，其中学习率

的引入决定了其需要通过学习机制来寻找U^*。下面，对Q-learning的学习机制进行改进，使其能够满足攻防博弈的需求。

防御者在进行学习或决策时，不仅要考虑网络系统，还要考虑攻击者行为。防御者检测网络状态s并从动作空间选择动作执行，网络系统接收攻防双方的动作后，给予双方相应奖赏反馈R同时更新共同知识，并转移到下一个状态s‘，防御者根据收到的奖赏和共同知识更新状态-动作收益(U_a,U_d)、状态收益(V_a,V_d)和贝叶斯纳什均衡以完成学习，同时检测新的网络状态做出新的决策。

Q-learning中的环境采用上一节构建的不完全信息随机博弈模型中的博弈状态进行建模，参与者的行为采用该模型中的攻防动作集合来定义，即恶意节点选取(0，1)之间离散的的虚假消息比例，阈值调整机制选择(0，1)之间离散的信任阈值。Q-learning中探索与利用问题经典的解决方法为SoftMax算法和ε-greedy算法。SoftMax算法所需计算量较大，为满足决策实时性需求，选用ε-greedy算法进行探索和利用的折中。算法以ε(0≤ε≤1)的概率进行探索，探索时随机选择下一步动作，以1-ε的概率进行利用，利用时按照贝叶斯纳什均衡策略选择下一步动作。ε-greedy算法为：

使用改进的Q-learning通过增量求和的方式定义U，通过学习得到U^*，不再需要确定网络的状态转移概率p(s'|s,a,d)，而且当网络中转移概率发生变化时，通过在线学习能够对U^*进行实时调整。依据改进的Q-learning学习得到的U^*，可以解得更准确的贝叶斯纳什均衡，得到更合理的防御策略。

在每个时间片，算法使用上述不完全信息随机博弈模型对网络攻防进行分析，依据现有的U求解贝叶斯纳什均衡，恶意节点进行攻击策略的调整决策，调整机制进行防御调整决策。决策后利用改进的Q-learning对本次对抗进行学习，并对U进行更新。算法1展示了调整机制的策略选择：

其中第1)～4)步均是依据场景对博弈模型进行初始化；

第5)～7)是利用现有知识求解贝叶斯纳什均衡；

第8)～16)步是进行调整策略选取和在线学习；

第9)～10)步是依据ε-greedy对探索和利用进行折中并完成策略选取；

第11)～15)步是依据对抗的阶段结果对U和π^*进行更新来完成学习；

第16)步是收敛条件；

第17)步返回收敛后的调整策略。

算法1自适应阈值调整策略选取算法

输入II-SGM(不完全信息随机博弈模型)，奖赏折扣γ，探索概率ε，学习率

收敛精度δ

输出调整动作d，调整策略

begin

1)初始化

2)初始化A＝(A₁,A₂,...,A_n)

3)初始化D＝(D₁,D₂,...D_n)

4)初始化

//利用先验知识对其初始化

5)

//求解贝叶斯纳什均衡

6)

7)s＝get(E)//获取当前网络状态

8)Repeat：

9)d＝π^ε(s)//其中，以概率1-ε选取纳什均衡中的策略，以概率ε在动作集中均匀选择动作

10)Output d//反馈出调整动作

11)s'＝get(E)//获取新的网络状态

12)

//根据阶段性结果对Q进行学习

13)

//对贝叶斯纳什均衡进行更新

14)

15)t＝t+1

16)Until

17)Output

当通过Q-learning得到所有状态下的最佳防御策略时，存储在状态数据库505中，等待系统调整模块303的查询使用。当节点间开始进行交互，并且向后台服务器上传其他节点的特征数据以及信任评级时，系统调整模块303，获取当前的网络状态，并查询状态数据库505获取该状态下对应的最佳策略，选取最佳的防御动作，即选择最佳的信任阈值。

后台服务器504将所有节点当前的信誉值以及系统选取的信任阈值下发到各路边基础设施RSU，由信任阈值调整实体中的发送模块304完成。

根据最新的节点信誉值以及最佳的信任阈值，降低网络中恶意节点的虚假消息对其他正常节点的影响，进而维护车联网的可用性及安全性。如图4所示。

实施例3

本发明实施例防御系统的结构示意图，如图5所示，本发明实例防御系统的结构包括：第一节点501、第二节点502，路边基础设施RSU503，后台服务器504，状态数据库505；其中，

所述第一节点501在所述车联网系统中与其他车辆第二节点502组成车际网络，所述节点与所述RSU503基于统一的无线通信协议进行互联，所述后台服务器504为V2X应用服务器，其中，服务器中包含状态数据库505，即根据不完全信息随机博弈与Q-learning得出的基于网络中所有状态下系统的最佳防御策略，即各网络状态下的最佳信任阈值。

在t时刻，当第一节点501收到第二节点502的消息时，检查本地最新的信誉值表，若时间超过更新间隔，则向RSU请求节点502最新的信誉值以及系统当前的信任阈值，根据第二节点502的信誉值以及系统当前的信任阈值评估节点在t时刻的消息可信度，并转化为消息的接受率用于决策，由于节点间业务消息真实性的可验证性，假设第一节点501在下一次系统更新间隔内能够验证该时间片内收到消息的真实性，第一节点501统计该时间片内第二节点502发出消息总数中真实消息数与虚假消息数，记录特征数据以及更新第二节点502的信任评级，上传至后台服务器；

后台服务器504根据时间片内接收到的关于第二节点502的特征数据以及信任评级，计算第二节点502的信誉值，并且统计所有节点的特征数据获取当前的网络状态，根据当前网络状态在状态数据库505中查找对应状态下的最佳信任阈值，并将各节点最新的信誉值以及信任阈值下发到各路边基础设施RSU503，用于评估下一时刻t+1各节点的消息可信度。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种车联网自适应防御方法，其特征在于，所述车联网自适应防御方法包括：

获取接入网元的车辆节点数据；

基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

进行决策后对数据进行验证，统计交互过程中的特征数据；

基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度；

云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

2.如权利要求1所述的车联网自适应防御方法，其特征在于，所述节点数据中至少包括所述节点与所述接入网元交互的控制面信息和数据面信息；

所述节点的控制面板信息包括：节点当前的全网信誉值、系统当前的信任阈值；

所述节点的数据面信息包括：节点的速度信息、加速度信息、位置信息、业务识别信息。

3.如权利要求1所述的车联网自适应防御方法，其特征在于，所述基于节点的信任值以及当前的信任阈值获得节点的数据可信度，所述方法包括：

采用SIGMOD激励函数描述节点信任值与消息可信度的关系，将系统的信任阈值作为激励函数的阈值，以所述节点当前的信任值作为参数进行计算当前节点的消息可信度；

将消息可信度转化为消息接受率，以消息可信度的概率接受该消息。

4.如权利要求1所述的车联网自适应防御方法，其特征在于，所述进行决策后对数据进行验证，统计交互过程中的特征数据，所述方法包括：

统计时间片内所述节点发送的消息中实际发生的业务消息数，以及虚假的业务消息数。

5.如权利要求1所述的车联网自适应防御方法，其特征在于，所述基于特征数据更新该节点的信任评级，所述方法包括：

采用贝叶斯理论中的Beta分布描述所述节点的信任分布；

特征数据中真实的业务消息数以及虚假消息数分别为Beta分布中的α参数以及β参数；

利用Beta分布的期望值表示对所述节点的信任评级；

同时将所述节点的特征数据以及信任评级上传至云服务器；

所述云服务器根据网络中节点的所有评级计算该节点的信誉值，所述方法包括：

将对所述节点进行评级的所有节点的信誉值归一化，作为其评级的权重因子，计算节点的全网信誉值；

所述云服务器根据各节点的相关数据更新当前系统的信任阈值，所述方法包括：

以恶意节点与系统为博弈双方构建不完全信息随机博弈模型；

基于网络状态的随机性，模型中状态转移概率的未知以及不确定性，借助Q-learning从恶意节点的攻击与阈值调整机制的对抗中对收益函数进行学习，解得更准确的贝叶斯纳什均衡，得到合理的防御策略，使得网络中各节点最大概率接受真实消息拒绝虚假消息，以及最小概率拒绝真实消息接收虚假消息。

6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取接入网元的车辆节点数据；

基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

进行决策后对数据进行验证，统计交互过程中的特征数据；

基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度；

云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取接入网元的车辆节点数据；

基于节点的信任值以及当前的信任阈值获得节点的数据可信度，用于数据接收或者拒绝的决策；

进行决策后对数据进行验证，统计交互过程中的特征数据；

基于特征数据更新该节点的信任评级，并将特征数据以及信任评级上传至云服务器；

云服务器根据该节点的所有评级计算该节点的信誉值，即全网的可信度；

云服务器同时根据各节点的相关数据更新当前系统的信任阈值，并将所有节点当前的信誉值以及系统的信任阈值下发到各路边基础设施RSU。

8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～5任意一项所述的车联网自适应防御方法。

9.一种执行权利要求1～5任意一项所述车联网自适应防御方法的节点决策设备，其特征在于，所述节点决策设备包括：

请求模块，用于向最近的路边基础设施RSU请求当前时间片内网络中所有节点的信誉值及系统当前信任阈值；

接收模块，用于获取接入网元传输的节点数据以及请求模块中请求的数据；

计算模块，用于计算所述节点所发数据的消息可信度；

决策模块，用于基于所述节点的消息可信度进行消息的接受或拒绝的决策；

统计模块，用于统计时间片内所述节点的特征数据，即发出的消息总数中，实际发生或可信的消息数以及实际未发生或不可信的消息数；

更新模块，用于基于统计模块的结果更新所述节点的信任评级；

发送模块，将所述节点的特征数据以及更新的信任评级向所述云服务器发送。

10.一种执行权利要求1～5任意一项所述车联网自适应防御方法的信任阈值调整设备，其特征在于，所述信任阈值调整设备包括：

接收模块，用于获取节点传输的特征数据以及信任评级；

计算模块，用于获取网络中各节点的信誉值；

调整模块，用于调整当前系统的最佳信任阈值；

发送模块，用于向RSU下发网络中各节点的信誉值及当前的系统信任阈值。

Images