CN110929996A

CN110929996A - 驾驶风险估计方法及装置

Info

Publication number: CN110929996A
Application number: CN201911076027.8A
Authority: CN
Inventors: 侯琛
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2019-11-06
Filing date: 2019-11-06
Publication date: 2020-03-27

Abstract

本申请的实施例提供了一种驾驶风险估计方法及装置。该驾驶风险估计方法包括：通过获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态，若驾驶风险估计装置的动作改变引起了驾驶风险状态改变则确定对应的状态转移概率，以根据状态转移概率估计驾驶过程中的风险系数，之后根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在预设时段内执行的动作对应的总收益；最后根据风险系数和总收益确定驾驶风险估计装置在本次估计之后的动作，以根据动作来执行风险估计工作，在保证风险估计精确性的同时，提高估计动作的收益，降低了驾驶风险估计装置的资源消耗。

Description

驾驶风险估计方法及装置

技术领域

本申请涉及计算机及通信技术领域，具体而言，涉及一种驾驶风险估计方法及装置。

背景技术

在驾驶风险估计的过程中，需要消耗各种资源，例如电力资源、数据存储资源等，也有较高的精度要求。若风险估计装置长期保持估计状态，可以提高估计精度，但也会带来较高的资源消耗。例如，持续估计三次的精度高于一次估计的精度，次数越高越准确，得到的收益也越大，但是多次估计也会带来较高的代价，因此在风险估计过程中，存在资源消耗低且估计结果不精确的问题。

发明内容

本申请的实施例提供了一种驾驶风险估计方法及装置，进而至少在保证风险估计精确性的同时，提高估计动作的收益，降低了驾驶风险估计装置的资源消耗。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种驾驶风险估计方法，包括：获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态；若所述驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率，并根据所述状态转移概率估计驾驶过程中的风险系数；根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益；根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作。

根据本申请实施例的一个方面，提供了一种驾驶风险估计装置，包括：第一获取单元，用于获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态；第一估计单元，用于若所述驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率，并根据所述状态转移概率估计驾驶过程中的风险系数；收益单元，用于根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益；动作单元，用于根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作。

在本申请的一些实施例中，基于前述方案，所述驾驶风险类型对应的状态包括隐状态和显状态；所述第一获取单元，包括：第二获取单元，用于获取驾驶风险类型以及每一驾驶风险类型对应的估计过程；状态分解单元，用于根据所述估计过程，将所述驾驶风险类型对应的历史数据的状态进行分解，得到所述驾驶风险类型对应的隐状态和显状态，所述隐状态对应的数据包括采样得到的风险数据，所述显状态对应的数据包括所述风险系数。

在本申请的一些实施例中，基于前述方案，所述第一估计单元包括：第一确定单元，用于根据所述状态转移概率和当前时刻采集到的隐状态对应的风险数据，确定相邻时刻对应的隐状态值；第二确定单元，用于根据所述相邻时刻对应的隐状态值，确定所述隐状态值对应的显状态值，作为所述风险系数。

在本申请的一些实施例中，基于前述方案，所述第一估计单元包括：第一修正单元，用于根据所述状态转移概率修正风险估计过程中的数据处理操作误差；更新单元，用于根据修正得到的数据处理操作误差更新所述状态转移概率；第二估计单元，用于根据更新得到的状态转移概率估计驾驶过程中的风险系数。

在本申请的一些实施例中，基于前述方案，所述第一修正单元包括：第三确定单元，用于确定当前时刻的状态转移概率对应的第一样本方差、相邻时刻的状态转移概率对应的第二样本方差；第四确定单元，用于根据所述第一样本方差与所述第二样本方差之间的差值、预设的方差差值阈值，确定所述数据处理操作误差的修正方法；第二修正单元，用于根据所述修正方法修正所述数据处理操作误差。

在本申请的一些实施例中，基于前述方案，所述状态转移概率包括隐状态转移概率和显状态转移概率；所述第一修正单元包括：第三修正单元，用于根据所述隐状态转移概率修正风险估计过程中的数据采样误差；第四修正单元，用于根据所述显状态转移概率修正风险估计过程中的数据传输误差。

在本申请的一些实施例中，基于前述方案，所述收益单元包括：第二获取单元，用于获取在预设时段内所有的风险系数；第五确定单元，用于从历史收益数据中确定所述风险系数对应的瞬时收益；第一计算单元，用于计算所述预设时段内所有瞬时收益的期望，根据所述预设时段内所有瞬时收益的期望得到所述总收益。

在本申请的一些实施例中，基于前述方案，所述第一计算单元包括：因子单元，用于根据每个所述风险系数对应的估计时刻，确定每个所述风险系数对应的折扣因子；第二计算单元，用于根据所述每个所述风险系数对应的折扣因子和所述瞬时收益，计算所有所述瞬时收益的期望。

在本申请的一些实施例中，基于前述方案，所述驾驶风险估计装置，还包括：动作序列单元，用于根据所述风险系数和所述总收益确定在本次估计之后的动作序列，所述动作序列包括待执行估计动作以及每个所述待执行估计动作的执行时序。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的驾驶风险估计方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的驾驶风险估计方法。

在本申请的一些实施例所提供的技术方案中，通过获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态，若驾驶风险估计装置的动作改变引起了驾驶风险状态改变则确定对应的状态转移概率，以根据状态转移概率估计驾驶过程中的风险系数，之后根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在预设时段内执行的动作对应的总收益；最后根据风险系数和总收益确定驾驶风险估计装置在本次估计之后的动作，以根据动作来执行风险估计工作，在保证风险估计精确性的同时，提高估计动作的收益，降低了驾驶风险估计装置的资源消耗。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图3示意性示出了根据本申请的一个实施例的驾驶风险估计方法的流程图；

图4示意性示出了根据本申请的一个实施例的驾驶风险估计方法的应用场景示意图；

图5示意性示出了根据本申请的一个实施例的驾驶风险的估计过程的示意图；

图6示意性示出了根据本申请的一个实施例的根据状态转移概率估计驾驶过程中的风险系数的流程图；

图7示意性示出了根据本申请的一个实施例的确定驾驶风险估计装置在预设时段内执行的动作对应的总收益的流程图；

图8示意性示出了根据本申请的一个实施例的计算所述预设时段内所有瞬时收益的期望的流程图；

图9示意性示出了根据本申请的一个实施例的驾驶风险估计装置的示意图；

图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括驾驶风险估计装置101、网络102以及(如图1中所示的车载终端103、平板电脑104以及智能手机105中的一种或多种，当然也可以是台式计算机等等)。网络102用以在驾驶风险估计装置和终端设备之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的驾驶风险估计装置、网络和终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的驾驶风险估计装置、网络和终端设备。当有相同功能的装置同时工作时，可以择一使用，也可以同时使用。比如，本实施例中的终端设备可以是安装在车辆上的车载终端103，还可以是具有终端设备功能的驾驶人员的移动终端等，也可以此处不做限定。

本实施例中的驾驶风险估计装置101可以安装在车辆上，用于估计该车辆在行驶过程中的风险情况。也可以是车辆外置的设备，用于同时估计一个车辆或者多个车辆的风险情况，再将估计得到的风险结果发送至终端设备。

用户可以使用驾驶风险估计装置101通过网络102与终端设备交互，以接收或发送消息等。终端设备可以是提供各种信息显示、语音指示的终端设备。例如驾驶风险估计装置101通过获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态，若驾驶风险估计装置的动作改变引起了驾驶风险状态改变则确定对应的状态转移概率，以根据状态转移概率估计驾驶过程中的风险系数，之后根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在预设时段内执行的动作对应的总收益；最后根据风险系数和总收益确定驾驶风险估计装置在本次估计之后的动作，以根据动作来执行风险估计工作，在保证风险估计精确性的同时，提高估计动作的收益，降低了驾驶风险估计装置的资源消耗。

需要说明的是，本申请实施例所提供的驾驶风险估计方法一般由驾驶风险估计装置执行，相应地，驾驶风险估计装置一般设置于计算机或者终端设备中，因此，在本申请的其它实施例中，终端设备也可以与驾驶风险估计装置具有相似的功能，从而执行本申请实施例所提供的驾驶风险估计方法的方案。

图2示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图2所示，系统架构可以包括驾驶风险估计装置201、车辆控制装置202以及车辆203。其中，驾驶风险估计装置201通过获取各驾驶风险类型对应的驾驶风险状态，若驾驶风险估计装置201的动作改变引起了驾驶风险状态改变则确定对应的状态转移概率，以根据状态转移概率估计驾驶过程中的风险系数，之后根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置201在预设时段内执行的动作对应的总收益；最后根据风险系数和总收益确定驾驶风险估计装置201在本次估计之后的动作，以根据动作来执行风险估计工作，得到风险估计结果，并将风险估计结果发送至车辆控制装置202，以使车辆控制装置202基于风险估计结果生成控制指令，并将控制指令发送至车辆203，以控制车辆执行该控制指令对应的动作。当驾驶风险估计装置201的估计结果中存在驾驶时，可以由车辆控制装置202及时触发控制指令，以控制车辆303安全的自动行驶。

同时，在人为驾驶的情况下，驾驶风险估计装置201也可以具有终端设备的显示功能，以此来替换终端设备安装在车辆上，用于估计车辆风险，并将估计结果显示在屏幕上。进一步的，驾驶风险估计装置201还可以具有语音播报功能，用于在检测到风险时，通过语音播报的方式来提醒司机小心驾驶。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图3示出了根据本申请的一个实施例的驾驶风险估计方法的流程图，该驾驶风险估计方法可以由驾驶风险估计装置来执行，该驾驶风险估计装置可以是图1中所示的驾驶风险估计装置。参照图3所示，该驾驶风险估计方法至少包括步骤S310至步骤S340，详细介绍如下：

在步骤S310中，获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态。

如图4所示，本实施例的方法在产品侧可用于安全辅助驾驶、车联网、车路协同、自动驾驶产品，特别需要挖掘驾驶员风险驾驶行为的安全辅助驾驶、车联网、车路协同、自动驾驶产品。示例性的，当自动驾驶越来越普遍的情况下，路面上行驶的车辆可能大部分为自动驾驶车辆，这种情况下，需要更加加大风险估计的精确性，以保证自动驾驶的安全性。

本实施例的应用场景需满足如下条件中的一个或者多个：1)车辆驾驶风险的部分信息可观测；2)车辆的状况在短时间内不会巨变；3)每次驾驶风险估计后的瞬时收益或者损失可获取，可量化；4)不同车联网风险的差异可辨别；5)驾驶员情况短时间内不会发生巨大变化。例如，驾驶员不会出现不可预期的异常，身心状况在短时间内不会巨变；6)前指标重要性与将来指标重要性的差异存在差异；7)在高速公路上，在一定车速范围之内的车辆应保持一定的距离以上，例如，如果车速超过100公里时速，那么同车道车间安全距离应该保持在100米以上；如果车速低于100公里，那么同车道车间安全距离应保持在50米以上。

在本申请的一个实施例中，驾驶风险估计装置在工作时可能出现的各个动作包括了两个可能的动作：继续估计Δ₁和停止估计Δ₂，以此得到驾驶风险估计装置在工作过程中的动作集合为A＝{Δ₁,Δ₂}。

可选的，对于每一类待估计的驾驶风险，获取其在预设时段内被估计的时刻。在该预设时段内，待估计的驾驶风险被估计的次数有限，获取该时间段内的所有估计时刻，记估计时刻的集合为T＝{1,2,...,N}，其中，1,2,...,N用于表示估计时刻的时刻标识，即第一时刻、第二时刻以及第N时刻等。

在本申请的一个实施例中，步骤S310中驾驶风险类型对应的状态包括隐状态和显状态，获取各驾驶风险类型对应的驾驶风险状态过程，包括如下步骤：

获取驾驶风险类型以及每一驾驶风险类型对应的估计过程；

根据所述估计过程，将所述驾驶风险类型对应的历史数据的状态进行分解，得到所述驾驶风险类型对应的隐状态和显状态，所述隐状态对应的数据包括采样得到的风险数据，所述显状态对应的数据包括所述风险系数。

在本申请的一个实施例中，本实施例中已经预先设定了各驾驶风险类型。其中，驾驶风险类型可以包括但不限于车辆碰撞风险、路面变窄风险以及路边急转弯风险等。

如图5所示，在本申请的一个实施例中，在驾驶风险估计装置进行风险估计过程中，得到每个风险估计结果都会对应一个估计过程。其估计过程可以为，通过获取当前行驶过程中的环境数据，即驾驶风险真值501，筛选出与当前可能风险相关的风险数据，即隐状态502对应的数据，并基于这些数据进行分析，得到风险类型以及该风险类型对应的风险系数，即显状态503对应的数据，最后根据显状态在终端设备上进行驾驶风险预警504。综上所述，该过程可以描述为驾驶风险真值先变成隐状态，然后变成显状态，以辅助驾驶风险预警。

示例性的，在路面变窄风险的识别过程中，在获取到当前行驶过程中的环境数据时，识别当前的风险类型可能为路面变窄风险，便可以删除其余与路面数据没有关联的数据，例如周围车辆数据，得到路面数据，作为隐状态对应的数据。之后基于路面数据进行数据分析，得到风险类型和风险系数，即作为观测值的显状态对应的数据，并将风险类型和风险系数显示在终端界面上。

可选的，对于每一类待估计的驾驶风险对应的隐状态和显状态，显状态依赖隐状态。记隐状态的集合为S＝{s_t|t∈T}，记显状态的集合为Z＝{z_t|t∈T}，其中，s_t表示在t时刻检测得到的、不能被终端界面访问的隐状态，z_t表示在t时刻检测得到的、用户可以通过终端界面直接获取到的显状态。

在本申请的一个实施例中，在具体的风险估计过程中，通过采集到的车辆数量、车辆类型、车辆速度、车辆位置、车辆加速度、车辆方向、车辆驾驶员性别、车辆驾驶员年龄、车辆驾驶员驾龄、车辆驾驶员类型、车辆驾驶员健康状况、车辆驾驶员反应能力等信息计算和输出任意两辆车的碰撞风险。驾驶风险估计装置将采集到的数据带入物理学领域的引力场论模型得到非移动物体带给本车的驾驶风险，带入弹簧势能模型计算路标或其他类似物体带给本车的驾驶风险、带入引力场模型和多普勒效应模型计算移动物体得到驾驶风险采样值，这三类驾驶风险的和即为驾驶风险估计装置对驾驶风险的采样值，即隐状态，最后基于隐状态得到观测值，即显状态。

在本申请的一个实施例中，本实施例中驾驶风险估计装置对路况进行采样和分析得到驾驶风险采样值，但是该驾驶风险采样值对于驾驶员来说是看不到的，驾驶风险估计装置需要通过某种方式将其显示出来(例如，传送至车端显示屏显示)驾驶员才能看到。这个显示出来的驾驶员能够看到的值就是显状态，可以对应为显示在终端界面上的风险系数，而驾驶员看不到的驾驶风险估计装置的驾驶风险采样值就是隐状态，即对应的驾驶风险采样值。为了更加直观的表明隐状态和显状态的含义，本实施例中通过隐状态值和显状态值分别表示隐状态和显状态的大小，请参考表1和表2所示：

表1四辆车的相互碰撞风险的隐状态值

表2四辆车的相互碰撞风险的显状态值

如表1和表2所示，表1和2分别列出了四辆车的相互碰撞风险的隐状态值和显状态值。由于数据获取、传输以及处理的时延影响，在获取数据得到隐状态，再将隐状态处理得到显状态时，期间会存在一定的实验，而导致驾驶环境可能发生变化。因此，对于同一种风险类型，其对应的隐状态和显状态可能发生变化，本实施例中通过步骤S610，来根据状态转移概率修正风险估计过程中的数据处理操作误差，以使得隐状态和显状态的差异降到最低，提高估计的精确度。

在步骤S320中，若所述驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率，并根据所述状态转移概率估计驾驶过程中的风险系数。

在本申请的一个实施例中，驾驶风险估计装置的动作发生改变时，很有可能影响驾驶风险状态，这种情况下，若驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率。

在本申请的一个实施例中，本实施例中的状态转移概率包括隐状态转移概率和显状态转移概率。其中，隐状态转移概率用于表示驾驶风险估计装置的动作发生改变之后，隐状态随之发生改变的概率；显状态转移概率用于表示驾驶风险估计装置的动作发生改变之后，显状态随之发生改变的概率。

具体的，在确定隐状态转移概率时，先判断隐状态是否是离散状态，如果是，那么获取其状态转移概率密度；如果不是，那么获取其状态转移概率律。记隐状态转移概率密度或者状态转移概律为

表示在当前隐状态是s_t，采取动作a_t后，下一时刻的隐状态是s_t+1的概率，A表示动作集合。

具体的，在确定显状态转移概率时，先判断显状态是否是离散状态，如果是，那么获取其状态转移概率密度；如果不是，那么获取其状态转移概率律。记其状态转移概率密度或者状态转移概律为φ(z_t+1|s_t+1,a_t)，表示在采取动作a_t使得隐状态转移到s_t+1后显状态是z_t+1的概率。

在本申请的一个实施例中，步骤S320中根据所述状态转移概率估计驾驶过程中的风险系数的过程，包括如下步骤：

根据所述状态转移概率和当前时刻采集到的隐状态对应的风险数据，确定相邻时刻对应的隐状态值；

根据所述相邻时刻对应的隐状态值，确定所述隐状态值对应的显状态值，作为所述风险系数。

在本申请的一个实施例中，当前时刻之后的下一时刻的隐状态值与显状态值在当前时刻是不存在的，所以在当前时刻并没有现存的下一时刻的隐状态值与显状态值。因此，转移概率的作用就是基于当前时刻的隐状态值预测下一时刻的隐状态值，进而预测未来时刻的显状态值，从而预测下一时刻的风险系数。

示例性的，基于当前时刻的驾驶风险采样值(即隐状态值s_t)和隐状态转移概率

其中，a_t的取值为表示继续采样的Δ₁，可以得到下一时刻的驾驶风险采样值s_t+1；然后基于下一时刻的驾驶风险采样值s_t+1和显状态转移概率φ(z_t|s_t,a_t-1)可以得到下一时刻的驾驶风险观测值z_t+1(即风险系数)。

在本申请的一个实施例中，如图6所示，步骤S320中根据所述状态转移概率估计驾驶过程中的风险系数的过程，包括步骤S610～步骤S630，具体说明如下：

在步骤S610中，根据所述状态转移概率修正风险估计过程中的数据处理操作误差。

在本申请的一个实施例中，在驾驶风险估计装置估计风险的过程中，往往存在很多数据处理操作误差。例如，在获取数据、采样数据以及生成估计结果的过程中，往往因为时延、干扰各种因素产生误差。因此，本实施例通过根据状态转移概率修正风险估计过程中的数据处理操作误差，以提高风险估计的精确性。

在本申请的一个实施例中，步骤S610中根据所述状态转移概率修正风险估计过程中的数据处理操作误差的过程，包括如下步骤：

确定当前时刻的状态转移概率对应的第一样本方差、相邻时刻的状态转移概率对应的第二样本方差；

根据所述第一样本方差与所述第二样本方差之间的差值、预设的方差差值阈值，确定所述数据处理操作误差的修正方法；

根据所述修正方法修正所述数据处理操作误差。

具体的，根据当前时刻的状态转移概率，确定状态转移概率对应的第一样本方差，并确定相邻时刻对应的第二样本方差。其具体的计算方式为根据正太分布的状态转移概率计算当前概率对应的样本方差。在计算得到第一样本方差和第二样本方差之后，计算第一样本方差和第二样本方差之间的差值，将两者的差值与预设的方差差值阈值进行对比，根据对比结果确定数据处理操作误差的修正方法，以根据修正方法修正数据处理操作误差。

进一步的，还可以得到本时刻之后的多个驾驶风险观测值，即风险系数z₁，z₂，···，z_t，z_t+1，将其样本方差作为t+1时刻的风险估计误差，以修正数据处理操作误差。

示例性的，根据当前时刻的驾驶风险观测值(即显状态值z_t)和显状态转移概率φ(z_t|s_t,a_t-1)对驾驶风险估计装置在驾驶风险估计过程中的数据传输误差进行修正；根据驾驶风险采样值(即隐状态值s_t)和隐状态转移概率

对驾驶风险估计过程中的数据采样误差进行修正。

在步骤S620中，根据修正得到的数据处理操作误差更新所述状态转移概率。

在上述步骤中，在对数据处理操作误差进行修正之后，根据修正得到的数据处理操作误差更新状态转移概率。其具体的更新方法为更新动作a_t中所包括的具体估计步骤的动作细节，例如数据采样的动作细节，根据更新之后的动作细节，重新确定不同动作和状态对应的状态转移概率。

在步骤S630中，根据更新得到的状态转移概率估计驾驶过程中的风险系数。

在更新状态转移概率之后，得到新的状态转移概率，根据更新得到的状态转移概率，以及步骤S320中的风险系数估计过程，重新估计驾驶过程中的风险系数。

本实施例中通过基于当前时刻和下一时刻的状态转移概率确定状态转移概率的修正方式，以通过隐状态值得到更加精确的显状态值，提高风险估计的精确性。

继续参照图3所示，在步骤S330中，根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益。

在本申请的一个实施例中，一段时间内的估计动作得到的风险系数，可以对应得出该段时间内的动作得到的总收益或总损失。本实施例中通过总收益或总损失来衡量该段时间内的资源消耗情况。

在本申请的一个实施例中，如图7所示，步骤S330中根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益的过程，包括步骤S710～步骤S730，说明如下：

在步骤S710中，获取在预设时段内所有的风险系数。

在本申请的一个实施例中，在预设时段内会有多次的风险估计，每次风险估计将会消耗一部分的资源之后得到风险系数，因此，在本步骤中，先获取预设时段内每次估计得到的风险系数。

在步骤S720中，从历史收益数据中确定所述风险系数对应的瞬时收益。

在本申请的一个实施例中，获取每次估计后的瞬时收益或者损失。瞬时收益和损失分别表示驾驶风险估计装置的某一次的估计结果对驾驶风险判断的正面贡献或负面影响。例如，正面影响可以是指提高了驾驶风险估计的精度，利于驾驶风险判断，负面效应可以指消耗的车路协同资源。

在本申请的一个实施例中，总收益为收益与损失之差，记瞬时收益和损失分别为R和C。示例性的，R可以通过统计历史数据获取，例如，驾驶风险的估计误差会误导车辆，造成交通事故，带来经济损失，但是每一次的估计可以降低估计误差，从而协助减少交通事故，进而降低经济损失。因此，R可以通过统计历史数据获取，如驾驶风险估计精度每提高1％的经济损失降低量，R就可取为这个经济降低量。C可以取为驾驶风险估计装置的花费，如能耗，如维护费，也可通过历史记录及电压电流测试获取，功耗可通过电压电流计算得出。可选的，上述数据是事先就确定的，都可存储在云端，因而R和C都可从云端获得。

在步骤S730中，计算所述预设时段内所有瞬时收益的期望，根据所述预设时段内所有瞬时收益的期望得到所述总收益。

在本申请的一个实施例中，驾驶风险估计装置每执行一步继续估计动作或者停止估计动作，就会根据当前时刻的观测值，即风险系数，来估算瞬时收益R与损失C之差为总收益或者总损失，并以此来衡量估计动作的资源消耗情况。

在本申请的一个实施例中，总收益为收益与损失之差，记瞬时收益和损失分别为R和C。因为瞬时收益R和损失C具有随机性，因此，本实施例中计算预设时段内多次估计动作对应的对瞬时收益R和者损失C的期望，得到E(R|s_t,z_t,a_t)和E(C|s_t,z_t,a_t)，以此两个期望之差作为总收益。

在本申请的一个实施例中，如图8所示，步骤S730中计算所述预设时段内所有瞬时收益的期望的过程，包括步骤S810～S820，如下说明：

在步骤S810中，根据每个所述风险系数对应的估计时刻，确定每个所述风险系数对应的折扣因子。

在本申请的一个实施例中，在估计得到每个风险系数时，都有其对应的估计时刻，本实施例中根据每个风险系数对应的估计时刻，确定该风险系数对应的折扣因子。

具体的，本实施例中的时间因子根据步骤S310中估计时刻1,2,...,N计算得到，具体等于1估计时刻的倒数的差值，即通过如下公式确定折扣因子为：

本实施例中γ表征了当前指标重要性与将来指标重要性的差异，因为随着当前车辆驾驶风险估计装置工作时间的延长，其相关指标的重要性会越弱。

在步骤S820中，根据所述每个所述风险系数对应的折扣因子和所述瞬时收益，计算所有所述瞬时收益的期望。

在本申请的一个实施例中，计算预设时间内所有瞬时收益的期望时，将每个风险系数对应的折扣因子作为其对应瞬时收益的权值，计算得到预设时段之内所有瞬时收益的期望。

在本申请的一个实施例中，在计算得到预设时段之内所有瞬时收益的期望之后，根据预设时段内所有瞬时收益的期望得到总收益。其具体得到总收益的方式可以是，通过预设的总收益计算系数，与期望相乘得到总收益；还可以为对期望做相应的计算处理，得到总收益，此处不做限定。

在步骤S340中，根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作。

在本申请的一个实施例中，在计算得到总收益之后，根据风险系数和总收益共同确定驾驶风险估计装置在本次估计之后的工作。其中，当总收益在本段时间内已达到最大时，驾驶风险估计装置停止估计驾驶风险，否则，继续估计驾驶风险。可选的，若计算得到的是总损失，因为收益可被看成负损失，当总损失已达到最小时，驾驶风险估计装置停止估计驾驶风险，否则，继续估计驾驶风险。通过这种方式使得本段时间内本次的风险估计总收益最高、或者总损失最低，以达到降低估计过程中的资源消耗的目的。

在本申请的一个实施例中，步骤S340中根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作的过程，包括：

根据所述风险系数和所述总收益确定在本次估计之后的动作序列，所述动作序列包括待执行估计动作以及每个所述待执行估计动作的执行时序。

在本申请的一个实施例中，动作序列是驾驶风险估计装置在各个估计时刻应采取的动作，即估计驾驶风险还是停止估计驾驶风险按照时间顺序排列成的序列。在得到动作序列之后，根据其中的估计动作及其执行时序，来进行估计工作。

示例性的，如果驾驶风险估计装置在前三个时刻应该执行的动作分别是“估计驾驶风险”、“估计驾驶风险”、“停止估计驾驶风险”，那么驾驶风险估计装置的在前三个时刻的动作序列是a1,a2,a₃，其中，a1,a2,a₃分别表示“估计驾驶风险”、“估计驾驶风险”、“停止估计驾驶风险”。

可选的，本实施例中基于动作集合、决策时刻集合、隐状态集合、显状态集合、隐状态转移概率密度或者状态转移概率、显状态转移概率密度或者状态转移概率、收益或者损失得到驾驶风险估计装置的部分可观测的马尔可夫决策过程，并用部分可观测的马尔可夫决策方法求得最优策略的行动序列为：

其中，x用于表示估计时刻的标识，a_x＝Δ₁用于表示在x的估计时刻时所采取的动作为继续估计Δ₁，a_x＝Δ₂用于表示在x的估计时刻时所采取的动作为停止估计Δ₂。可选的，具体的最优策略的计算方式可以先将其转换成线性规划问题，然后用单纯性或者内点法求解，然后按照最优控制策略确定驾驶风险估计装置的行动序列能使总收益最大或者总损失最小。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的驾驶风险估计方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的驾驶风险估计方法的实施例。

图9示出了根据本申请的一个实施例的驾驶风险估计装置的控制装置的框图。

参照图9所示，根据本申请的一个实施例的驾驶风险估计装置的控制装置900，包括：

第一获取单元901，用于获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态；

第一估计单元902，用于若所述驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率，并根据所述状态转移概率估计驾驶过程中的风险系数；

收益单元903，用于根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益；

动作单元904，用于根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作。

在本申请的一个实施例中，所述驾驶风险类型对应的状态包括隐状态和显状态；所述第一获取单元901，包括：

第二获取单元，用于获取驾驶风险类型以及每一驾驶风险类型对应的估计过程；

状态分解单元，用于根据所述估计过程，将所述驾驶风险类型对应的历史数据的状态进行分解，得到所述驾驶风险类型对应的隐状态和显状态，所述隐状态对应的数据包括采样得到的风险数据，所述显状态对应的数据包括所述风险系数。

在本申请的一个实施例中，所述第一估计单元902包括：

第一确定单元，用于根据所述状态转移概率和当前时刻采集到的隐状态对应的风险数据，确定相邻时刻对应的隐状态值；

第二确定单元，用于根据所述相邻时刻对应的隐状态值，确定所述隐状态值对应的显状态值，作为所述风险系数。

在本申请的一个实施例中，所述第一估计单元902包括：

第一修正单元，用于根据所述状态转移概率修正风险估计过程中的数据处理操作误差；

更新单元，用于根据修正得到的数据处理操作误差更新所述状态转移概率；

第二估计单元，用于根据更新得到的状态转移概率估计驾驶过程中的风险系数。

在本申请的一个实施例中，所述第一修正单元包括：

第三确定单元，用于确定当前时刻的状态转移概率对应的第一样本方差、相邻时刻的状态转移概率对应的第二样本方差；

第四确定单元，用于根据所述第一样本方差与所述第二样本方差之间的差值、预设的方差差值阈值，确定所述数据处理操作误差的修正方法；

第二修正单元，用于根据所述修正方法修正所述数据处理操作误差。

在本申请的一个实施例中，所述状态转移概率包括隐状态转移概率和显状态转移概率；所述第一修正单元包括：

第三修正单元，用于根据所述隐状态转移概率修正风险估计过程中的数据采样误差；

第四修正单元，用于根据所述显状态转移概率修正风险估计过程中的数据传输误差。

在本申请的一个实施例中，所述收益单元903包括：

第二获取单元，用于获取在预设时段内所有的风险系数；

第五确定单元，用于从历史收益数据中确定所述风险系数对应的瞬时收益；

第一计算单元，用于计算所述预设时段内所有瞬时收益的期望，根据所述预设时段内所有瞬时收益的期望得到所述总收益。

在本申请的一个实施例中，所述第一计算单元包括：

因子单元，用于根据每个所述风险系数对应的估计时刻，确定每个所述风险系数对应的折扣因子；

第二计算单元，用于根据所述每个所述风险系数对应的折扣因子和所述瞬时收益，计算所有所述瞬时收益的期望。

在本申请的一个实施例中，所述驾驶风险估计装置，还包括：动作序列单元，用于根据所述风险系数和所述总收益确定在本次估计之后的动作序列，所述动作序列包括待执行估计动作以及每个所述待执行估计动作的执行时序。

需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RandomAccess Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种驾驶风险估计方法，其特征在于，包括：

获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态；

若所述驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率，并根据所述状态转移概率估计驾驶过程中的风险系数；

根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益；

根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作。

2.根据权利要求1所述的方法，其特征在于，所述驾驶风险类型对应的状态包括隐状态和显状态；获取各驾驶风险类型对应的状态，包括：

获取驾驶风险类型以及每一驾驶风险类型对应的估计过程；

3.根据权利要求2所述的方法，其特征在于，根据所述状态转移概率估计驾驶过程中的风险系数，包括：

4.根据权利要求1所述的方法，其特征在于，根据所述状态转移概率估计驾驶过程中的风险系数，包括：

根据所述状态转移概率修正风险估计过程中的数据处理操作误差；

根据修正得到的数据处理操作误差更新所述状态转移概率；

根据更新得到的状态转移概率估计驾驶过程中的风险系数。

5.根据权利要求4所述的方法，其特征在于，根据所述状态转移概率修正风险估计过程中的数据处理操作误差，包括：

根据所述修正方法修正所述数据处理操作误差。

6.根据权利要求4所述的方法，其特征在于，所述状态转移概率包括隐状态转移概率和显状态转移概率；

根据所述状态转移概率修正风险估计过程中的数据处理操作误差，包括：

根据所述隐状态转移概率修正风险估计过程中的数据采样误差；

根据所述显状态转移概率修正风险估计过程中的数据传输误差。

7.根据权利要求1所述的方法，其特征在于，根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益，包括：

获取在预设时段内所有的风险系数；

从历史收益数据中确定所述风险系数对应的瞬时收益；

计算所述预设时段内所有瞬时收益的期望，根据所述预设时段内所有瞬时收益的期望得到所述总收益。

8.根据权利要求7所述的方法，其特征在于，计算所述预设时段内所有瞬时收益的期望，包括：

根据每个所述风险系数对应的估计时刻，确定每个所述风险系数对应的折扣因子；

根据所述每个所述风险系数对应的折扣因子和所述瞬时收益，计算所有所述瞬时收益的期望。

9.根据权利要求1-8任一项所述的方法，其特征在于，根据所述风险系数和所述总收益确定在本次估计之后的动作，包括：

10.一种驾驶风险估计装置，其特征在于，包括：

第一获取单元，用于获取驾驶风险估计装置在工作时可能出现的各个动作，并获取各驾驶风险类型对应的驾驶风险状态；

第一估计单元，用于若所述驾驶风险估计装置的动作改变引起了驾驶风险状态改变，则确定对应的状态转移概率，并根据所述状态转移概率估计驾驶过程中的风险系数；

收益单元，用于根据预设时段内估计得到的所有风险系数，确定驾驶风险估计装置在所述预设时段内执行的动作对应的总收益；

动作单元，用于根据所述风险系数和所述总收益确定所述驾驶风险估计装置在本次估计之后的动作。