CN115439816A - 一种基于凸优化的无人驾驶系统转向角安全性的验证方法 - Google Patents

一种基于凸优化的无人驾驶系统转向角安全性的验证方法 Download PDF

Info

Publication number
CN115439816A
CN115439816A CN202210985192.0A CN202210985192A CN115439816A CN 115439816 A CN115439816 A CN 115439816A CN 202210985192 A CN202210985192 A CN 202210985192A CN 115439816 A CN115439816 A CN 115439816A
Authority
CN
China
Prior art keywords
steering angle
layer
safe
safety
convex optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210985192.0A
Other languages
English (en)
Inventor
吴慧慧
孔维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210985192.0A priority Critical patent/CN115439816A/zh
Publication of CN115439816A publication Critical patent/CN115439816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • G01M17/06Steering behaviour; Rolling behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于凸优化的无人驾驶系统转向角安全性的验证方法,属于验证无人驾驶系统安全性的领域。运用故障安全轨迹规划中的凸优化技术构建安全转向角区间,将预测转向角的判断问题转化为类似图像处理的可分类问题,然后拓展深度神经网络验证工具DLV执行转向角的安全性的验证算法。该技术易于集成在现有的无人驾驶系统中;计算高效,可以在几秒钟内找到对抗性反例;与现有的工作相比,能够找到了对抗性反例的成功率更高。此外,在处理转向角分类问题时,比先前的工作SDLV中的神经元覆盖和松弛关系更准确可靠。

Description

一种基于凸优化的无人驾驶系统转向角安全性的验证方法
技术领域
本发明属于验证无人驾驶系统的安全性领域,涉及一种基于凸优化的无人驾驶系统转向角安全性的验证方法,具体涉及采用故障安全轨迹中的凸优化技术对无人驾驶系统转向角的安全性进行判断,并拓展深度神经网络验证工具(DLV)执行转向角的安全性的验证算法。
背景技术
机器学习(ML)技术的进展推动了无人驾驶汽车的发展。已有实验结果表明,一个训练有素的无人驾驶汽车系统,通过运用摄像头、雷达和激光雷达等传感器获取输入信息,能够在没有任何人工干预的情况下行驶了数百万英里。包括多家著名汽车制造商正在制造和积极测试无人驾驶汽车。无人驾驶汽车的发展正变得越来越繁荣,而且这种趋势可能会延续并增强。但是,基于深度神经网络(DNN)的系统在应用于像无人驾驶汽车这样对安全性要求高的系统时,当输入图像发生微小变化时预测输出是不稳定的,并且可能做出不正确的反应。涉及无人驾驶汽车的事故已经被多次报道,其中一些甚至引起致命的碰撞。这显然会为无人驾驶等应用程序带来潜在的安全问题,并需要形式化验证技术来验证其决策的正确性。所以,迫切需要一种形式化的方法来为无人驾驶汽车提供安全保障。但是,由于输入-输出空间(即输入和输出的所有可能组合)太大而无法彻底探索。另一方面,运用测试的方式为无人驾驶汽车提供保障,所需场景难以模拟,测试时间长。已有研究表明,无人驾驶汽车需要进行4.4亿公里的测试,才能够证明它们比人类具有更好的性能。这意味着拥有100辆汽车的车队每天24小时连续驾驶进行了12.5年的试驾。
现有方法通常采用测试用例的方式来检测无人驾驶预测转向角的安全性。例如一种名为DeepTest的系统测试工具,用于自动检测DNN驱动的无人驾驶汽车的错误行为,这些错误行为可能导致致命的碰撞。该方法利用九种不同的图像转换来自动生成测试用例,然后发现了数千种错误的转向行为。图像变换包括改变亮度、改变对比度、平移、缩放、水平剪切、旋转、模糊、雾效和雨效。然而,尽管取得了显着进步,但现实世界的驾驶条件远不止上述九种变换。另一种有效的方法是基于仿真的方法,但是模拟全无人驾驶汽车必须行驶数亿英里,有时甚至是数千亿英里,才能证明其在避免伤亡方面的可靠性,这需要几十年才能完成。因此,尽管基于案例的测试和仿真经常被用来检查自治系统的性能,但它们并不能提供足够的保证。对于无人驾驶等安全关键领域尤其如此,在这些领域,不安全事件很少且难以描述。
发明内容
本发明旨在克服现有技术的不足,提供了一种基于凸优化技术的无人驾驶系统转向角安全性的验证方法,结合故障安全轨迹中的凸优化技术和深度学习验证工具(DLV)执行验证,DLV(Huang X,Kwiatkowska M,Wang S,et al.Safety verification of deepneural networks[C]//International conference on computer aidedverification.Springer,Cham,2017:3-29.)是一个用于自动验证图像分类神经网络安全性的框架。通过凸优化技术扩展DLV,以解决预测转向角的判断问题,从而实现无人驾驶系统转向角安全性的验证。
本发明的具体技术方案为:
一种基于凸优化的无人驾驶系统转向角安全性的验证方法,包括下列步骤:
1)运用故障安全轨迹中的凸优化法求解出能够避撞的转向角,即建立避撞转向角;
2)构建安全转向角的区间:以凸优化求解出的避撞转向角和无人驾驶系统原始预测的转向角构建安全转向角的区间;
3)确定深度学习验证工具DLV中邻域参数和扰动操作集合,逐层搜索对抗性反例;
步骤1)中,避撞转向角的建立,在无人驾驶的故障安全轨迹规划中,汽车运动规划被解耦成纵向和横向运动,然后运用凸优化的方法进行求解,用t和th分别表示时间和时间间隔,具体包括以下步骤:
1-1)规划纵向轨迹,通过权重
Figure BDA0003801822330000031
Figure BDA0003801822330000032
惩罚高加速度和抖动来获得舒适的纵向轨迹,纵向轨迹用二次代价函数Jlon表示,公式如下:
Figure BDA0003801822330000033
式中,汽车的纵向运动为xlon(t)=(s,v,a,j)T,s是纵向位置,v是速度,a是加速度,沿着路径的抖动记为j,
Figure BDA0003801822330000034
表示函数xlon(t)的第i个元素;
运用凸优化的方法求解纵向轨迹。
1-2)结合步骤1-1)的求解结果中的纵向位置s,通过权重wd,wθ,wk
Figure BDA0003801822330000039
惩罚高曲率来获得舒适的横向轨迹,横向轨迹用二次代价函数Jlat表示,公式如下:
Figure BDA0003801822330000035
式中,汽车的横向运动为
Figure BDA0003801822330000036
d是横向位置,θ是偏差,κ是曲率,
Figure BDA0003801822330000037
是曲率的变化,
Figure BDA0003801822330000038
表示函数xlat(t)的第i个元素;
通过障碍物可达集预测最大和最小横向位置约束,其中可达集表示障碍物在一段时间内所有可行状态的集合;在求解的最大和最小横向位置约束下运用凸优化的方法求解横向轨迹,得到能够避撞的转向角。
步骤2)中,安全转向角的区间的构建,具体包括以下步骤:
2-1)对于一个已训练好的基于DNN的无人驾驶系统,输入一个给定的驾驶场境图像x,该系统能够输出一个相应的预测转向角,将该转向角记录为原始预测转向角;
2-2)运用步骤1)求解出的横向轨迹中的转向角,将该转向角与原始预测转向角形成一个区间,作为安全转向角的范围。
步骤3)中,拓展DLV,验证基于DNN的无人驾驶系统转向角的安全性。
本发明的验证是基于搜索对抗性反例的方法,对任意一个基于DNN的无人驾驶系统N,给定的一个输入驾驶场境图像x,邻域和扰动操作,x在N内层层传播的过程中实施扰动操作,一旦系统对扰动后的驾驶场境图像输出的预测转向角不在安全的转向角范围内,则报告对抗性反例。该方法保证如果存在对抗性错误分类(即不正确的转向决策)可以被成功搜索到,因此可以实现安全验证。如果在无人驾驶网络的所有DNN层都未发现错误分类,该网络可以说是稳定或可靠的;而发现的对抗性反例可以用于改善网络。
所述的逐层搜索对抗性反例,具体包括以下步骤:
3-1)确定深度学习验证工具DLV中邻域参数ηk和扰动操作集合Δ;
神经网络的每一层Lk都与一个nk维向量空间
Figure BDA0003801822330000041
相关联,其中每一维对应一个神经元。对于一个输入驾驶场景图像x,一个基于DNN的无人驾驶系统在层k的激活表示为αx,k,k∈{1,...,n},并且αx,0=x。αx,k(p)表示输入x在第k层的神经元p∈Pk的激活值。
对于给定的一个输入驾驶场景图像x可以看作高维空间的一个点,假设在该点周围存在一个或无限个邻域η,邻域内的所有点的预测转向角必须与x的预测转向角具有相同的类。所述的邻域由用户指定,可以用一个小直径来表示,也可以用某些特征相同的所有点的集合来表示。
从神经网络的某一层k开始,邻域ηkx,k)是预先从与当前层Lk的激活平均值相差最大的激活值对应的神经元选择的维数dimsk的子集。用avgk表示当前层Lk的激活平均值,dimskkx,k))为在所有维度中|αx,k(p)-avg|取最大值的第一批维度。
Figure BDA0003801822330000042
式中,sp表示一个较小的跨度,mp表示这种跨度的数量。
接下来,假设存在一个扰动操作集合Δ,这些扰动操作指定了对驾驶场境图像的修改,即对驾驶场境图像实施扰动操作,在这些修改下,在η区域内的预测转向角的分类应该保持不变。所述的扰动操作可以表示相机不精确,相机角度的改变,或替换某一个特征。
设d是从dimskkx,k))映射到{-1,0,1}的函数。每个扰动操作
Figure BDA0003801822330000053
根据d中给出的方向,通过加减宽度sp改变维的一个子集,即
Figure BDA0003801822330000051
式中,集合Δk是第k层所有此类扰动操作
Figure BDA0003801822330000052
的集合。
3-2)搜索对抗性反例
对于基于DNN的无人驾驶系统转向角的安全性定义如下:
如果对输入驾驶场景图像x应用扰动操作而不引起邻域η内转向角的分类变化,则认为DNN网络关于x和η关于扰动操作集合Δ是安全的。
其中,分类的判断方式为:如果扰动后的预测转向角落在步骤2)求解的安全转向角的区间内,则扰动后的转向角与原始预测转向角被认为是同一分类;否则,两个转向角被认为不是同一分类。
利用离散化来实现高维η区域内转向角对抗性误分类的有限穷举搜索。安全分析层层传播,将邻域和扰动操作映射到更深层。这种传播在操作极小化的保证下是完备的。如果存在错误分类,验证框架可以保证找到错误分类。由于将验证简化为搜索对抗性示例,可以实现安全验证,即如果所有层都没有发现错误分类,可以实现转向角的安全性验证;如果搜索到对抗性反例,可以用于改善网络。具体步骤如下:
对于给定的一个神经网络N、一个输入x和一组扰动操作Δk,如果以αx,k为起点生成一个完备树,树的每个节点与αx,k具有相同的转向角分类,并且由相邻节点形成的有限个超矩形可以覆盖区域ηk,那么N对于输入x,区域ηk和扰动操作Δk是安全的,记为N,ηk,
Figure BDA0003801822330000061
如果该层搜索结果满足N,ηk,
Figure BDA0003801822330000062
那么报告N关于ηk和Δ是安全的,并继续下一层搜索;如果不满足,则报告一个对抗性反例,停止搜索。
本发明的有益效果是:
本发明结合故障安全轨迹中的凸优化技术和深度学习验证工具(DLV)执行无人驾驶转向角的安全性验证,通过凸优化技术扩展DLV验证框架,以解决预测转向角的判断问题,从而实现无人驾驶汽车转向角安全性的验证,具有以下特点:
1、验证方法易于集成到现有无人驾驶系统中;
2、在给定区域和操作集合中只要存在对抗性反例就可以成功找到对抗性错误分类,即不正确的转向决策;
3、实现安全验证,即如果没有发现所有DNN层的错误分类,在这种情况下,网络可以说是稳定或可靠的转向决策;
4、搜索到的对抗性反例可以用于改善网络。
本发明运用故障安全轨迹中的凸优化技术求解避撞的转向角,使得预测转向角的安全性的判断更精确;所提的方法具有很好的可扩展性,易于集成到现有的无人驾驶系统中。
附图说明
图1是一个端到端无人驾驶系统的网络结构,该系统是一个基于DNN的无人驾驶系统,输入驾驶场景图像,输出转向角。
图2是本发明验证无人驾驶系统转向角安全性的实施流程图。
图3是单路径和多路径搜到的对抗性反例。
具体实施方式
本发明提出了一种基于凸优化技术的无人驾驶系统转向角安全性的验证方法,结合附图及实施例详细说明如下:
本发明以NVIDIA端到端无人驾驶系统为例执行本发明提出的方法以验证转向角的安全性,系统结构如图1所示。该网络由9层组成,包括一个归一化层、5个卷积层和3个全连接层。网络输入图像的大小是135×240,具有三个通道。本发明验证无人驾驶系统转向角安全性的流程如图2所示,验证方法包括下列步骤;
1)端到端无人驾驶系统的训练;
1-1)端到端无人驾驶系统在驾驶集上训练超过六个小时,神经网络获得超过100万个参数;
1-2)将训练好的神经网络和测试图像作为输入,执行接下来的无人驾驶系统的安全性验证。
2)运用凸优化的方法求解出能够避撞的转向角:将无人驾驶的运动规划解耦成纵向和横向运动,然后运用凸优化的方法求解出规划路径,获得安全的转向角。这里用t和th表示时间和时间间隔。
2-1)规划纵向轨迹,通过权重
Figure BDA0003801822330000071
Figure BDA0003801822330000072
惩罚高加速度和抖动来获得舒适的纵向轨迹,纵向轨迹用二次代价函数Jlon表示,公式如下:
Figure BDA0003801822330000073
式中,汽车的纵向运动为xlon(t)=(s,v,a,j)T,s是纵向位置,v是速度,a是加速度,沿着路径的抖动记为j,
Figure BDA0003801822330000074
表示函数xlon(t)的第i个元素。
运用凸优化的方法求解纵向轨迹。
2-2)结合步骤2-1)得到的纵向轨迹中的纵向位置s,通过权重wd,wθ,wκ
Figure BDA0003801822330000075
惩罚高曲率来获得舒适的横向轨迹,横向轨迹用二次代价函数Jlat表示,公式如下:
Figure BDA0003801822330000081
式中,汽车的横向运动为
Figure BDA0003801822330000084
d是横向位置,θ是偏差,K是曲率,
Figure BDA0003801822330000082
是曲率的变化,
Figure BDA0003801822330000083
表示函数xlat(t)的第i个元素。
通过障碍物可达集预测最大和最小横向位置约束,其中可达集表示障碍物在一段时间内所有可行状态的集合;在求解的最大和最小横向位置约束下运用凸优化的方法求解横向轨迹,得到能够避撞的转向角。
3)构建安全转向角的区间:对于输入的测试驾驶场景图像x,将凸优化求解出的能够避撞的安全转向角与训练好的无人驾驶系统关于原始图像预测的转向角构建一个对应的安全转向角区间。
3-1)对于一个已训练好的无人驾驶系统,输入一个给定的驾驶场景图像x,该系统能够输出一个相应的预测转向角,将该转向角记录为原始预测转向角。
3-2)运用步骤2)求解出规划路径,将轨迹中计算出的转向角与预测转向角形成一个区间,作为安全的转向角范围。如果扰动后的预测转向角落在这个安全转向角的区间内,则扰动后的转向角与原始预测转向角被认为是同一分类;否则,两个转向角被认为不是同一分类。
4)拓展DLV,运用基于搜索对抗性反例的方法验证无人驾驶系统的转向角的安全性。关于给定的邻域和操作,本发明的技术方案保证如果存在对抗性错误分类(即不正确的转向决策)可以成功搜索到,因此可以实现安全验证。如果在网络的所有DNN层都未发现错误分类,网络可以说是稳定或可靠的;而发现的对抗性反例可以用于改善网络。
4-1)确定DLV中邻域参数ηk和操作集合Δ;
神经网络的每一层Lk都与一个nk维向量空间
Figure BDA0003801822330000085
相关联,其中每一维对应一个神经元。对于一个输入驾驶场景图像x,一个基于DNN的无人驾驶系统在层k的激活表示为αx,k,k∈{1,...,n},并且αx,0=x。αx,k(p)表示输入x在第k层的神经元p∈Pk的激活值。
对于给定的一个输入驾驶场景图像x(可以看作高维空间的一个点),假设在该点周围存在一个或无限个区域η,这个区域内的所有点的预测转向角必须与x的预测转向角具有相同的类。这个区域由用户指定,可以用一个小直径来表示,也可以用某些特征相同的所有点的集合来表示。
从神经网络的某一层k开始,邻域ηkx,k)是预先从与当前层Lk的激活平均值相差最大的激活值对应的神经元选择的维数dimsk的子集。用avgk表示当前层Lk的激活平均值,dimskkx,k))为在所有维度中|αx,k(p)-avg|取最大值的第一批维度。
Figure BDA0003801822330000091
这里sp表示一个较小的跨度,mp表示这种跨度的数量。
接下来,假设存在一个操作集合Δ,这些操作指定了对图像的修改,在这类修改下,在η区域内的预测转向角的分类应该保持不变。这样的操作可以表示相机不精确,相机角度的改变,或替换某一个特征。
设d是从dimskkx,k))映射到{-1,0,1}的函数。每个操作
Figure BDA0003801822330000092
根据d中给出的方向,通过加减宽度sp改变维的一个子集,即
Figure BDA0003801822330000093
集合Δk是所有此类操作的集合。
4-2)搜索对抗性反例
对于基于DNN的无人驾驶系统转向角的安全性我们给出以下定义:
如果对输入驾驶场景图像x应用操作而不引起邻域η内转向角的分类变化,则认为网络关于x和η关于操作集合Δ是安全的。
利用离散化来实现高维η区域内转向角对抗性误分类的有限穷举搜索。安全分析层层传播,将邻域和操作映射到更深层。这种传播在操作极小化的保证下是完备的。如果存在错误分类,验证框架可以保证找到错误分类。由于将验证简化为搜索对抗性示例,我们可以实现安全验证,即如果所有层都没有发现错误分类,可以实现转向角的安全性验证;如果搜索到对抗性反例,可以用于改善网络。
对于给定的一个神经网络N、一个输入x和一组操作Δk,如果以αx,k为起点生成一个完备树,树的每个节点与αx,k具有相同的转向角分类,并且由相邻节点形成的有限个超矩形可以覆盖区域ηk,那么我们说N对于输入x关于区域ηk和操作Δk是安全的,记为N,ηk
Figure BDA0003801822330000101
如果该层搜索结果满足N,ηk
Figure BDA0003801822330000102
那么报告N关于ηk和Δ是安全的,并继续下一层搜索;如果不满足,则报告一个对抗性反例,停止搜索。
本实施例中分别采用单路径搜索和多路径搜索两种方式搜索对抗性反例。如果按照预先指定的顺序对根据特征划分的区域内的点进行检查,这种方法称为单路径搜索。如果对根据特征划分的区域内的点进行检查是通过穷尽搜索所有可能的顺序进行的,这种方法称为多路径搜索。如图3所示,实验中每组图左边是原始图像,右边是验证发现对抗性反例时报告的扰动后的图像,其中,(a)图为单路径搜索到的对抗性反例,(b)图为多路径搜索到的对抗性反例。从测试集中随机选取100张图像,将所提出的验证方法与现有的两种搜索对抗性反例的方法DNN驱动的自动驾驶汽车自动测试法(DeepTest)(Tian Y,Pei K,JanaS,et al.Deeptest:Automated testing of deep-neural-network-driven autonomouscars[C]//Proceedings of the 40th international conference on softwareengineering.2018:303-314.)和自动驾驶转向角的安全性验证法(SDLV)(Wu H,Lv D,CuiT,et al.SDLV:verification of steering angle safety for self-driving cars[J].Formal Aspects of Computing,2021,33(3):325-341.)进行对比。DeepTest是一种自动检测DNN驱动自动驾驶汽车错误转向角的方法,应用图像转换自动生成测试用例,以检测错误的转向行为,而SDLV则运用神经元覆盖率和松弛条件作为转向角分类的判断转,以一种形式化的方式探索输入或隐藏层中的特征空间中的一定比例的维数。对比实验得到数据对比表格如表1所示,表内有3个数据,包括扰动操作后图像与原始图像的L1和L2距离,以及搜索到对抗性反例的成功率。
本发明与现有的两种搜索对抗性反例的方法DeepTest和SDLV对比见表1。搜索到对抗性反例的成功率可以看出本发明的方法比现有方法DeepTest和SDLV成功率更高。当对抗性反例与原始图像距离更小时可能会有更低的可转移率,即在相同数据集上训练的另一个模型上,误分类可能更难被发现。从L1距离和L2距离可以发现当扰动操作维数dim取300时,本发明方法和SDLV优于DeepTest。
表1与现有的两种搜索对抗性反例的方法DeepTest和SDLV对比
Figure BDA0003801822330000111

Claims (1)

1.一种基于凸优化的无人驾驶系统转向角安全性的验证方法,其特征在于,包括下列步骤:
1)运用故障安全轨迹中的凸优化法求解出能够避撞的转向角,即建立避撞转向角;
2)构建安全转向角的区间:以凸优化求解出的避撞转向角和无人驾驶系统原始预测的转向角构建安全转向角的区间;
3)确定深度学习验证工具DLV中邻域参数和扰动操作集合,逐层搜索对抗性反例;
步骤1)中,避撞转向角的建立,在无人驾驶的故障安全轨迹规划中,汽车运动规划被解耦成纵向和横向运动,然后运用凸优化的方法进行求解,用t和th分别表示时间和时间间隔,具体包括以下步骤:
1-1)规划纵向轨迹,通过权重
Figure FDA0003801822320000011
Figure FDA0003801822320000012
惩罚高加速度和抖动来获得舒适的纵向轨迹,纵向轨迹用二次代价函数Jlon表示,公式如下:
Figure FDA0003801822320000013
式中,汽车的纵向运动为xlon(t)=(s,v,a,j)T,s是纵向位置,v是速度,a是加速度,沿着路径的抖动记为j,
Figure FDA0003801822320000014
表示函数xlon(t)的第i个元素;
运用凸优化的方法求解纵向轨迹;
1-2)结合步骤1-1)的求解结果中的纵向位置s,通过权重wd,wθ,wκ
Figure FDA0003801822320000015
惩罚高曲率来获得舒适的横向轨迹,横向轨迹用二次代价函数Jlat表示,公式如下:
Figure FDA0003801822320000016
式中,汽车的横向运动为
Figure FDA0003801822320000017
d是横向位置,θ是偏差,κ是曲率,
Figure FDA0003801822320000018
是曲率的变化,
Figure FDA0003801822320000019
表示函数xlat(t)的第i个元素;
通过障碍物可达集预测最大和最小横向位置约束,其中可达集表示障碍物在一段时间内所有可行状态的集合;在求解的最大和最小横向位置约束下运用凸优化的方法求解横向轨迹,得到能够避撞的转向角;
步骤2)中,安全转向角的区间的构建,具体包括以下步骤:
2-1)对于一个已训练好的基于DNN的无人驾驶系统,输入一个给定的驾驶场境图像x,该系统能够输出一个相应的预测转向角,将该转向角记录为原始预测转向角;
2-2)运用步骤1)求解出的横向轨迹中的转向角,将该转向角与原始预测转向角形成一个区间,作为安全转向角的范围;
步骤3)中,拓展DLV,验证基于DNN的无人驾驶系统转向角的安全性:
验证是基于搜索对抗性反例的方法,对任意一个基于DNN的无人驾驶系统N,给定的一个输入驾驶场境图像x,邻域和扰动操作,x在N内层层传播的过程中实施扰动操作,一旦系统对扰动后的驾驶场境图像输出的预测转向角不在安全的转向角范围内,则报告对抗性反例;
所述的逐层搜索对抗性反例,具体包括以下步骤:
3-1)确定深度学习验证工具DLV中邻域参数ηk和扰动操作集合Δ;
神经网络的每一层Lk都与一个nk维向量空间
Figure FDA0003801822320000021
相关联,其中每一维对应一个神经元;对于一个输入驾驶场景图像x,一个基于DNN的无人驾驶系统在层k的激活表示为αx,k,k∈{1,...,n},并且αx,0=x;αx,k(p)表示输入x在第k层的神经元p∈Pk的激活值;
对于给定的一个输入驾驶场景图像x看作高维空间的一个点,假设在该点周围存在一个或无限个邻域η,邻域内的所有点的预测转向角必须与x的预测转向角具有相同的类;所述的邻域由用户指定,用一个小直径来表示,或用某些特征相同的所有点的集合来表示;
从神经网络的某一层k开始,邻域ηkx,k)是预先从与当前层Lk的激活平均值相差最大的激活值对应的神经元选择的维数dimsk的子集;用avgk表示当前层Lk的激活平均值,dimskkx,k))为在所有维度中|αx,k(p)-avg|取最大值的第一批维度;
Figure FDA0003801822320000031
式中,sp表示跨度,mp表示这种跨度的数量;
接下来,假设存在一个扰动操作集合Δ,这些扰动操作指定了对驾驶场境图像的修改,即对驾驶场境图像实施扰动操作,在这些修改下,在η区域内的预测转向角的分类应该保持不变;所述的扰动操作包括相机不精确、相机角度的改变或替换某一个特征;
设d是从dimskkx,k))映射到{-1,0,1}的函数;每个扰动操作
Figure FDA0003801822320000032
根据d中给出的方向,通过加减宽度sp改变维的一个子集,即
Figure FDA0003801822320000033
式中,集合Δk是第k层所有此类扰动操作
Figure FDA0003801822320000034
的集合;
3-2)搜索对抗性反例
对于基于DNN的无人驾驶系统转向角的安全性定义如下:
如果对输入驾驶场景图像x应用扰动操作而不引起邻域η内转向角的分类变化,则认为DNN网络关于x和η关于扰动操作集合Δ是安全的;
其中,分类的判断方式为:如果扰动后的预测转向角落在步骤2)求解的安全转向角的区间内,则扰动后的转向角与原始预测转向角被认为是同一分类;否则,两个转向角被认为不是同一分类;
利用离散化来实现高维η区域内转向角对抗性误分类的有限穷举搜索,具体步骤如下:
对于给定的一个神经网络N、一个输入x和一组扰动操作Δk,如果以αx,k为起点生成一个完备树,树的每个节点与αx,k具有相同的转向角分类,并且由相邻节点形成的有限个超矩形可以覆盖区域ηk,那么N对于输入x,区域ηk和扰动操作Δk是安全的,记为
Figure FDA0003801822320000041
如果该层搜索结果满足
Figure FDA0003801822320000042
那么报告N关于ηk和Δ是安全的,并继续下一层搜索;如果不满足,则报告一个对抗性反例,停止搜索。
CN202210985192.0A 2022-08-17 2022-08-17 一种基于凸优化的无人驾驶系统转向角安全性的验证方法 Pending CN115439816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210985192.0A CN115439816A (zh) 2022-08-17 2022-08-17 一种基于凸优化的无人驾驶系统转向角安全性的验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210985192.0A CN115439816A (zh) 2022-08-17 2022-08-17 一种基于凸优化的无人驾驶系统转向角安全性的验证方法

Publications (1)

Publication Number Publication Date
CN115439816A true CN115439816A (zh) 2022-12-06

Family

ID=84243368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210985192.0A Pending CN115439816A (zh) 2022-08-17 2022-08-17 一种基于凸优化的无人驾驶系统转向角安全性的验证方法

Country Status (1)

Country Link
CN (1) CN115439816A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097559A (zh) * 2023-10-17 2023-11-21 天津德科智控股份有限公司 Eps转向角度报文传输验证方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097559A (zh) * 2023-10-17 2023-11-21 天津德科智控股份有限公司 Eps转向角度报文传输验证方法
CN117097559B (zh) * 2023-10-17 2023-12-19 天津德科智控股份有限公司 Eps转向角度报文传输验证方法

Similar Documents

Publication Publication Date Title
Driggs-Campbell et al. Robust, informative human-in-the-loop predictions via empirical reachable sets
CN113561974B (zh) 基于车辆行为交互与道路结构耦合的碰撞风险预测方法
Cho et al. Deep predictive autonomous driving using multi-agent joint trajectory prediction and traffic rules
Gruber et al. Anytime safety verification of autonomous vehicles
CN115735107A (zh) 用于提供要测试的交通场景的测试过程的计算机实现的方法
Ren et al. Safety-aware motion prediction with unseen vehicles for autonomous driving
CN115439816A (zh) 一种基于凸优化的无人驾驶系统转向角安全性的验证方法
Sun et al. Human-like highway trajectory modeling based on inverse reinforcement learning
Khonji et al. A risk-aware architecture for autonomous vehicle operation under uncertainty
Zhou et al. Long-tail prediction uncertainty aware trajectory planning for self-driving vehicles
Nabhan et al. Optimizing coverage of simulated driving scenarios for the autonomous vehicle
Wu et al. SDLV: Verification of steering angle safety for self-driving cars
Karlsson et al. Intention-aware motion planning with road rules
Rojas et al. Performance evaluation of an autonomous vehicle using resilience engineering
Li et al. Simulation of vehicle interaction behavior in merging scenarios: A deep maximum entropy-inverse reinforcement learning method combined with game theory
Aoude et al. Using support vector machines and bayesian filtering for classifying agent intentions at road intersections
Katrakazas Developing an advanced collision risk model for autonomous vehicles
Hu et al. Detecting socially abnormal highway driving behaviors via recurrent graph attention networks
Chandra et al. Game-theoretic planning for autonomous driving among risk-aware human drivers
Alag et al. A framework for intelligent sensor validation, sensor fusion, and supervisory control of automated vehicles in IVHS
Osman et al. Run-time safety monitoring framework for AI-based systems: Automated driving cases
Li et al. Safe motion planning for autonomous vehicles by quantifying uncertainties of deep learning-enabled environment perception
Souflas et al. Virtual Verification of Decision Making and Motion Planning Functionalities for Automated Vehicles in Urban Edge Case Scenarios
Li et al. Personalized trajectory prediction for driving behavior modeling in ramp-merging scenarios
Taş Motion planning for autonomous vehicles in partially observable environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination