CN117413234A - 设计运行区域的识别方法及装置 - Google Patents

设计运行区域的识别方法及装置 Download PDF

Info

Publication number
CN117413234A
CN117413234A CN202180098500.1A CN202180098500A CN117413234A CN 117413234 A CN117413234 A CN 117413234A CN 202180098500 A CN202180098500 A CN 202180098500A CN 117413234 A CN117413234 A CN 117413234A
Authority
CN
China
Prior art keywords
mobile device
neural network
driving scene
odd
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180098500.1A
Other languages
English (en)
Inventor
赵世杰
佘晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN117413234A publication Critical patent/CN117413234A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种设计运行区域的识别方法及装置。本申请提供的技术方案中,通过移动设备的传感器获取多个实际场景下的驾驶场景数据,然后通过该多个驾驶场景数据训练神经网络,获得可以判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内的神经网络模型;然后再使用该训练好的神经网络模型来判断移动设备在驾驶行驶过程中的当前驾驶场景是否在自动驾驶系统的ODD内。该方法中,用于判断驾驶场景是否在移动设备的自动驾驶系统的ODD内的神经网络模型与自动驾驶系统的能力相匹配,可以提升ODD的识别准确率和扩大ODD的识别范围。

Description

设计运行区域的识别方法及装置 技术领域
本申请涉及自动驾驶技术领域,并且,更具体地,涉及设计运行区域的识别方法及装置。
背景技术
根据SAE J3016标准,设计运行区域(operational design domain,ODD)是指某个自动驾驶系统或者自动驾驶特性被设计运行的运行条件,即某个自动驾驶功能的运行条件。示例性地,运行区域可以包括但是不限于环境、地理位置、时间和道路特征等。
准确、及时地识别出当前的驾驶场景是否在自动驾驶系统的ODD之内,是自动驾驶系统正常工作及后续驾驶员安全接管的前提条件。目前,通常使用电子围栏的方式,即将当前的驾驶场景与指定的驾驶场景进行比较的方式来判断当前的驾驶场景是否在自动驾驶系统的ODD内。
然而,上述使用电子围栏的方式中,ODD的识别率低。
发明内容
本申请提供一种设计运行区域的识别方法及装置,可以提升ODD的识别率。
第一方面,本申请提供一种设计运行区域ODD的识别方法,该方法包括:获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据,第一驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制;使用目标神经网络基于第一驾驶场景数据判断第一移动设备的驾驶场景否在第一移动设备的自动驾驶系统的ODD内,目标神经网络用于基于移动设备在预设时长内的驾驶场景数据判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内。
本申请实施例提供的ODD的识别方法,第一驾驶场景数据可以理解为第一移动设备采集的当前的驾驶场景数据,本申请提供的ODD的识别方法中,当第一移动设备获得第一驾驶场景数据后,通过神经网络来判断当前的驾驶场景是否在自动驾驶系统的ODD内,相比电子围栏的识别方式,可以在驾驶场景复杂以及自动驾驶系统能力提升的情况下,也可以准确识别出当前场景是否在自动驾驶系统的ODD内。
结合第一方面,在一种可能的实现方式中,目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
结合第一方面,在一种可能的实现方式中,所述方法还包括:当第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内时,输出提示信息,提示信息用于指示第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内。
该实现方式中,当第一移动设备的驾驶场景不在自动驾驶系统的ODD内时,可 以通过向用户输出提示信息的方式使得驾驶员能够及时了解当前驾驶场景是否在ODD内,从而让驾驶员能够及时接管,进一步提升自动驾驶的安全性。
结合第一方面,在一种可能的实现方式中,输出提示信息,包括:通过第一移动设备的人机界面HMI输出视觉图标,或通过第一移动设备输出语音播报信息。
第二方面,本申请实施例提供一种训练神经网络的方法,该方法包括:获取M个训练数据,所述M个训练数据中每个训练数据包括驾驶场景数据和标签,所述M个训练数据中第i个训练数据中的标签用于指示第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内,驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制,i为小于或等于M的正整数;使用M个训练数据训练神经网络,得到目标神经网络。
该申请实施例提供的方法,得到的目标神经网络可以基于第一移动设备驾驶过程中的驾驶场景数据,判断出驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内。
可以理解的是,在现有技术中,使用的是电子围栏的方式来判断自动驾驶系统可以运行的驾驶场景,而在本申请提供的方法,是基于实际驾驶场景下的M个训练数据训练神经网络模型来获得可以判断驾驶场景是否在自动驾驶系统的设计运行区域ODD内的方式。该方式相比现有技术,训练得到的神经网络能够更加准确的描述自动驾驶系统的能力,使得ODD的识别率更高。此外,采用神经网络识别出的ODD不是固定的,而是随着自动驾驶系统能力的提升,训练数据的标签也随之改变,最终神经网络识别出的ODD的范围也会不断扩大。
结合第二方面,在一种可能的实现方式中,目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
第三方面,本申请实施例提供一种设计运行区域ODD的识别装置,所述装置包括:获取模块,用于获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据,第一驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制;判断模块,用于使用目标神经网络基于第一驾驶场景数据判断第一移动设备的驾驶场景否在第一移动设备的自动驾驶系统的ODD内,目标神经网络用于基于移动设备在预设时长内的驾驶场景数据判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内。
结合第三方面,在一种可能的实现方式中,目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
结合第三方面,在一种可能的实现方式中,所述装置还包括输出模块,用于当第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内时,输出提示信息,所述提示信息用于指示第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内。
结合第三方面,在一种可能的实现方式中,输出模块具体用于:通过所述第一移动设备的人机界面HMI输出视觉图标,或通过所述第一移动设备输出语音播报信息。
第四方面,本申请实施例提供一种训练神经网络的装置,包括:获取模块,用于 获取M个训练数据,M个训练数据中每个训练数据包括驾驶场景数据和标签,M个训练数据中第i个训练数据中的标签用于指示第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内,驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制,i为小于或等于M的正整数;训练模块,用于使用M个训练数据训练神经网络,得到目标神经网络。
结合第四方面,在一种可能的实现方式中,目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
第五方面,本申请实施例提供一种设计运行区域ODD的识别装置,包括至少一个处理器和存储器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时,使得装置执行如第一方面或其中任意一种可能的实现方式所述的方法。
第六方面,本申请实施例提供一种训练神经网络的装置,包括至少一个处理器和存储器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被所述处理器执行时,使得装置执行如第二方面或其中任意一种可能的实现方式所述的方法。
第七方面,本申请实施例提供一种设计运行区域ODD的识别装置,包括逻辑电路和输入输出接口,输入输出接口用于输入或输出指令或信息,逻辑电路用于执行指令或者根据信息,以执行如第一方面或其中任意一种可能的实现方式所述的方法。
第八方面,本申请实施例提供一种训练神经网络的装置,包括逻辑电路和输入输出接口,输入输出接口用于输入或输出指令或信息,逻辑电路用于执行指令或者根据信息,以执行如第二方面或其中任意一种可能的实现方式所述的方法。
第九方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读介质存储用于计算机执行的程序指令,该程序指令包括用于执行如第一方面或其中任意一种可能的实现方式所述的方法,或者执行如第二方面或其中任意一种可能的实现方式所述的方法。
第十方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品中包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得所述计算机实现如第一方面或其中任意一种可能的实现方式所述的方法,或者执行如第二方面或其中任意一种可能的实现方式所述的方法。
其中,第三方面至第十方面中任一种实现方式所带来的技术效果可参见上述第一方面的任一种可能的实现方法所带来的技术效果,或者参见上述第二方面的任一种可能的实现方法所带来的技术效果,不予赘述。
附图说明
图1为本申请提供的ODD的构建框架的示意图;
图2为本申请提供的ODD的识别方法的应用场景的示意图;
图3为本申请一个实施例提供的ODD的识别方法的系统架构示意图;
图4为本申请一个实施例提供的神经网络的训练方法的流程性示意图;
图5为本申请一个实施例提供的ODD的识别方法的流程性示意图;
图6为本申请一个实施例提供的视觉图标的示意图;
图7为本申请一个实施例提供的ODD的识别装置的结构示意图;
图8为本申请另一个实施例提供的训练装置的结构示意图;
图9为本申请又一个实施例提供的识别装置的结构示意图。
具体实施方式
为了更好地介绍本申请实施例的技术方案,下面先对本申请实施例中使用到的一些概念进行介绍。
1、设计运行区域
目前的自动驾驶技术还处于发展阶段,无法保证自动驾驶汽车在任何天气条件、任何道路环境、任何交通工况下都可以安全行驶。因此,需要根据自动驾驶系统的能力来提前设定好设计运行区域(operational design domain,ODD),通过限制行驶环境和行驶方法,或及时提醒驾驶员进行接管,将有可能发生的事故防范于未然。
ODD指的是自动驾驶汽车能够安全工作的环境,通常包括车辆自动驾驶时的速度、地形路面情况、环境交通状况等。比如有的车辆只能在高速路段和限定的速度范围内开启自动驾驶功能。
美国高速公路安全管理局(national highway traffic safety administration,NHTSA)提出了一种ODD的构建框架,如图1所示,包括六大要素:基础设施(physical infrastructure)、操作限制(operational constraints)、周边物体(objects)、互联(connectivity)、环境条件(environmental conditions)和区域(zone),每个基础要素又可以继续细分。
如图1所示,基础设施要素可设置四种属性:道路类型、路面类型、道路边缘与道路几何。
道路类型,如可以包括自动驾驶车辆的专用车道、高速公路、普通公路等;路面类型包括沥青路面、水泥混凝土路面、砌块路面、碎石路面、稳定土路面、减速带、草地、越野路面等;道路边缘包括车道线、路肩、混凝土护栏、栅栏、栏杆、路缘石等不同种类;道路几何指的是道路的外形,其包含的属性值有:直路、弯道、坡道、转角、车道宽度等。
操作限制主要包括限速和交通条件两类元素。
限速,包含允许的最高车速和最低车速;交通条件包括交通流量(最低、峰值、正常)和交通条件变化(事故、紧急车辆通行、维修、封路、特殊事件等)两大类。
在驾驶场景中可能出现的车辆周边物体(objects)可分为三大类型:标记、道路使用者、非道路使用者的障碍物/物体。
标记,包括各类交通标志、交通信号灯、斑马线、铁路道口、呼救、施工标志、其它道路使用者发出的信号、手势等;道路使用者,常见的道路使用者包括各种车辆(轿车、轻卡、重卡、公共汽车、工程车辆、应急车辆、特殊车辆等)、行人(大人、儿童)、骑两轮车的人(自行车、电瓶车、摩托车)等;非道路使用者的障碍物/物体,常见的包括动物、工程设备、路面障碍物等。
互联,可以理解为车与任何事物的通信,具体可包括车与车、车与基础设施、车与人、车与云等。
环境条件主要考虑天气、受天气影响的道路条件、颗粒物和光照四项属性。
天气,天气情况对传感器的影响较大。设计运行区域主要考虑风、雨、雪、雨夹雪、温度等天气情况;受天气影响的道路条件,雨雪天气下产生的道路积水、淹没、结冰、积雪等情况降低了轮胎的道路附着力,进而影响智能驾驶系统的运动控制能力;颗粒物,大气中的雾、霾、烟雾、灰尘等都会影响可见度,降低传感器的感知能力;光照,光照太强或光照太弱都会影响摄像头的感知能力,实际中所处时段(白天、黎明、黄昏、夜晚)、道路周边设施照明(路灯、建筑灯光)和车灯都会影响光照条件。
区域,自动驾驶功能可能受到所处区域的空间限制,这些区域的边界可以是固定的,也可能是动态的,主要分为地理围栏、交通管制区域、学校/施工区域、国家/地区、信号干扰区域5类。
地理围栏,指的是用一个虚拟的栅栏围出一个虚拟地理边界,典型应用包括:中央商务区、园区等;交通管制区域,交通管制区域可能包括临时车道封闭、动态交通标志、可变限速标志、临时车道标记、人工交通引导等;学校/施工区域,在学校或施工区域,动态限速、行人和车辆行为均不稳定;国家/地区,不同国家或地区存在交通法规、交通标记等差异;信号干扰区域,在隧道、停车场、茂密的树叶、高层建筑、大气条件等都会影响全球导航卫星系统(global navigation satellite system,GNSS)信号。
2、神经网络
人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
当今人工智能的关键技术是神经网络(neural networks,NN)。神经网络通过模拟人脑神经细胞连接,将大量的、简单的处理单元(称为神经元)广泛互连,形成复杂的网络系统。
一个简单的神经网络包含三个层次,分别是输入层、输出层和隐藏层(也称中间层),每一层之间的连接都对应一个权重(其值称为权值、参数)。神经网络之所以能在计算机视觉、自然语言处理等领域有出色性能,是因为通过训练算法调整权值,使神经网络的预测结果最佳。
神经网络的训练一般包含两个计算步骤,第一步为前向计算,第二步为反向计算。其中,前向计算为:输入值与参数经过计算后,再经过一个非线性函数产生输出值。输出值或作为网络的最终输出,或将作为后续的输入值继续执行类似的计算。网络的输出值与对应样本的实际标签值的偏差,用模型损失函数来衡量,损失函数表示为输入样本x和网络参数W的函数f(x,w),为了使损失函数降至最小,需要不断调整网络的参数W,而反向计算是为了得到参数W的更新值,在基于梯度下降的算法中,反向计算从神经网络的最后一层开始,计算损失函数对每一层参数的偏导数,最后得到全部参数的偏导数,称为梯度。每次迭代时,把参数W以一定步长η向梯度的反方向更新,得到新的参数W,即完成一步训练。该更新过程用下式表示:
其中,w t表示第t次迭代时使用的参数,w t+1表示更新后的参数,η称为学习率,B t表示第t次迭代输入的样本集合。
训练神经网络的过程也就是对神经元对应的权重进行学习的过程,其最终目的是得到训练好的神经网络模型的每一层神经元对应的权重。
为了使本申请的目的、技术方案更加清楚直观,下面将结合附图及实施例,对本申请提供的设计运行区域ODD的识别方法进行详细说明。应理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在SAE J3016标准中,将车辆的驾驶自动化(driving automation)等级划分为L0-L5,分别对应无驾驶自动化到完全驾驶自动化的5个等级。其中,具体包括:0级驾驶自动化(无驾驶自动化)、1级驾驶自动化(驾驶辅助)、2级驾驶自动化(部分驾驶自动化)、3级驾驶自动化(有条件驾驶自动化)、4级驾驶自动化(高度驾驶自动化)和5级驾驶自动化(完全驾驶自动化)。自动驾驶系统能否在其对应的ODD内安全运行是驾驶自动化分级的重要依据。
根据SAE J3016标准,设计运行区域(operational design domain,ODD)是指某个自动驾驶系统或者自动驾驶特性被设计运行的运行条件,即某个自动驾驶功能的运行条件。示例性地,运行区域可以包括但是不限于环境、地理位置、时间和道路特征等。可以理解的是,ODD也包含自动驾驶系统本身特征,例如:自动驾驶功能运行要求的传感能力、决策能力、执行能力中的一项或多项。
因此,在自动驾驶系统中,判断当前实际运行的驾驶场景是否在自动驾驶系统的ODD之内,是自动驾驶系统正常工作及后续驾驶员安全接管的前提条件。
示例性地,图2所示为本申请实施例可以应用的场景示意图。图中以车辆为例示出,如图2所示,包括自动驾驶系统的车辆在行驶过程中,若想要开启自动驾驶功能,就需要判断当前行驶的驾驶场景是否在ODD内,只有在ODD内时,才可以开启安全驾驶功能。
目前,移动设备判断当前行驶的驾驶场景是否在ODD内通常使用电子围栏的方式,即将当前实际运行的驾驶场景与指定驾驶场景进行比较的方式来判断自动驾驶汽车是否在自动驾驶系统的ODD内。
然而,上述方式中,未考虑到实际驾驶场景的复杂多变以及自动驾驶系统能力的变化,从而导致ODD的识别率低。
示例性地,若采用电子围栏的方式为具有自动驾驶系统的移动设备提前设定好了可以运行的驾驶场景,现假设该提前设定好的驾驶场景中不包括第一驾驶场景。此时,当自动驾驶系统能力提升时,实际上该自动驾驶系统也是可以在该第一驾驶场景中运行的,但当采用电子围栏的方式时,会导致自动驾驶系统认为该第一场景不在ODD之内,从而导致识别率低。还可以理解的是,电子围栏的方式并不能够充足的描述自动驾驶系统的设计运行区域。
有鉴于此,本申请实施例提供一种设计运行区域ODD的识别方法,该方法通过移动设备的传感器获取大量的实际场景下的驾驶场景数据,然后通过该大量驾驶场景 数据训练神经网络,获得可以判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内的神经网络模型,然后再使用该训练好的神经网络模型来判断移动设备在驾驶行驶过程中的当前驾驶场景是否在自动驾驶系统的ODD内。
示例性地,图3为本申请一个实施例提供的移动设备的设计运行区域ODD的识别的架构示意图。如图3所示,该移动设备包括传感器、自动驾驶系统、神经网络。
其中,移动设备通过传感器采集驾驶场景数据,例如驾驶场景可以包括:基础设施、操作限制、周边物体、互联性、环境条件或区域限制。在此说明的是,对于驾驶场景的描述可以参考相关技术中的详细描述,此处不再赘述。
还在此说明的是,图3仅是示例性地给出了几种类型的传感器,本申请实施例对传感器的类型和数目不做限制。例如传感器可以包括但不限于车对外界的信息交换(vehicle to everything,V2X)、GPS、摄像头、毫米波雷达、激光雷达、高精度地图等。
自动驾驶系统可以用于移动设备开启自动驾驶功能。在此说明的是,图3所示的自动驾驶系统仅示例性地给出了该自动驾驶系统包括环境感知、决策规划和控制执行三个部分,其还可以包括更多的部件,本申请对此不做限定。
本申请中,可以首先通过传感器采集的驾驶场景数据及驾驶场景数据对应的标签来训练神经网络,其中,驾驶场景数据对应的标签用于指示驾驶场景是否在自动驾驶系统的设计运行区域ODD内。
然后在神经网络训练好之后,当包括自动驾驶功能的移动设备在实际驾驶时,移动设备在通过传感器获得当前的驾驶场景数据后,就可以通过训练好的神经网络模型判断驾驶场景是否在移动设备的自动驾驶系统的ODD内,而不是通过电子围栏的方式,从而可以进一步控制自动驾驶系统。
下面,结合图4,说明本申请实施例提供的训练神经网络的方法。
如图4所示,本申请实施例的方法可以包括S401和S402。
S401,获取M个训练数据,M个训练数据中每个训练数据包括驾驶场景数据和标签,M个训练数据中第i个训练数据中的标签用于指示第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内,驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制,i为小于或等于M的正整数。
本实施例中,为了获得能够判断驾驶场景是否在移动设备的自动驾驶系统的ODD内的神经网络模型,首先需要获得实际驾驶场景下的M个驾驶场景数据,其中,驾驶场景可以包括但不限于基础设施、操作限制、周边物体、互联性、环境条件或区域限制。
示例性地,可以通过传感器获得M个驾驶场景数据。在此说明的是,本申请实施例对传感器的类型和数目不做限制。例如传感器可以包括但不限于V2X、GPS、摄像头、毫米波雷达、激光雷达、高精度地图等。
在此说明的是,有关驾驶场景的详细描述可以参考相关技术,此处不再赘述。
还在此说明的是,本实施例对M个驾驶场景数据的来源形式不做限定。例如由于单帧驾驶场景数据难以描述动态的驾驶场景,因此可以通过视频的方式获得M个驾驶 场景数据。
由于要训练神经网络,因此还需要获得每个驾驶场景数据的标签。本实施例中,第i个训练数据中的标签用于指示第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内。
在一种可能实现方式中,为了获得每一个驾驶场景数据对应的标签,可以通过将该驾驶场景数据输入到自动驾驶系统中,然后根据该自动驾驶系统的表现获得驾驶场景数据的标签,例如,当将驾驶场景数据输入到自动驾驶系统后,该自动驾驶系统能够安全处理时,则标签为“是”,比如自车在高速公路上自由行驶的场景,无碰撞风险、无驾驶员接管;而对于某个驾驶场景,发生了碰撞或驾驶员进行了安全接管,则标签为“否”,比如自车在某施工路段行驶,自车无法通行,需要驾驶员进行接管。
S402,使用M个训练数据训练神经网络,得到目标神经网络。
当获得了M个驾驶场景数据和M个驾驶场景数据分别对应的标签后,就可以使用该M个驾驶场景数据以及M个驾驶场景数据分别对应的标签作为M个训练数据训练神经网络,从而获得可以判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内的神经网络模型。
在此说明的是,有关使用训练数据训练神经网络的具体实现过程和详细描述可以参考相关技术,此处不再赘述。
该申请实施例提供的方法,得到的目标神经网络在获得第一移动设备在当前驾驶过程中的驾驶场景数据后,可以判断当前的驾驶场景是否在自动驾驶系统的设计运行区域ODD内。
可以理解的是,在现有技术中,使用的是电子围栏的方式来判断自动驾驶系统可以运行的驾驶场景,而在本申请提供的方法,是基于实际驾驶场景下的M个训练数据训练神经网络模型来获得可以判断驾驶场景是否在自动驾驶系统的设计运行区域ODD内的方式。该方式相比现有技术,训练得到的神经网络能够更加准确的描述自动驾驶系统的能力,使得ODD的识别率更高。此外,采用神经网络识别出的ODD不是固定的,而是随着自动驾驶系统能力的提升,训练数据的标签也随之改变,最终神经网络识别出的ODD的范围也会不断扩大。
作为一个可选的的实施例,目标神经网络包括长短时记忆神经网络(long short term networks,LSTM)或卷积神经网络(convolutional neural networks,CNN)。
该实施例中,可以使用M个训练数据对LSTM神经网络进行训练得到目标神经网络,或者使用M个训练数据对CNN进行训练得到目标神经网络。其中,有关LSTM和CNN的概念和详细描述可以参考相关技术中的描述,此处不再赘述。
下面,结合图5,说明本申请实施例提供的设计运行区域ODD的识别方法。
如图5所示,本申请实施例的方法可以包括S501和S502。该实施例的方法可以由第一移动设备执行。
S501,获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据,第一驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制。
其中,第一驾驶场景数据可以理解为第一移动设备在实际驾驶时,当前的驾驶场 景的数据。
在此说明的是,本申请实施例中的第一移动设备包括自动驾驶系统。还在此说明的是,本申请实施例对第一移动设备的具体形态不做限定,例如可以包括但不限于:乘用车、客车或者货车等。
本实施例中,由于需要判断第一移动设备当前的驾驶场景是否在自动驾驶系统的ODD内,因此需要通过传感器获得第一驾驶场景数据。其中,有关可以使用的传感器和驾驶场景的详细描述可以参考上述实施例中的描述,此处不再赘述。
可以理解的是,由于传感器获取的单帧驾驶场景数据难以描述动态的驾驶场景,因此可以获得预设时长内的驾驶场景数据,例如该预设时长可以是10秒,本申请实施例对此不做限定。
S502,使用目标神经网络基于第一驾驶场景数据判断第一移动设备的驾驶场景否在第一移动设备的自动驾驶系统的ODD内,所述目标神经网络用于基于移动设备在预设时长内的驾驶场景数据判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内。
当第一移动设备通过传感器获得第一驾驶场景数据后,就可以将该第一驾驶数据输入到可以判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内的目标神经网络中,从而确定当前的第一驾驶场景是否在ODD内。
本申请实施例提供的ODD识别方法中,当第一移动设备获得第一驾驶场景数据后,通过神经网络来判断当前的驾驶场景是否在自动驾驶系统的ODD内,相比电子围栏的识别方式,可以在驾驶场景复杂以及自动驾驶系统能力提升的情况下,也可以准确识别出当前场景是否在自动驾驶系统的ODD内。
作为一个可选的实施例,目标神经网络包括LSTM或CNN。其中,有关LSTM和CNN的概念和详细描述可以参考相关技术中的描述,此处不再赘述。
作为一个可选的实施例,当第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内时,输出提示信息,提示信息用于指示第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内。
在一种可实现方式中,第一移动设备可以通过视觉图标输出提示信息。
作为一种示例性,如图6所示,当第一驾驶场景在自动驾驶系统的ODD内时,第一移动设备可以通过人机界面(human machine interface,HMI)输出图6(a)所示的图标,当第一驾驶场景不在自动驾驶系统的ODD内时,第一移动设备可以通过HMI输出图6(b)所示的图标。在此说明的是,图6所示的图标仅是一种示例,还可以是其他图标,本申请实施例对此不做限定。
在另一种实现方式中,第一移动设备可以通过语音播报输出提示信息。示例性地,当第一驾驶场景超出自动驾驶系统的ODD内时,则发出“嘀嘀嘀”的声音,以提醒驾驶员进行接管。
该方法中,当第一移动设备的驾驶场景不在自动驾驶系统的ODD内时,可以通过向用户输出提示信息的方式使得驾驶员能够及时了解当前驾驶场景是否在ODD内,从而让驾驶员能够及时接管,进一步提升自动驾驶的安全性。
图7为本申请一个实施例提供的一种设计运行区域ODD的识别装置,所述装置 700包括:获取模块701和判断模块702。
获取模块701,用于获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据,第一驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制;判断模块702,用于使用目标神经网络基于第一驾驶场景数据判断第一移动设备的驾驶场景否在第一移动设备的自动驾驶系统的ODD内,目标神经网络用于基于移动设备在预设时长内的驾驶场景数据判断移动设备的驾驶场景是否在移动设备的自动驾驶系统的ODD内。
作为一种示例,获取模块701可以用于执行图5所述的方法中的获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据的步骤。例如,获取模块701用于执行S501。
作为另一种示例,判断模块702可以用于执行图5所述的方法中的使用目标神经网络基于第一驾驶场景数据判断第一移动设备的驾驶场景否在第一移动设备的自动驾驶系统的ODD内的步骤。例如,判断模块702用于执行S502。
在一种可能的实现方式中,目标神经网络包括LSTM或CNN。
在一种可能的实现方式中,所述装置还包括输出模块703,用于当第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内时,输出提示信息,所述提示信息用于指示第一移动设备的驾驶场景不在第一移动设备的自动驾驶系统的ODD内。
在一种可能的实现方式中,输出模块703具体用于:通过第一移动设备的人机界面HMI输出视觉图标,或通过第一移动设备输出语音播报信息。
图8为本申请一个实施例提供的一种训练神经网络的装置,所述装置800包括:获取模块801和训练模块802。
获取模块801,用于获取M个训练数据,M个训练数据中每个训练数据包括驾驶场景数据和标签,M个训练数据中第i个训练数据中的标签用于指示第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内,驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制,i为小于或等于M的正整数;训练模块802,用于使用M个训练数据训练神经网络,得到目标神经网络。
作为一种示例,训练模块802可以用于执行图4所述的方法中的使用M个训练数据训练神经网络,得到目标神经网络的步骤。例如,训练模块802用于执行S402。
在一种可能的实现方式中,目标神经网络包括LSTM或CNN。
图9为本申请另一个实施例提供的ODD识别的装置示意图。图9所示的装置可以用于执行前述任意一个实施例所述的方法。
如图9所示,本实施例的装置900包括:存储器901、处理器902、通信接口903以及总线904。其中,存储器901、处理器902、通信接口903通过总线904实现彼此之间的通信连接。
存储器901可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器901可以存储程序,当存储器901中存储的程序被处理器902执行时,处理器902用于执行图4 或图5所示的方法的各个步骤。
处理器902可以采用通用的中央处理器(central processing unit,CPU),微处理器,应用专用集成电路(application specific integrated circuit,ASIC),或者一个或多个集成电路,用于执行相关程序,以实现本申请图4或图5所示的方法。
处理器902还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请实施例图4或图5的方法的各个步骤可以通过处理器902中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器902还可以是通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器901,处理器902读取存储器901中的信息,结合其硬件完成本申请装置包括的单元所需执行的功能,例如,可以执行图4或图5所示实施例的各个步骤/功能。
通信接口903可以使用但不限于收发器一类的收发装置,来实现装置900与其他设备或通信网络之间的通信。
总线904可以包括在装置900各个部件(例如,存储器901、处理器902、通信接口903)之间传送信息的通路。
应理解,本申请实施例所示的装置900可以是电子设备,或者,也可以是配置于电子设备中的芯片。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后 关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

  1. 一种设计运行区域ODD的识别方法,其特征在于,所述方法包括:
    获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据,所述第一驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制;
    使用目标神经网络基于所述第一驾驶场景数据判断所述第一移动设备的驾驶场景否在所述第一移动设备的自动驾驶系统的ODD内,所述目标神经网络用于基于移动设备在所述预设时长内的驾驶场景数据判断所述移动设备的驾驶场景是否在所述移动设备的自动驾驶系统的ODD内。
  2. 根据权利要求1所述的方法,其特征在于,所述目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
  3. 根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
    当所述第一移动设备的驾驶场景不在所述第一移动设备的自动驾驶系统的ODD内时,输出提示信息,所述提示信息用于指示所述第一移动设备的驾驶场景不在所述第一移动设备的自动驾驶系统的ODD内。
  4. 根据权利要求3所述的方法,其特征在于,所述输出提示信息,包括:
    通过所述第一移动设备的人机界面HMI输出视觉图标,或通过所述第一移动设备输出语音播报信息。
  5. 一种训练神经网络的方法,其特征在于,包括:
    获取M个训练数据,所述M个训练数据中每个训练数据包括驾驶场景数据和标签,所述M个训练数据中第i个训练数据中的标签用于指示所述第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内,所述驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制,i为小于或等于M的正整数;
    使用所述M个训练数据训练神经网络,得到目标神经网络。
  6. 根据权利要求5所述的方法,其特征在于,所述目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
  7. 一种设计运行区域ODD的识别装置,其特征在于,所述装置包括:
    获取模块,用于获取第一移动设备的传感器在预设时长内采集的第一驾驶场景数据,所述第一驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制;
    判断模块,用于使用目标神经网络基于所述第一驾驶场景数据判断所述第一移动设备的驾驶场景否在所述第一移动设备的自动驾驶系统的ODD内,所述目标神经网络用于基于移动设备在所述预设时长内的驾驶场景数据判断所述移动设备的驾驶场景是否在所述移动设备的自动驾驶系统的ODD内。
  8. 根据权利要求7所述的装置,其特征在于,所述目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
  9. 根据权利要求7或8所述的装置,其特征在于,所述装置还包括输出模块,用于当所述第一移动设备的驾驶场景不在所述第一移动设备的自动驾驶系统的ODD内 时,输出提示信息,所述提示信息用于指示所述第一移动设备的驾驶场景不在所述第一移动设备的自动驾驶系统的ODD内。
  10. 根据权利要求9所述的装置,其特征在于,所述输出模块具体用于:
    通过所述第一移动设备的人机界面HMI输出视觉图标,或通过所述第一移动设备输出语音播报信息。
  11. 一种训练神经网络的装置,其特征在于,包括:
    获取模块,用于获取M个训练数据,所述M个训练数据中每个训练数据包括驾驶场景数据和标签,所述M个训练数据中第i个训练数据中的标签用于指示所述第i个训练数据中的驾驶场景数据所指示的驾驶场景是否在自动驾驶系统的设计运行区域ODD内,所述驾驶场景数据用于指示以下一种或多种驾驶场景信息:基础设施、操作限制、周边物体、互联性、环境条件或区域限制,i为小于或等于M的正整数;
    训练模块,用于使用所述M个训练数据训练神经网络,得到目标神经网络。
  12. 根据权利要求11所述的装置,其特征在于,所述目标神经网络包括长短时记忆神经网络LSTM或卷积神经网络CNN。
  13. 一种设计运行区域ODD的识别装置,其特征在于,包括至少一个处理器和存储器,所述处理器和所述存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时,使得所述装置执行如权利要求1至4任一项所述的方法。
  14. 一种训练神经网络的装置,其特征在于,包括至少一个处理器和存储器,所述处理器和所述存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时,使得所述装置执行如权利要求5或6所述的方法。
  15. 一种计算机可读存储介质,其特征在于,所述计算机可读介质存储用于计算机执行的程序指令,该程序指令包括用于执行如权利要求1至4中任一项所述的方法,或者执行如权利要求5或6所述的方法。
  16. 一种计算机程序产品,所述计算机程序产品中包括计算机程序指令,其特征在于,当所述计算机程序指令在计算机上运行时,使得所述计算机实现如权利要求1至4中任一项所述的计算节点的管理方法,或者执行如权利要求5或6所述的方法。
  17. 一种车辆,其特征在于,包括如权利要求7至10以及13中任一项所述的识别装置。
CN202180098500.1A 2021-07-09 2021-07-09 设计运行区域的识别方法及装置 Pending CN117413234A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/105594 WO2023279396A1 (zh) 2021-07-09 2021-07-09 设计运行区域的识别方法及装置

Publications (1)

Publication Number Publication Date
CN117413234A true CN117413234A (zh) 2024-01-16

Family

ID=84800195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180098500.1A Pending CN117413234A (zh) 2021-07-09 2021-07-09 设计运行区域的识别方法及装置

Country Status (2)

Country Link
CN (1) CN117413234A (zh)
WO (1) WO2023279396A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN108646738A (zh) * 2018-05-11 2018-10-12 浙江吉利汽车研究院有限公司 一种驾驶辅助功能调用装置及方法
CN112859830B (zh) * 2019-11-28 2022-08-26 华为技术有限公司 一种设计运行区域odd判断方法、装置及相关设备
US20210316755A1 (en) * 2020-04-09 2021-10-14 Baidu Usa Llc Method for real-time monitoring of safety redundancy autonomous driving system (ads) operating within predefined risk tolerable boundary

Also Published As

Publication number Publication date
WO2023279396A1 (zh) 2023-01-12

Similar Documents

Publication Publication Date Title
US11734473B2 (en) Perception error models
CN107010063B (zh) 基于感知的速度限制估算和学习
CN109641589B (zh) 用于自主车辆的路线规划
US11248925B2 (en) Augmented road line detection and display system
CN113313154A (zh) 一体化融合多传感器自动驾驶智能感知装置
CN112601686A (zh) 具有安全距离的导航的系统和方法
GB2592461A (en) Traffic light detection system for vehicle
KR20200127218A (ko) 자율 주행을 위한 약도
CN112106124A (zh) 用于使用v2x和传感器数据的系统和方法
CN113885062A (zh) 基于v2x的数据采集融合设备、方法和系统
JP2022532695A (ja) 画像分析に基づく車両ナビゲーションのためのシステム及び方法
CN110688943A (zh) 一种基于实际驾驶数据自动获取图像样本的方法和装置
CN114945802A (zh) 用于识别和更新自动驾驶车辆的设计适用域的系统、设备和方法
CN116171464A (zh) 信号灯识别装置、信号灯识别方法、车辆控制装置
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
Bellone et al. Autonomous driving in the real-world: The weather challenge in the Sohjoa Baltic project
US20200189611A1 (en) Autonomous driving using an adjustable autonomous driving pattern
CN110675476A (zh) 一种直观传达自动驾驶场景定义的方法和装置
US20200285246A1 (en) Safety Aware Automated Governance of Vehicles
CN116597690B (zh) 智能网联汽车的高速公路测试场景生成方法、设备及介质
GB2614579A (en) Graph exploration for rulebook trajectory generation
EP3920128A1 (en) Operational design domains in autonomous driving
Peng Connected and automated vehicles: The roles of dynamics and control
CN114787894A (zh) 感知误差模型
CN117413234A (zh) 设计运行区域的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination