CN115951599A - 基于无人机的驾驶能力测试系统、方法、装置及存储介质 - Google Patents

基于无人机的驾驶能力测试系统、方法、装置及存储介质 Download PDF

Info

Publication number
CN115951599A
CN115951599A CN202310080694.3A CN202310080694A CN115951599A CN 115951599 A CN115951599 A CN 115951599A CN 202310080694 A CN202310080694 A CN 202310080694A CN 115951599 A CN115951599 A CN 115951599A
Authority
CN
China
Prior art keywords
driver
unmanned aerial
aerial vehicle
driving
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310080694.3A
Other languages
English (en)
Inventor
张玉新
吕周杭
俞瑞林
王璐瑶
王子煜
全威
李鹏飞
赵福民
冯浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Jilin University
Original Assignee
Shenzhen Zhuoyu Technology Co ltd
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuoyu Technology Co ltd, Jilin University filed Critical Shenzhen Zhuoyu Technology Co ltd
Priority to CN202310080694.3A priority Critical patent/CN115951599A/zh
Publication of CN115951599A publication Critical patent/CN115951599A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

一种基于无人机的驾驶能力测试系统、方法、装置及存储介质,其中,基于无人机的驾驶能力测试系统(100)包括:无人机(10),所述无人机(10)上搭载自动驾驶系统(11),所述自动驾驶系统(11)用于对所述无人机的运动进行控制;驾驶模拟器(20),用于待测试的驾驶员接管驾驶任务时,通过操控所述驾驶模拟器(20),对所述无人机(10)的运动进行接管控制;数据采集模块(30),用于采集所述驾驶员操控所述驾驶模拟器(20)的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。

Description

基于无人机的驾驶能力测试系统、方法、装置及存储介质
技术领域
本申请涉及驾驶测试技术领域,尤其涉及一种基于无人机的驾驶能力测试系统、方法、装置及存储介质。
背景技术
自动驾驶是指无需驾驶员对车辆进行操作,而是通过车辆上的传感器自动采集环境信息,并根据环境信息进行自动行驶。但是在一些特定情况下,比如软硬件出现故障、外界环境干扰等情况,仍然需要驾驶员接管驾驶任务。因此,对驾驶员接管驾驶任务的驾驶能力进行测试是有必要的。
目前,驾驶能力测试往往通过虚拟仿真测试搭建仿真场景或者封闭场地测试来进行,在虚拟仿真测试里,不具备可能产生实际碰撞风险的真实性,测试结果可能与驾驶员的真实驾驶能力有偏差;而封闭场地测试虽然真实可靠性能得到保障,但是测试成本高。
发明内容
本申请实施例提供了一种基于无人机的驾驶能力测试系统、方法、装置及存储介质,以实现兼顾驾驶能力测试的准确可靠性和测试成本。
第一方面,本申请实施例提供了一种基于无人机的驾驶能力测试系统,所述基于无人机的驾驶能力测试系统包括:
无人机,所述无人机上搭载自动驾驶系统,所述自动驾驶系统用于对所述无人机的运动进行控制;
驾驶模拟器,用于待测试的驾驶员接管驾驶任务时,通过操控所述驾驶模拟器,对所述无人机的运动进行接管控制;
数据采集模块,用于采集所述驾驶员操控所述驾驶模拟器的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。
第二方面,本申请实施例还提供了一种基于无人机的驾驶能力测试方法,所述基于无人机的驾驶能力测试方法包括:
在接收到无人机上搭载的自动驾驶系统发送的接管信号时,将所述接管信号发送至驾驶模拟器,以供待测试的驾驶员通过操控所述驾驶模拟器,对所述无人机的运动进行接管控制;其中,所述自动驾驶系统在感知车辆安全行驶的区域ODD边界时,触发所述接管信号;
获取所述驾驶员操控所述驾驶模拟器的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。
第三方面,本申请实施例还提供了一种基于无人机的驾驶能力测试装置,所述基于无人机的驾驶能力测试装置包括处理器和存储器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如本申请实施例提供的任一项所述的基于无人机的驾驶能力测试方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如本申请实施例提供的任一项所述的基于无人机的驾驶能力测试方法。
本申请实施例公开的基于无人机的驾驶能力测试系统、方法、装置及存储介质,可以实现采用无人机结合驾驶模拟器进行驾驶员能力测试,相比于虚拟仿真测试的方式,提高了驾驶能力测试的准确可靠性,并且,相比于封闭场地测试的方式,降低了测试成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于无人机的驾驶能力测试系统的示意图;
图2是本申请实施例提供的一种无人机的示意性框图;
图3是本申请实施例提供的一种数据采集模块的示意性框图;
图4是本申请实施例提供的另一种基于无人机的驾驶能力测试系统的示意图;
图5是本申请实施例提供的一种驾驶模拟器的示意性框图;
图6是本申请实施例提供的一种驾驶员的驾驶能力测试流程示意图;
图7是本申请实施例提供的另一种驾驶员的驾驶能力测试流程示意图;
图8是本申请实施例提供的一种基于无人机的驾驶能力测试方法的示意流程图;
图9是本申请实施例提供的一种基于无人机的驾驶能力测试系统的示意图;
图10是本申请实施例提供的一种基于无人机的驾驶能力测试装置的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
随着科学技术的发展以及人工智能技术的应用,自动驾驶技术得到了快速的发展和广泛的应用。基于车辆的驾驶自动化水平,现有的SAE J3016标准将驾驶自动化划分为6个等级,也即是L0-L5等级,分别为无驾驶自动化(No Automation,L0),驾驶辅助(DriverAssistance,L1),部分驾驶自动化(Partial Automation,L2),有条件驾驶自动化(Conditional Automation,L3),高度驾驶自动化(High Automation,L4)和完全驾驶自动化(Full Automation,L5)。随着驾驶自动化等级的不断提高,在驾驶活动中,人的参与程度越来越低。可以预见的是,未来将会有更多自动驾驶车辆行驶在道路上,从而出现自动驾驶车辆和人工驾驶车辆并行在道路上的局面。
其中,第0-3级自动驾驶系统工作时,还需要驾驶员在特定情况下接管车辆驾驶任务,比如软硬件出现故障、外界环境干扰等情况,仍然需要驾驶员接管驾驶任务。因此,对驾驶员接管驾驶任务的驾驶能力进行测试是有必要的。
目前,驾驶能力测试往往通过虚拟仿真测试搭建仿真场景或者封闭场地测试来进行,在虚拟仿真测试里,不具备可能产生实际碰撞风险的真实性,测试结果可能与驾驶员的真实驾驶能力有偏差;而封闭场地测试虽然真实可靠性能得到保障,但是测试成本高。
为了解决上述问题,本申请的实施例提供一种基于无人机的驾驶能力测试系统、方法、装置及存储介质,可以实现采用无人机结合驾驶模拟器进行驾驶员能力测试,相比于虚拟仿真测试的方式,提高了驾驶能力测试的准确可靠性,并且,相比于封闭场地测试的方式,降低了测试成本。
请参见图1,图1示出了本申请实施例提供的一种基于无人机的驾驶能力测试系统的结构示意图。如图1所示,该基于无人机的驾驶能力测试系统100包括无人机10、驾驶模拟器20、以及数据采集模块30等。
在本申请的实施例中,无人机10是搭载有自动驾驶系统11的无人机,通过自动驾驶系统11对无人机10的运动进行控制。无人机10用以代替测试车辆进行道路测试,无人机10的运动与真实车辆拟合。
其中,自动驾驶系统11是指由硬件和软件组成的能够持续执行全部动态驾驶任务的系统,不考虑是否有运行工况的限制。比如,自动驾驶系统是指由硬件和软件组成的能够持续执行部分或者全部动态驾驶任务(Dynamic Driving Task)的系统。
其中,动态驾驶任务(Dynamic Driving Task)为:完成车辆驾驶所需的感知、决策和执行。即包括驾驶道路车辆时所有实时的操作类和战术类功能,不包括规划类功能,如行程计划,目的地和路径的选择等。
示例性的,动态驾驶任务包括但不限于如下任务:控制车辆横向运动、控制车辆纵向运动、通过对目标和事件进行探测、识别、分类来监视驾驶环境并准备响应、控制车辆照明及信号装置。
一般来说,当超出运行设计域(Operational Design Domain,简称ODD)或动态驾驶任务相关系统失效时,需要由自动驾驶状态切换到人工驾驶状态,即由驾驶员来继续接管驾驶任务。其中,运行设计域ODD在自动驾驶中扮演着重要角色,一般包括:地理位置、道路类型、速度范围、照明条件、天气、时间、以及其他操作限制方面的具体操作域等。
示例性的,如图2所示,无人机10包括飞行控制模块12,飞行控制模块12实现输入控制信号,控制无人机10的飞行。
在一些实施例中,如图2所示,无人机10还搭载摄像装置13,摄像装置13包括但不限于摄像头。摄像头等摄像装置13为模拟驾驶员的肉眼视角,采集道路信息,并将道路信息传回给驾驶员查看。
示例性的,摄像装置13的位置与驾驶员的肉眼观测位置保持匹配。其中,摄像装置13的位置与驾驶员的肉眼观测位置保持匹配包括:摄像装置13的离地高度与驾驶员的肉眼观测位置距离地面高度一致,从而使摄像装置13更好地模拟驾驶员的肉眼视角。
在一些实施例中,由于摄像装置13的拍摄视角可能大于驾驶员的肉眼观测视角,因此,通过无人机10对摄像装置13的拍摄视角进行控制,以使得拍摄装置13的拍摄视角与驾驶员的肉眼观测视角一致。比如,对拍摄装置13的拍摄视角进行裁剪,使得拍摄装置13的拍摄视角与驾驶员的肉眼观测视角一致,从而实现摄像装置13更好地模拟驾驶员的肉眼视角。
驾驶模拟器20,用于供待测试的驾驶员操控,当驾驶员接管驾驶任务时,通过操控驾驶模拟器20,实现对无人机10的运动进行接管控制。通过无人机10代替测试车辆,供驾驶员操控驾驶模拟器20模拟进行测试。
在驾驶员操控驾驶模拟器20的过程中,数据采集模块30采集驾驶员操控驾驶模拟器20的行为数据,以根据采集到的行为数据分析驾驶员的驾驶能力。其中,行为数据包括但不限于自然接管驾驶行为数据、极限工况驾驶行为数据等。也即,采集驾驶员在自然接管情况下、极限工况情况下等各种不同场景下操控驾驶模拟器20的行为数据。
在一些实施例中,如图3所示,数据采集模块30包括表面肌电信号采集单元31、脑电信号采集单元32、相机单元33中至少一种。
示例性的,表面肌电信号采集单元31用于采集驾驶员的身体表面肌电信号,其中,身体表面肌电信号包括但不限于腿部表面肌电信号等。脑电信号采集单元32用于采集驾驶员的脑电信号。相机单元33用于采集驾驶员的人体图像,其中,人体图像包括但不限于驾驶员的正面图像、侧面图像等,根据正面图像、侧面图像等人体图像获得驾驶员的身体状态信息。其中,驾驶员的身体状态信息包括但不限于驾驶员的眼睛开度、身体前倾角度等信息。例如,通过驾驶员的正面图像获得驾驶员的眼睛开度,以及通过驾驶员的侧面图像获得驾驶员的身体前倾角度。
在一些实施例中,如图3所示,数据采集模块30还包括存储单元34,存储单元34用于存储采集到的行为数据。也即,通过存储单元34存储驾驶员的身体表面肌电信号、脑电信号、眼睛开度、身体前倾角度等数据。之后,即可通过查询存储单元34存储的行为数据,分析获知驾驶员的驾驶能力。
需要说明的是,存储单元34除了可以是设置于数据采集模块30中的存储装置,也可以是外设的存储装置,本申请中不作具体限制。
在一些实施例中,如图4所示,基于无人机的驾驶能力测试系统100还包括控制模块40,控制模块40与驾驶模拟器20和无人机10连接,控制模块40用于在驾驶模拟器20和无人机10之间传递信息。
示例性的,设置好采集驾驶员接管驾驶的测试所对应的ODD。当自动驾驶系统11在感知ODD边界时,也即地理位置、道路类型、速度范围、照明条件、天气、时间等各方面因素超出设置的ODD时,判定当前需要驾驶员接管驾驶任务,发送接管信号至控制模块40。
控制模块40在接收到自动驾驶系统11发送的接管信号时,将接管信号发送至驾驶模拟器20。驾驶模拟器20在接收到该接管信号时,输出接管提醒信息,以提醒驾驶员接管驾驶。其中,接管提醒信息包括文本提醒信息、语音提醒信息中至少一种。
在一些实施例中,如图5所示,驾驶模拟器20包括显示模块21和/或语音模块22。其中,显示模块21包括但不限于触控屏等,语音模块22包括但不限于扬声器等。
示例性的,驾驶模拟器20在接收到该接管信号时,通过显示模块21显示文本提醒信息,以提醒驾驶员接管驾驶。
示例性的,驾驶模拟器20在接收到该接管信号时,通过语音模块22输出语音提醒信息,以提醒驾驶员接管驾驶。
示例性的,驾驶模拟器20在接收到该接管信号时,通过显示模块21显示文本提醒信息,以及通过语音模块22输出语音提醒信息,以提醒驾驶员接管驾驶。
在一些实施例中,摄像装置13模拟驾驶员的肉眼视角采集道路信息,并将道路信息传回驾驶模拟器20中的显示模块21。显示模块21显示摄像装置13采集的道路信息,以供驾驶员查看。
在一些实施例中,驾驶模拟器20包括VR(Virtual Reality,虚拟现实)/AR(Augmented Reality,增强现实)设备,供驾驶员佩戴,其中,VR/AR设备包括但不限于VR/AR眼镜、VR/AR头盔等。摄像装置13角采集道路信息,并将道路信息传回驾驶模拟器20中的VR/AR设备,驾驶员通过佩戴VR/AR设备查看,从而产生身临其境的驾驶体验。
在一些实施例中,驾驶员接管驾驶开始后,驾驶员操控驾驶模拟器20,会触发相关的控制指令,驾驶模拟器20将控制指令发送至控制模块40,控制模块40接收驾驶员操控驾驶模拟器20触发的控制指令,并将控制指令发送至无人机10,以控制无人机10的运动。
在一些实施例中,如图5所示,驾驶模拟器20包括刹车踏板23、方向盘24、油门25中至少一种。
示例性的,驾驶员接管驾驶开始后,若驾驶员操控刹车踏板23,触发减速指令,将减速指令发送至控制模块40。控制模块40接收驾驶员操控刹车踏板23触发的减速指令,并将减速指令发送至无人机10,控制无人机10减速。
示例性的,若驾驶员操控方向盘24,触发转向指令,将转向指令发送至控制模块40。控制模块40接收驾驶员操控方向盘24触发的转向指令,并将转向指令发送至无人机10,控制无人机10转向。
示例性的,若驾驶员操控油门25,触发加速指令,将加速指令发送至控制模块40。控制模块40接收驾驶员操控油门25触发的加速指令,并将加速指令发送至无人机10,控制无人机10加速。
在一些实施例中,如图5所示,驾驶模拟器20还包括座椅26,座椅26用以被驾驶员乘坐。
相比于使用测试车辆进行封闭场地测试,测试成本低。同时,使用无人机进行了真实场地测试,更好地收集极限工况情况、自然接管驾驶情况下驾驶员的行为数据,包括但不限于驾驶员的腿部表面肌电信号、脑电信号、眼睛开度、身体前倾角度等,数据更符合真实驾驶情况,从而提高了驾驶能力测试的准确可靠性;并且,还保障测试过程中驾驶员的安全。
下面以自然接管驾驶情况为例,如图6所示,驾驶员的驾驶能力测试流程如下:
步骤1:布置采集驾驶员自然接管驾驶测试所对应的ODD;
步骤2:无人机搭载自动驾驶系统、机载摄像头,其中,机载摄像头的位置处在驾驶员肉眼观测位置;
步骤3:驾驶员操控驾驶模拟器,通过控制模块向无人机传递“开始运动”信号;无人机搭载的自动驾驶系统执行自动驾驶功能,数据采集模块开始采集自动驾驶数据;
步骤4:自动驾驶系统感知到ODD边界,即需要驾驶员接管驾驶任务的情景,发送接管信号给控制模块;
步骤5:控制模块把接管信号发送到驾驶模拟器中的显示模块和/或语音模块,提醒驾驶员接管;
步骤6:驾驶员收到接管信号,操控驾驶模拟器,对无人机的运动进行接管;
步骤7:数据采集模块收集并存储接管驾驶过程中驾驶员的行为数据。
下面以极限工况情况为例,如图7所示,驾驶员的驾驶能力测试流程如下:
步骤1:布置采集驾驶员自然接管驾驶测试所对应的ODD;
步骤2:无人机搭载自动驾驶系统、机载摄像头,其中,机载摄像头的位置处在驾驶员肉眼观测位置;
步骤3:驾驶员操控驾驶模拟器,控制无人机运动,以应对出现的极限工况;
步骤4:数据采集模块收集并存储极限工况过程中驾驶员的行为数据。
上述实施例提供的基于无人机的驾驶能力测试系统,包括无人机,无人机上搭载自动驾驶系统,自动驾驶系统用于对无人机的运动进行控制;驾驶模拟器,用于待测试的驾驶员接管驾驶任务时,通过操控驾驶模拟器,对无人机的运动进行接管控制;数据采集模块,用于采集驾驶员操控驾驶模拟器的行为数据,以根据行为数据分析所述驾驶员的驾驶能力。可以实现采用无人机结合驾驶模拟器进行驾驶员能力测试,相比于虚拟仿真测试的方式,提高了驾驶能力测试的准确可靠性,并且,相比于封闭场地测试的方式,降低了测试成本。
请参阅图8,图8示出了本申请实施例提供的一种基于无人机的驾驶能力测试方法的步骤流程示意图。该基于无人机的驾驶能力测试方法可以应用于上述实施例的基于无人机的驾驶能力测试系统中,用于对驾驶员的驾驶能力进行测试。
需要说明的是,在本实施例中,如图8所示,该基于无人机的驾驶能力测试方法包括步骤S101和步骤S102。
S101:在接收到无人机上搭载的自动驾驶系统发送的接管信号时,将所述接管信号发送至驾驶模拟器,以供待测试的驾驶员通过操控所述驾驶模拟器,对所述无人机的运动进行接管控制;其中,所述自动驾驶系统在感知运行设计域ODD边界时,触发所述接管信号;
S102:获取所述驾驶员操控所述驾驶模拟器的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。
如图9所示的基于无人机的驾驶能力测试系统,无人机10是搭载有自动驾驶系统11的无人机,通过自动驾驶系统11对无人机10的运动进行控制。无人机10用以代替测试车辆进行道路测试,无人机10的运动与真实车辆拟合。
其中,自动驾驶系统11是指由硬件和软件组成的能够持续执行全部动态驾驶任务的系统,不考虑是否有运行工况的限制。比如,自动驾驶系统是指由硬件和软件组成的能够持续执行部分或者全部动态驾驶任务(Dynamic Driving Task)的系统。
其中,动态驾驶任务(Dynamic Driving Task)为:完成车辆驾驶所需的感知、决策和执行。即包括驾驶道路车辆时所有实时的操作类和战术类功能,不包括规划类功能,如行程计划,目的地和路径的选择等。
示例性的,动态驾驶任务包括但不限于如下任务:控制车辆横向运动、控制车辆纵向运动、通过对目标和事件进行探测、识别、分类来监视驾驶环境并准备响应、控制车辆照明及信号装置。
一般来说,当超出运行设计域ODD或动态驾驶任务相关系统失效时,需要由自动驾驶状态切换到人工驾驶状态,即由驾驶员来继续接管驾驶任务。其中,运行设计域ODD在自动驾驶中扮演着重要角色,一般包括:地理位置、道路类型、速度范围、照明条件、天气、时间、以及其他操作限制方面的具体操作域等。
示例性的,无人机10包括飞行控制模块12,飞行控制模块12实现输入控制信号,控制无人机10的飞行。
示例性的,无人机10还搭载摄像装置13,摄像装置13包括但不限于摄像头。摄像头等摄像装置13为模拟驾驶员的肉眼视角,采集道路信息,并将道路信息传回给驾驶员查看。
示例性的,摄像装置13的位置与驾驶员的肉眼观测位置保持匹配。其中,摄像装置13的位置与驾驶员的肉眼观测位置保持匹配包括:摄像装置13的离地高度与驾驶员的肉眼观测位置距离地面高度一致,从而使摄像装置13更好地模拟驾驶员的肉眼视角。
在一些实施例中,由于摄像装置13的拍摄视角可能大于驾驶员的肉眼观测视角,因此,通过无人机10对摄像装置13的拍摄视角进行控制,以使得拍摄装置13的拍摄视角与驾驶员的肉眼观测视角一致。比如,对拍摄装置13的拍摄视角进行裁剪,使得拍摄装置13的拍摄视角与驾驶员的肉眼观测视角一致,从而实现摄像装置13更好地模拟驾驶员的肉眼视角。
驾驶模拟器20,用于供待测试的驾驶员操控,当驾驶员接管驾驶任务时,通过操控驾驶模拟器20,实现对无人机10的运动进行接管控制。通过无人机10代替测试车辆,供驾驶员操控驾驶模拟器20模拟进行测试。
在驾驶员操控驾驶模拟器20的过程中,数据采集模块30采集驾驶员操控驾驶模拟器20的行为数据,以根据采集到的行为数据分析驾驶员的驾驶能力。其中,行为数据包括但不限于自然接管驾驶行为数据、极限工况驾驶行为数据等。也即,采集驾驶员在自然接管情况下、极限工况情况下等各种不同场景下操控驾驶模拟器20的行为数据。
示例性的,数据采集模块30包括表面肌电信号采集单元31、脑电信号采集单元32、相机单元33中至少一种。
所述获取所述驾驶员操控所述驾驶模拟器的行为数据,包括以下至少一种:
通过表面肌电信号采集单元采集所述驾驶员的身体表面肌电信号;
通过脑电信号采集单元采集所述驾驶员的脑电信号;
通过相机单元采集所述驾驶员的人体图像,以根据所述人体图像获得所述驾驶员的身体状态信息,其中,所述身体状态信息包括眼睛开度、身体前倾角度中的至少一种。
表面肌电信号采集单元31用于采集驾驶员的身体表面肌电信号,其中,身体表面肌电信号包括但不限于腿部表面肌电信号等。脑电信号采集单元32用于采集驾驶员的脑电信号。相机单元33用于采集驾驶员的人体图像,其中,人体图像包括但不限于驾驶员的正面图像、侧面图像等,根据正面图像、侧面图像等人体图像获得驾驶员的身体状态信息。其中,驾驶员的身体状态信息包括但不限于驾驶员的眼睛开度、身体前倾角度等信息。例如,通过驾驶员的正面图像获得驾驶员的眼睛开度,以及通过驾驶员的侧面图像获得驾驶员的身体前倾角度。
示例性的,数据采集模块30还包括存储单元34,存储单元34用于存储采集到的行为数据。也即,通过存储单元34存储驾驶员的身体表面肌电信号、脑电信号、眼睛开度、身体前倾角度等数据。之后,即可通过查询存储单元34存储的行为数据,分析获知驾驶员的驾驶能力。
需要说明的是,存储单元34除了可以是设置于数据采集模块30中的存储装置,也可以是外设的存储装置,本申请中不作具体限制。
示例性的,控制模块40与驾驶模拟器20和无人机10连接,控制模块40用于在驾驶模拟器20和无人机10之间传递信息。
示例性的,设置好采集驾驶员接管驾驶的测试所对应的ODD。当自动驾驶系统11在感知ODD边界时,也即地理位置、道路类型、速度范围、照明条件、天气、时间等各方面因素超出设置的ODD时,判定当前需要驾驶员接管驾驶任务,发送接管信号至控制模块40。
控制模块40在接收到自动驾驶系统11发送的接管信号时,将接管信号发送至驾驶模拟器20。驾驶模拟器20在接收到该接管信号时,输出接管提醒信息,以提醒驾驶员接管驾驶。其中,接管提醒信息包括文本提醒信息、语音提醒信息中至少一种。
示例性的,驾驶模拟器20包括显示模块21和/或语音模块22。其中,显示模块21包括但不限于触控屏等,语音模块22包括但不限于扬声器等。
示例性的,驾驶模拟器20在接收到该接管信号时,通过显示模块21显示文本提醒信息,以提醒驾驶员接管驾驶。
示例性的,驾驶模拟器20在接收到该接管信号时,通过语音模块22输出语音提醒信息,以提醒驾驶员接管驾驶。
示例性的,驾驶模拟器20在接收到该接管信号时,通过显示模块21显示文本提醒信息,以及通过语音模块22输出语音提醒信息,以提醒驾驶员接管驾驶。
示例性的,摄像装置13模拟驾驶员的肉眼视角采集道路信息,并将道路信息传回驾驶模拟器20中的显示模块21。显示模块21显示摄像装置13采集的道路信息,以供驾驶员查看。
在一些实施例中,驾驶模拟器20包括VR(Virtual Reality,虚拟现实)/AR(Augmented Reality,增强现实)设备,供驾驶员佩戴,其中,VR/AR设备包括但不限于VR/AR眼镜、VR/AR头盔等。摄像装置13角采集道路信息,并将道路信息传回驾驶模拟器20中的VR/AR设备,驾驶员通过佩戴VR/AR设备查看,从而产生身临其境的驾驶体验。
驾驶员接管驾驶开始后,驾驶员操控驾驶模拟器20,对无人机10的运动进行接管控制。
在一些实施例中,所述将所述接管信号发送至驾驶模拟器之后,包括:
接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动。
驾驶员操控驾驶模拟器20,会触发相关的控制指令,驾驶模拟器20将控制指令发送至控制模块40,控制模块40接收驾驶员操控驾驶模拟器20触发的控制指令,并将控制指令发送至无人机10,以控制无人机10的运动。
示例性的,驾驶模拟器20包括刹车踏板23、方向盘24、油门25中至少一种。所述接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动,包括以下至少一种:
接收所述驾驶员操控所述刹车踏板触发的减速指令,并将所述减速指令发送至所述无人机,以控制所述无人机减速;
所述控制模块用于接收所述驾驶员操控所述方向盘触发的转向指令,并将所述转向指令发送至所述无人机,以控制所述无人机转向;
所述控制模块用于接收所述驾驶员操控所述油门触发的加速指令,并将所述加速指令发送至所述无人机,以控制所述无人机加速。
例如,驾驶员接管驾驶开始后,若驾驶员操控刹车踏板23,触发减速指令,将减速指令发送至控制模块40。控制模块40接收驾驶员操控刹车踏板23触发的减速指令,并将减速指令发送至无人机10,控制无人机10减速。
又如,若驾驶员操控方向盘24,触发转向指令,将转向指令发送至控制模块40。控制模块40接收驾驶员操控方向盘24触发的转向指令,并将转向指令发送至无人机10,控制无人机10转向。
再如,若驾驶员操控油门25,触发加速指令,将加速指令发送至控制模块40。控制模块40接收驾驶员操控油门25触发的加速指令,并将加速指令发送至无人机10,控制无人机10加速。
示例性的,驾驶模拟器20还包括座椅26,座椅26用以被驾驶员乘坐。
相比于使用测试车辆进行封闭场地测试,测试成本低。同时,使用无人机进行了真实场地测试,更好地收集极限工况情况、自然接管驾驶情况下驾驶员的行为数据,包括但不限于驾驶员的腿部表面肌电信号、脑电信号、眼睛开度、身体前倾角度等,数据更符合真实驾驶情况,从而提高了驾驶能力测试的准确可靠性;并且,还保障测试过程中驾驶员的安全。
下面以自然接管驾驶情况为例,如图6所示,驾驶员的驾驶能力测试流程如下:
步骤1:布置采集驾驶员自然接管驾驶测试所对应的ODD;
步骤2:无人机搭载自动驾驶系统、机载摄像头,其中,机载摄像头的位置处在驾驶员肉眼观测位置;
步骤3:驾驶员操控驾驶模拟器,通过控制模块向无人机传递“开始运动”信号;无人机搭载的自动驾驶系统执行自动驾驶功能,数据采集模块开始采集自动驾驶数据;
步骤4:自动驾驶系统感知到ODD边界,即需要驾驶员接管驾驶任务的情景,发送接管信号给控制模块;
步骤5:控制模块把接管信号发送到驾驶模拟器中的显示模块和/或语音模块,提醒驾驶员接管;
步骤6:驾驶员收到接管信号,操控驾驶模拟器,对无人机的运动进行接管;
步骤7:数据采集模块收集并存储接管驾驶过程中驾驶员的行为数据。
下面以极限工况情况为例,如图7所示,驾驶员的驾驶能力测试流程如下:
步骤1:布置采集驾驶员自然接管驾驶测试所对应的ODD;
步骤2:无人机搭载自动驾驶系统、机载摄像头,其中,机载摄像头的位置处在驾驶员肉眼观测位置;
步骤3:驾驶员操控驾驶模拟器,控制无人机运动,以应对出现的极限工况;
步骤4:数据采集模块收集并存储极限工况过程中驾驶员的行为数据。
上述实施例提供的基于无人机的驾驶能力测试方法,通过无人机上搭载的自动驾驶系统在感知运行设计域ODD边界时,触发接管信号,在接收到自动驾驶系统发送的接管信号时,将接管信号发送至驾驶模拟器,以供待测试的驾驶员通过操控驾驶模拟器,对无人机的运动进行接管控制,获取驾驶员操控驾驶模拟器的行为数据,以根据该行为数据分析驾驶员的驾驶能力。可以实现采用无人机结合驾驶模拟器进行驾驶员能力测试,相比于虚拟仿真测试的方式,提高了驾驶能力测试的准确可靠性,并且,相比于封闭场地测试的方式,降低了测试成本。
此外,本申请的实施例中还提供一种基于无人机的驾驶能力测试装置。请参阅图10,图10为本申请实施例提供的一种基于无人机的驾驶能力测试装置的示意性框图。
如图10所示,该基于无人机的驾驶能力测试装置200可以包括处理器211和存储器212,处理器211和存储器212通过总线连接,该总线比如为I2C(Inter-integratedCircuit)总线。
具体地,处理器211可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器212可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。存储器212中存储有供处理器211执行的各种计算机程序。
其中,所述处理器211用于运行存储在存储器处理器211中的计算机程序,并在执行所述计算机程序时实现如下步骤:
在接收到无人机上搭载的自动驾驶系统发送的接管信号时,将所述接管信号发送至驾驶模拟器,以供待测试的驾驶员通过操控所述驾驶模拟器,对所述无人机的运动进行接管控制;其中,所述自动驾驶系统在感知运行设计域ODD边界时,触发所述接管信号;
获取所述驾驶员操控所述驾驶模拟器的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。
在一些实施例中,处理器211在实现所述将所述接管信号发送至驾驶模拟器之后,用于实现:
接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动。
在一些实施例中,所述驾驶模拟器包括刹车踏板、方向盘、油门中至少一种;处理器211在实现所述接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动,包括以下至少一种:
接收所述驾驶员操控所述刹车踏板触发的减速指令,并将所述减速指令发送至所述无人机,以控制所述无人机减速;
所述控制模块用于接收所述驾驶员操控所述方向盘触发的转向指令,并将所述转向指令发送至所述无人机,以控制所述无人机转向;
所述控制模块用于接收所述驾驶员操控所述油门触发的加速指令,并将所述加速指令发送至所述无人机,以控制所述无人机加速。
在一些实施例中,处理器211在实现所述获取所述驾驶员操控所述驾驶模拟器的行为数据,包括以下至少一种:
通过表面肌电信号采集单元采集所述驾驶员的身体表面肌电信号;
通过脑电信号采集单元采集所述驾驶员的脑电信号;
通过相机单元采集所述驾驶员的人体图像,以根据所述人体图像获得所述驾驶员的身体状态信息,其中,所述身体状态信息包括眼睛开度、身体前倾角度中的至少一种。
在一些实施例中,所述行为数据包括自然接管驾驶行为数据、极限工况驾驶行为数据中的至少一种。
基于无人机的驾驶能力测试装置可以执行本申请实施例所提供的任一种基于无人机的驾驶能力测试方法,因此,可以实现本申请实施例所提供的任一种基于无人机的驾驶能力测试方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
此外,本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现上述实施例提供的任一种所述的基于无人机的驾驶能力测试方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的基于无人机的驾驶能力测试系统的内部存储单元,例如所述基于无人机的驾驶能力测试系统的存储器或内存。所述计算机可读存储介质也可以是所述基于无人机的驾驶能力测试系统的外部存储设备,例如所述基于无人机的驾驶能力测试系统上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种基于无人机的驾驶能力测试系统,其特征在于,所述基于无人机的驾驶能力测试系统包括:
无人机,所述无人机上搭载自动驾驶系统,所述自动驾驶系统用于对所述无人机的运动进行控制;
驾驶模拟器,用于待测试的驾驶员接管驾驶任务时,通过操控所述驾驶模拟器,对所述无人机的运动进行接管控制;
数据采集模块,用于采集所述驾驶员操控所述驾驶模拟器的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。
2.根据权利要求1所述的基于无人机的驾驶能力测试系统,其特征在于,所述基于无人机的驾驶能力测试系统还包括:
控制模块,所述控制模块与所述驾驶模拟器和所述无人机连接,用于在所述驾驶模拟器和所述无人机之间传递信息。
3.根据权利要求2所述的基于无人机的驾驶能力测试系统,其特征在于,所述自动驾驶系统用于在感知运行设计域ODD边界时,判定当前需要驾驶员接管驾驶任务,发送接管信号至所述控制模块;
所述控制模块用于在接收到所述接管信号时,将所述接管信号发送至所述驾驶模拟器;
所述驾驶模拟器用于在接收到所述接管信号时,输出接管提醒信息,以提醒所述驾驶员接管驾驶。
4.根据权利要求3所述的基于无人机的驾驶能力测试系统,其特征在于,所述驾驶模拟器包括显示模块和/或语音模块,所述接管提醒信息包括文本提醒信息、语音提醒信息中至少一种;所述显示模块用于在所述驾驶模拟器接收到所述接管信号时,显示所述文本提醒信息;所述语音模块用于在所述驾驶模拟器接收到所述接管信号时,输出所述语音提醒信息。
5.根据权利要求2所述的基于无人机的驾驶能力测试系统,其特征在于,所述控制模块用于接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动。
6.根据权利要求5所述的基于无人机的驾驶能力测试系统,其特征在于,所述驾驶模拟器包括刹车踏板、方向盘、油门中至少一种;
所述控制模块用于接收所述驾驶员操控所述刹车踏板触发的减速指令,并将所述减速指令发送至所述无人机,以控制所述无人机减速;
所述控制模块用于接收所述驾驶员操控所述方向盘触发的转向指令,并将所述转向指令发送至所述无人机,以控制所述无人机转向;
所述控制模块用于接收所述驾驶员操控所述油门触发的加速指令,并将所述加速指令发送至所述无人机,以控制所述无人机加速。
7.根据权利要求1所述的基于无人机的驾驶能力测试系统,其特征在于,所述无人机上还搭载摄像装置,所述驾驶模拟器包括显示模块,所述摄像装置用于模拟所述驾驶员的肉眼视角采集道路信息,并将所述道路信息传回所述显示模块;所述显示模块用于显示所述道路信息,以供所述驾驶员查看。
8.根据权利要求7所述的基于无人机的驾驶能力测试系统,其特征在于,所述摄像装置的位置与所述驾驶员的肉眼观测位置保持匹配,其中,所述摄像装置的位置与所述驾驶员的肉眼观测位置保持匹配包括:所述摄像装置的离地高度与所述驾驶员的肉眼观测位置距离地面高度一致。
9.根据权利要求7所述的基于无人机的驾驶能力测试系统,其特征在于,所述无人机还用于对所述摄像装置的拍摄视角进行控制,以使得所述拍摄装置的拍摄视角与所述驾驶员的肉眼观测视角一致。
10.根据权利要求1所述的基于无人机的驾驶能力测试系统,其特征在于,所述数据采集模块包括表面肌电信号采集单元、脑电信号采集单元、相机单元中至少一种;
所述表面肌电信号采集单元用于采集所述驾驶员的身体表面肌电信号;
所述脑电信号采集单元用于采集所述驾驶员的脑电信号;
所述相机单元用于采集所述驾驶员的人体图像,以根据所述人体图像获得所述驾驶员的身体状态信息。
11.根据权利要求10所述的基于无人机的驾驶能力测试系统,其特征在于,所述身体状态信息包括以下信息中的至少一种:眼睛开度、身体前倾角度。
12.根据权利要求1所述的基于无人机的驾驶能力测试系统,其特征在于,所述数据采集模块包括存储单元,所述存储单元用于存储采集到的所述行为数据。
13.根据权利要求1所述的基于无人机的驾驶能力测试系统,其特征在于,所述行为数据包括自然接管驾驶行为数据、极限工况驾驶行为数据中的至少一种。
14.一种基于无人机的驾驶能力测试方法,其特征在于,所述基于无人机的驾驶能力测试方法包括:
在接收到无人机上搭载的自动驾驶系统发送的接管信号时,将所述接管信号发送至驾驶模拟器,以供待测试的驾驶员通过操控所述驾驶模拟器,对所述无人机的运动进行接管控制;其中,所述自动驾驶系统在感知运行设计域ODD边界时,触发所述接管信号;
获取所述驾驶员操控所述驾驶模拟器的行为数据,以根据所述行为数据分析所述驾驶员的驾驶能力。
15.根据权利要求14所述的基于无人机的驾驶能力测试方法,其特征在于,所述将所述接管信号发送至驾驶模拟器之后,包括:
接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动。
16.根据权利要求15所述的基于无人机的驾驶能力测试方法,其特征在于,所述驾驶模拟器包括刹车踏板、方向盘、油门中至少一种;
所述接收所述驾驶员操控所述驾驶模拟器触发的控制指令,并将所述控制指令发送至所述无人机,以控制所述无人机的运动,包括以下至少一种:
接收所述驾驶员操控所述刹车踏板触发的减速指令,并将所述减速指令发送至所述无人机,以控制所述无人机减速;
所述控制模块用于接收所述驾驶员操控所述方向盘触发的转向指令,并将所述转向指令发送至所述无人机,以控制所述无人机转向;
所述控制模块用于接收所述驾驶员操控所述油门触发的加速指令,并将所述加速指令发送至所述无人机,以控制所述无人机加速。
17.根据权利要求14所述的基于无人机的驾驶能力测试方法,其特征在于,所述获取所述驾驶员操控所述驾驶模拟器的行为数据,包括以下至少一种:
通过表面肌电信号采集单元采集所述驾驶员的身体表面肌电信号;
通过脑电信号采集单元采集所述驾驶员的脑电信号;
通过相机单元采集所述驾驶员的人体图像,以根据所述人体图像获得所述驾驶员的身体状态信息,其中,所述身体状态信息包括眼睛开度、身体前倾角度中的至少一种。
18.根据权利要求14至17任一项所述的基于无人机的驾驶能力测试方法,其特征在于,所述行为数据包括自然接管驾驶行为数据、极限工况驾驶行为数据中的至少一种。
19.一种基于无人机的驾驶能力测试装置,其特征在于,所述基于无人机的驾驶能力测试装置包括处理器和存储器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求14至18任一项所述的基于无人机的驾驶能力测试方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求14至18任一项所述的基于无人机的驾驶能力测试方法。
CN202310080694.3A 2023-02-02 2023-02-02 基于无人机的驾驶能力测试系统、方法、装置及存储介质 Pending CN115951599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310080694.3A CN115951599A (zh) 2023-02-02 2023-02-02 基于无人机的驾驶能力测试系统、方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310080694.3A CN115951599A (zh) 2023-02-02 2023-02-02 基于无人机的驾驶能力测试系统、方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115951599A true CN115951599A (zh) 2023-04-11

Family

ID=87287591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310080694.3A Pending CN115951599A (zh) 2023-02-02 2023-02-02 基于无人机的驾驶能力测试系统、方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115951599A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117215294A (zh) * 2023-11-07 2023-12-12 中国民航大学 一种基于运行时保证技术的飞机智能驾驶系统及控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117215294A (zh) * 2023-11-07 2023-12-12 中国民航大学 一种基于运行时保证技术的飞机智能驾驶系统及控制方法

Similar Documents

Publication Publication Date Title
Romera et al. Need data for driver behaviour analysis? Presenting the public UAH-DriveSet
US10748446B1 (en) Real-time driver observation and progress monitoring
CN108694367B (zh) 一种驾驶行为模型的建立方法、装置和系统
CN109421630A (zh) 用于监测自主车辆的健康的控制器架构
CN108508881B (zh) 自动驾驶控制策略调整方法、装置、设备及存储介质
Pérez et al. Argos: An advanced in-vehicle data recorder on a massively sensorized vehicle for car driver behavior experimentation
CN109308076A (zh) 具有集成成像和力感测模态的机组自动化系统和方法
CN113228620B (zh) 一种图像的获取方法以及相关设备
US20190072961A1 (en) Autonomous driving adjustment method, apparatus, and system
CN109636924A (zh) 基于现实路况信息三维建模的车载多模式增强现实系统
DE112018004847T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt
CN111016905A (zh) 自动驾驶车辆与驾驶遥控端交互方法及系统
CN111422206B (zh) 异常驾驶状态的预警模拟方法、系统、存储介质及汽车
KR102560798B1 (ko) 무인 차량 시뮬레이터
CN112557058B (zh) 一种自动驾驶测试系统
CN115951599A (zh) 基于无人机的驾驶能力测试系统、方法、装置及存储介质
CN116783462A (zh) 一种自动驾驶系统的性能测试方法
CN110930811B (zh) 一种适用于无人驾驶决策学习和训练的系统
EP3786854A1 (en) Methods and systems for determining driving behavior
WO2022183449A1 (zh) 自动驾驶测试方法、系统、车辆及存储介质
CN114670797B (zh) 车辆制动测试控制系统、方法、装置、电子设备及存储介质
CN115626173A (zh) 一种车辆状态展示方法、装置、存储介质和车辆
CN115688481A (zh) 一种面向人机共驾型车辆的硬件在环仿真测试系统及方法
CN114896817A (zh) 一种车辆在环融合测试系统及方法
WO2018078889A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination