CN112977441A - 一种驾驶决策方法、装置及电子设备 - Google Patents
一种驾驶决策方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112977441A CN112977441A CN202110236714.2A CN202110236714A CN112977441A CN 112977441 A CN112977441 A CN 112977441A CN 202110236714 A CN202110236714 A CN 202110236714A CN 112977441 A CN112977441 A CN 112977441A
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- unmanned aerial
- aerial vehicle
- obstacle object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000033001 locomotion Effects 0.000 claims abstract description 173
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 241000274965 Cyrestis thyodamas Species 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种驾驶决策方法、装置及电子设备。该驾驶决策方法包括:获取障碍对象探测指令;根据该指令向无人机发送控制信号,该信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;接收无人机返回的无人机定位姿态信息以及障碍对象的运动信息;获取车辆定位信息和第二影像信息;根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;根据预存的地图信息、第二影像信息、运动轨迹信息,确定驾驶决策结果。通过本发明实施例的技术方案,能够利用无人机探测可移动的障碍对象,为车辆提供了更大的视野范围,在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性,从而得到更准确的驾驶决策结果。
Description
技术领域
本申请涉及汽车领域,尤其涉及一种驾驶决策方法、装置及电子设备。
背景技术
在车辆行驶过程中,车辆前方可能会出现固定的障碍区域,如施工场地或交通事故区,也可能出现可移动的障碍对象,如进入车道的行人,还可能二者皆有。
车辆前方的视野范围有限,在该视野范围外的障碍对象难以被检测到。例如,在车辆前方有大货车行驶的情况下,车辆难以准确感知被大货车遮挡住的行人,存在极大的安全风险。
因此,现有技术中存在如下问题:如何在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性。
发明内容
本申请一个实施例的目的是提供一种驾驶决策方法、装置及电子设备,以解决如何在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性。
为解决上述技术问题,本申请一个实施例是这样实现的:
第一方面,本申请一个实施例提供了一种驾驶决策方法,该驾驶决策方法包括:
获取障碍对象探测指令;
根据障碍对象探测指令,向无人机发送控制信号;控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;
接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;
获取车辆的车辆定位信息和车辆前方车道的第二影像信息;
根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;
根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。
第二方面,本申请另一个实施例提供了一种驾驶决策装置,包括:
指令获取模块,用于获取障碍对象探测指令;
信号发送模块,用于根据障碍对象探测指令,向无人机发送控制信号;控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;
信息接收模块,用于接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;
信息获取模块,用于获取车辆的车辆定位信息和车辆前方车道的第二影像信息;
信息确定模块,用于根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;
结果确定模块,用于根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。
第三方面,本申请又一个实施例提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述计算机可执行指令被上述处理器执行时,能够实现如上述第一方面所述的驾驶决策方法的步骤。
第四方面,本申请再一个实施例提供了一种存储介质,该存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器执行时,能够实现如上述第一方面所述的驾驶决策方法的步骤。
根据本发明实施例的技术方案,首先,获取障碍对象探测指令;其次,根据障碍对象探测指令,向无人机发送控制信号,控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;接着,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;接着,获取车辆的车辆定位信息和车辆前方车道的第二影像信息;然后,根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;最后,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。通过本发明实施例的技术方案,能够利用无人机探测可移动的障碍对象,为车辆提供了更大的视野范围,在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性,从而得到更准确的驾驶决策结果。
附图说明
为了更清楚地说明本申请一个或多个实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的一种驾驶决策方法的流程示意图;
图2为本申请一个实施例提供的一种驾驶决策方法的一种应用场景的示意图;
图3为本申请一个实施例提供的一种驾驶决策方法的另一种应用场景的示意图;
图4为本申请一个实施例提供的另一种驾驶决策方法的流程示意图;
图5为本申请一个实施例提供的一种驾驶决策方法中车端与无人机端的交互示意图;
图6为本申请一个实施例提供的一种驾驶决策装置的结构示意图;
图7为本申请一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案,下面将结合本申请一个或多个实施例中的附图,对本申请一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
图1为本申请一个实施例提供的一种驾驶决策方法的流程示意图。
参照图1所示,该驾驶决策方法包括步骤S102、步骤S104、步骤S106、步骤S108和步骤S110。下面对图1的示例实施例中的驾驶决策方法进行详细的说明。
在本申请一个或多个实施例中,该驾驶决策方法可以应用于车辆,该车辆可以是自动驾驶车辆,也可以是人工驾驶车辆,本申请不对车辆种类进行特殊限定。
其中,前述应用该驾驶决策方法的自动驾驶车辆可以加载有高精地图。高精地图以其能提供超视距的地图信息而广泛的应用在当前L2+及其以上的自动驾驶系统。高精地图能有效的弥补当前传感器的缺陷,为驾驶系统提供远程的驾驶决策信息。
但高精地图的局限性在于只能提供采集车采集过的静态环境的信息。受到高精地图更新频率的限制,当未更新区域若出现由非常规事件造成的障碍区域时,例如,施工或交通事故,高精地图难以提供未更新区域产生的动态信息,进而造成通过高精地图感知到的车辆前方路况并不准确的问题,进而导致车辆难以应对即将到来的突发情况。此外,高精地图也无法为车辆提供可移动的障碍对象的信息。例如,车道中出现突然横穿马路的行人,或者,施工区域的施工人员从施工区域出发,在车道中移动。
面对人工驾驶车辆,利用普通的地图为车辆导航,存在与加载有高精地图的自动驾驶车辆相同或相似的问题,此处不再赘述。
步骤S102,获取障碍对象探测指令。
在车辆前方出现突发情况时,例如,车辆中加载的导航系统发出拥堵提示信息时,车辆获取障碍对象探测指令。该拥堵提示信息用于提示车辆前方遭遇车流缓慢行驶。
该障碍对象探测命令可以是导航系统根据拥堵提示信息发出的,也可以是车辆的其他控制模块在接收到由导航系统发出的拥堵提示信息后发出的,还可以是人工发出的。
利用拥堵提示信息生成的障碍对象探测命令,能够在明显感知到车辆前方存在异常拥堵的情况下才启动无人机采集障碍对象的影像信息,提高无人机的工作效率。
该障碍对象探测指令用于指示无人机探测障碍对象。该无人机可以是获取该障碍对象探测指令的车辆的车载无人机。
步骤S104,根据障碍对象探测指令,向无人机发送控制信号;控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息。
无人机可以是车载无人机。第一影像信息可以是实时拍摄的视频信息,也可以是连续拍摄得到的图片信息,本申请不对第一影像信息的形式进行特殊限定。
无人机包括且不限于机载摄像头和机载影像处理模块。
其中,机载摄像头可以是百万像素级别的机载摄像头模组,用于采集无人机的前方区域的影像信息,该影像信息包括第一影像信息。
机载影像处理模块可以对第一影像信息进行处理,识别得到第一影像信息中的障碍对象,并确定该障碍对象的速度信息。该机载影像处理模块在获取第一影像信息后,输出该第一影像信息中的障碍对象在无人机坐标系下的坐标值(x,y)以及障碍对象的在无人机坐标系下的速度(Vx,Vy)。
障碍对象可以是行人,也可以是动物,还可以是指定的非生命物体。其中,行人可以是横穿马路的行人,也可以是离开施工区域进入车道的施工人员,还可以是从车道中暂停的车辆中下车的人。
障碍对象可以位于车辆前方的车道中,可以从车道边缘向车道中移动,可以从车道中向车道边缘移动,可以沿着车道边缘移动等。本申请不对障碍对象的移动方式、移动距离或移动方向进行特殊限定。
在被无人机检测到后,障碍对象可以一直在车道中保持静止不动,也可以先移动一段时间,再保持静止不动一段时间,还可以先保持静止不动一段时间,再移动一段时间,等。
需要强调的是,尽管此处列举了多种移动中的障碍对象的例子,无人机并非通过障碍对象的移动方式、移动距离或移动方向来检测障碍对象,而是在检测到具有与障碍对象特征匹配的对象特征的对象时,将其确定为障碍对象并采集该障碍对象的第一影像信息。无人机获取第一影像信息的方式在后文中详细陈述。
车道可以是车辆行驶的道路,例如,机动车道,也可以是可能影响车辆行驶的行人道路,例如,人行横道,还可以是既有车辆通行,又有行人经过的混合道路,例如十字路口。
本申请中出现的车辆前方,可以是车辆当前的行驶方向所在直线的前方,也可以是在车辆的预设行驶路线中的前方。
通常情况下,对于已设置预设行驶路线的自动驾驶车辆,该车辆前方指的是是在车辆的预设行驶路线中的前方。例如,自动驾驶车辆的预设行驶路线为从该自动驾驶车辆的出发点直线行驶到达十字路口,右转再直线行驶,则此处的车辆前方的车道既包括右转之前的车道,又包括右转之后的车道。
在车辆未设置预设行驶路线的情况下,车辆前方可以是车辆当前的行驶方向所在直线的前方。
可选的,无人机携带有车辆前方车道的第二车道参数;第二车道参数用于供无人机确定飞行路径。
第二车道参数包含且不限于:车道相关参数,例如,车道上的详细信息与车道之间的连接关系;道路部件,例如交通标识、指示牌以及龙门架;道路属性,例如,曲率、航向以及坡度。
该第二车道参数可以是车辆前方第二预定距离内的车道参数。第二预定距离为预先设置的无人机距离车辆的起飞点的最远飞行距离,通常情况下,无人机只需要采集车辆附近的障碍对象即可满足驾驶决策需求。
该第二车道参数可以是在车辆获取到障碍对象探测指令后,车辆从预存的电子地图中读取并主动发送到无人机的,也可以是无人机在接收到控制信号后向该预存的电子地图请求得到的,还可以是预先存储于无人机中的。该第二车道参数可以通过离线或者在线更新的方式传递。
预存的电子地图可以是高精地图,也可以是普通的电子地图。
在一个实施例中,无人机中按照预设行驶路线预先存储车辆前方的第二车道参数,该预先存储的第二车道参数定时被更新。例如,车辆出发之前,设置好了一条预设行驶路线,并将预设行驶路线的前方x公里内的第二车道参数预先存储于无人机中,车辆行驶10分钟后,利用高精地图更新无人机中存储的第二车道参数,车辆行驶20分钟后,再次利用高精地图更新无人机中存储的第二车道参数。
可选的,第一影像信息由无人机通过如下方式获取:无人机沿飞行路径向前飞行,在飞行过程中拍摄车道的影像信息;无人机提取所拍摄的车道的影像信息中的对象特征,并将对象特征与预设的障碍对象特征进行匹配;无人机在确定对象特征与预设的障碍对象特征匹配时,将具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,停止向前飞行并采集障碍对象的第一影像信息。
从无人机的角度来看:
无人机在接收到控制信号后,确定飞行路径,沿飞行路径向前飞行,飞行的高度为预先设置的特定高度,飞行的距离不超过预先设置的第二预定距离。无人机可以按照均匀的速度飞行,能够起到节省无人机飞行所需电力的效果。
无人机一边向前飞行一边拍摄经过的车道的影像信息。无人机通过加装在无人机机体上的机载影像处理模块,对该经过的车道的影像信息进行识别以及特征提取,得到一个或多个对象特征,例如,帽子、车轮、障碍标志、人体头部等,利用该机载影像处理模块,将得到的对象特征分别与预设的障碍对象特征进行匹配。预设的障碍对象特征包含且不限于人体头部特征,或者,施工人员的施工帽,或者,清洁工服装特征。
无人机在确定得到的对象特征与预设的障碍对象特征匹配时,将具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,例如,得到的对象特征为帽子,该帽子与预设的障碍对象特征中的施工帽匹配,则将具有该帽子的对象,即戴着该帽子的行人作为障碍对象。在确定障碍对象后,无人机进入信息回传模式,停止向前飞行,即悬停在空中,并采集障碍对象的第一影像信息。无人机在该信息回传模式下,通过无线,将无人机定位姿态信息与对第一影像信息处理得到的障碍对象的运动信息实时回传给车辆。通过检测到与预设的障碍对象特征匹配时才开始采集障碍对象的第一影像信息,并回传无人机定位姿态信息与将该第一影像信息处理得到的障碍对象的运动信息给车辆,能够节省无人机所消耗的电量,使得无人机的工作时间更持久。
在另一个实施例中,无人机也可以在确定得到的对象特征与预设的障碍对象特征匹配时,具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,并进入信息回传模式,一边根据障碍对象的移动轨迹跟随飞行,一边采集障碍对象的第一影像信息。在信息回传模式下无人机在跟随障碍对象飞行的过程中持续采集该障碍对象的第一影像信息,对第一影像信息进行处理得到障碍对象的运动信息,将无人机在跟随障碍对象飞行的过程中的无人机定位姿态信息与前述处理得到的障碍对象的运动信息,通过无线实时回传给车辆。通过一边飞行一边回传无人机定位姿态信息和障碍对象的运动信息,使得该障碍对象的运动信息能够完整地反映障碍对象的移动轨迹,进而使后续步骤中确定的驾驶决策结果更加准确。同时,通过检测到与预设的障碍对象特征匹配时才开始采集障碍对象的第一影像信息,并回传无人机定位姿态信息与将该第一影像信息处理得到的障碍对象的运动信息给车辆,也能够节省无人机所消耗的电量,使得无人机的工作时间更持久。
在一个实施例中,无人机在信息回传模式下可以按照预先设置的与该模式对应的飞行速度匀速向前飞行,匀速飞行能够使无人机的影像采集工作更稳定且更省电。
在无人机检测到障碍对象后,可以停止向前飞行,保持在当前位置悬空飞行并调整拍摄角度,以持续采集该障碍对象的第一影像信息;也可以跟随该障碍对象飞行并调整拍摄角度,以持续采集该障碍对象的第一影像信息;还可以当该障碍对象的移动距离不超过预先设置的距离阈值时停止向前飞行,保持在当前位置悬空飞行并调整拍摄角度,以持续采集该障碍对象的第一影像信息,当该障碍对象的移动距离不超过预先设置的距离阈值时跟随该障碍对象飞行并调整拍摄角度,以持续采集该障碍对象的第一影像信息;还可以在障碍对象在某个位置保持停留不动时按照固定的拍摄角度持续获取该障碍对象的第一影像信息;还可以结合调整拍摄角度和跟随飞行,在不同的情况下采用不同的方式来持续获取该障碍对象的第一影像信息等,此处不再一一列举。
在一个实施例中,在无人机检测到障碍对象后,可以停止向前飞行,保持在当前位置悬空飞行并调整拍摄角度,以持续采集该障碍对象的第一影像信息的实施例中。需要注意的是,该实施例中,无人机在采集障碍对象的第一影像信息时,无人机的无人机定位信息和无人机姿态信息可能会发生变化。无人机定位信息可以是无人机在地球坐标系下的位置信息(Xf,Yf),无人机姿态信息包含且不限于无人机当前的俯仰角α,侧倾角β,横摆角γ。
理想状态下,在采集障碍对象的第一影像信息时,无人机的定位信息是不变的,即无人机固定在一个位置盯着障碍对象拍摄第一影像信息。但实际上,无人机悬停在空中,无人机定位信息和无人机姿态信息都有可能发生轻微的变化。
又障碍对象可能处于静止状态,也可能处于移动状态。随着障碍对象的移动,无人机可能需要调整无人机当前的俯仰角α,侧倾角β,横摆角γ。
以障碍对象为行人举例,无人机探测到的行人可能正在移动,也可能静止在原地,无人机为采集行人的第一影像信息,在行人移动的距离较短时,即该行人移动的距离不超过预先设置的距离阈值时,通过调整无人机拍摄行人的角度即可采集到移动中的行人的第一影像信息;在行人移动的距离较长时,即该行人移动的距离超过预先设置的距离阈值时,除了调整无人机拍摄行人的角度,还可能需要通过无人机跟随行人移动来采集到移动中的行人的第一影像信息。
下文举例说明无人机在检测到障碍对象后可能发生的场景。
在一种场景下,被确定为障碍对象的目标行人从车道边缘向车道中移动,且移动距离较短,无人机根据该目标行人的移动轨迹调整拍摄角度,进而持续获取该目标行人的第一影像信息。
在另一种场景下,被定为障碍对象的目标行人从车道中向车道边缘移动,且移动距离较长,无人机跟随该目标行人飞行并调整拍摄角度,进而持续获取该目标行人的第一影像信息。
在又一种场景下,被确定为障碍对象的目标行人延着车道边缘移动,在目标行人的移动距离不超过预设距离阈值时,无人机根据该目标行人的移动轨迹调整拍摄角度,进而持续获取该移动中的目标行人的第一影像信息;在目标行人的移动距离超过预设距离阈值时,无人机开始跟随该目标行人飞行并调整拍摄角度,进而持续获取该目标行人的第一影像信息。
在再一种场景下,被确定为障碍对象的目标行人先从车道边缘向车道中移动一段距离,再在车道中保持停留一段时间。无人机在目标行人先从车道边缘向车道中移动一段距离的过程中跟随该目标行人飞行并调整拍摄角度,在目标行人在车道中保持停留一段时间的过程中确定适合的拍摄角度并按照该固定的角度拍摄目标行人,进而持续获取该目标行人的第一影像信息。
上述多个例子仅为示例性的说明,无人机可以在检测到障碍对象后固定于当前所在的位置,也可以在检测到障碍对象后开始跟随障碍对象移动,还可以通过其他方式持续获取障碍对象的第一影像信息等,此处不一一列举。
可选的,无人机携带有车辆定位信息;车辆定位信息用于,供无人机基于车辆定位信息与无人机定位信息的比较结果确定车辆与无人机之间的相对位置,在相对位置满足预设的相对位置条件时确定车辆通过障碍对象所在的地理范围。
车辆定位信息可以是车辆通过无线通讯实时发送到无人机的。无人机根据车辆定位信息与无人机定位信息的比较结果,确定车辆与无人机之间的相对位置。
确定车辆通过障碍对象所在的地理范围,例如,障碍对象为正在移动的行人,车辆已经驶过该行人的活动区域,该行人不可能再阻碍车辆驾驶。此时,无人机没有必要继续采集该行人的第一影像信息,行人不再是障碍对象,无人机的障碍对象探测任务已完成,无人机返回车辆。
车辆与无人机之间的相对位置满足预设的相对位置条件,可以是,车辆相对于无人机的相对位置在无人机沿车辆行驶方向的前方,且车辆与无人机之间的距离大于预设距离阈值。
步骤S106,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到。
车辆可以获取无人机通过无线通讯返回的无人机定位姿态信息与运动信息。
其中,无人机定位姿态信息包括无人机定位信息和无人机姿态信息。例如,无人机通过无线通讯向车辆实时返回前述的无人机在地球坐标系下的位置信息(Xf,Yf)和前述的无人机当前的俯仰角α,侧倾角β,横摆角γ。
运动信息可以是无人机对第一影像信息进行处理得到的障碍对象的在无人机坐标系下的速度(Vx,Vy)。
需要注意的是,与前述无人机定位信息、运动信息、车辆定位信息相关的坐标系,即前述地球坐标系或无人机坐标系,仅为一些示例,本申请也可以利用预先设置的其他坐标系来对无人机、车辆以及障碍对象定位。
可选的,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息,包括:接收无人机在障碍监测时间段内返回的无人机定位姿态信息和障碍对象的运动信息;其中,障碍监测时间段的起始时间为无人机检测到障碍对象时,障碍监测时间段的截止时间为无人机确定车辆通过障碍对象所在的地理范围时。
在一个实施例中,无人机在检测到障碍对象时,停止向前飞行并开始采集障碍对象的第一影像信息,持续采集该第一影像信息,直到无人机基于车辆定位信息与无人机定位信息的比较结果确定车辆与无人机之间的相对位置,在相对位置满足预设的相对位置条件时,确定车辆通过障碍对象所在的地理范围。例如,无人机在检测到移动中的行人时,停止向前飞行,开始拍摄该行人的影像信息,直到车辆经过该行人所在的区域,无人机返回车辆。
在此过程中,从无人机在检测到障碍对象起,无人机开始向车辆返回无人机定位姿态信息,又无人机处理第一影像信息得到障碍对象的运动信息,该处理第一影像信息的时间较短,可以忽视掉,则无人机在检测到障碍对象后,开始向车辆返回障碍对象的运动信息。
在无人机确定车辆通过障碍对象所在的地理范围时,可以视为原本确定的障碍对象不可能再对车辆行驶造成障碍,故该障碍对象探测指令已经被执行完毕,无人机没有必要再监测原障碍对象,无人机返回车辆。
换言之,无人机在检测到障碍对象之后,在确定车辆通过障碍对象所在的地理范围之前,持续向车辆返回无人机定位姿态信息和障碍对象的运动信息。直到无人机确定车辆通过障碍对象所在的地理范围时,无人机才停止返回无人机定位姿态信息和障碍对象的运动信息,并返回车辆。
车辆接收无人机在障碍监测时间段内返回的无人机定位姿态信息和障碍对象的运动信息,可以理解为,车辆接收的无人机定位姿态信息和障碍对象的运动信息为,无人机在检测到障碍对象之后,在确定车辆通过障碍对象所在的地理范围之前,返回的无人机定位姿态信息和障碍对象的运动信息。
步骤S108,获取车辆的车辆定位信息和车辆前方车道的第二影像信息。
车辆定位信息可以是车辆在地球坐标系下的坐标值(Xv,Yv),车辆可以通过车辆的惯导定位系统得到该坐标值。
车辆可以包括车载摄像头,该车载摄像头可以安装在车辆挡风玻璃后内视镜附近,以车辆的内后视镜为观测视角通过百万级的车载摄像头模组对车辆行驶前方的影像信息进行采集。
车辆前方车道的第二影像信息可以通过该车载摄像头采集得到。
车辆可以包括车载影像处理模块,该车载影像处理模块可以对车辆采集到的第二影像信息进行处理,通过分类、识别、匹配或者深度学习的检测方式获取到前方视野范围内的路况信息,例如,车辆前方的车辆或行人的位置、轮廓以及运动学等信息。
步骤S110,根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息。
障碍对象的运动轨迹信息可以是障碍对象在车道上的移动轨迹信息。
可选的,无人机定位姿态信息包括无人机定位信息和无人机姿态信息;根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息,包括:根据车辆定位信息、无人机定位信息以及无人机姿态信息,确定无人机坐标系与车辆坐标系的转换关系;根据运动信息和转换关系,确定障碍对象的运动轨迹信息。
为便于车辆确定驾驶决策结果,车辆获取的由无人机返回的障碍对象在无人机坐标系下的运动信息应当被转换为车辆坐标系下的运动信息。该车辆坐标系可以是以车辆后轴中心点为坐标原点的坐标系。
为此,可以通过车辆在地球坐标系下的坐标值(Xv,Yv),无人机在地球坐标系下的位置信息(Xf,Yf),无人机姿态信息,即无人机当前的俯仰角α,侧倾角β,横摆角γ,确定无人机坐标系与车辆坐标系之间的转换关系。该转换关系可以通过坐标转换函数F(α,β,γ)的形式来反映。
根据障碍对象在无人机坐标系下的运动信息和确定的无人机坐标系与车辆坐标系之间的转换关系,确定障碍对象在车辆坐标系下的运动轨迹信息,进而能够把无人机探测的障碍对象的运动信息与车辆获取的车辆前方的路况信息统一在车辆坐标系下,以结合车辆视野和无人机视野得到更准确的驾驶决策结果。
可选的,运动信息包括障碍对象在无人机坐标系下的垂直于车道通行方向的第一位置信息和第一速度信息;根据运动信息和转换关系,确定障碍对象的运动轨迹信息,包括:根据第一位置信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二位置信息,根据第一速度信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二速度信息;根据第二位置信息、第二速度信息,确定障碍对象的运动轨迹信息。
为便于车辆确定障碍对象是否会影响到车辆行驶,此处更关注障碍对象在垂直于车道通行方向上的运动信息。通俗地讲,例如,障碍对象为走出施工区域的施工人员,若该施工人员延平行于车道通行方向的施工区域边缘移动,对车辆行驶影响极小,若该施工人员从施工区域走出并横穿马路,即施工人员的移动方向垂直于车道通行方向,则极有可能妨碍到车辆行驶。
在一些实施例中,障碍对象在无人机坐标系下的位置信息,通过无人机坐标系与车辆坐标系之间的转换关系转换为障碍对象在车辆坐标系下的位置信息。例如,在以无人机中的特定位置为原点建立的无人机坐标系下,x轴平行于车辆通行方向,y轴垂直于车辆通行方向,障碍对象在无人机坐标系下的位置信息为(x1,y1),则第一位置信息为y1,在进行坐标转换后,障碍对象在无人机坐标系下的位置信息为(x1,y1)转换为障碍对象在车辆坐标系下的位置信息,即(x1’,y1’),则第二位置信息为y1’。同理,第一速度信息Vy经过坐标转换得到第二速度信息Vy’。
在一个或多个实施例中,可以根据第二位置信息y1’、第二速度信息Vy’以及预先设置的预留安全距离d,得到估算的障碍对象的轨迹方程,即
y=y1’+Vy’+d
利用上述公式能够确定障碍对象在车辆坐标系下的运动轨迹信息。此处运动轨迹信息可以理解为,通过公式估算得到的障碍对象在车辆坐标系下的预测移动轨迹。
步骤S112,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。
预存的地图信息可以是前述的高精地图。
可选的,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果,包括:从地图信息中读取车辆前方车道的第一车道参数,对第二影像信息进行处理得到车辆前方的路况信息,根据运动轨迹信息确定障碍对象所在的地理范围;根据第一车道参数、路况信息以及地理范围,确定驾驶决策结果。
第一车道参数包含且不限于:车道相关参数,例如,车道上的详细信息与车道之间的连接关系;道路部件,例如交通标识、指示牌以及龙门架;道路属性,例如,曲率、航向以及坡度。第一车道参数与前述第二车道参数可以相同,也可以不同。
该第一车道参数可以是车辆前方第一预定距离内的车道参数。该第一预定距离可以与前述的第二预定距离相同,也可以不同。
对第二影像信息进行处理得到车辆前方的路况信息,但由于第二影像信息的视野范围有限,则在存在较大的遮挡物,例如大货车的情况下,仅通过车辆前方的路况信息确定驾驶决策结果,可能会无法察觉到被遮挡物挡住的行人。
根据运动轨迹信息确定障碍对象所在的地理范围,可以理解为,根据障碍对象在车辆坐标系下的预测移动轨迹,确定障碍对象的活动范围,也可以视为该障碍对象移动过程中可能造成的障碍区域。
将第一车道参数、路况信息以及地理范围结合起来,共同确定驾驶决策结果,从而在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性。
根据如图1所示的实施例中的驾驶决策方法,首先,获取障碍对象探测指令;其次,根据障碍对象探测指令,向无人机发送控制信号,控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;接着,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;接着,获取车辆的车辆定位信息和车辆前方车道的第二影像信息;然后,根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;最后,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。通过本发明实施例的技术方案,能够利用无人机探测可移动的障碍对象,为车辆提供了更大的视野范围,在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性,从而得到更准确的驾驶决策结果。
图2为本申请一个实施例提供的一种驾驶决策方法的一种应用场景的示意图。
参照图2所示,车辆202与车辆前方的无人机204通过无线通讯,无人机204在指定的高度飞行,无人机204采集障碍对象206的第一影像信息,并实时返回无人机定位姿态信息和障碍对象206的运动信息到车辆202。
在如图2所示的实施例中的驾驶决策方法可以实现前述的驾驶决策方法的实施例中的各个过程,并达到相同的效果和功能,这里不再赘述。
图3为本申请一个实施例提供的一种驾驶决策方法的另一种应用场景的示意图。
参照图3所示,车辆302为采用本申请实施例的驾驶决策方法的车辆,大货车304为行驶在车辆302前方的车辆。需要注意的是,此处大货车304的宽度大于车辆302,故该大货车304会遮挡住车辆302的一部分视野。
障碍对象308从一片施工区域走出,延垂直于车辆通行方向的方向移动。无人机306在探测到障碍对象308后停止向前飞行,采集障碍对象308的第一影像信息,无人机306实时返回无人机定位姿态信息和障碍对象308的运动信息到车辆302。
车辆302接收无人机定位姿态信息以及障碍对象308的运动信息,获取车辆302的车辆定位信息、车辆302前方车道的第二影像信息。车辆302根据车辆定位信息、无人机定位姿态信息以及障碍对象308的运动信息,确定障碍对象308的运动轨迹信息。车辆302根据预存的地图信息、第二影像信息以及障碍对象308的运动轨迹信息,确定驾驶决策结果。
在如图3所示的实施例中的驾驶决策方法可以实现前述的驾驶决策方法的实施例中的各个过程,并达到相同的效果和功能,这里不再赘述。
图4为本申请一个实施例提供的另一种驾驶决策方法的流程示意图。
步骤S402,无人机向车辆前方飞行。
无人机在接收到控制信号后,确定飞行路径,沿飞行路径向前飞行,飞行的高度为预先设置的特定高度,且飞行速度均匀。无人机在飞行过程中拍摄车道的影像信息。
步骤S404,无人机探测到障碍对象。
无人机对飞行过程中经过的车道的影像信息进行识别以及特征提取,得到一个或多个对象特征,例如,帽子、车轮、障碍标志、人体头部等,将得到的对象特征分别与预设的障碍对象特征进行匹配。预设的障碍对象特征包含且不限于人体头部特征,或者,施工人员的施工帽,或者,清洁工服装特征。
无人机在确定得到的对象特征与预设的障碍对象特征匹配时,将具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,例如,得到的对象特征为帽子,该帽子与预设的障碍对象特征中的施工帽匹配,则将具有该帽子的对象,即戴着该帽子的行人作为障碍对象,此时可视为无人机探测到障碍对象。
步骤S406,无人机悬停,采集障碍对象的第一影像信息,处理第一影像信息得到障碍对象的运动信息。
无人机停止向前飞行,悬停在空中,采集探测到的障碍对象的第一影像信息,处理该第一影像信息,得到障碍对象在无人机坐标系下的位置信息和速度信息作为障碍对象的运动信息。
步骤S408,车辆获取车辆定位信息、第二影像信息、无人机定位信息和障碍对象的运动信息。
车辆可以通过车辆的惯导定位系统获取车辆定位信息,通过车辆的车载摄像头采集车辆前方车道的第二影像信息、无人机返回的无人机定位信息以及无人机返回的障碍对象的运动信息。
步骤S410,车辆确定驾驶决策结果。
车辆根据所述车辆定位信息、所述无人机定位姿态信息以及所述运动信息,确定所述障碍对象的运动轨迹信息。车辆再根据预存的地图信息、所述第二影像信息、所述障碍对象的运动轨迹信息,确定驾驶决策结果。
步骤S412,无人机判断车辆是否通过障碍对象所在的地理范围。
若是,则进入步骤S414;若否,则返回步骤S406。
步骤S414,无人机返回车辆。
在无人机确定车辆通过障碍对象所在的地理范围后,无人机没有必要继续采集该障碍对象的第一影像信息,可以理解为,无人机的障碍对象探测任务已完成,则无人机返回车辆。
在如图4所示的实施例中的驾驶决策方法可以实现前述的驾驶决策方法的实施例中的各个过程,并达到相同的效果和功能,这里不再赘述。
图5为本申请一个实施例提供的一种驾驶决策方法中车端与无人机端的交互示意图。
车端502即车辆所在的一端,无人机端504即无人机所在的一端。参照图5所示,车端502发送车辆定位信息到无人机端504,无人机端504返回无人机定位姿态信息和障碍对象的运动信息到车端502。
其中,车辆定位信息用于,供无人机端504基于车辆定位信息与无人机定位信息的比较结果确定车端502与无人机端504之间的相对位置,在相对位置满足预设的相对位置条件时确定车端502通过障碍对象所在的地理范围。
确定车端502通过障碍对象所在的地理范围,例如,障碍对象为正在移动的行人,车辆已经驶过该行人的活动区域,该行人不可能再阻碍车辆驾驶。此时,无人机没有必要继续采集该行人的第一影像信息,行人不再是障碍对象,无人机的障碍对象探测任务已完成,无人机返回车辆。
车端502与无人机端504之间的相对位置满足预设的相对位置条件,可以是,车端502相对于无人机端504的相对位置在无人机端504沿车辆行驶方向的前方,且车端502与无人机端504之间的距离大于预设距离阈值。
车端502还可以将第二车道参数发送到无人机端504。
第二车道参数包含且不限于:车道相关参数,例如,车道上的详细信息与车道之间的连接关系;道路部件,例如交通标识、指示牌以及龙门架;道路属性,例如,曲率、航向以及坡度。
该第二车道参数可以是车端502前方第二预定距离内的车道参数。第二预定距离为预先设置的无人机端504距离车端502的起飞点的最远飞行距离,通常情况下,无人机端504只需要采集车端502附近的障碍对象即可满足驾驶决策需求。
在如图5所示的实施例中,无人机定位姿态信息包括无人机定位信息和无人机姿态信息。例如,无人机端504通过无线通讯向车端502实时返回无人机端在地球坐标系下的位置信息和无人机端当前的俯仰角α,侧倾角β,横摆角γ。
参照图5所示,障碍对象的运动信息可以是障碍对象在无人机坐标系下的垂直于车道通行方向的第一位置信息和第一速度信息。
车端502可以根据预存的地图信息、车辆前方车道的第二影像信息、无人机返回的无人机定位姿态信息以无人机返回的障碍对象的运动信息,确定驾驶决策结果。
在如图5所示的实施例中的驾驶决策方法可以实现前述的驾驶决策方法的实施例中的各个过程,并达到相同的效果和功能,这里不再赘述。
图6为本申请一个实施例提供的一种驾驶决策装置的结构示意图。
参照图6所示,该驾驶决策装置包括:
指令获取模块602,用于获取障碍对象探测指令;
信号发送模块604,用于根据障碍对象探测指令,向无人机发送控制信号;控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;
信息接收模块606,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;
信息获取模块608,用于获取车辆的车辆定位信息和车辆前方车道的第二影像信息;
信息确定模块610,用于根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;
结果确定模块612,用于根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。
在本发明的一些实施例中,基于上述方案,无人机定位姿态信息包括无人机定位信息和无人机姿态信息;信息确定模块610,包括:
转换关系确定单元,用于根据车辆定位信息、无人机定位信息以及无人机姿态信息,确定无人机坐标系与车辆坐标系的转换关系;
轨迹信息确定单元,用于根据运动信息和转换关系,确定障碍对象的运动轨迹信息。
在本发明的一些实施例中,基于上述方案,运动信息包括障碍对象在无人机坐标系下的垂直于车道通行方向的第一位置信息和第一速度信息;轨迹信息确定单元,具体用于:
根据第一位置信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二位置信息,根据第一速度信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二速度信息;
根据第二位置信息、第二速度信息,确定障碍对象的运动轨迹信息。
在本发明的一些实施例中,基于上述方案,结果确定模块612,具体用于:
从地图信息中读取车辆前方车道的第一车道参数,对第二影像信息进行处理得到车辆前方的路况信息,根据运动轨迹信息确定障碍对象所在的地理范围;
根据第一车道参数、路况信息以及地理范围,确定驾驶决策结果。
在本发明的一些实施例中,基于上述方案,无人机携带有车辆定位信息;
车辆定位信息用于,供无人机基于车辆定位信息与无人机定位信息的比较结果确定车辆与无人机之间的相对位置,在相对位置满足预设的相对位置条件时确定车辆通过障碍对象所在的地理范围。
在本发明的一些实施例中,基于上述方案,无人机携带有车辆前方车道的第二车道参数;第二车道参数用于供无人机确定飞行路径。
在本发明的一些实施例中,基于上述方案,第一影像信息由无人机通过如下方式获取:
无人机沿飞行路径向前飞行,在飞行过程中拍摄车道的影像信息;
无人机提取所拍摄的车道的影像信息中的对象特征,并将对象特征与预设的障碍对象特征进行匹配;
无人机在确定对象特征与预设的障碍对象特征匹配时,将具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,停止向前飞行并采集障碍对象的第一影像信息。
在本发明的一些实施例中,基于上述方案,信息接收模块606,具体用于:
接收无人机在障碍监测时间段内返回的无人机定位姿态信息和障碍对象的运动信息;
其中,障碍监测时间段的起始时间为无人机检测到障碍对象时,障碍监测时间段的截止时间为无人机确定车辆通过障碍对象所在的地理范围时。
在本申请一个实施例中,首先,获取障碍对象探测指令;其次,根据障碍对象探测指令,向无人机发送控制信号,控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;接着,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;接着,获取车辆的车辆定位信息和车辆前方车道的第二影像信息;然后,根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;最后,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。通过本发明实施例的技术方案,能够利用无人机探测可移动的障碍对象,为车辆提供了更大的视野范围,在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性,从而得到更准确的驾驶决策结果。
图6中的驾驶决策装置可以实现前述的驾驶决策方法的实施例中的各个过程,并达到相同的效果和功能,这里不再赘述。
进一步地,本申请一个实施例还提供了一种电子设备,图7为本申请一个实施例提供的一种电子设备的结构示意图,如图7所示,该设备包括:存储器701、处理器702、总线703和通信接口704。存储器701、处理器702和通信接口704通过总线703进行通信,通信接口704可以包括输入输出接口,输入输出接口包括但不限于键盘、鼠标、显示器、麦克风、扩音器等。
图7中,存储器701上存储有可在处理器702上运行的计算机可执行指令,计算机可执行指令被处理器702执行时实现以下流程:
获取障碍对象探测指令;
根据障碍对象探测指令,向无人机发送控制信号;控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;
接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;
获取车辆的车辆定位信息和车辆前方车道的第二影像信息;
根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;
根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。
可选的,计算机可执行指令被处理器702执行时,无人机定位姿态信息包括无人机定位信息和无人机姿态信息;根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息,包括:
根据车辆定位信息、无人机定位信息以及无人机姿态信息,确定无人机坐标系与车辆坐标系的转换关系;
根据运动信息和转换关系,确定障碍对象的运动轨迹信息。
可选的,计算机可执行指令被处理器702执行时,运动信息包括障碍对象在无人机坐标系下的垂直于车道通行方向的第一位置信息和第一速度信息;根据运动信息和转换关系,确定障碍对象的运动轨迹信息,包括:
根据第一位置信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二位置信息,根据第一速度信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二速度信息;
根据第二位置信息、第二速度信息,确定障碍对象的运动轨迹信息。
可选的,计算机可执行指令被处理器702执行时,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果,包括:
从地图信息中读取车辆前方车道的第一车道参数,对第二影像信息进行处理得到车辆前方的路况信息,根据运动轨迹信息确定障碍对象所在的地理范围;
根据第一车道参数、路况信息以及地理范围,确定驾驶决策结果。
可选的,计算机可执行指令被处理器702执行时,无人机携带有车辆定位信息;
车辆定位信息用于,供无人机基于车辆定位信息与无人机定位信息的比较结果确定车辆与无人机之间的相对位置,在相对位置满足预设的相对位置条件时确定车辆通过障碍对象所在的地理范围。
可选的,计算机可执行指令被处理器702执行时,无人机携带有车辆前方车道的第二车道参数;第二车道参数用于供无人机确定飞行路径。
可选的,计算机可执行指令被处理器702执行时,第一影像信息由无人机通过如下方式获取:
无人机沿飞行路径向前飞行,在飞行过程中拍摄车道的影像信息;
无人机提取所拍摄的车道的影像信息中的对象特征,并将对象特征与预设的障碍对象特征进行匹配;
无人机在确定对象特征与预设的障碍对象特征匹配时,将具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,停止向前飞行并采集障碍对象的第一影像信息。
可选的,计算机可执行指令被处理器702执行时,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息,包括:
接收无人机在障碍监测时间段内返回的无人机定位姿态信息和障碍对象的运动信息;
其中,障碍监测时间段的起始时间为无人机检测到障碍对象时,障碍监测时间段的截止时间为无人机确定车辆通过障碍对象所在的地理范围时。
在本申请一个实施例中,首先,获取障碍对象探测指令;其次,根据障碍对象探测指令,向无人机发送控制信号,控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;接着,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;接着,获取车辆的车辆定位信息和车辆前方车道的第二影像信息;然后,根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;最后,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。通过本发明实施例的技术方案,能够利用无人机探测可移动的障碍对象,为车辆提供了更大的视野范围,在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性,从而得到更准确的驾驶决策结果。
本申请一实施例提供的电子设备能够实现前述驾驶决策方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
进一步地,本申请另一个实施例还提供了一种存储介质,该存储介质中存储有计算机可执行指令,计算机可执行指令被处理器702执行时实现以下流程:
获取障碍对象探测指令;
根据障碍对象探测指令,向无人机发送控制信号;控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;
接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;
获取车辆的车辆定位信息和车辆前方车道的第二影像信息;
根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;
根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。
可选的,计算机可执行指令被处理器702执行时,无人机定位姿态信息包括无人机定位信息和无人机姿态信息;根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息,包括:
根据车辆定位信息、无人机定位信息以及无人机姿态信息,确定无人机坐标系与车辆坐标系的转换关系;
根据运动信息和转换关系,确定障碍对象的运动轨迹信息。
可选的,计算机可执行指令被处理器702执行时,运动信息包括障碍对象在无人机坐标系下的垂直于车道通行方向的第一位置信息和第一速度信息;根据运动信息和转换关系,确定障碍对象的运动轨迹信息,包括:
根据第一位置信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二位置信息,根据第一速度信息与转换关系,确定障碍对象在车辆坐标系下的垂直于车道通行方向的第二速度信息;
根据第二位置信息、第二速度信息,确定障碍对象的运动轨迹信息。
可选的,计算机可执行指令被处理器702执行时,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果,包括:
从地图信息中读取车辆前方车道的第一车道参数,对第二影像信息进行处理得到车辆前方的路况信息,根据运动轨迹信息确定障碍对象所在的地理范围;
根据第一车道参数、路况信息以及地理范围,确定驾驶决策结果。
可选的,计算机可执行指令被处理器702执行时,无人机携带有车辆定位信息;
车辆定位信息用于,供无人机基于车辆定位信息与无人机定位信息的比较结果确定车辆与无人机之间的相对位置,在相对位置满足预设的相对位置条件时确定车辆通过障碍对象所在的地理范围。
可选的,计算机可执行指令被处理器702执行时,无人机携带有车辆前方车道的第二车道参数;第二车道参数用于供无人机确定飞行路径。
可选的,计算机可执行指令被处理器702执行时,第一影像信息由无人机通过如下方式获取:
无人机沿飞行路径向前飞行,在飞行过程中拍摄车道的影像信息;
无人机提取所拍摄的车道的影像信息中的对象特征,并将对象特征与预设的障碍对象特征进行匹配;
无人机在确定对象特征与预设的障碍对象特征匹配时,将具有与障碍对象特征匹配的对象特征的对象确定为障碍对象,停止向前飞行并采集障碍对象的第一影像信息。
可选的,计算机可执行指令被处理器702执行时,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息,包括:
接收无人机在障碍监测时间段内返回的无人机定位姿态信息和障碍对象的运动信息;
其中,障碍监测时间段的起始时间为无人机检测到障碍对象时,障碍监测时间段的截止时间为无人机确定车辆通过障碍对象所在的地理范围时。
在本申请一个实施例中,首先,获取障碍对象探测指令;其次,根据障碍对象探测指令,向无人机发送控制信号,控制信号用于控制无人机采集车辆前方的障碍对象的第一影像信息;接着,接收无人机返回的无人机定位姿态信息和障碍对象的运动信息;其中,运动信息由无人机对第一影像信息进行处理得到;接着,获取车辆的车辆定位信息和车辆前方车道的第二影像信息;然后,根据车辆定位信息、无人机定位姿态信息以及运动信息,确定障碍对象的运动轨迹信息;最后,根据预存的地图信息、第二影像信息、障碍对象的运动轨迹信息,确定驾驶决策结果。通过本发明实施例的技术方案,能够利用无人机探测可移动的障碍对象,为车辆提供了更大的视野范围,在车辆行驶过程中提高感知车辆前方可移动的障碍对象的准确性,从而得到更准确的驾驶决策结果。
其中,所述的存储介质包括只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本申请一实施例提供的存储介质能够实现前述驾驶决策方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种驾驶决策方法,其特征在于,包括:
获取障碍对象探测指令;
根据所述障碍对象探测指令,向无人机发送控制信号;所述控制信号用于控制所述无人机采集车辆前方的障碍对象的第一影像信息;
接收所述无人机返回的无人机定位姿态信息和所述障碍对象的运动信息;其中,所述运动信息由所述无人机对所述第一影像信息进行处理得到;
获取所述车辆的车辆定位信息和所述车辆前方车道的第二影像信息;
根据所述车辆定位信息、所述无人机定位姿态信息以及所述运动信息,确定所述障碍对象的运动轨迹信息;
根据预存的地图信息、所述第二影像信息、所述障碍对象的运动轨迹信息,确定驾驶决策结果。
2.根据权利要求1所述的方法,其特征在于,所述无人机定位姿态信息包括无人机定位信息和无人机姿态信息;根据所述车辆定位信息、所述无人机定位姿态信息以及所述运动信息,确定所述障碍对象的运动轨迹信息,包括:
根据所述车辆定位信息、所述无人机定位信息以及所述无人机姿态信息,确定无人机坐标系与车辆坐标系的转换关系;
根据所述运动信息和所述转换关系,确定所述障碍对象的运动轨迹信息。
3.根据权利要求2所述的方法,其特征在于,所述运动信息包括所述障碍对象在所述无人机坐标系下的垂直于车道通行方向的第一位置信息和第一速度信息;根据所述运动信息和所述转换关系,确定所述障碍对象的运动轨迹信息,包括:
根据所述第一位置信息与所述转换关系,确定所述障碍对象在所述车辆坐标系下的垂直于所述车道通行方向的第二位置信息,根据所述第一速度信息与所述转换关系,确定所述障碍对象在所述车辆坐标系下的垂直于所述车道通行方向的第二速度信息;
根据所述第二位置信息、所述第二速度信息,确定所述障碍对象的运动轨迹信息。
4.根据权利要求1所述的方法,其特征在于,根据预存的地图信息、所述第二影像信息、所述障碍对象的运动轨迹信息,确定驾驶决策结果,包括:
从所述地图信息中读取所述车辆前方车道的第一车道参数,对所述第二影像信息进行处理得到车辆前方的路况信息,根据所述运动轨迹信息确定所述障碍对象所在的地理范围;
根据所述第一车道参数、所述路况信息以及所述地理范围,确定驾驶决策结果。
5.根据权利要求2所述的方法,其特征在于,
所述无人机携带有所述车辆定位信息;
所述车辆定位信息用于,供所述无人机基于所述车辆定位信息与所述无人机定位信息的比较结果确定所述车辆与所述无人机之间的相对位置,在所述相对位置满足预设的相对位置条件时确定所述车辆通过所述障碍对象所在的地理范围。
6.根据权利要求1所述的方法,其特征在于,
所述无人机携带有所述车辆前方车道的第二车道参数;所述第二车道参数用于供所述无人机确定飞行路径。
7.根据权利要求6所述的方法,其特征在于,所述第一影像信息由所述无人机通过如下方式获取:
所述无人机沿所述飞行路径向前飞行,在飞行过程中拍摄车道的影像信息;
所述无人机提取所拍摄的车道的影像信息中的对象特征,并将所述对象特征与预设的障碍对象特征进行匹配;
所述无人机在确定所述对象特征与预设的障碍对象特征匹配时,将具有与所述障碍对象特征匹配的对象特征的对象确定为所述障碍对象,停止向前飞行并采集所述障碍对象的第一影像信息。
8.根据权利要求5所述的方法,其特征在于,接收所述无人机返回的无人机定位姿态信息和所述障碍对象的运动信息,包括:
接收所述无人机在障碍监测时间段内返回的无人机定位姿态信息和所述障碍对象的运动信息;
其中,所述障碍监测时间段的起始时间为所述无人机检测到所述障碍对象时,所述障碍监测时间段的截止时间为所述无人机确定所述车辆通过所述障碍对象所在的地理范围时。
9.一种驾驶决策装置,其特征在于,包括:
指令获取模块,用于获取障碍对象探测指令;
信号发送模块,用于根据所述障碍对象探测指令,向无人机发送控制信号;所述控制信号用于控制所述无人机采集车辆前方的障碍对象的第一影像信息;
信息接收模块,用于接收所述无人机返回的无人机定位姿态信息和所述障碍对象的运动信息;其中,所述运动信息由所述无人机对所述第一影像信息进行处理得到;
信息获取模块,用于获取所述车辆的车辆定位信息和所述车辆前方车道的第二影像信息;
信息确定模块,用于根据所述车辆定位信息、所述无人机定位姿态信息以及所述运动信息,确定所述障碍对象的运动轨迹信息;
结果确定模块,用于根据预存的地图信息、所述第二影像信息、所述障碍对象的运动轨迹信息,确定驾驶决策结果。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述计算机可执行指令被所述处理器执行时,能够实现上述权利要求1-8任一项所述的驾驶决策方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110236714.2A CN112977441A (zh) | 2021-03-03 | 2021-03-03 | 一种驾驶决策方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110236714.2A CN112977441A (zh) | 2021-03-03 | 2021-03-03 | 一种驾驶决策方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112977441A true CN112977441A (zh) | 2021-06-18 |
Family
ID=76352501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110236714.2A Pending CN112977441A (zh) | 2021-03-03 | 2021-03-03 | 一种驾驶决策方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112977441A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114906253A (zh) * | 2022-05-17 | 2022-08-16 | 南京理工大学工程技术研究院有限公司 | 高地形适应性物料投送小车及其使用方法 |
CN115022837A (zh) * | 2022-05-31 | 2022-09-06 | 重庆邮电大学 | 一种无人机作为空中基站的自动驾驶汽车控制方法及系统 |
CN115195890A (zh) * | 2022-07-19 | 2022-10-18 | 岚图汽车科技有限公司 | 一种车辆行驶控制方法及相关设备 |
CN115240450A (zh) * | 2022-07-13 | 2022-10-25 | 购旺工业(赣州)有限公司 | 一种智慧交通数据采集设备及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019084797A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN110119147A (zh) * | 2019-05-09 | 2019-08-13 | 深圳市速腾聚创科技有限公司 | 车辆自动驾驶方法、装置、计算机设备和存储介质 |
CN111169479A (zh) * | 2020-01-14 | 2020-05-19 | 中国第一汽车股份有限公司 | 一种巡航控制方法、装置、系统、车辆及存储介质 |
CN111775961A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 自动驾驶车辆规划方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-03 CN CN202110236714.2A patent/CN112977441A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019084797A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN110119147A (zh) * | 2019-05-09 | 2019-08-13 | 深圳市速腾聚创科技有限公司 | 车辆自动驾驶方法、装置、计算机设备和存储介质 |
CN111169479A (zh) * | 2020-01-14 | 2020-05-19 | 中国第一汽车股份有限公司 | 一种巡航控制方法、装置、系统、车辆及存储介质 |
CN111775961A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 自动驾驶车辆规划方法、装置、电子设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114906253A (zh) * | 2022-05-17 | 2022-08-16 | 南京理工大学工程技术研究院有限公司 | 高地形适应性物料投送小车及其使用方法 |
CN114906253B (zh) * | 2022-05-17 | 2023-11-17 | 南京理工大学工程技术研究院有限公司 | 高地形适应性物料投送小车及其使用方法 |
CN115022837A (zh) * | 2022-05-31 | 2022-09-06 | 重庆邮电大学 | 一种无人机作为空中基站的自动驾驶汽车控制方法及系统 |
CN115240450A (zh) * | 2022-07-13 | 2022-10-25 | 购旺工业(赣州)有限公司 | 一种智慧交通数据采集设备及方法 |
CN115195890A (zh) * | 2022-07-19 | 2022-10-18 | 岚图汽车科技有限公司 | 一种车辆行驶控制方法及相关设备 |
CN115195890B (zh) * | 2022-07-19 | 2024-01-19 | 岚图汽车科技有限公司 | 一种车辆行驶控制方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112977441A (zh) | 一种驾驶决策方法、装置及电子设备 | |
US10479376B2 (en) | Dynamic sensor selection for self-driving vehicles | |
US9507345B2 (en) | Vehicle control system and method | |
US11958485B2 (en) | Vehicle control method and apparatus | |
US11618444B2 (en) | Methods and systems for autonomous vehicle inference of routes for actors exhibiting unrecognized behavior | |
WO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
WO2019082669A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US20220219716A1 (en) | Methods and systems for monitoring vehicle motion with driver safety alerts | |
CN114492679B (zh) | 一种车辆数据处理方法、装置、电子设备及介质 | |
US20220219682A1 (en) | Methods and systems for safe out-of-lane driving | |
US20220383749A1 (en) | Signal processing device, signal processing method, program, and mobile device | |
CN114103946A (zh) | 用于免提驾驶的动态停止时间阈值选择 | |
CN113950703A (zh) | 具有用于点云融合的探测器 | |
CN112810603A (zh) | 定位方法和相关产品 | |
GB2571587A (en) | Vehicle control method and apparatus | |
KR20210104184A (ko) | 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 | |
US20220212694A1 (en) | Methods and systems for generating a longitudinal plan for an autonomous vehicle based on behavior of uncertain road users | |
WO2020090320A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN116249644B (zh) | 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统 | |
US20230237793A1 (en) | False track mitigation in object detection systems | |
US11840257B2 (en) | Lane change determination for vehicle on shoulder | |
US20220114768A1 (en) | Information processing device, information processing method, and information processing program | |
US11358598B2 (en) | Methods and systems for performing outlet inference by an autonomous vehicle to determine feasible paths through an intersection | |
US20240029450A1 (en) | Automated driving management system and automated driving management method | |
US10867397B2 (en) | Vehicle with a driving assistance system with a low power mode |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230707 |
|
AD01 | Patent right deemed abandoned |