CN111428646B - 一种基于边缘云计算的驾驶员接管保障方法及系统 - Google Patents
一种基于边缘云计算的驾驶员接管保障方法及系统 Download PDFInfo
- Publication number
- CN111428646B CN111428646B CN202010220590.4A CN202010220590A CN111428646B CN 111428646 B CN111428646 B CN 111428646B CN 202010220590 A CN202010220590 A CN 202010220590A CN 111428646 B CN111428646 B CN 111428646B
- Authority
- CN
- China
- Prior art keywords
- over
- driver
- priority
- cloud computing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于边缘云计算的驾驶员接管保障方法,步骤如下:S1、启用接管保障流程;S2、设置资源请求优先级H2;S3、调用车辆就近边缘计算单元与车辆直连进行高优先图像处理;S4、处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长。本发明还公开了一种基于边缘云计算的驾驶员接管保障系统,包括:启动模块;资源请求优先级模块:设置资源请求优先级H2;图像处理及传输模块:调用车辆就近边缘计算单元与车辆直连进行高优先图像处理;流程退出模块:判断接管保障流程运行时长是否超过智能驾驶设计接管时长。本发明能够辅助驾驶员回到正常驾驶水平,合理分配图像处理计算资源,可以广泛应用于车辆智能驾驶领域。
Description
技术领域
本发明涉及车辆智能驾驶,特别是涉及一种基于边缘云计算的驾驶员接管保障方法及系统。
背景技术
随着智能网联技术的发展,量产智能驾驶产品等级将越来越高,根据SAE(Societyof Automotive Engineers,美国机动车工程师学会)划分规则,L3级别的自动驾驶将在设计运行区域(operational design domain,ODD)内由智能驾驶系统完成驾驶操作,人类驾驶员负责动态驾驶任务支援(Dynamic driving task Fallback,DDT Fallback),在必要的时候根据系统要求接管驾驶车辆。智能系统需要在退出前确保留有足够时间让驾驶员介入并安全地控制车辆。
面对雾霾,严重雨雪等极端气候,当摄像头难以继续识别车道线,障碍物等对象,或者此时主控ECU(Electronic Control Unit,电子控制单元,又称行车电脑或车载电脑)出现故障,辅助处理模块如雷达处理器开启备份驾驶辅助功能,L3(有条件自治网络,在L2的能力基础上,系统可以实时感知环境变化,在特定领域内基于外部环境动态优化调整,实现基于意图的闭环管理)级别智能驾驶系统需要提示驾驶员注意力回归,重新操作方向盘及油门刹车踏板。但在此情况下驾驶员突然从其他事件(如看手机,面向车内其他成员交谈)回到对路面的关注,眼睛接收外界环境刺激变化较大,且本身雨雪雾霾视野较差,导致在系统预留接管时间内不能很好地识别道路上的各种障碍物,易引起交通事故。
目前公开的L3智能驾驶接管系统,更多地关注于接管时机和条件,例如CN110422169A《一种车辆控制方法、系统及设备》等专利,关注驾驶员接管时机,CN109298719A《智能汽车的接管方法、装置及存储介质》等专利,只关注接管条件,不关注驾驶员接管能力,并没有辅助驾驶员从非驾驶到驾驶的状态切换。
对于公开的智能驾驶图像处理技术,更多的在于对基础算法的改进和车端系统的调整,例如CN109584176A《机动车驾驶视觉增强系统》主要通过车内的主控模块来进行常态图像处理,对主控模块算力要求高。而结合了云计算的技术关注点在于云端融合的体系搭建,没有限制单车在线使用算力时间,对公共资源占用较多。例如CN109714730A《用于车车及车路协同的云控平台系统及协同系统和方法》关注收集车-车-路信息进行平台融合,以提供面向范围较广的服务。
由此可知,现有的技术方案存在如下技术问题:1、L3智能驾驶进行动态驾驶任务支援/接管的时候,在极端天气下,对于驾驶员状态切换的辅助不足。驾驶员即使手重新握住方向盘,也并不能当即回到正常驾驶水平。
2、当前用于驾驶员辅助的图像处理算法占用计算资源较多。若放在车载处理单元导致成本升高,且占用过多算力,当出现故障,系统由后备处理器承接功能时保持图像处理效率尤其困难。若一直放在云端处理,当道路车辆较多时占用过多带宽资源及云端计算资源,不利于公共资源的合理分配。
发明内容
本发明的目的是为了克服上述背景技术的不足,提供一种基于边缘云计算的驾驶员接管保障方法及系统,使其能够辅助驾驶员回到正常驾驶水平,合理分配图像处理计算资源。
本发明提供的一种基于边缘云计算的驾驶员接管保障方法,包括如下步骤:S1、根据天气信息和摄像头信息,决定是否启用接管保障流程;S2、如果智能驾驶处理单元没有故障,则由其通过总线和5G通信模块设置资源请求优先级H2,并高速传输图像/视频信息至云计算平台;S3、云计算平台的边缘云计算资源调度模块会调用车辆就近边缘计算单元通过5G通信模块与车辆直连进行高优先图像处理,同时将处理后的图像/视频经H高优先级高速回传给车辆,并通过总线传送给图像显示模块显示;S4、智能驾驶处理单元、雷达处理单元或摄像头的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长,或直到接管保障流程退出完成,如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频,驾驶员选择否则接管保障流程退出,如果选择是则降低图像处理及传输优先级至L,维持低帧图像处理辅助。
在上述技术方案中,所述步骤S1具体流程如下:S11、当需要退出L3智能驾驶系统时,首先判断是否是极端天气,如果否则驾驶员进入无辅助接管流程;S12、如果是则进一步判断是否是摄像头的故障,如果是则驾驶员进入无辅助接管流程,如果否则启用接管保障流程。
在上述技术方案中,所述步骤S2还包括:如果智能驾驶处理单元有故障,则后备ECU接管并设置资源请求优先级H1,并高速传输图像/视频信息至云计算平台。
在上述技术方案中,所述步骤S3中,所述高优先图像处理流程如下:首先判断是否有雾霾,如果有则调用去雾霾算法,如果否判断是否有雨雪天气,如果有则调用去雨雪算法,做完去雾霾或去雨雪计算后将处理后的图像/视频经H高优先级高速回传给车辆。
在上述技术方案中,所述步骤S3的高优先图像处理流程中,所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分方程/Retinex(一种颜色恒常知觉的计算理论)算法,所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰。
在上述技术方案中,所述步骤S3中,所述高优先图像处理流程还包括:如果雨雪天气判定为否,或者提高图片的亮度、对比度和轮廓清晰度,或者调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,用AI判断前方目标及道路特征,进行图像/视频优化,标注说明并进行回传。
在上述技术方案中,所述步骤S4中,所述高优先图像处理流程完成后,如果接受图像处理及回传时延,启用智能驾驶处理模块、摄像头、图像显示模块或边缘计算单元的目标识别功能,经过目标高亮或框图追踪处理后再显示给图像显示模块,进一步判断接管保障流程运行时长或直到接管保障流程退出完成。
本发明还提供的一种基于边缘云计算的驾驶员接管保障系统,包括如下部分:启动模块:根据天气信息和摄像头信息,决定是否启用接管保障流程;资源请求优先级模块:如果智能驾驶处理单元没有故障,则由其通过总线和5G通信模块设置资源请求优先级H2,并高速传输图像/视频信息至云计算平台;图像处理及传输模块:云计算平台的边缘云计算资源调度模块会调用车辆就近边缘计算单元通过5G通信模块与车辆直连进行高优先图像处理,同时将处理后的图像/视频经H高优先级高速回传给车辆,并通过总线传送给图像显示模块显示;流程退出模块:智能驾驶处理单元、雷达处理单元或摄像头的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长,或直到接管保障流程退出完成,如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频,驾驶员选择否则接管保障流程退出,如果选择是则降低图像处理及传输优先级至L,维持低帧图像处理辅助。
在上述技术方案中,所述启动模块中,包括如下部分:天气判断子模块:当需要退出L3智能驾驶系统时,首先判断是否是极端天气,如果否则驾驶员进入无辅助接管流程;摄像头故障判断子模块:如果是则进一步判断是否是摄像头的故障,如果是则驾驶员进入无辅助接管流程,如果否则启用接管保障流程;所述资源请求优先级模块还包括:如果智能驾驶处理单元有故障,则后备ECU接管并设置资源请求优先级H1,并高速传输图像/视频信息至云计算平台;所述流程退出模块还包括:所述高优先图像处理流程完成后,如果接受图像处理及回传时延,启用智能驾驶处理模块、摄像头、图像显示模块或边缘计算单元的目标识别功能,经过目标高亮或框图追踪处理后再显示给图像显示模块,进一步判断接管保障流程运行时长或直到接管保障流程退出完成。
在上述技术方案中,所述图像处理及传输模块中,所述高优先图像处理流程如下:首先判断是否有雾霾,如果有则调用去雾霾算法,所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分方程/Retinex算法;如果否判断是否有雨雪天气,如果有则调用去雨雪算法,所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰;如果雨雪天气判定为否,或者提高图片的亮度、对比度和轮廓清晰度,或者调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,用AI判断前方目标及道路特征,进行图像/视频优化,标注说明并进行回传;然后将处理后的图像/视频经H高优先级高速回传给车辆。
本发明一种基于边缘云计算的驾驶员接管保障方法及系统,具有以下有益效果:首先,解决了当前L3智能驾驶在极端天气下驾驶员接管的保障问题。当摄像头因雾霾雨雪无法提供正确输入的情况下,应用边缘云快速完成图像去雾霾及其他干扰因素处理,提供道路清晰视频或图像为驾驶员接管适应期提供辅助。当智能驾驶处理单元出现故障,可以迅速把图像处理工作转移到边缘云,减轻后备接管单元的负担,实现平稳过度,为驾驶员适应期提供辅助。
其次,解决了图像去雾处理算法占用计算资源过高的问题,并提高了处理效率。因为把车端图像去雾处理模块移到了运算能力更加强大的云端,且由5G通信优化了和实际驾驶状态的时延匹配。之后通过优先级判定的方法,为紧急情况下图像处理任务保证了算力,确保公共资源合理分配,从而不被浪费。由此极大地降低了车端处理器所需成本和云端基础设施铺设成本。
附图说明
图1为本发明基于边缘云计算的驾驶员接管保障方法的整体流程示意图;
图2为本发明基于边缘云计算的驾驶员接管保障方法中接管保障系统作为智能驾驶系统一部分时的流程示意图;
图3为本发明基于边缘云计算的驾驶员接管保障方法中调用计算机学习图像识别算法时的流程示意图;
图4为本发明基于边缘云计算的驾驶员接管保障方法中车端/云端处理器有目标识别功能时的流程示意图;
图5为本发明基于边缘云计算的驾驶员接管保障系统的组织架构示意图;
图6为本发明基于边缘云计算的驾驶员接管保障系统的结构示意图;
图7为本发明基于边缘云计算的驾驶员接管保障系统中启动模块的结构示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述,但该实施例不应理解为对本发明的限制。
参见图1,本发明基于边缘云计算的驾驶员接管保障方法,包括如下步骤:
S1、根据天气信息和摄像头1信息,决定是否启用接管保障流程,所述步骤S1具体流程如下:
S11、当需要退出L3智能驾驶系统时,首先判断是否是极端天气,如果否则驾驶员进入无辅助接管流程;
S12、如果是则进一步判断是否是摄像头1的故障,如果是则驾驶员进入无辅助接管流程,如果否则启用接管保障流程;
S2、如果智能驾驶处理单元2没有故障,则由其通过总线4和5G通信模块6设置资源请求优先级H2(其中资源请求优先级包含H1、H2、L或更细划分,优先级依次降低),并高速传输图像/视频信息至云计算平台7,参见图2,如果智能驾驶处理单元2有故障,则后备ECU接管并设置资源请求优先级H1,并高速传输图像/视频信息至云计算平台7,在本实施例中,将接管保障系统作为智能驾驶系统的一部分,在确认满足恶劣天气条件、摄像头没有内部故障的情况下,直接选择智能驾驶处理单元2,或者后备ECU接管,进行图像优先级的传输处理。其中如果仅由于图像清晰度或识别度问题导致接管保障启动,设置优先级为H2,如果是由于后备ECU接管,则设置优先级为H1;
S3、云计算平台7的边缘云计算资源调度模块9会调用车辆就近边缘计算单元8通过5G通信模块6与车辆直连进行高优先图像处理,同时将处理后的图像/视频经H高优先级高速回传给车辆,并通过总线4传送给图像显示模块3显示,辅助驾驶员快速了解当前道路状况,恢复驾驶精神状态,其中,所述高优先图像处理流程如下:
首先判断是否有雾霾,如果有则调用去雾霾算法,所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分方程/Retinex算法;如果否判断是否有雨雪天气,如果有则调用去雨雪算法,所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰;如果雨雪天气判定为否即不能判定干扰因素,或者提高图片的亮度、对比度和轮廓清晰度,参见图3,或者调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,用AI判断前方目标及道路特征,进行图像/视频优化,标注说明并进行回传;然后将处理后的图像/视频经H高优先级高速回传给车辆,在本实施例中,在边缘计算单元8判断图像既不是雾霾、也不是雨雪的情况下,调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,尝试用AI判断前方目标及道路特征、进行图像/视频优化、标注说明并进行回传;
参见图4,S4、如果接受图像处理及回传时延,启用智能驾驶处理模块2、摄像头1、图像显示模块3或边缘计算单元8的目标识别功能,经过目标高亮或框图追踪处理后再显示给图像显示模块3,在本实施例中,如果图像处理及回传时延在可接受的范围内,若车端/云端处理器(包括但不限于智能驾驶处理模块2、摄像头1的处理单元、图像显示模块3的处理单元、边缘计算单元8)有目标识别功能,可以经过目标高亮或框图追踪处理后再显示给驾驶员;智能驾驶处理单元2、雷达处理单元5或摄像头1的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长,或直到接管保障流程退出完成,如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频,驾驶员选择否则接管保障流程退出,如果选择是则降低图像处理及传输优先级至L,维持低帧图像处理辅助。
参见图5至图6,本发明基于边缘云计算的驾驶员接管保障系统,包括如下部分:
启动模块:根据天气信息和摄像头1信息,决定是否启用接管保障流程,参见图7,所述启动模块包括如下部分:
天气判断子模块:当需要退出L3智能驾驶系统时,首先判断是否是极端天气,如果否则驾驶员进入无辅助接管流程;
摄像头1故障判断子模块:如果是则进一步判断是否是摄像头1的故障,如果是则驾驶员进入无辅助接管流程,如果否则启用接管保障流程;
资源请求优先级模块:如果智能驾驶处理单元2没有故障,则由其通过总线4和5G通信模块6设置资源请求优先级H2,并高速传输图像/视频信息至云计算平台7;如果智能驾驶处理单元2有故障,则后备ECU接管并设置资源请求优先级H1,并高速传输图像/视频信息至云计算平台7;
图像处理及传输模块:云计算平台7的边缘云计算资源调度模块9会调用车辆就近边缘计算单元8通过5G通信模块6与车辆直连进行高优先图像处理,同时将处理后的图像/视频经H高优先级高速回传给车辆,并通过总线4传送给图像显示模块3显示,所述高优先图像处理流程如下:
首先判断是否有雾霾,如果有则调用去雾霾算法,所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分方程/Retinex算法;如果否判断是否有雨雪天气,如果有则调用去雨雪算法,所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰;如果雨雪天气判定为否,或者提高图片的亮度、对比度和轮廓清晰度,或者调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,用AI判断前方目标及道路特征,进行图像/视频优化,标注说明并进行回传;然后将处理后的图像/视频经H高优先级高速回传给车辆;
流程退出模块:如果接受图像处理及回传时延,启用智能驾驶处理模块2、摄像头1、图像显示模块3或边缘计算单元8的目标识别功能,经过目标高亮或框图追踪处理后再显示给图像显示模块3;智能驾驶处理单元2、雷达处理单元5或摄像头1的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长,或直到接管保障流程退出完成,如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频,驾驶员选择否则接管保障流程退出,如果选择是则降低图像处理及传输优先级至L,维持低帧图像处理辅助。
本发明提供了一种基于边缘云计算、应对极端天气的驾驶员接管保障系统,车载装置包括了车辆各方位摄像头1、毫米波雷达5、图像显示模块3、智能驾驶处理单元2以及后备处理单元即后备ECU,其中处理单元不一定为独立零件,可能集成于摄像头或雷达等零部件中。公共端需要有支持5G V2X通信的基础设施,云端有边缘云计算架构设计。
当车辆在严重雾霾或雨雪天气中行驶过程中,能见度过低将导致摄像头系统无法继续识别车道线或障碍物,或者智能驾驶处理单元2出现故障,系统判断当前无法再继续维持横纵向控制,需要发出接管警告,由驾驶员接管车辆,准备退出。同时,摄像头1接收的图像信息经5G通信模块6发给云端附件的边缘云基站(即云计算平台7),附带高优先级请求信息,边缘云计算资源调度模块9在接收到附带高优先级的图像流后,优先调用云计算平台7的边缘计算单元8算力通过暗通道先验、对比度增强、改进BPDN(Basis Pursuit De-Noising,基追踪降噪)或者局部流型结构等适合的方法,进行图像去雾或者去雨雪,并优先通过5G通信模块6将5G信号进行超低延时传输发回车辆。此时车辆在正常执行接管警告的同时,将图像流或视频投到显示模块3上,显示模块3包括但不限于仪表、中控大屏、抬头显示HUD(Heads Up Display,抬头显示)或AR虚拟挡风玻璃投影,辅助驾驶员了解当前路面环境和周围物体。如果智能驾驶处理单元2支持图像动态识别,则可在处理后的图像上进行对象追踪识别,予以标记。当退出接管时长达到上限,如30秒后,系统默认驾驶员已适应当前天气下的道路能见度和摩擦力等等条件,将退出投影,或者由驾驶员选择通知云端进行降级图像处理辅助,以低分辨率或低帧率进行投影。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (9)
1.一种基于边缘云计算的驾驶员接管保障方法,其特征在于:包括如下步骤:
S1、根据天气信息和摄像头(1)信息,决定是否启用接管保障流程;所述步骤S1具体流程如下:
S11、当需要退出L3智能驾驶系统时,首先判断是否是极端天气,如果否则驾驶员进入无辅助接管流程;
S12、如果是则进一步判断是否是摄像头(1)的故障,如果是则驾驶员进入无辅助接管流程,如果否则启用接管保障流程;
S2、如果智能驾驶处理单元(2)没有故障,则由其通过总线(4)和5G通信模块(6)设置资源请求优先级H2,并高速传输图像/视频信息至云计算平台(7);
S3、云计算平台(7)的边缘云计算资源调度模块(9)会调用车辆就近边缘计算单元(8)通过5G通信模块(6)与车辆直连进行高优先图像处理,同时将处理后的图像/视频经H高优先级高速回传给车辆,并通过总线(4)传送给图像显示模块(3)显示;
S4、智能驾驶处理单元(2)、雷达处理单元(5)或摄像头(1)的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长,或直到接管保障流程退出完成,如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频,驾驶员选择否则接管保障流程退出,如果选择是则降低图像处理及传输优先级至L,维持低帧图像处理辅助。
2.根据权利要求1所述的基于边缘云计算的驾驶员接管保障方法,其特征在于:所述步骤S2还包括:
如果智能驾驶处理单元(2)有故障,则后备ECU接管并设置资源请求优先级H1,并高速传输图像/视频信息至云计算平台(7)。
3.根据权利要求2所述的基于边缘云计算的驾驶员接管保障方法,其特征在于:所述步骤S3中,所述高优先图像处理流程如下:
首先判断是否有雾霾,如果有则调用去雾霾算法,如果否判断是否有雨雪天气,如果有则调用去雨雪算法,做完去雾霾或去雨雪计算后将处理后的图像/视频经H高优先级高速回传给车辆。
4.根据权利要求3所述的基于边缘云计算的驾驶员接管保障方法,其特征在于:所述步骤S3的高优先图像处理流程中,所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分方程/Retinex算法,所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰。
5.根据权利要求4所述的基于边缘云计算的驾驶员接管保障方法,其特征在于:所述步骤S3中,所述高优先图像处理流程还包括:如果雨雪天气判定为否,或者提高图片的亮度、对比度和轮廓清晰度,或者调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,用AI判断前方目标及道路特征,进行图像/视频优化,标注说明并进行回传。
6.根据权利要求4所述的基于边缘云计算的驾驶员接管保障方法,其特征在于:所述步骤S4中,所述高优先图像处理流程完成后,如果接受图像处理及回传时延,启用智能驾驶处理单元(2)、摄像头(1)、图像显示模块(3)或边缘计算单元(8)的目标识别功能,经过目标高亮或框图追踪处理后再显示给图像显示模块(3),进一步判断接管保障流程运行时长或直到接管保障流程退出完成。
7.一种基于边缘云计算的驾驶员接管保障系统,其特征在于:包括如下部分:
启动模块:根据天气信息和摄像头(1)信息,决定是否启用接管保障流程;
资源请求优先级模块:如果智能驾驶处理单元(2)没有故障,则由其通过总线(4)和5G通信模块(6)设置资源请求优先级H2,并高速传输图像/视频信息至云计算平台(7);
图像处理及传输模块:云计算平台(7)的边缘云计算资源调度模块(9)会调用车辆就近边缘计算单元(8)通过5G通信模块(6)与车辆直连进行高优先图像处理,同时将处理后的图像/视频经H高优先级高速回传给车辆,并通过总线(4)传送给图像显示模块(3)显示;
流程退出模块:智能驾驶处理单元(2)、雷达处理单元(5)或摄像头(1)的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长,或直到接管保障流程退出完成,如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频,驾驶员选择否则接管保障流程退出,如果选择是则降低图像处理及传输优先级至L,维持低帧图像处理辅助。
8.根据权利要求7所述的基于边缘云计算的驾驶员接管保障系统,其特征在于:所述启动模块中,包括如下部分:
天气判断子模块:当需要退出L3智能驾驶系统时,首先判断是否是极端天气,如果否则驾驶员进入无辅助接管流程;
摄像头(1)故障判断子模块:如果是则进一步判断是否是摄像头(1)的故障,如果是则驾驶员进入无辅助接管流程,如果否则启用接管保障流程;
所述资源请求优先级模块还包括:
如果智能驾驶处理单元(2)有故障,则后备ECU接管并设置资源请求优先级H1,并高速传输图像/视频信息至云计算平台(7);
所述流程退出模块还包括:所述高优先图像处理流程完成后,如果接受图像处理及回传时延,启用智能驾驶处理单元(2)、摄像头(1)、图像显示模块(3)或边缘计算单元(8)的目标识别功能,经过目标高亮或框图追踪处理后再显示给图像显示模块(3),进一步判断接管保障流程运行时长或直到接管保障流程退出完成。
9.根据权利要求8所述的基于边缘云计算的驾驶员接管保障系统,其特征在于:所述图像处理及传输模块中,所述高优先图像处理流程如下:
首先判断是否有雾霾,如果有则调用去雾霾算法,所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分方程/Retinex算法;如果否判断是否有雨雪天气,如果有则调用去雨雪算法,所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰;如果雨雪天气判定为否,或者提高图片的亮度、对比度和轮廓清晰度,或者调用计算机学习图像识别算法,根据附近及相似场景道路历史采集数据的机器学习结果,用AI判断前方目标及道路特征,进行图像/视频优化,标注说明并进行回传;然后将处理后的图像/视频经H高优先级高速回传给车辆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010220590.4A CN111428646B (zh) | 2020-03-25 | 2020-03-25 | 一种基于边缘云计算的驾驶员接管保障方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010220590.4A CN111428646B (zh) | 2020-03-25 | 2020-03-25 | 一种基于边缘云计算的驾驶员接管保障方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111428646A CN111428646A (zh) | 2020-07-17 |
CN111428646B true CN111428646B (zh) | 2023-01-24 |
Family
ID=71548720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010220590.4A Active CN111428646B (zh) | 2020-03-25 | 2020-03-25 | 一种基于边缘云计算的驾驶员接管保障方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111428646B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114785851B (zh) * | 2022-04-20 | 2024-01-09 | 中国电信股份有限公司 | 资源调用处理方法、装置、存储介质及电子设备 |
CN115165400B (zh) * | 2022-09-08 | 2022-11-18 | 江苏天一航空工业股份有限公司 | 一种用于自动驾驶试验场的平行驾驶试验系统及方法 |
CN118015598B (zh) * | 2024-04-08 | 2024-06-25 | 广汽埃安新能源汽车股份有限公司 | 一种目标检测模型构建方法、装置及目标检测系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204517942U (zh) * | 2015-01-30 | 2015-07-29 | 厦门市海菱电子有限公司 | 一种汽车辅助驾驶视频切换电路 |
CN105857180A (zh) * | 2016-05-09 | 2016-08-17 | 广西大学 | 雾霾天车辆驾驶辅助系统及其方法 |
CN108137062A (zh) * | 2015-11-20 | 2018-06-08 | 欧姆龙株式会社 | 自动驾驶辅助装置、自动驾驶辅助系统、自动驾驶辅助方法及自动驾驶辅助程序 |
CN110850711A (zh) * | 2019-12-06 | 2020-02-28 | 中国科学院自动化研究所 | 基于云端的辅助驾驶控制系统及方法 |
CN110892351A (zh) * | 2017-07-21 | 2020-03-17 | 索尼半导体解决方案公司 | 车辆控制装置和车辆控制方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013206212A1 (de) * | 2013-04-09 | 2014-10-09 | Ford Global Technologies, Llc | Verfahren zur Steuerung eines Fahrzeugs mit temporär autonomer Fahrzeugführung sowie Steuerungseinrichtung |
US10942519B2 (en) * | 2017-07-07 | 2021-03-09 | Autox, Inc. | System and method for navigating an autonomous driving vehicle |
-
2020
- 2020-03-25 CN CN202010220590.4A patent/CN111428646B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204517942U (zh) * | 2015-01-30 | 2015-07-29 | 厦门市海菱电子有限公司 | 一种汽车辅助驾驶视频切换电路 |
CN108137062A (zh) * | 2015-11-20 | 2018-06-08 | 欧姆龙株式会社 | 自动驾驶辅助装置、自动驾驶辅助系统、自动驾驶辅助方法及自动驾驶辅助程序 |
CN105857180A (zh) * | 2016-05-09 | 2016-08-17 | 广西大学 | 雾霾天车辆驾驶辅助系统及其方法 |
CN110892351A (zh) * | 2017-07-21 | 2020-03-17 | 索尼半导体解决方案公司 | 车辆控制装置和车辆控制方法 |
CN110850711A (zh) * | 2019-12-06 | 2020-02-28 | 中国科学院自动化研究所 | 基于云端的辅助驾驶控制系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111428646A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111428646B (zh) | 一种基于边缘云计算的驾驶员接管保障方法及系统 | |
DE102018122459B4 (de) | Fahrzeugsystem, entferntes fahrzeugassistenzsystem und comuterimplementiertes verfahren zum bereitstellen von fernunterstützung | |
CN109017757B (zh) | 汽车远程代驾方法及系统 | |
CN113276774B (zh) | 无人车远程驾驶过程中视频画面的处理方法、装置及设备 | |
CN112987759A (zh) | 基于自动驾驶的图像处理方法、装置、设备及存储介质 | |
US8983750B2 (en) | Driving support apparatus for vehicle | |
CN109591703A (zh) | 一种汽车电子后视镜系统及其显示方法 | |
CN113525234A (zh) | 一种辅助驾驶系统装置 | |
CN115190267B (zh) | 自动驾驶的视频数据处理方法、装置、设备及存储介质 | |
CN112937445B (zh) | 360°车辆安全辅助方法及车载系统 | |
CN212208563U (zh) | 一种远程驾驶系统 | |
CN111009147A (zh) | 一种车辆远程委托代驾系统及其运用方法 | |
CN113928224B (zh) | 基于hud和像素大灯的辅助驾驶系统 | |
CN111522338A (zh) | 一种车路协同控制方法、车路协同系统及自动驾驶装置 | |
US20220368860A1 (en) | Transmission method, transmission system, and system control device | |
CN110620904A (zh) | 车联网系统及其车载摄像头的控制方法、装置 | |
CN114519936B (zh) | 一种基于v2x的红绿灯路口发动机启停智能控制方法及系统 | |
CN115497338A (zh) | 辅路路口的盲区预警系统、方法及装置 | |
CN109878445A (zh) | 一种双目视觉辅助驾驶系统 | |
CN108608944A (zh) | 一种智能夜视控制方法和系统 | |
CN110427504B (zh) | 基于kettle的汽车数据实时采集处理系统及方法 | |
CN209852173U (zh) | 一种车道偏离预警系统 | |
CN208360056U (zh) | 基于车辆智能座舱的360环视装置、车辆智能座舱及车辆 | |
CN112078486A (zh) | 一种基于hud显示的转向辅助装置及方法 | |
CN112572296A (zh) | 一种ar-hud智能后视系统的辅助系统及其使用方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |