CN113619599A - 一种远程驾驶方法、系统、装置及存储介质 - Google Patents
一种远程驾驶方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN113619599A CN113619599A CN202110837994.2A CN202110837994A CN113619599A CN 113619599 A CN113619599 A CN 113619599A CN 202110837994 A CN202110837994 A CN 202110837994A CN 113619599 A CN113619599 A CN 113619599A
- Authority
- CN
- China
- Prior art keywords
- remote driving
- scene
- vehicle
- acquiring
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Abstract
本发明涉及远程驾驶技术领域,本发明公开了一种远程驾驶方法、系统、装置及存储介质。该远程驾驶方法包括以下步骤:获取远程驾驶场景视频;若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息;若该故障信息为不存在故障,则确定目标对象;该目标对象为引起该盲区的对象;若该目标对象为道路物体,则获取当前路段的历史场景数据;基于该历史场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对车辆进行远程操控。具有远程驾驶可靠性高和适用范围广的特点。
Description
技术领域
本发明涉及远程驾驶技术领域,特别涉及一种远程驾驶方法、系统、装置及存储介质。
背景技术
随着智能网联汽车技术发展,无人驾驶车辆逐步走向实际道路的应用,由于交通环境的复杂性,需要一套远程驾驶系统对无人驾驶车辆进行监管和备份,远程驾驶作为车辆自动驾驶功能的有效补充和安全保障措施,可以处理部分自动驾驶无法满足的场景或工况,同时在一定程度上还可以保证车辆的安全行驶;
现有技术中,远程驾驶主要是通过车上部署摄像头,将车辆周围环境影像通过无线通信网络传输到远程控制中心,远程控制中心根据影像画面进行车辆的操控,这使得其过于依赖与摄像头,当摄像头出现故障时,易造成远程控制障碍,发生碰撞事故等,存在远程驾驶可靠性低的问题。
发明内容
本发明要解决的是上述远程驾驶可靠性低的技术问题。
为解决上述技术问题,本申请在一方面公开了一种远程驾驶方法,其包括以下步骤:
获取远程驾驶场景视频;
若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息;
若该故障信息为不存在故障,则确定目标对象;该目标对象为引起该盲区的对象;
若该目标对象为道路物体,则获取当前路段的历史场景数据;
基于该历史场景数据生成更新后的远程驾驶场景视频;
根据该更新后的远程驾驶场景视频对车辆进行远程操控。
可选的,该若该故障信息为不存在故障,则确定目标对象之后,还包括:
若该目标对象为邻车,则获取他车端的实时场景数据;
基于该他车端的实时场景数据生成更新后的远程驾驶场景视频;
根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
可选的,该若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息之后,还包括:
若该故障信息为存在故障;则获取车辆的位置信息和高精度地图信息;
根据该车辆的位置信息和该高精度地图信息确定出车辆对应的预设范围内的路端;
获取该预设范围内的路端的实时场景数据;
基于该路端的实时场景数据生成更新后的远程驾驶场景视频;
根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
可选的,该获取当前路段的历史场景数据,包括:
获取当前路段场景数据请求,该当前路段场景数据请求携带有设备标识;
基于该设备标识确定对应的设备;
从该设备的存储区域中获取当前路段的历史场景数据。
可选的,该若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息之前,还包括:
获取该车辆的位置信息、车速和预设行驶路线地图信息;
根据该车辆的位置信息和该预设行驶路线地图信息确定目标障碍路段的位置信息;
根据该车辆的位置信息、该车速和该目标障碍路段的位置信息确定该车辆到达该目标障碍路段的第一所需时间;
若该第一所需时间小于等于第一预设时间,则生成需获取场景数据的提示信息,并将该提示信息发送给控制端。
可选的,该若该第一所需时间小于等于第一预设时间,则生成需获取场景数据的提示信息,并将该提示信息发送给控制端之后,还包括:
根据该车辆的车速和该目标障碍路段的位置信息确定该车辆驶过该目标障碍路段的第二所需时间;
若该第二所需时间大于等于第二预设时间,则获取路端的场景数据;
基于该路端的场景数据生成更新后的远程驾驶场景视频;
根据该更新后的远程驾驶场景视频对车辆进行远程操控。
本申请在另一方面还公开了一种远程驾驶系统,其包括控制单元、车辆和场景采集设备;
该场景采集设备与该控制单元连接,且该场景采集设备位于车辆的周围,该场景采集设备用于采集车辆周围的场景数据,并将该场景数据发送给该控制单元;
该控制单元用于接收该场景采集设备发送的场景数据,并生成远程驾驶场景视频,该远程驾驶视频中存在盲区;获取远程驾驶场景视频;
若该远程驾驶场景视频存在盲区,则获取该场景采集设备的故障信息;若该故障信息为不存在故障,则确定目标对象;若该目标对象为道路物体,则获取当前路段的历史场景数据;基于该历史场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
本申请在另一方面还公开了一种远程驾驶装置,其包括:
场景视频获取模块,用于获取远程驾驶场景视频;
故障信息获取模块,用于若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息;
目标对象确定模块,用于若该故障信息为不存在故障,则确定该远程驾驶场景视频中的盲区对应的目标对象;
场景数据获取模块,用于若该目标对象为道路物体,则获取当前路段的历史场景数据;
更新场景视频生成模块,用于基于该历史场景数据生成更新后的远程驾驶场景视频;
控制模块,用于根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
本申请在另一方面还公开了一种设备,该设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述的远程驾驶方法。
本申请在另一方面还公开了一种计算机存储介质,该计算机存储介质中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序由处理器加载并执行以实现上述的远程驾驶方法。
采用上述技术方案,本申请提供的远程驾驶方法具有如下有益效果:
本申请首先通过对引起远程驾驶场景视频存在盲区的原因进行分析,可能是由场景采集设备故障引起的,也可能是自车的外部遮挡物引起的,通过对原因进行确认后,例如是由于外部遮挡物(道路物体)引起的,从而可以直接获取当前路端的历史场景数据,可以基于历史场景数据生成的远程驾驶场景视频对车辆进行远程控制,该方法不仅可以在车辆自带的场景采集设备存在问题,甚至采集的场景视频存在盲区时,仍能够有效保证远程驾驶的可靠性和安全性,而且能够当道路物体引起视频盲区时,直接获取当前路端的历史场景数据,具有获取效率高和成本低的优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种应用场景图;
图2为本申请实施例提供的一种远程驾驶方法的流程示意图;
图3为本申请实施例提供的一种可选的远程驾驶场景视频的示意图;
图4为本申请实施例提供的另一种远程驾驶方法的流程示意图;
图5为本申请实施例提供的另一种远程驾驶方法的流程示意图
图6为本申请实施例提供的一种可选远程驾驶装置的结构示意图;
图7为本申请实施例提供的一种远程驾驶方法的服务器的硬件结构框图。
以下对附图作补充说明:
10-车辆;101-场景采集设备;20-控制单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参阅1所示,图1为本申请提供的一种应用场景图。该场景包括控制单元20、车辆10和位于车辆10上的场景采集设备101,该控制单元20与场景采集设备101通信连接,该场景采集设备101与该控制单元20连接,且该场景采集设备101位于车辆10的周围,该场景采集设备101用于采集车辆10周围的场景数据,并将该场景数据发送给该控制单元20;该控制单元20用于接收该场景采集设备101发送的场景数据,并生成远程驾驶场景视频,该远程驾驶视频中存在盲区;获取远程驾驶场景视频;若该远程驾驶场景视频存在盲区,则获取该场景采集设备101的故障信息;若该故障信息为不存在故障,则确定目标对象;若该目标对象为道路物体,则获取当前路段的历史场景数据;基于该历史场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对该车辆10进行远程操控。上述系统能够有效保证远程驾驶车辆的安全性,而且可以通过分析引起盲区的原因,当由于道路物体引起视频存在盲区时,可以直接基于历史数据来对车辆进行远程控制,不仅能够提高数据获取效率,还具有成本低,资源消耗低的优点。
可选的,该场景采集设备可以是摄像头、激光雷达、毫米波雷达或者超声波雷达中的一种或者多种的组合。
可选的,该控制单元与场景采集设备可以通过网络进行通信,该网络可以为无线网络或有线网络。
可选的,该控制单元可以配置服务器或者其他终端中,也可以独立于服务器而配置。
可选的,终端可以是台式电脑,笔记本电脑、手机、平板电脑,数字助理、智能可穿戴设备等类型的实体设备;其中,智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。
该终端可以包括通过数据总线相连的显示屏、存储设备和处理器。所述显示屏用于待监控设备的虚拟图像以及待监控设备中各个子设备之间的连接关系,该显示屏可以是手机或者平板电脑的触摸屏等。存储设备用于存储拍摄装置的程序代码和数据资料等,该存储设备可以是终端的内存,也可以是智能媒体卡(smart media card)、安全数字卡(secure digital card)、快闪存储器卡(flash card)等储存设备。所述处理器可以是单核或多核处理器。
以下介绍本申请一种远程驾驶方法的具体实施例,图2为本申请实施例提供的一种远程驾驶方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:获取远程驾驶场景视频。
可选的,在本实施例中,该远程驾驶方法的执行主语为控制单元;该控制单元配置于终端,终端包括处理器和与其连接的显示屏,该显示屏可以显示远程驾驶场景视频。
可选的,该远程驾驶系统包括场景采集设备,用于采集车辆周围的环境信息,并将其发送给控制单元,从而使得控制单元能够基于该环境信息生成远程驾驶场景视频;当然,也可以是车辆上设有场景生成设备,该场景生成设备接收场景采集设备发送的环境信息进而生成远程驾驶场景视频,后续控制单元直接可以接收该场景生成设备发送的远程驾驶场景视频即可。
可选的,该远程驾驶场景视频中可以是如图3所示的场景,图3为本申请实施例提供的一种可选的远程驾驶场景视频的示意图。该场景包括车辆当前行驶的道路以及车辆预设范围内的道路物体(例如防护栏和路面标线),该视频中包括4个区域,分别为区域1、区域2、区域3和区域4,分别对应车辆的前方、后方、左侧和右侧的区域,从图3中可以看出,该车辆行驶于靠近防护栏的最里侧车道,车辆位于防护栏的左侧。
S202:若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息。
可选的,该场景采集设备的故障信息包括设备失效、安装位置存在偏差,可选的,当故障信息为设备失效场景,可以通过进一步确定失效设备的类型或者位置,从而可以在后续获取数据时,只需要补充该部分的视频即可,例如,该场景采集设备为摄像头,车辆上安装了4个摄像头,分别位于车辆的四周,基于该4个摄像头可以采集形成车辆的环景影像(参阅图3),当车辆的左侧摄像头失效了,此时会使得其对应的场景视频区域的部分黑屏,从而无法保障远程驾驶的安全性;可选的,可以协同邻车或者协同车辆预设范围内对应的路端,从而实现采集到该对应区域的场景信息,进而基于该上述重新采集的场景信息和车辆上的其他三个摄像头形成的视频数据生成更新后的远程驾驶场景视频,从而能够进一步提高该方法的适用范围。
于一种可选的实施方式中,步骤S202之后,该远程驾驶方法还包括:若该故障信息为存在故障;则获取车辆的位置信息和高精度地图信息;根据该车辆的位置信息和该高精度地图信息确定出车辆对应的预设范围内的路端;获取该预设范围内的路端的实时场景数据;基于该路端的实时场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对该车辆进行远程操控,由上述分析可知,由于场景采集设备已经存在故障了,属于在较长时间存在的一种故障状态,通过协同路端来获取其采集到的自车的实时场景数据,能够有效保证车辆远程控制的可靠性。
可选的,路端可以是位于路灯、龙门架等上的摄像头或者雷达等设备。
于一种可选的实施方式中,为了提高用户远程驾驶体验感以及驾驶可靠性,步骤S202之前,参阅图4,图4为本申请实施例提供的另一种远程驾驶方法的流程示意图。该远程驾驶方法还包括:
S401:获取该车辆的位置信息、车速和预设行驶路线地图信息。
可选的,该测量上设置有定位装置,用于采集车辆的位置信息。
可选的,该预设行驶路线地图信息是用户在进行远程控制车辆之前基于地图应用程序获取的,该地图应用安装于终端上。
S402:根据该车辆的位置信息和该预设行驶路线地图信息确定目标障碍路段的位置信息。
可选的,目标障碍路段可以是其他用户采用远程驾驶经过的路段搜集到的会使得远程驾驶视频中出现盲区的区域。
S403:根据该车辆的位置信息、该车速和该目标障碍路段的位置信息确定该车辆到达该目标障碍路段的第一所需时间。
可选的,步骤S403可以具体表示为:基于车辆的位置信息和该目标障碍路段的位置信息确定车辆与目标障碍路段的距离;根据车辆与目标障碍路段的距离以及车速确定车辆达到目标障碍路段的第一所需时间。
S404:若该第一所需时间小于等于第一预设时间,则生成需获取场景数据的提示信息,并将该提示信息发送给控制端;以实现提醒用户,给用户进行协同路端或者他他车端提供了操作时间,有效保障了远程控制的可靠性;可选的,该控制端可以是上述终端。
于一种可选的实施方式中,为了进一步提高远程驾驶的便捷度,提高用户体现感;步骤S404之后,参阅图5,图5为本申请实施例提供的另一种远程驾驶方法的流程示意图。该方法还包括:
S501:根据该车辆的车速和该目标障碍路段的位置信息确定该车辆驶过该目标障碍路段的第二所需时间。
可选的,步骤S501之后,为了提高该方法的应用范围和灵活性,该方法还包括:若该第二所需时间小于第二预设时间,则获取目标障碍路段的历史场景数据;基于目标障碍路段的历史场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对车辆进行远程操控。可选的,该目标障碍路段的历史场景数据可以是存储于自车端的控制单元上,可以是路端、邻车端或者是上述终端的控制单元上,还可以是存储于其他服务器上,根据需要进行调取。
S502:若该第二所需时间大于等于第二预设时间,则获取路端的场景地场景数据。
可选的,该第二预设时间可以是5分钟、10分钟、20分钟或者30分钟等较长时间。
S503:基于该路端的场景数据生成更新后的远程驾驶场景视频。
S504:根据该更新后的远程驾驶场景视频对车辆进行远程操控。
可选的,为了进一步保证远程驾驶的安全性,当步骤S501-S504的方案均不能获取当前规划路线上的目标障碍路段的无盲区的场景视频时,则重新规划行车路线。
可选的,当所有规划的行车路线都不能获取无盲区的场景视频时,或行车路线距离超过预定值时,则可以将车辆停在可停放的区域内。
可选的,在进行远程驾驶前,也可以采用提前预测预设规划路线的行驶状态,当预测到所有规划的行车路线都不能获取无盲区的场景视频时,或行车路线距离超过预定值时,还可以不进行远程驾驶。通过提前判断是否出现即使协同路端、他车端或者其他设备也会存在行驶盲区的方法能够提前避免远程驾驶操控困难,解决了远程驾驶操控困难导致的危险或半路停车无法继续行驶还影响交通的问题。
S203:若该故障信息为不存在故障,则确定目标对象;该目标对象为引起该盲区的对象。
可选的,该目标对象可以是下文中的道路物体、邻车,还可以是雨、雪花、冰雹等恶劣天气形成的物体;可选的,当目标对象是下文中的道路物体、邻车,可以基于下述方法确定目标对象:获取预设规划路线的地图信息对应的高精度地图,从而可以确定当前路段的路况环境,根据当前路段的路况环境确定目标对象;还可以基于识别算法对该目标对象进行识别,从而确定该目标对象;还可以是基于目标跟踪算法对目标对象进行识别。可选的,当目标对象是雨、雪花、冰雹等恶劣天气形成的物体,可以通过上述识别算法识别,也可以是识别算法与天气状况信息结合确定,该天气状况信息可以通过该控制单元连网获取。
于一种可选的实施方式中,为了提高该方法的适用范围,步骤S203之后,该方法还包括:若该目标对象为邻车,则获取他车端的实时场景数据;基于该他车端的实时场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对该车辆进行远程操控;例如,邻车位于自车的前方,且处于急转弯路段。
S204:若该目标对象为道路物体,则获取当前路段的历史场景数据。
于一种可选的实施方式中,该获取当前路段的历史场景数据,包括:获取当前路段场景数据请求,该当前路段场景数据请求携带有设备标识;基于该设备标识确定对应的设备;从该设备的存储区域中获取当前路段的历史场景数据。从而能够有效提高获取效率。可选的,通过上述描述可知,该设备可以是。
可选的,该设备标识包括设备类型和设备编号等,可选的,通过上述描述可知,设备类型可以是路端、邻车端、自车端或者是上述终端等;设备编号可以是001,002等,例如,当设备类型为路端时,路端周围设有多个路端,为了明确自车需要协同的路端,从而可以通过上述通过先获取车辆的预设范围的位置,从而确定该预设范围对应的路端编号,并对其进行协同。
可选的,该道路物体包括防护栏、道路面、建筑物或者山等,例如,当车辆在急转弯的路段行驶时,其一侧的视野会被防护栏遮挡,进而会在远程驾驶场景视频中形成盲区。
可选的,为了进一步提高该方法的适用范围,当该路段不存历史场景数据和路端时,步骤S203之后,该方法包括:若该目标对象为道路物体,则获取邻车的实时场景数据;基于该邻车的实时场景数据生成更新后的远程驾驶场景视频;根据该更新后的远程驾驶场景视频对车辆进行远程操控,例如当车辆在急转弯路段的内圈行驶时,其邻车为前车或者外圈车辆,或者上坡、下坡路段,其邻车为前车。
S205:基于该历史场景数据生成更新后的远程驾驶场景视频。
S206:根据该更新后的远程驾驶场景视频对车辆进行远程操控。
需要说明的的是,本申请提供的上述远程驾驶方法可以通过对远程驾驶视频的盲区进行分析,根据引起盲区的原因来确定协同路的对象,是路端、他车端还是服务器等;并根据实际场景确定获取的场景数据类型,是实时场景数据还是路段的历史场景数据,从而使得本申请不仅能够有效的保证远程驾驶的可靠性,而且还具有使用范围广的优点。
本申请在另一方面还公开了一种远程驾驶装置,如图6所示,图6为本申请实施例提供的一种可选远程驾驶装置的结构示意图。其包括:
场景视频获取模块601,用于获取远程驾驶场景视频;
故障信息获取模块602,用于若该远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息;
目标对象确定模块603,用于若该故障信息为不存在故障,则确定该远程驾驶场景视频中的盲区对应的目标对象;
场景数据获取模块604,用于若该目标对象为道路物体,则获取当前路段的历史场景数据;
更新场景视频生成模块605,用于基于该历史场景数据生成更新后的远程驾驶场景视频;
控制模块606,用于根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
于一种可选的实施方式中,该装置包括:
场景数据获取模块,用于若该目标对象为邻车,则获取他车端的实时场景数据;
更新场景视频生成模块,用于基于该他车端的实时场景数据生成更新后的远程驾驶场景视频;
控制模块,用于根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
于一种可选的实施方式中,该装置还包括:
高精度地图和位置信息获取模块,用于若该故障信息为存在故障;则获取车辆的位置信息和高精度地图信息;
目标对象确定模块,用于根据该车辆的位置信息和该高精度地图信息确定出车辆对应的预设范围内的路端;
场景数据获取模块,用于获取该预设范围内的路端的实时场景数据;
更新场景视频生成模块,用于基于该路端的实时场景数据生成更新后的远程驾驶场景视频;
控制模块,用于根据该更新后的远程驾驶场景视频对该车辆进行远程操控。
于一种可选的实施方式中,该装置还包括:
请求获取模块,用于获取当前路段场景数据请求,该当前路段场景数据请求携带有设备标识;
目标对象确定模块,用于基于该设备标识确定对应的设备;
场景数据获取模块,用于从该设备的存储区域中获取当前路段的历史场景数据。
于一种可选的实施方式中,该装置还包括:
高精度地图和位置信息获取模块,用于获取该车辆的位置信息、车速和预设行驶路线地图信息;根据该车辆的位置信息和该预设行驶路线地图信息确定目标障碍路段的位置信息;
时间确定模块,用于根据该车辆的位置信息、该车速和该目标障碍路段的位置信息确定该车辆到达该目标障碍路段的第一所需时间;
发送模块,用于若该第一所需时间小于等于第一预设时间,则生成需获取场景数据的提示信息,并将该提示信息发送给控制端。
于一种可选的实施方式中,该装置包括:
时间确定模块,用于根据该车辆的车速和该目标障碍路段的位置信息确定该车辆驶过该目标障碍路段的第二所需时间;
场景数据获取模块,用于若该第二所需时间大于等于第二预设时间,则获取路端的场景数据;
更新场景视频生成模块,用于基于该路端的场景数据生成更新后的远程驾驶场景视频;
控制模块,用于根据该更新后的远程驾驶场景视频对车辆进行远程操控。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图7是本申请实施例提供的一种远程驾驶方法的服务器的硬件结构框图。如图7所示,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)710(处理器710可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器730,一个或一个以上存储应用程序723或数据722的存储介质720(例如一个或一个以上海量存储设备)。其中,存储器730和存储介质720可以是短暂存储或持久存储。存储在存储介质720的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器710可以设置为与存储介质720通信,在服务器700上执行存储介质720中的一系列指令操作。服务器700还可以包括一个或一个以上电源760,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口740,和/或,一个或一个以上操作系统721,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口740可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器700的通信供应商提供的无线网络。在一个实例中,输入输出接口740包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口740可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器700还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。
本申请的实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的远程驾驶方法。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种远程驾驶方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述远程驾驶方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的远程驾驶方法、装置、电子设备及存储介质的实施例可见,本申请中通过确定引起远程驾驶场景视频存在盲区的原因是由于自车的外部遮挡物(道路物体)引起的,从而可以直接获取当前路端的历史场景数据,可以基于历史场景数据生成的远程驾驶场景视频对车辆进行远程控制,该方法不仅可以在车辆自带的场景采集设备存在问题,甚至采集的场景视频存在盲区时,仍能够有效保证远程驾驶的可靠性和安全性,而且能够当道路物体引起视频盲区时,直接获取当前路端的历史场景数据,具有获取效率高和成本低的优点。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种远程驾驶方法,其特征在于,包括以下步骤:
获取远程驾驶场景视频;
若所述远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息;
若所述故障信息为不存在故障,则确定目标对象;所述目标对象为引起所述盲区的对象;
若所述目标对象为道路物体,则获取当前路段的历史场景数据;
基于所述历史场景数据生成更新后的远程驾驶场景视频;
根据所述更新后的远程驾驶场景视频对车辆进行远程操控。
2.根据权利要求1所述的远程驾驶方法,其特征在于,所述若所述故障信息为不存在故障,则确定所述盲区对应的目标对象之后,还包括:
若所述目标对象为邻车,则获取他车端的实时场景数据;
基于所述他车端的实时场景数据生成更新后的远程驾驶场景视频;
根据所述更新后的远程驾驶场景视频对所述车辆进行远程操控。
3.根据权利要求1所述的远程驾驶方法,其特征在于,所述若所述远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息之后,还包括:
若所述故障信息为存在故障;则获取车辆的位置信息和高精度地图信息;
根据所述车辆的位置信息和所述高精度地图信息确定出车辆对应的预设范围内的路端;
获取所述预设范围内的路端的实时场景数据;
基于所述路端的实时场景数据生成更新后的远程驾驶场景视频;
根据所述更新后的远程驾驶场景视频对所述车辆进行远程操控。
4.根据权利要求1所述的远程驾驶方法,其特征在于,所述获取当前路段的历史场景数据,包括:
获取当前路段场景数据请求,所述当前路段场景数据请求携带有设备标识;
基于所述设备标识确定对应的设备;
从所述设备的存储区域中获取当前路段的历史场景数据。
5.根据权利要求1所述的远程驾驶方法,其特征在于,所述若所述远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息之前,还包括:
获取所述车辆的位置信息、车速和预设行驶路线地图信息;
根据所述车辆的位置信息和所述预设行驶路线地图信息确定目标障碍路段的位置信息;
根据所述车辆的位置信息、所述车速和所述目标障碍路段的位置信息确定所述车辆到达所述目标障碍路段的第一所需时间;
若所述第一所需时间小于等于第一预设时间,则生成需获取场景数据的提示信息,并将所述提示信息发送给控制端。
6.根据权利要求5所述的远程驾驶方法,其特征在于,所述若所述第一所需时间小于等于第一预设时间,则生成需获取场景数据的提示信息,并将所述提示信息发送给控制端之后,还包括:
根据所述车辆的车速和所述目标障碍路段的位置信息确定所述车辆驶过所述目标障碍路段的第二所需时间;
若所述第二所需时间大于等于第二预设时间,则获取路端的场景数据;
基于所述路端的场景数据生成更新后的远程驾驶场景视频;
根据所述更新后的远程驾驶场景视频对车辆进行远程操控。
7.一种远程驾驶系统,其特征在于,包括控制单元、车辆和场景采集设备;
所述场景采集设备与所述控制单元连接,且所述场景采集设备位于车辆的周围,所述场景采集设备用于采集车辆周围的场景数据,并将所述场景数据发送给所述控制单元;
所述控制单元用于接收所述场景采集设备发送的场景数据,并生成远程驾驶场景视频,所述远程驾驶视频中存在盲区;获取远程驾驶场景视频;
若所述远程驾驶场景视频存在盲区,则获取所述场景采集设备的故障信息;若所述故障信息为不存在故障,则确定所述盲区对应的目标对象;若所述目标对象为道路物体,则获取当前路段的历史场景数据;基于所述历史场景数据生成更新后的远程驾驶场景视频;根据所述更新后的远程驾驶场景视频对所述车辆进行远程操控。
8.一种远程驾驶装置,其特征在于,包括:
场景视频获取模块,用于获取远程驾驶场景视频;
故障信息获取模块,用于若所述远程驾驶场景视频存在盲区,则获取车辆的场景采集设备的故障信息;
目标对象确定模块,用于若所述故障信息为不存在故障,则确定所述远程驾驶场景视频中的盲区对应的目标对象;
场景数据获取模块,用于若所述目标对象为道路物体,则获取当前路段的历史场景数据;
更新场景视频生成模块,用于基于所述历史场景数据生成更新后的远程驾驶场景视频;
控制模块,用于根据所述更新后的远程驾驶场景视频对所述车辆进行远程操控。
9.一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一所述的远程驾驶方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-6任一项所述的远程驾驶方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110348214 | 2021-03-31 | ||
CN2021103482148 | 2021-03-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113619599A true CN113619599A (zh) | 2021-11-09 |
CN113619599B CN113619599B (zh) | 2023-03-24 |
Family
ID=78380735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110837994.2A Active CN113619599B (zh) | 2021-03-31 | 2021-07-23 | 一种远程驾驶方法、系统、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113619599B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842661A (zh) * | 2022-07-04 | 2022-08-02 | 成都宜泊信息科技有限公司 | 一种管理室内地图通行路段实时状态的方法和系统 |
CN115588311A (zh) * | 2022-11-07 | 2023-01-10 | 中国第一汽车股份有限公司 | 自动驾驶车辆远程控制方法、系统、车辆及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004171159A (ja) * | 2002-11-18 | 2004-06-17 | Nec Corp | 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム |
JP2005215879A (ja) * | 2004-01-28 | 2005-08-11 | Mazda Motor Corp | 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム |
US20160050356A1 (en) * | 2014-08-18 | 2016-02-18 | Trimble Navigation Limited | System and method for modifying onboard event detection and/or image capture strategy using external source data |
US20160210512A1 (en) * | 2015-01-16 | 2016-07-21 | Avigilon Fortress Corporation | System and method for detecting, tracking, and classifiying objects |
EP3125546A1 (fr) * | 2015-07-31 | 2017-02-01 | ALSTOM Transport Technologies | Dispositif de formation d'une image sécurisée d'un objet, installation et procédé associés |
CN106875746A (zh) * | 2017-02-27 | 2017-06-20 | 山东师范大学 | 一种汽车安全驾驶预警系统与方法 |
US20180342165A1 (en) * | 2017-05-25 | 2018-11-29 | Uber Technologies, Inc. | Deploying human-driven vehicles for autonomous vehicle routing and localization map updating |
US20190068962A1 (en) * | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects |
JP2019151211A (ja) * | 2018-03-02 | 2019-09-12 | パナソニックIpマネジメント株式会社 | 運転支援装置、及び運転支援方法 |
US20190369391A1 (en) * | 2018-05-31 | 2019-12-05 | Renault Innovation Silicon Valley | Three dimensional augmented reality involving a vehicle |
US10635915B1 (en) * | 2019-01-30 | 2020-04-28 | StradVision, Inc. | Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation |
US20200202535A1 (en) * | 2017-09-15 | 2020-06-25 | Lg Electronics Inc. | Driver assistance apparatus and vehicle |
WO2021004077A1 (zh) * | 2019-07-09 | 2021-01-14 | 华为技术有限公司 | 一种检测车辆的盲区的方法及装置 |
-
2021
- 2021-07-23 CN CN202110837994.2A patent/CN113619599B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004171159A (ja) * | 2002-11-18 | 2004-06-17 | Nec Corp | 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム |
JP2005215879A (ja) * | 2004-01-28 | 2005-08-11 | Mazda Motor Corp | 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム |
US20160050356A1 (en) * | 2014-08-18 | 2016-02-18 | Trimble Navigation Limited | System and method for modifying onboard event detection and/or image capture strategy using external source data |
US20160210512A1 (en) * | 2015-01-16 | 2016-07-21 | Avigilon Fortress Corporation | System and method for detecting, tracking, and classifiying objects |
EP3125546A1 (fr) * | 2015-07-31 | 2017-02-01 | ALSTOM Transport Technologies | Dispositif de formation d'une image sécurisée d'un objet, installation et procédé associés |
CN106875746A (zh) * | 2017-02-27 | 2017-06-20 | 山东师范大学 | 一种汽车安全驾驶预警系统与方法 |
US20180342165A1 (en) * | 2017-05-25 | 2018-11-29 | Uber Technologies, Inc. | Deploying human-driven vehicles for autonomous vehicle routing and localization map updating |
US20190068962A1 (en) * | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects |
US20200202535A1 (en) * | 2017-09-15 | 2020-06-25 | Lg Electronics Inc. | Driver assistance apparatus and vehicle |
JP2019151211A (ja) * | 2018-03-02 | 2019-09-12 | パナソニックIpマネジメント株式会社 | 運転支援装置、及び運転支援方法 |
US20190369391A1 (en) * | 2018-05-31 | 2019-12-05 | Renault Innovation Silicon Valley | Three dimensional augmented reality involving a vehicle |
US10635915B1 (en) * | 2019-01-30 | 2020-04-28 | StradVision, Inc. | Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation |
WO2021004077A1 (zh) * | 2019-07-09 | 2021-01-14 | 华为技术有限公司 | 一种检测车辆的盲区的方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842661A (zh) * | 2022-07-04 | 2022-08-02 | 成都宜泊信息科技有限公司 | 一种管理室内地图通行路段实时状态的方法和系统 |
CN115588311A (zh) * | 2022-11-07 | 2023-01-10 | 中国第一汽车股份有限公司 | 自动驾驶车辆远程控制方法、系统、车辆及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113619599B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113619599B (zh) | 一种远程驾驶方法、系统、装置及存储介质 | |
US10349011B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
CN109389832B (zh) | 使用v2x通信系统提高障碍意识的系统和方法 | |
US20200286386A1 (en) | Vehicle Merging Method and Apparatus | |
CN107749193B (zh) | 驾驶风险分析及风险数据发送方法及装置 | |
CN112562314B (zh) | 基于深度融合的路端感知方法、装置、路端设备和系统 | |
CN107613533B (zh) | Tcu切换方法、消息同步方法及装置 | |
CN110164135B (zh) | 一种定位方法、定位装置及定位系统 | |
CN112249034B (zh) | 一种汽车大脑系统及车辆驾驶控制方法 | |
CN105225508B (zh) | 路况提示方法及装置 | |
CN113498011A (zh) | 车联网方法、装置、设备、存储介质及系统 | |
WO2021155685A1 (zh) | 一种更新地图的方法、装置和设备 | |
CN105022405A (zh) | 街景地图制作方法、控制服务器、无人机及制作装置 | |
CN111351498B (zh) | 一种优化导航方法、装置及相关设备 | |
CN112866328A (zh) | 一种面向智能网联汽车的车路协同系统及方法 | |
EP3754449A1 (en) | Vehicle control method, related device, and computer storage medium | |
EP4345773A1 (en) | Lane line extraction method and apparatus, vehicle and storage medium | |
CN113630449A (zh) | 一种车云数据传输系统、方法、设备及存储介质 | |
CN114179829A (zh) | 多端协同的车辆行驶方法、装置、系统及介质 | |
CN112085953A (zh) | 一种交通指挥方法、装置及设备 | |
CN113472833A (zh) | 泊车控制方法、系统和云服务平台 | |
CN213461826U (zh) | 一种基于多接入边缘计算的自主泊车系统 | |
CN107730884B (zh) | 交通应用实例处理方法及交通控制单元 | |
CN113763704A (zh) | 车辆控制方法、装置、计算机可读存储介质及处理器 | |
CN115407803A (zh) | 一种基于无人机的目标监控方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |