CN116795085A - 无人车的遥控驾驶方法、装置、存储介质及车辆 - Google Patents
无人车的遥控驾驶方法、装置、存储介质及车辆 Download PDFInfo
- Publication number
- CN116795085A CN116795085A CN202311083997.7A CN202311083997A CN116795085A CN 116795085 A CN116795085 A CN 116795085A CN 202311083997 A CN202311083997 A CN 202311083997A CN 116795085 A CN116795085 A CN 116795085A
- Authority
- CN
- China
- Prior art keywords
- remote control
- vehicle
- unmanned vehicle
- control
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004088 simulation Methods 0.000 claims abstract description 22
- 238000005065 mining Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Abstract
本申请公开了一种无人车的遥控驾驶方法、装置、存储介质及车辆,属于无人驾驶技术领域。该方法包括:获取无人车的车辆状态信息和周围环境信息;根据车辆状态信息和周围环境信息生成并展示驾驶辅助信息;控制遥控车辆停靠在能够观测无人车的位置;获取近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,控制指令是操作员基于驾驶辅助信息和观测到的现场情况产生的;将控制指令发送给无人车,以指示无人车根据控制指令对基础控制组件进行控制,以实现遥控驾驶。本申请能对无人车进行近场遥控,使操作员能够通过肉眼观测现场情况,提升了驾驶的真实感。
Description
技术领域
本申请涉及无人驾驶技术领域,特别涉及一种无人车的遥控驾驶方法、装置、存储介质及车辆。
背景技术
随着矿区实现车辆的无人化常态运营,如果出现车辆因故障或者障碍物停车等特殊情况,通常需要人员远程协助进行脱困。目前,通常是通过搭建远程操作中心,车端采集传感器数据和视频等信息,这些数据会通过无线电或卫星信号传输到操作中心,工作人员根据接收到的信息,来远程操控车辆脱困。
但是现有技术中,纯靠摄像头,捕获的画面,引导驾驶员驾驶,驾驶真实体验感差。
发明内容
本申请提供了一种无人车的遥控驾驶方法、装置、存储介质及车辆,用于解决相关技术中的远程遥控方式导致驾驶真实感差的问题。所述技术方案如下:
根据本申请的第一方面,提供了一种无人车的遥控驾驶方法,用于搭载有近场遥控驾驶舱的遥控车辆,所述方法包括:
当确定矿区作业区内的无人车需要进行遥控驾驶时,获取所述无人车的车辆状态信息和所述无人车的周围环境信息;
根据所述车辆状态信息和所述周围环境信息生成并展示驾驶辅助信息,所述驾驶辅助信息包括以下至少之一:导航信息和障碍物信息;
控制所述遥控车辆停靠在能够观测所述无人车的位置;
获取所述近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,所述模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,所述控制指令是所述操作员基于所述驾驶辅助信息和观测到的现场情况产生的;
将所述控制指令发送给所述无人车,以指示所述无人车根据所述控制指令对所述基础控制组件进行控制,以实现遥控驾驶。
在一种可能的实现方式中,在所述获取所述近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令之前,所述方法还包括:
在所述近场遥控驾驶舱内模拟所述无人车的座舱内驾驶环境,所述驾驶环境包括以下至少之一:座椅的状态、输出组件的状态和基础控制组件的状态。
在一种可能的实现方式中,所述在所述近场遥控驾驶舱内模拟所述无人车的座舱内驾驶环境,包括:
获取所述遥控车辆的周围环境信息;
根据所述无人车的车辆状态信息和周围环境信息以及所述遥控车辆的周围环境信息,生成驾驶舱调整信息;
根据所述驾驶舱调整信息对所述近场遥控驾驶舱内的对应组件进行调整,以使调整后的近场遥控驾驶舱与所述无人车的座舱内驾驶环境一致或接近一致。
在一种可能的实现方式中,所述控制所述遥控车辆停靠在能够观测所述无人车的位置,包括:
根据所述导航信息确定作业区内能够观测所述无人车的标准遥控区域;
控制所述遥控车辆进入所述标准遥控区域,并控制所述遥控车辆调整朝向,以使得所述操作员能够观测所述无人车。
在一种可能的实现方式中,所述作业区内预先规划有多个标准遥控区域,所述根据所述导航信息确定作业区内能够观测所述无人车的标准遥控区域,包括:
根据所述导航信息确定所述多个标准遥控区域中能够观测所述无人车、且距离所述遥控车辆当前位置最近的标准遥控区域。
在一种可能的实现方式中,所述控制所述遥控车辆停靠在能够观测所述无人车的位置,包括:
根据所述导航信息和作业区其他车辆的路径规划信息,确定能够观测所述无人车、且距离所述遥控车辆当前位置最近的安全区域。
在一种可能的实现方式中,所述近场遥控驾驶舱设置于所述遥控车辆的副驾驶仓,所述控制所述遥控车辆停靠在能够观测所述无人车的位置,包括:
向所述遥控车辆的主驾驶舱内的基础控制组件发送移动控制指令;
在所述主驾驶舱内的基础控制组件当前执行的任务优先级低于所述移动控制指令对应的任务优先级的情况下,控制所述主驾驶舱内的基础控制组件中断当前执行的任务,并执行所述移动控制指令对应的任务,以使得遥控车辆根据所述移动控制指令移动到所述能够观测所述无人车的位置。
在一种可能的实现方式中,所述近场遥控驾驶舱设置于所述遥控车辆的主驾驶仓,在所述控制所述遥控车辆停靠在能够观测所述无人车的位置之前,所述方法还包括:
当确定矿区作业区内的无人车需要进行遥控驾驶时,确定所述遥控车辆的主驾驶舱内的基础控制组件当前执行的任务;
在所述主驾驶舱内的基础控制组件当前执行的任务优先级低于遥控驾驶任务的情况下,向所述遥控车辆的主驾驶舱发送模式切换指令,其中,所述模式切换指令用于指示切换为执行所述遥控驾驶任务的模式;
控制中断所述主驾驶舱内的基础控制组件当前执行的任务,并根据所述模式切换指令控制所述主驾驶舱内的基础控制组件切换为执行所述遥控驾驶任务的模式。
在一种可能的实现方式中,所述方法还包括:
检测所述无人车是否满足第一停止条件,或,所述遥控车辆是否满足第二停止条件;其中,所述第一停止条件包括以下至少之一:所述无人车达到目标状态、所述无人车指定时长内无法达到目标状态;所述第二停止条件包括以下至少之一:所述遥控车辆影响其他无人车正常运行、所述遥控车辆需要响应其他任务且所述其他任务的优先级高于遥控驾驶任务的优先级;
若所述无人车满足所述第一停止条件或所述遥控车辆满足所述第二停止条件,则停止遥控驾驶所述无人车。
根据本申请的第二方面,提供了一种无人车的遥控驾驶装置,用于搭载有近场遥控驾驶舱的遥控车辆,所述装置包括:
第一获取模块,用于当确定矿区作业区内的无人车需要进行遥控驾驶时,获取所述无人车的车辆状态信息和所述无人车的周围环境信息;
辅助模块,用于根据所述车辆状态信息和所述周围环境信息生成并展示驾驶辅助信息,所述驾驶辅助信息包括以下至少之一:导航信息和障碍物信息;
控制模块,用于控制所述遥控车辆停靠在能够观测所述无人车的位置;
第二获取模块,用于获取所述近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,所述模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,所述控制指令是所述操作员基于所述驾驶辅助信息和观测到的现场情况产生的;
发送模块,用于将所述控制指令发送给所述无人车,以指示所述无人车根据所述控制指令对所述基础控制组件进行控制,以实现遥控驾驶。
根据本申请的第三方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的无人车的遥控驾驶方法。
根据本申请的第四方面,提供了一种车辆,所述车辆包括上述无人车的遥控驾驶装置。
本申请提供的技术方案的有益效果至少包括:
将近场遥控驾驶舱搭载在位于无人车附近的遥控车辆上,无需额外搭建远程遥控驾驶舱,提供了一种全新的近场遥控驾驶体验;遥控车辆停靠在能够观测到无人车的位置,使得操作员能够通过肉眼观测现场情况,提升了驾驶的真实感;根据无人车的车辆状态信息和周围环境信息生成并向操作员展示驾驶辅助信息,进一步结合肉眼观测的现场情况,得以辅助操作员进行更为准确的遥控驾驶操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的一种近场遥控驾驶舱的结构示意图;
图2是本申请一个实施例提供的无人车的遥控驾驶方法的流程图;
图3是本申请一个实施例提供的无人车的遥控驾驶方法的流程图;
图4是本申请一个实施例提供的无人车的遥控驾驶装置的结构框图;
图5是本申请一个实施例提供的无人车的遥控驾驶装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
当矿区作业区内的无人车因故障或者障碍物等原因停车时,通常需要操作员协助才能脱困。本申请中,我们在作业区内或作业区附近的车辆内设置近场遥控驾驶舱,通过近场遥控驾驶舱对无人车进行近场遥控驾驶,以使其脱困。为了便于区分,本申请中将搭载有近场遥控驾驶舱的车辆称为遥控车辆。遥控车辆可以是作业区内或者作业区附近的任意车辆,可以是无人驾驶车辆或有人驾驶车辆。比如,遥控车辆可以是生产指挥车、挖机、洒水车、无人矿卡等。
如图1所示,提供了相关技术中的一种远程遥控驾驶舱的示意图。该远场遥控驾驶舱至少包括模拟控制组件10,模拟控制组件10用于模拟无人车中遥控车辆运行的基础控制组件。其中,模拟控制组件10可以包括:方向盘、油门、刹车等。远场遥控驾驶舱还可以包括输出组件60,输出组件60用于向远场遥控驾驶舱的操作员输出相关信息。通常,输出组件60包括大屏,可以在大屏中展示相关信息。远场遥控驾驶舱还可以包括座椅80。
然而,相关技术中的远场遥控驾驶舱需要搭设完备的硬件系统(例如,需要搭建大屏,并对大屏的显示策略进行充分的优化,才能实现模拟真实驾驶场景),并且远场遥控驾驶舱需要强依赖于网络才可以实现遥控驾驶,一旦遥控驾驶执行时网络出现不稳定或延迟,有可能导致车辆发生严重事故。
基于相关技术的不足,本申请提出一种近场遥控驾驶策略和搭设有该策略的车辆。具体的,本申请对作业区内或作业区附近的车辆进行改进,在车辆中设置近场遥控驾驶舱,近场遥控驾驶舱内操作员可以根据观察到的现场信息,并结合简易的驾驶辅助信息,对无人车进行操控。由于用户可以肉眼观测现场真实场景信息,因此,在近场遥控驾驶舱中无需设置大屏,而可以借助手机、平板等简易外接式的显示设备,或者车辆自带的显示屏进行驾驶辅助信息的展示,无需额外昂贵硬件投入,降低了成本。并且,由于用户可现场观测,即便实现时使用网络,也不会对其产生强依赖,当网络不稳定时用户肉眼观看的信息可以辅助规避风险的发生,避免了常规远程遥控驾驶中的安全隐患。
在本申请中,近场遥控驾驶舱可以设置在遥控车辆的副驾驶仓,当使用近场遥控驾驶舱进行遥控驾驶时,遥控车辆的主驾驶仓可以正常使用。或者,我们可以对遥控车辆的主驾驶仓进行改进,并将改进后的主驾驶仓征用为近场遥控驾驶舱,无需另外设置驾驶舱。在这种情况下,我们还需要为近场遥控驾驶舱设置两种模式,当切换到遥控驾驶任务的模式时,可以使用近场遥控驾驶舱对无人车进行遥控驾驶,当切换到普通有人驾驶任务的模式时,可以使用近场遥控驾驶舱对遥控车辆进行驾驶。
本申请提出了一种全新的遥控无人车的方式,通过以下实施例进行详细介绍。
如图2所示,其示出了本申请一个实施例提供的无人车的遥控驾驶方法的方法流程图,该无人车的遥控驾驶方法可以应用于遥控车辆,该遥控车辆中设置有近场遥控驾驶舱。该无人车的遥控驾驶方法,可以包括:
步骤201,当确定矿区作业区内的无人车需要进行遥控驾驶时,获取无人车的车辆状态信息和无人车的周围环境信息。
遥控车辆中的操作员可以观察矿区作业区内的无人车,当发现某一辆无人车异常停车时,可以触发启动指令,遥控车辆在接收到启动指令后确定需要对该无人车进行遥控驾驶。或者,遥控车辆可以与矿区作业区内的每辆无人车建立近场通讯连接,比如,蓝牙、WiFi(Wireless Fidelity,无线保真)等;然后,当无人车异常停车时,可以向遥控车辆发送遥控驾驶请求,遥控车辆接收到遥控驾驶请求后确定需要对该无人车进行遥控驾驶。或者,遥控车辆可以与矿区作业区内的每辆无人车建立近场通讯连接,并定期采集每辆无人车的状态信息,当根据状态信息确定某一辆无人车异常停车时,确定需要对该无人车进行遥控驾驶。
车辆状态信息可以至少包括以下至少之一:速度、转向角度、位置。其中,位置位置信息包括以下至少之一:坐标和方位。
周围环境信息可以至少包括路况信息。其中,路况信息包括以下至少之一:障碍物、坡度。
本实施例中,无人车通过车载传感器采集车辆状态信息和周围环境信息,将车辆状态信息和周围环境信息发送给遥控车辆;或者,无人车周边的其他车辆通过车载传感器采集无人车的车辆状态信息和周围环境信息,将车辆状态信息和周围环境信息发送给遥控车辆。
步骤202,根据车辆状态信息和周围环境信息生成并展示驾驶辅助信息,驾驶辅助信息包括以下至少之一:导航信息和障碍物信息。
近场遥控驾驶舱中设置有展示驾驶辅助信息的展示设备。例如,可以是外接的移动终端,例如,手机或者平板等;或者也可以是遥控车辆中原有的用于主驾驶位驾驶或者娱乐的展示设备,例如,显示屏和音箱等。需要说明的是,驾驶辅助信息的展示形式,可以是任意形式的音视频输出。
基于获取的以上信息,操作员可以基于导航信息所指示的行驶路径来找到或遥控驾驶无人车,在遥控车辆寻找无人车的途中,或者无人车被遥控时的行驶途中可以避开障碍物。
步骤203,控制遥控车辆停靠在能够观测无人车的位置。
当遥控车辆当前停靠的位置能够观测到无人车时,无需对其位置进行调整;当遥控车辆当前停靠的位置无法观测无人车时,需要对其位置进行调整。这里所说的位置包括位置坐标和朝向。比如,可以根据位置坐标控制遥控车辆行驶到便于观测的地点,或者,可以控制遥控车辆调整朝向;或者,可以根据位置坐标控制遥控车辆行驶到便于观测的地点,并调整朝向。
可以基于用户肉眼观测的现场信息控制遥控车辆停靠在能够观测无人车的位置;或者,也可以根据上述获得的驾驶辅助信息控制遥控车辆停靠在能够观测无人车的位置。
步骤204,获取近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,控制指令是操作员基于驾驶辅助信息和观测到的现场情况产生的。
操作员可以利用肉眼观看无人车的现场情况,结合现场情况和驾驶辅助信息操作模拟控制组件,从而产生控制指令。
比如,当模拟控制组件包括方向盘时,控制指令可以是方向盘顺时针或逆时针旋转xx角度;当模拟控制组件包括油门或刹车时,控制指令可以是以xx力度按下油门或刹车。
步骤205,将控制指令发送给无人车,以指示无人车根据控制指令对基础控制组件进行控制,以实现遥控驾驶。
无人车和遥控车辆之间可以通过V2V等方式进行近距离通信。无人车接收到控制指令后,根据控制指令对对应组件进行控制。比如,控制指令是方向盘顺时针旋转90°,则无人车可以控制方向盘顺时针旋转90°。
综上所述,本申请实施例提供的无人车的遥控驾驶方法,将近场遥控驾驶舱搭载在位于无人车附近的遥控车辆上,无需额外搭建远程遥控驾驶舱,提供了一种全新的近场遥控驾驶体验;遥控车辆停靠在能够观测到无人车的位置,使得操作员能够通过肉眼观测现场情况,提升了驾驶的真实感;根据无人车的车辆状态信息和周围环境信息生成并向操作员展示驾驶辅助信息,进一步结合肉眼观测的现场情况,得以辅助操作员进行更为准确的遥控驾驶操作。
如图3所示,其示出了本申请一个实施例提供的无人车的遥控驾驶方法的流程图。该无人车的遥控驾驶方法,可以包括:
步骤301,当确定矿区作业区内的无人车需要进行遥控驾驶时,获取无人车的车辆状态信息和无人车的周围环境信息。
同步骤201,在此不再赘述。
步骤302,根据车辆状态信息和周围环境信息生成并展示驾驶辅助信息,驾驶辅助信息包括以下至少之一:导航信息和障碍物信息。
同步骤202,在此不再赘述。
步骤303,控制遥控车辆停靠在能够观测无人车的位置。
本实施例中,可以由操作员的肉眼判断是否需要调整遥控车辆的位置,若不需要调整,则执行步骤304;若需要调整,则手动调整遥控车辆的位置。或者,也可以由遥控车辆判断是否需要调整位置,若不需要调整,则执行步骤304;若需要调整,则自动调整遥控车辆的位置。这里所说的位置包括位置坐标和朝向。
本实施例中,通过以下方式判断是否到达能够观测无人车的位置:
遥控车辆可以根据无人车和遥控车辆的位置坐标判断两者之间的距离是否大于距离阈值,且根据无人车和遥控车辆的坐标以及高精地图判断两者之间是否存在遮挡视线的障碍物;若大于阈值或者存在障碍物,则确定遥控车辆内的操作员不能观测到无人车;若小于阈值且不存在障碍物,则进一步根据遥控车辆的当前朝向判断无人车是否在操作员的视线范围内;若无人车在操作员的视线范围内,则确定操作员能够观测到无人车,若无人车不在操作员的视线范围内,则确定操作员不能观测到无人车。
在一种实现方式中,可以提前在作业区内规划出标准遥控区域,且标准遥控区域需要满足遥控车辆内的操作员能够观测到无人车的条件。比如,可以在作业区内规划出地面平整的区域或停车场作为标准遥控区域。再例如,可以在车辆故障多发区附近规划出标准遥控区域。
其中,控制遥控车辆停靠在能够观测无人车的位置,可以包括:根据导航信息确定作业区内能够观测无人车的标准遥控区域;控制遥控车辆进入标准遥控区域,并控制遥控车辆调整朝向,以使得操作员能够观测无人车。
当作业区较大时,我们可以在作业区内预先规划多个满足上述条件的标准遥控区域,此时,遥控车辆需要根据导航信息确定多个标准遥控区域中能够观测无人车、且距离遥控车辆当前位置最近的标准遥控区域。这样可以提升遥控车辆的运营效率。
在另一种实现方式中,可以由操作员选择安全位置,或者,可以由遥控车辆根据导航信息选择安全位置。其中,控制遥控车辆停靠在能够观测无人车的位置,可以包括:根据导航信息和作业区其他车辆的路径规划信息,确定能够观测无人车、且距离遥控车辆当前位置最近的安全区域。
在选定停靠的位置后,遥控车辆需要行驶到该位置。具体的,当近场遥控驾驶舱设置于遥控车辆的副驾驶仓时,控制遥控车辆停靠在能够观测无人车的位置,可以包括:向遥控车辆的主驾驶舱内的基础控制组件发送移动控制指令;在主驾驶舱内的基础控制组件当前执行的任务优先级低于移动控制指令对应的任务优先级的情况下,控制主驾驶舱内的基础控制组件中断当前执行的任务,并执行移动控制指令对应的任务,以使得遥控车辆根据移动控制指令移动到能够观测无人车的位置。
当不需要驾驶遥控车辆时,主驾驶仓内的基础控制组件是可以正常执行其他任务的。当需要驾驶遥控车辆,且主驾驶仓内的基础控制组件当前正在执行某一项任务时,需要比较移动控制指令对应的任务优先级和当前执行的任务的任务优先级,如果移动控制指令对应的任务优先级较高,则需要中断主驾驶仓内的基础控制组件当前执行的任务,并根据移动控制指令移动到能够观测无人车的位置;如果当前执行的任务的任务优先级较高,则需要等当前执行的任务结束后,根据移动控制指令移动到能够观测无人车的位置,或者也可以直接拒绝该移动控制指令,使得移动控制指令发送给其他空闲的遥控车辆。当需要驾驶遥控车辆,且主驾驶仓内的基础控制组件当前没有执行任务时,根据移动控制指令移动到能够观测无人车的位置。
当近场遥控驾驶舱设置于遥控车辆的主驾驶仓时,在控制遥控车辆停靠在能够观测无人车的位置之前,该方法还包括:当确定矿区作业区内的无人车需要进行遥控驾驶时,确定遥控车辆的主驾驶舱内的基础控制组件当前执行的任务;在主驾驶舱内的基础控制组件当前执行的任务优先级低于遥控驾驶任务的情况下,向遥控车辆的主驾驶舱发送模式切换指令,其中,模式切换指令用于指示切换为执行遥控驾驶任务的模式;控制中断主驾驶舱内的基础控制组件当前执行的任务,并根据模式切换指令控制主驾驶舱内的基础控制组件切换为执行遥控驾驶任务的模式。
我们可以为主驾驶仓内的基础控制组件设置两种模式,一种模式是普通有人驾驶模式,在这种模式下,主驾驶仓内的基础控制组件用于驾驶遥控车辆;另一种模式是执行遥控驾驶任务的模式,在这种模式下,主驾驶仓内的基础控制组件用于遥控驾驶无人车。
实际上,在执行遥控驾驶任务时,需要获取无人车的相关信息,并切换输出组件的信息来源,以使输出组件能够输出无人车的相关信息,比如,在显示屏中展示无人车的驾驶辅助信息等;还需要切换基础控制组件的信号输出,以使基础控制组件的输出信号能遥控无人车。
当确定需要遥控驾驶无人车时,需要将模式切换为执行遥控驾驶任务的模式。在切换时,若主驾驶仓当前正在执行某一项任务,则需要比较遥控驾驶任务的任务优先级和当前执行的任务的任务优先级,如果遥控驾驶任务的任务优先级较高,则需要中断主驾驶仓内的基础控制组件当前执行的任务,并根据模式切换指令控制主驾驶舱内的基础控制组件切换为执行遥控驾驶任务的模式;如果当前执行的任务的任务优先级较高,则需要等当前执行的任务结束后,根据模式切换指令控制主驾驶舱内的基础控制组件切换为执行遥控驾驶任务的模式;若主驾驶仓当前没有执行任务,则根据模式切换指令控制主驾驶舱内的基础控制组件切换为执行遥控驾驶任务的模式。
需要进一步说明的是,在近场遥控驾驶舱设置于遥控车辆的主驾驶仓情况下,一旦将模式切换为执行遥控驾驶任务,主驾驶舱内的基础控制组件将在两个控制阶段发挥不同的作用:在将模式切换为执行遥控驾驶任务后,先确定当前是否为能够观测到无人车的位置;如果当前能够观测到无人车,则主驾驶舱内的基础控制组件将暂时失去对车辆自身线控底盘的控制,其被操作员操作产生的信号,将输出给无人车,直到对无人车的遥控结束或者接收到优先级更高的控制指令;如果当前不能够观测到无人车,则主驾驶舱内的基础控制组件将继续对自身线控底盘进行控制,以控制该遥控车辆运行到可观测到无人车的位子,在达到该位置之后,主驾驶舱内的基础控制组件将暂时失去对车辆自身线控底盘的控制,其被操作员操作产生的信号,将输出给无人车,直到对无人车的遥控结束或者接收到优先级更高的控制指令。其中,当前是否能够观测到无人车的判断,可以通过在驾驶舱内设置虚拟或者物理按钮,通过用户对按钮的操控来实现。例如,当用户按下该按钮时,向遥控车辆控制器发送当前能够观测到无人车的信号。该方式提供了一种全新的车辆线控底盘的控制方式。
步骤304,在近场遥控驾驶舱内模拟无人车的座舱内驾驶环境,驾驶环境包括以下至少之一:座椅的状态、输出组件的状态和基础控制组件的状态。
本实施例中,可以模拟与无人车尽量相同的座舱内驾驶环境,以提升驾驶的真实感。
座椅的状态可以包括以下至少之一:座椅的高度和倾斜度,以使操作员感受到无人车的颠簸感。
输出组件的状态可以包括以下至少之一:在显示屏中展示路况信息、通过声光器件输出发动机声音等,以使操作员感受到无人车的音视频输出。
基础控制组件的状态可以包括以下至少之一:方向盘角度、油门力度和刹车力度。
由于无人车是可移动的,且周围环境(例如上下坡等)可能也会影响操作员的感受,因此,如果在遥控车辆内直接按照无人车的真实驾驶环境的参数进行设置,会导致操作员的用户体验和无人车的实际驾驶体验差别比较大。所以,我们需要从运动和环境这两方面对影响进行消除。
具体的,在近场遥控驾驶舱内模拟无人车的座舱内驾驶环境,可以包括:获取遥控车辆的周围环境信息,车辆状态信息可以包括以下至少之一:速度和转向角度,周围环境信息可以包括路况信息;根据无人车的车辆状态信息和周围环境信息以及遥控车辆的周围环境信息,生成驾驶舱调整信息;根据驾驶舱调整信息对近场遥控驾驶舱内的对应组件进行调整,以使调整后的近场遥控驾驶舱与无人车的座舱内驾驶环境一致或接近一致。
在计算驾驶舱调整信息时,遥控车辆可以获取预设的调整模型,将无人车的车辆状态信息和周围环境信息以及遥控车辆的周围环境信息输入调整模型中,将调整模型的输出作为驾驶舱调整信息。其中,调整模型可以预先采用对应的训练样本进行训练得到。
遥控车辆可以先根据遥控车辆的周围环境信息得到第一控制参数,该第一控制参数用于消除遥控车辆的环境影响,消除后遥控车辆内的座舱内驾驶环境是预设标准状态(例如,地面坡度为0等)。然后,根据无人车的车辆状态信息和周围环境信息得到第二控制参数,在消除后的遥控车辆内叠加第二控制参数,以使近场遥控驾驶舱与无人车的座舱内驾驶环境一致或接近一致。
步骤305,获取近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,控制指令是操作员基于驾驶辅助信息和观测到的现场情况产生的。
该步骤同步骤204,在此不再赘述。
步骤306,将控制指令发送给无人车,以指示无人车根据控制指令对基础控制组件进行控制,以实现遥控驾驶。
该步骤同步骤205,在此不再赘述。
遥控车辆还需要确定遥控驾驶的结束时机。具体的,遥控车辆检测无人车是否满足第一停止条件,或,遥控车辆是否满足第二停止条件;其中,第一停止条件包括以下至少之一:无人车达到目标状态、无人车指定时长内无法达到目标状态;第二停止条件包括以下至少之一:遥控车辆影响其他无人车正常运行、遥控车辆需要响应其他任务且其他任务的优先级高于遥控驾驶任务的优先级;若无人车满足第一停止条件或遥控车辆满足第二停止条件,则停止遥控驾驶无人车。
目标状态可以是故障解除状态、恢复目标运行状态等。
其他任务是比遥控驾驶任务的优先级更高的任务,比如,加油等。
在预测遥控车辆是否会影响其他无人车正常通行时,可以根据高精地图判断遥控车辆的停靠位置是否位于车流量较大的道路上;或者,可以根据周围车辆判断是否存在在遥控车辆后排队等待通行的车辆等。
当确定需要停止遥控驾驶无人车时,遥控车辆可以在输出组件中输出提示信息,操作员根据提示信息停止遥控驾驶。
综上所述,本申请实施例提供的无人车的遥控驾驶方法,将近场遥控驾驶舱搭载在位于无人车附近的遥控车辆上,无需额外搭建远程遥控驾驶舱,提供了一种全新的近场遥控驾驶体验;遥控车辆停靠在能够观测到无人车的位置,使得操作员能够通过肉眼观测现场情况,提升了驾驶的真实感;根据无人车的车辆状态信息和周围环境信息生成并向操作员展示驾驶辅助信息,进一步结合肉眼观测的现场情况,得以辅助操作员进行更为准确的遥控驾驶操作。
另外,通过模拟与无人车尽量相同的座舱内驾驶环境,可以有效提升驾驶的真实感。
如图4所示,其示出了本申请一个实施例提供的无人车的遥控驾驶装置的结构框图。该无人车的遥控驾驶装置,可以包括:
第一获取模块410,用于当确定矿区作业区内的无人车需要进行遥控驾驶时,获取无人车的车辆状态信息和无人车的周围环境信息;
辅助模块420,用于根据车辆状态信息和周围环境信息生成并展示驾驶辅助信息,驾驶辅助信息包括以下至少之一:导航信息和障碍物信息;
控制模块430,用于控制遥控车辆停靠在能够观测无人车的位置;
第二获取模块440,用于获取近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,控制指令是操作员基于驾驶辅助信息和观测到的现场情况产生的;
发送模块450,用于将控制指令发送给无人车,以指示无人车根据控制指令对基础控制组件进行控制,以实现遥控驾驶。
如图5所示,在一个可选的实施例中,该装置还包括:
模拟模块460,用于在获取近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令之前,在近场遥控驾驶舱内模拟无人车的座舱内驾驶环境,驾驶环境包括以下至少之一:座椅的状态、输出组件的状态和基础控制组件的状态。
在一个可选的实施例中,模拟模块460,还用于:
获取遥控车辆的周围环境信息;
根据无人车的车辆状态信息和周围环境信息以及遥控车辆的周围环境信息,生成驾驶舱调整信息;
根据驾驶舱调整信息对近场遥控驾驶舱内的对应组件进行调整,以使调整后的近场遥控驾驶舱与无人车的座舱内驾驶环境一致或接近一致。
在一个可选的实施例中,控制模块430,还用于:
根据导航信息确定作业区内能够观测无人车的标准遥控区域;
控制遥控车辆进入标准遥控区域,并控制遥控车辆调整朝向,以使得操作员能够观测无人车。
在一个可选的实施例中,作业区内预先规划有多个标准遥控区域,控制模块430,还用于:
根据导航信息确定多个标准遥控区域中能够观测无人车、且距离遥控车辆当前位置最近的标准遥控区域。
在一个可选的实施例中,控制模块430,还用于:
根据导航信息和作业区其他车辆的路径规划信息,确定能够观测无人车、且距离遥控车辆当前位置最近的安全区域。
在一个可选的实施例中,近场遥控驾驶舱设置于遥控车辆的副驾驶仓,控制模块430,还用于:
向遥控车辆的主驾驶舱内的基础控制组件发送移动控制指令;
在主驾驶舱内的基础控制组件当前执行的任务优先级低于移动控制指令对应的任务优先级的情况下,控制主驾驶舱内的基础控制组件中断当前执行的任务,并执行移动控制指令对应的任务,以使得遥控车辆根据移动控制指令移动到能够观测无人车的位置。
在一个可选的实施例中,近场遥控驾驶舱设置于遥控车辆的主驾驶仓,在控制遥控车辆停靠在能够观测无人车的位置之前,控制模块430,还用于:
当确定矿区作业区内的无人车需要进行遥控驾驶时,确定遥控车辆的主驾驶舱内的基础控制组件当前执行的任务;
在主驾驶舱内的基础控制组件当前执行的任务优先级低于遥控驾驶任务的情况下,向遥控车辆的主驾驶舱发送模式切换指令,其中,模式切换指令用于指示切换为执行遥控驾驶任务的模式;
控制中断主驾驶舱内的基础控制组件当前执行的任务,并根据模式切换指令控制主驾驶舱内的基础控制组件切换为执行遥控驾驶任务的模式。
在一个可选的实施例中,该装置还包括:
检测模块470,用于检测无人车是否满足第一停止条件,或,遥控车辆是否满足第二停止条件;其中,第一停止条件包括以下至少之一:无人车达到目标状态、无人车指定时长内无法达到目标状态;第二停止条件包括以下至少之一:遥控车辆影响其他无人车正常运行、遥控车辆需要响应其他任务,且其他任务的优先级高于遥控驾驶任务的优先级;
停止模块480,用于若无人车满足第一停止条件或遥控车辆满足第二停止条件,则停止遥控驾驶无人车。
综上所述,本申请实施例提供的无人车的遥控驾驶装置,将近场遥控驾驶舱搭载在位于无人车附近的遥控车辆上,无需额外搭建远程遥控驾驶舱,提供了一种全新的近场遥控驾驶体验;遥控车辆停靠在能够观测到无人车的位置,使得操作员能够通过肉眼观测现场情况,提升了驾驶的真实感;根据无人车的车辆状态信息和周围环境信息生成并向操作员展示驾驶辅助信息,进一步结合肉眼观测的现场情况,得以辅助操作员进行更为准确的遥控驾驶操作。
另外,通过模拟与无人车尽量相同的座舱内驾驶环境,可以有效提升驾驶的真实感。
本申请一个实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的无人车的遥控驾驶方法。
本申请一个实施例提供了一种车辆,所述车辆包括上述任意无人车的遥控驾驶装置。
需要说明的是:上述实施例提供的无人车的遥控驾驶装置在进行无人车的遥控驾驶时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将无人车的遥控驾驶装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的无人车的遥控驾驶装置与无人车的遥控驾驶方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。
Claims (12)
1.一种无人车的遥控驾驶方法,其特征在于,用于搭载有近场遥控驾驶舱的遥控车辆,所述方法包括:
当确定矿区作业区内的无人车需要进行遥控驾驶时,获取所述无人车的车辆状态信息和所述无人车的周围环境信息;
根据所述车辆状态信息和所述周围环境信息生成并展示驾驶辅助信息,所述驾驶辅助信息包括以下至少之一:导航信息和障碍物信息;
控制所述遥控车辆停靠在能够观测所述无人车的位置;
获取所述近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,所述模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,所述控制指令是所述操作员基于所述驾驶辅助信息和观测到的现场情况产生的;
将所述控制指令发送给所述无人车,以指示所述无人车根据所述控制指令对所述基础控制组件进行控制,以实现遥控驾驶。
2.根据权利要求1所述的无人车的遥控驾驶方法,其特征在于,在所述获取所述近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令之前,所述方法还包括:
在所述近场遥控驾驶舱内模拟所述无人车的座舱内驾驶环境,所述驾驶环境包括以下至少之一:座椅的状态、输出组件的状态和基础控制组件的状态。
3.根据权利要求2所述的无人车的遥控驾驶方法,其特征在于,所述在所述近场遥控驾驶舱内模拟所述无人车的座舱内驾驶环境,包括:
获取所述遥控车辆的周围环境信息;
根据所述无人车的车辆状态信息和周围环境信息以及所述遥控车辆的周围环境信息,生成驾驶舱调整信息;
根据所述驾驶舱调整信息对所述近场遥控驾驶舱内的对应组件进行调整,以使调整后的近场遥控驾驶舱与所述无人车的座舱内驾驶环境一致或接近一致。
4.根据权利要求1所述的无人车的遥控驾驶方法,其特征在于,所述控制所述遥控车辆停靠在能够观测所述无人车的位置,包括:
根据所述导航信息确定作业区内能够观测所述无人车的标准遥控区域;
控制所述遥控车辆进入所述标准遥控区域,并控制所述遥控车辆调整朝向,以使得所述操作员能够观测所述无人车。
5.根据权利要求4所述的无人车的遥控驾驶方法,其特征在于,所述作业区内预先规划有多个标准遥控区域,所述根据所述导航信息确定作业区内能够观测所述无人车的标准遥控区域,包括:
根据所述导航信息确定所述多个标准遥控区域中能够观测所述无人车、且距离所述遥控车辆当前位置最近的标准遥控区域。
6.根据权利要求1所述的无人车的遥控驾驶方法,其特征在于,所述控制所述遥控车辆停靠在能够观测所述无人车的位置,包括:
根据所述导航信息和作业区其他车辆的路径规划信息,确定能够观测所述无人车、且距离所述遥控车辆当前位置最近的安全区域。
7.根据权利要求1所述的无人车的遥控驾驶方法,其特征在于,所述近场遥控驾驶舱设置于所述遥控车辆的副驾驶仓,所述控制所述遥控车辆停靠在能够观测所述无人车的位置,包括:
向所述遥控车辆的主驾驶舱内的基础控制组件发送移动控制指令;
在所述主驾驶舱内的基础控制组件当前执行的任务优先级低于所述移动控制指令对应的任务优先级的情况下,控制所述主驾驶舱内的基础控制组件中断当前执行的任务,并执行所述移动控制指令对应的任务,以使得遥控车辆根据所述移动控制指令移动到所述能够观测所述无人车的位置。
8.根据权利要求1所述的无人车的遥控驾驶方法,其特征在于,所述近场遥控驾驶舱设置于所述遥控车辆的主驾驶仓,在所述控制所述遥控车辆停靠在能够观测所述无人车的位置之前,所述方法还包括:
当确定矿区作业区内的无人车需要进行遥控驾驶时,确定所述遥控车辆的主驾驶舱内的基础控制组件当前执行的任务;
在所述主驾驶舱内的基础控制组件当前执行的任务优先级低于遥控驾驶任务的情况下,向所述遥控车辆的主驾驶舱发送模式切换指令,其中,所述模式切换指令用于指示切换为执行所述遥控驾驶任务的模式;
控制中断所述主驾驶舱内的基础控制组件当前执行的任务,并根据所述模式切换指令控制所述主驾驶舱内的基础控制组件切换为执行所述遥控驾驶任务的模式。
9.根据权利要求1至8任一所述的无人车的遥控驾驶方法,其特征在于,所述方法还包括:
检测所述无人车是否满足第一停止条件,或,所述遥控车辆是否满足第二停止条件;其中,所述第一停止条件包括以下至少之一:所述无人车达到目标状态、所述无人车指定时长内无法达到目标状态;所述第二停止条件包括以下至少之一:所述遥控车辆影响其他无人车正常运行、所述遥控车辆需要响应其他任务且所述其他任务的优先级高于遥控驾驶任务的优先级;
若所述无人车满足所述第一停止条件或所述遥控车辆满足所述第二停止条件,则停止遥控驾驶所述无人车。
10.一种无人车的遥控驾驶装置,其特征在于,用于搭载有近场遥控驾驶舱的遥控车辆,所述装置包括:
第一获取模块,用于当确定矿区作业区内的无人车需要进行遥控驾驶时,获取所述无人车的车辆状态信息和所述无人车的周围环境信息;
辅助模块,用于根据所述车辆状态信息和所述周围环境信息生成并展示驾驶辅助信息,所述驾驶辅助信息包括以下至少之一:导航信息和障碍物信息;
控制模块,用于控制所述遥控车辆停靠在能够观测所述无人车的位置;
第二获取模块,用于获取所述近场遥控驾驶舱内的操作员操作模拟控制组件时产生的控制指令,所述模拟控制组件用于模拟无人车中控制车辆运行的基础控制组件,所述控制指令是所述操作员基于所述驾驶辅助信息和观测到的现场情况产生的;
发送模块,用于将所述控制指令发送给所述无人车,以指示所述无人车根据所述控制指令对所述基础控制组件进行控制,以实现遥控驾驶。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至9任一所述的无人车的遥控驾驶方法。
12.一种车辆,其特征在于,所述车辆包括:权利要求10所述的无人车的遥控驾驶装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311083997.7A CN116795085B (zh) | 2023-08-28 | 2023-08-28 | 无人车的遥控驾驶方法、装置、存储介质及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311083997.7A CN116795085B (zh) | 2023-08-28 | 2023-08-28 | 无人车的遥控驾驶方法、装置、存储介质及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116795085A true CN116795085A (zh) | 2023-09-22 |
CN116795085B CN116795085B (zh) | 2023-12-22 |
Family
ID=88045103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311083997.7A Active CN116795085B (zh) | 2023-08-28 | 2023-08-28 | 无人车的遥控驾驶方法、装置、存储介质及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116795085B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873486A (zh) * | 2017-03-03 | 2017-06-20 | 合肥工业大学 | 一种无人驾驶矿井机车遥控操作台 |
US20210089049A1 (en) * | 2019-01-16 | 2021-03-25 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Vehicle control method and device |
CN114281074A (zh) * | 2021-11-22 | 2022-04-05 | 徐工集团工程机械股份有限公司 | 一种超视距的无人车遥控系统及无人车 |
CN114553933A (zh) * | 2022-04-25 | 2022-05-27 | 新石器慧通(北京)科技有限公司 | 一种无人车的控制权限接管方法、装置及系统 |
CN114815703A (zh) * | 2022-05-11 | 2022-07-29 | 上海锰玛工业智能科技有限公司 | 工程车遥控系统、方法、装置及存储介质 |
CN115257810A (zh) * | 2022-08-05 | 2022-11-01 | 智道网联科技(北京)有限公司 | 无人驾驶车辆平行接管控制方法、装置及云控平台、电子设备 |
CN115320584A (zh) * | 2022-10-13 | 2022-11-11 | 之江实验室 | 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统 |
-
2023
- 2023-08-28 CN CN202311083997.7A patent/CN116795085B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873486A (zh) * | 2017-03-03 | 2017-06-20 | 合肥工业大学 | 一种无人驾驶矿井机车遥控操作台 |
US20210089049A1 (en) * | 2019-01-16 | 2021-03-25 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Vehicle control method and device |
CN114281074A (zh) * | 2021-11-22 | 2022-04-05 | 徐工集团工程机械股份有限公司 | 一种超视距的无人车遥控系统及无人车 |
CN114553933A (zh) * | 2022-04-25 | 2022-05-27 | 新石器慧通(北京)科技有限公司 | 一种无人车的控制权限接管方法、装置及系统 |
CN114815703A (zh) * | 2022-05-11 | 2022-07-29 | 上海锰玛工业智能科技有限公司 | 工程车遥控系统、方法、装置及存储介质 |
CN115257810A (zh) * | 2022-08-05 | 2022-11-01 | 智道网联科技(北京)有限公司 | 无人驾驶车辆平行接管控制方法、装置及云控平台、电子设备 |
CN115320584A (zh) * | 2022-10-13 | 2022-11-11 | 之江实验室 | 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116795085B (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11314247B2 (en) | Method and system for remotely controlling a vehicle | |
US11846940B2 (en) | Methods and apparatus for vehicle control | |
JP6517561B2 (ja) | 車両制御装置 | |
JP6870270B2 (ja) | 無人運転システムの遠隔操作方法と遠隔操作装置 | |
CA2941194C (en) | Driving assistance system, vehicle, driving assistance terminal device, and driving assistance program | |
US9560692B2 (en) | Controlling a machine in remote or autonomous mode | |
CN114911242A (zh) | 无人驾驶汽车的控制方法、汽车和存储介质 | |
US11754413B2 (en) | Path setting apparatus, path setting method, and storage medium | |
US11604468B2 (en) | Techniques for blended control for remote operations | |
US10579054B2 (en) | Systems and methods for on-site recovery of autonomous vehicles | |
CN107428252B (zh) | 用于在自主驾驶模式期间操作机动车辆的通信装置的方法,通信装置以及机动车辆 | |
KR101869340B1 (ko) | 자율주행 차량을 제어하기 위한 원격제어장치 및 원격제어방법 | |
JP7159107B2 (ja) | 駐車場管理システム、駐車場管理装置、駐車場管理方法、およびプログラム | |
JP2014125195A (ja) | 駐車支援装置、駐車支援システム及び駐車支援方法 | |
CN109508006A (zh) | 一种基于北斗的汽车起重机的自动驾驶系统 | |
US11772634B2 (en) | Parking control method and parking control device | |
CN116795085B (zh) | 无人车的遥控驾驶方法、装置、存储介质及车辆 | |
KR102041962B1 (ko) | 서포티드 자율주행 차량 | |
WO2009030590A1 (de) | Navigationssystem für ein komplexes menügesteuertes fahrzeug-mehrfunktionssystem | |
US20220397898A1 (en) | Remote control request system, remote control request method, and nontransitory storage medium | |
US10988129B2 (en) | Operating portion control device, vehicle control system, and operating portion control method | |
CN113911118A (zh) | 驾驶辅助方法和系统、车辆及计算机可读存储介质 | |
CN220673945U (zh) | 无人作业车辆的控制系统 | |
US20220009511A1 (en) | Control device and control method | |
JP2023144123A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |