CN109726480A - 一种用于验证无人矿卡相关算法的系统 - Google Patents
一种用于验证无人矿卡相关算法的系统 Download PDFInfo
- Publication number
- CN109726480A CN109726480A CN201811636749.XA CN201811636749A CN109726480A CN 109726480 A CN109726480 A CN 109726480A CN 201811636749 A CN201811636749 A CN 201811636749A CN 109726480 A CN109726480 A CN 109726480A
- Authority
- CN
- China
- Prior art keywords
- module
- vehicle
- tire
- algorithm
- mine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000725 suspension Substances 0.000 claims abstract description 65
- 230000008447 perception Effects 0.000 claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000010200 validation analysis Methods 0.000 claims abstract description 10
- 238000004088 simulation Methods 0.000 claims abstract description 9
- 238000005094 computer simulation Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000013178 mathematical model Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 8
- 230000004438 eyesight Effects 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000016776 visual perception Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Abstract
本发明公开了一种用于验证无人矿卡相关算法的系统,该系统包括:矿卡动力学仿真系统,其模拟仿真矿卡车辆的运行状态,分析其在全液压转向机制、车辆轮胎动力学和车辆悬架动力学的性能;虚拟现实场景展示模块,其在虚拟现实场景中可视化展示出与当前矿卡车辆的性能数据相对应的矿卡的运动状态;感知算法验证模块,其对获取的矿卡感知数据进行感知算法的验证;规划算法验证模块,其基于预设的电子地图和感知算法验证结果进行避障路径的规划和避障路径的速度规划;控制算法验证模块,其实现对路径跟踪的控制和目标速度的控制。通过该无人矿卡仿真系统,可快速验证环境感知算法、路径跟踪控制算法、避障规划算法、速度决策与控制算法的有效性。
Description
技术领域
本发明涉及机械工程技术领域,尤其涉及一种用于验证无人矿卡相关算法的无人矿卡仿真系统。
背景技术
矿用卡车(以下简称矿卡)是在露天矿山为完成岩石土方剥离与矿石运输任务而使用的一种重型自卸车,其工作特点为运程短、承载重,常用大型电铲或液压铲进行装载,往返于采掘点和卸矿点。无人矿卡具备巨大的市场潜力,能够给用户(矿山开采企业)带来成本、安全、效率、环保等多方面的利好,同时也会给矿山车辆及设备制造商带来丰厚的盈利。
与常规乘用车辆相比,矿用卡车体积大、载重量高、轮胎特性较为特殊、通常采用全液压转向方式、且主要行驶路况为非公路环境,进而影响到矿卡的可操纵性和行驶稳定性,对无人矿卡控制提出了更高的要求。此外,无人矿卡的测试存在危险性大、测试时间久、测试成本高、可测试内容覆盖面窄等多种问题,搭建无人矿卡相关算法仿真测试平台可有效解决上述诸多问题。能够对各种极端工况进行反复测试,提高测试安全性、缩短测试周期、降低测试成本。
目前,在无人车算法测试验证方面,主要集中在感知、交通场景、模拟实验台等。如在公开号为CN107403038A的申请中,提出了一种可以在智能车研发测试过程中快速进行全面虚拟测试环境构建的方法,该方法主要为虚拟测试环境的构建,缺乏对整车动力学模型的准确建模以及对整体架构的搭建,无法进行整车层面相关算法的验证。在公开号为CN106153352A的申请中,提出了一种无人驾驶车辆测试验证平台及其测试方法,该测试方法与实际无人车的测试相接近,不同的是通过驾驶模拟控制系统远程控制实际车辆。因而存在测试场景有限、测试时间久、成本高等多种局限性。
除上述专利外,也有一些商用仿真模拟软件可实现无人车算法检查、以及面对不同场景下的感知、决策等算法的训练。主要软件包括:PreScan、PanoSim、Carsim、Pro-SiVIC等。软件中通常提供有车辆动力学模型、三维行驶环境、各类传感器、无线通信模型、GPS和数字地图模型等丰富的模型库。对于常规乘用车辆而言,可据此快速搭建出一个无人驾驶模拟仿真平台。但上述软件中缺乏矿用车辆模型,也没有矿山道路等特殊场景,无法进行无人矿卡仿真平台的搭建。
此外,无人矿卡相关算法验证的另一种方式是先通过在小型乘用车上面进行验证,测试通过后再移植到大型无人矿卡上。这种方法虽然也是一种解决方案,但测试过程繁琐、周期长,且算法在乘用车测试后并不能直接用于无人矿卡,相关参数还需要进行反复测试调整,因而也不是一种有效的解决方案。
因此,需要提供一种解决方案,以实现对无人矿卡算法在规划、决策、控制等方面有效性的快速验证,能够对各种极端工况进行反复测试,提高测试安全性、缩短测试周期、降低测试成本。
发明内容
本发明所要解决的技术问题之一是需要提供一种具备可视化场景的用于验证无人矿卡相关算法的无人矿卡仿真系统,该系统能够实现对无人矿卡算法在规划、决策、控制等方面有效性的快速验证。
为了解决上述技术问题,本申请的实施例首先提供了一种用于验证无人矿卡相关算法的系统,该系统包括:矿卡动力学仿真系统,其模拟仿真矿卡车辆的运行状态,分析其在全液压转向机制、车辆轮胎动力学和车辆悬架动力学的性能;虚拟现实场景展示模块,其在虚拟现实场景中可视化展示出与当前矿卡车辆的性能数据相对应的矿卡的运动状态;感知算法验证模块,其对虚拟现实场景中实时获取的矿卡感知数据进行感知算法的验证;规划算法验证模块,其基于预设的电子地图和感知算法验证结果进行避障路径的规划和避障路径的速度规划;控制算法验证模块,其基于所述规划算法验证模块对参考路径和参考速度的规划结果实现对路径跟踪的控制和目标速度的控制。
优选地,所述矿卡动力学仿真系统包括如下:全液压转向子系统,其根据液压转向-轮胎动力响应模型和全液压转向系统数学模型,分析矿卡在全液压转向机制上的性能;以及整车动力学子系统,其配置有悬架结构数据库,根据每种悬架结构对应的表征悬架车身轮胎运动关系的整车动力学方程,分析矿卡在车辆悬架动力学和车辆轮胎动力学的性能。
优选地,所述整车动力学子系统包括如下模块:轮胎滑移计算模块,其计算轮胎当前的滑移率,并得到相应的轮胎侧偏角和轮胎转速;轮胎横向力与纵向力模块,其与轮胎滑移计算模块连接,计算轮胎当前的横向力及侧向力,并得到相应的回转力矩;轮胎垂向动力学模块,其与轮胎横向力与纵向力模块连接,计算轮胎当前的垂向力及变形量,并得到相应的轮胎当前时刻的垂向速度和滚动半径;悬架动力学模块,其与轮胎横向力与纵向力模块和轮胎横向力与纵向力模块连接,计算符合当前矿车悬架类型的悬架位移、悬挂行程、悬架侧向力、悬架垂向力及悬架纵向力;车身动力学模块,其与悬架动力学模块连接,计算当前矿车运行过程中的车身动力学参数,并得到相应的包括车身垂向位移、车身侧倾角和车身俯仰角等信息的计算结果;地形高度输入模块,其与轮胎垂向动力学模块连接,在矿车行驶过程中实时输出对应当前矿车行驶路径路况的地形等级的地面高度数据。
优选地,所述全液压转向子系统包括如下模块:转向机构动力学模块,其与轮胎横向与纵向力模块、轮胎垂向动力学模块、车身动力学模块连接,利用液压转向-轮胎动力响应模型,计算矿车车轮实时的转向角、以及油缸实时移动的变化量,得到相应的车轮转角和油缸位移数据;全液压转向器模块,其与转向机构动力学模块连接,利用全液压转向系统数学模型,计算液压油路中的流量和油压数据,进一步得到相应的油缸推力。
优选地,所述感知算法验证模块,其根据获取的矿卡感知数据,对基于单目/双目视觉的障碍物和车道线检测,以及基于视觉的车辆组合定位的视觉感知算法进行验证。
优选地,所述规划算法验证模块包括:路径规划子模块,其根据配备的电子地图、当前车辆位置和指定的终点位置进行全局行驶路径规划;速度规划子模块,其根据参考路径的曲率、允许的侧向加速度极限值、道路坡度、行驶偏差和道路限速要求,对全局道路进行初始速度规划。
优选地,所述路径规划子模块,其在遇到障碍物时,根据当前车辆位置、航向,障碍物位置、大小,以及终点位置和航向实现对局部路径的规划并实时更新地图;所述速度规划子模块,其对前方预瞄距离内各参考点的速度值进行进一步规划,根据车辆的驱动和制动能力、当前车速、初始规划车速,实现预瞄范围内速度的平滑可靠规划。
优选地,所述控制算法验证模块包括:路径跟踪控制子模块,其根据电子地图与实时规划路径,以横向位置误差、航向角偏差、车速、参考路径曲率和车辆相关参数作为输入,利用多种路径跟踪控制算法计算得出方向盘转角,从而实现矿卡对给定参考路径的跟踪控制;速度控制子模块,其根据目标速度规划结果,以参考车速、实际车速和目标加速度作为输入,计算得出油门踏板、电制动踏板、机械制动踏板行程数值,作为输出量发送给车辆动力学模型。
优选地,该系统是基于Matlab/Simulink软件搭建而成的。
与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效果:
本发明实施例提出了一种无人矿卡仿真系统,利用该平台,可快速验证环境感知算法、路径跟踪控制算法、避障规划算法、速度决策与控制算法的有效性。整个无人矿卡仿真平台具备准确的矿卡动力学模型、逼真的可视化展示场景、完备的各类算法模块,可以对每一个需要测试的算法均可进行参数化展示、以及与既有算法对比验证,同时也可通过可视化界面直观评估。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解,并且构成说明书的一部分。其中,表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案,但并不构成对本申请技术方案的限制。
图1为本申请实施例的无人矿卡仿真系统的构造示意图。
图2为本申请实施例的无人矿卡仿真系统中的矿卡动力学模型10的构造示意图。
图3为本申请实施例的无人矿卡仿真系统中的虚拟现实场景展示模型20的创建流程图。
图4为本申请实施例的利用环境感知模块30验证基于视觉的感知算法的流程示意图。
图5为本申请实施例的利用规划算法验证模块40实现速度规划的流程示意图。
图6为本申请实施例的利用控制算法验证模块50实现速度控制的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征,在不相冲突前提下可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
针对背景技术中涉及到的现有问题,本发明实施例提出了一种具备可视化场景的无人矿卡相关算法快速验证平台(后文也称“无人矿卡仿真系统”),整个平台基于Matlab/Simulink开发。利用该平台,可快速验证环境感知算法、路径跟踪控制算法、避障规划算法、速度决策与控制算法的有效性。整个无人矿卡仿真平台具备准确的矿卡动力学模型、逼真的可视化展示场景、完备的各类算法模块。对每一个需要测试的算法均可进行参数化展示、以及与既有算法对比验证,同时也可通过可视化界面直观评估。
下面参考附图说明该平台的组成和功能。
图1为本申请实施例的无人矿卡仿真系统的构造示意图。如图1所示,该无人矿卡仿真系统包括如下模块(在优选例子中,以模型的形式出现):矿卡动力学模型(作为“矿卡动力学仿真系统”的一个例子)10、矿卡及道路环境的虚拟现实模型(作为“虚拟现实场景展示模块”的一个例子)20、环境感知模块(作为“感知算法验证模块”的一个例子)30、规划算法验证模块40、控制算法验证模块50以及电子地图。
概况来说,矿卡动力学模型10,其模拟仿真矿卡车辆的运行状态,分析其在全液压转向机制、车辆轮胎动力学和车辆悬架动力学的性能;虚拟现实模型20,其在虚拟现实场景中可视化展现出与当前矿卡车辆的性能数据对应的矿卡运动状态;环境感知模块30,其对虚拟现实场景中实时获取的矿卡感知数据进行感知算法的验证;规划算法验证模块40,其基于预设的电子地图和感知算法验证的结果进行避障路径的规划和避障路径的速度规划;控制算法验证模块50,其基于规划算法模块对参考路径和参考车速的规划结果实现对路径跟踪的控制和目标速度的控制。
下面具体说明上述各个模型/模块的功能、组成等。
(1)矿卡动力学模型10
作为无人矿卡仿真平台的重要组成部分,矿卡动力学模型10的建立准确性是实现算法有效性验证的前提。因此,本发明实施例首先搭建了16个自由度的矿卡动力学模型并将模型准确性通过实车试验进行验证,之后在虚拟现实场景中实现矿卡与道路环境的可视化。
矿卡动力学模型10的16个自由度包括车体沿纵向、横向、垂向、侧倾、俯仰和横摆运动的6个自由度,左右前轮绕主销转动的2个自由度,左右前轮垂向运动的2个自由度,后轴车轮整体的垂向和侧倾2个自由度,以及四个车轮转动的4个自由度。除此之外该执行系统结合车辆的全液压转向机制、车辆轮胎动力学、车辆悬架动力学结构等,构成了一种实现车辆多方面分析及数据处理的综合性系统。
如图2所示,矿卡动力学模型10的框架主要包括车身动力学、悬架动力学、转向机构动力学、全液压转向器、轮胎滑移计算、轮胎横向与纵向力计算、轮胎垂向动力学、地形高度输入等八个主要模块组成。通过模块化创建、各模块之间参数交互的定义,完成车辆的模型搭建。矿卡动力学模型10主要包括:全液压转向子系统和整车动力学子系统。全液压转向子系统,其根据液压转向-轮胎动力响应模型和全液压转向系统数学模型,分析矿卡在全液压转向机制上的性能;整车动力学子系统,其配置有悬架结构数据库,根据每种悬架结构对应的表征悬架车身轮胎运动关系的整车动力学方程,分析矿卡在车辆悬架动力学和车辆轮胎动力学的性能。全液压转向子系统包括转向机构动力学模块160和全液压转向器模块170。整车动力学子系统包括轮胎滑移计算模块110、轮胎横向力与纵向力模块120、轮胎垂向动力学模块130、悬架动力学模块140、车身动力学模块150和地形高度输入模块180。
具体地,轮胎滑移计算模块110,其根据实时获取的输入参数,计算轮胎当前的滑移率,并得到相应的轮胎侧偏角、轮胎转速等信息。轮胎滑移计算模块110与输入系统的速度控制模块520、轮胎横向力与纵向力模块120、轮胎垂向动力学模块130及车身动力学模块150连接,并进行参数交互。轮胎滑移计算模块110的输入参数包括:从输入系统中获取到的驱动力矩和制动力矩、从车身动力学模块150获取到的矿车实际速度和矿车实际位置;从轮胎横向力与纵向力模块120获取到的轮胎纵向力;以及从轮胎垂向动力学模块130获取到的轮胎当前的垂向力和轮胎实时滚动半径等信息。另外,需要将整车动力学方程中关于计算滑移率相关的关系方程写入轮胎滑移计算模块110中,以对该模块进行定义。
轮胎横向力与纵向力模块120,其根据实时获取到的输入参数,计算轮胎当前的横向力及侧向力,并得到相应的回转力矩等信息。轮胎横向力与纵向力模块120与轮胎垂向动力学模块130、转向机构动力学模块160、以及悬架动力学模块140连接,并进行参数交互。轮胎横向力与纵向力模块120的输入参数包括:从轮胎滑移计算模块110获取到的输出参数;从轮胎垂向动力学模块130获取到的轮胎当前的垂向力和轮胎实时滚动半径等信息。另外,需要将整车动力学方程中关于计算轮胎侧向力、纵向力等信息相关的关系方程写入轮胎横向力与纵向力模块120中,以对该模块120进行定义。
轮胎垂向动力学模块130,其根据实时获取到的输入参数,计算轮胎当前的垂向力及变形量,并得到相应的轮胎当前时刻的垂向速度和滚动半径等信息。轮胎垂向动力学模块130与转向机构动力学模块160、地形高度输入模块180、车身动力学模块150及悬架动力学模块140连接,并进行参数交互。轮胎垂向动力学模块130的输入参数包括:从地形高度输入模块180获取到的实时地面高度、从悬架动力学模块140获取到的悬架倾角和车身倾角;从车身动力学模块150获得的车身垂向速度、车身姿态角和悬架垂向力等信息。另外,需要将整车动力学方程中关于计算轮胎垂向力及变形量等信息相关的关系方程写入轮胎垂向动力学模块130中,以对该模块130进行定义。
在悬架动力学模块140设置有悬架结构数据库。悬架结构数据库存储有多种常用矿车的悬架结构类型,每种悬架结构类型对应有相应种类的整车动力学方程,以表示该种类悬架结构下的悬架、车身、轮胎之间的结构关系、受力关系和运动关系等信息。在实际应用过程中,需要驾驶员在使用前设置好符合当前矿车的悬架结构,矿卡动力学模型10便会自动选择与当前悬架结构类型对应的整车动力学方程应用在矿车行驶过程中,对实时输入参数信息进行处理、计算及分析,并输出符合当前矿车悬架类型的动力学展示数据。
悬架动力学模块140,其根据实时获取到的输入参数,计算符合当前矿车悬架类型的悬架位移、悬挂行程、悬架侧向力、悬架垂向力及悬架纵向力,并得到相应的计算结果。悬架动力学模块140与车身动力学模块150连接,悬架动力学模块140的输入参数包括:从轮胎横向力与纵向力模块120获取到的轮胎纵向力、轮胎侧向力和回转力矩;从轮胎垂向动力学模块130获取到的轮胎垂向力和实时滚动半径;从车身动力学模块150获得的车身垂向位移、车身侧倾角、车身俯仰角等信息。另外,将整车动力学运动方程中关于悬架三向力计算、悬架位移计算等相关关系方程写入悬架动力学模块140中,以定义该模块140的含义。
车身动力学模块150,其根据实时获取到的输入参数,计算当前矿车运行过程中的车身动力学参数,并得到相应的包括车身垂向位移、车身侧倾角和车身俯仰角等信息的计算结果。车身动力学模块150的输入参数包括:从转向机构动力学模块160获取到的车轮转向角;从悬架动力学模块140获取到的悬架垂向力、悬架侧向力和悬架纵向力等信息。另外,将整车动力学运动方程中关于车身动力学的相关关系方程写入车身动力学模块150中,以定义该模块150的含义。
转向机构动力学模块160,其根据输入参数,利用液压转向-轮胎动力响应模型,计算矿车车轮实时的转向角、以及油缸实时移动的变化量,得到相应的车轮转角、油缸位移数据。转向机构动力学模块160与全液压转向器模块170连接,转向机构动力学模块160的输入参数包括:从全液压转向器模块170获得的油缸推力;从轮胎横向力与纵向力模块120获得的轮胎纵向力、轮胎侧向力和回转力矩;从轮胎垂向动力学模块130获得的轮胎垂向力和实时轮胎滚动半径等信息。将预先设定好的液压转向-轮胎动力响应模型写入转向机构动力学模块160中,以定义该模块160的含义。其中,本发明实施例中的液压转向-轮胎动力响应模型是根据矿用车辆的全液压转向系统的机械运行原理及相关的运行机制方程,结合矿用车辆轮胎动力学原理及相关运行机制方程构建而成的。这样,该模块160得到的车轮转角是结合了全液压转向系统及车辆动力学系统得到的。
全液压转向器模块170,其根据输入参数,利用全液压转向系统数学模型,计算液压油路中的流量、油压数据,进一步得到相应的油缸推力。全液压转向器模块170与转向机构动力学模块160及输入系统中的路径跟踪控制模块510连接,并进行参数交互。全液压转向器模块160的输入参数包括:从路径跟踪控制模块510获得的方向盘转角、从转向机构动力学模块160获取到的当前油缸位移等信息。将全液压转向系统数学模型写入全液压转向器模块160中,以定义该模块160的含义。其中,上述全液压转向系统数学模型是根据矿用车辆的全液压转向系统的机械运行原理并结合运行机制方程构建而成的。这样,该模块160得到的油缸推力是结合了实时油缸位移数据得到的。
地形高度输入模块180,其设置道路等级数据库,该数据库包括应用于矿车的满足多种地形路况的地形等级信息。每种地形等级信息包括符合该种地形类型的随机函数,并在矿车实时运行过程中,生成相应的表征实施地面高度的随机数。在实际应用过程中,驾驶员需要在使用前设置好符合当前矿车行驶路径路况的地形等级,地形高度输入模块180便会自动选择相应的随机函数,以在矿车行驶过程中对实时输出实时地面高度数据。这样,通过构建地形高度输入模块180,将矿用车辆的运行环境考虑在内,提高了矿用车辆动力学建模仿真的精确度与实操性。
(2)虚拟现实模型20
无人矿卡仿真平台中的可视化场景由通用场景和特殊场景组成,通用场景包括天空、灯光、摄像机、以及V-Realm Builder中的各种场景组成;特殊场景必须借助专业三维软件创建,包括矿卡三维模型、道路、障碍物等。
图3为本申请实施例的无人矿卡仿真系统中的虚拟现实场景展示模型20的创建流程图,下面参考图3来说明该模型的创建步骤。
如图3所示,首先,需要在三维软件中建立高逼真度的矿卡三维模型,并根据电子地图数据创建矿区道路模型,以及障碍物等模型(步骤S31);之后将三维软件建立的特殊场景以零部件的形式转换为V-Realm Builder可识别的中间格式,并进行初步处理(步骤S32);然后利用3D World Editor将各子系统按照父子关系进行整车模型和场景的搭建(步骤S33);在虚拟现实模型中建立不同的视点,从而可以从不同角度观测矿卡的运动姿态(步骤S34);在Simulink模型中加入VR Sink模块,加载可视化场景文件,确定各子系统的运动自由度作为数据交互的接口(S35);最后将VR Sink中的虚拟场景接口与矿卡动力学数学模型关联(S36),从而实现数学模型仿真数据实时驱动虚拟场景中矿卡产生相应的运动。矿卡的整车动力学模型10预留参数输入接口,从而可适用于不同大小车辆的仿真与测试。
(3)环境感知模块30
由于虚拟现实场景中可以输出实时的视频画面和雷达探测距离等感知数据,可据此进行基于视觉感知算法的开发和验证。
该环境感知模块30可以完成包括基于单目/双目视觉的障碍物和车道线检测,以及基于视觉的车辆组合定位等视觉感知算法的验证。
基于视觉的感知算法验证流程如图4所示:
首先,将从虚拟现实场景中得到的视频图像进行预处理,依次经过图像去噪、边缘增强、对比度增强、图像分割、形态学处理,之后提取得到图像特征、以及车辆相对车道线的位置特征。对于以视觉检测进行的车道保持功能,将基于车道线确定的车辆位置信息与仿真得到的位置误差信息对比;对于以视觉检测进行的高精度定位,在与高精地图进行对比后,得到视觉定位数据。最后将基于视觉的感知结果与仿真定位数据进行对比评估。在对基于视觉的感知算法验证过程中,若直接用实际车辆场景进行验证,除了测试成本高、周期长的缺点外,还受到其他测量方法测试精度的影响。如视觉定位算法的验证中,实车测试需要与GPS定位数据进行对比,但GPS定位存在一定偏差且容易受到环境遮挡等因素影响;而通过仿真平台验证时,用于对比的车辆定位数据为车辆模型运行的实际数据,不存在误差的影响。
(4)规划算法验证模块40
无人矿卡仿真平台的规划算法验证模块40包括路径规划子模块和速度规划(或速度决策)子模块。平台配备了初始电子地图,路径规划子模块根据配备的电子地图、当前车辆位置和指定的终点位置进行全局行驶路径规划,用于全局导航;在遇到障碍物时路径规划子模块需要进行相应的避障路径规划操作,即根据当前车辆位置、航向,障碍物位置、大小,以及终点位置和航向实现对局部路径的规划并实时更新地图。由于该平台配备了路径跟踪控制模块,可实现对规划路径有效性的快速验证。
此外,车辆行驶的纵向速度也需要进行相应的决策规划处理,从而可以实现对电子地图和避障过程中规划路径的速度控制。无人矿卡仿真平台嵌入的速度规划算法流程参考图5。如图5所示,首先根据参考路径的曲率、允许的侧向加速度极限值、道路坡度、行驶偏差、道路限速要求等,对全局道路进行初始速度规划,并将不同速度相邻区域的临界点进行标记(S51);为保证矿卡的平稳和安全行驶,对前方预瞄距离内各参考点的速度值进行进一步规划,考虑车辆的驱动和制动能力、当前车速、初始规划车速,确定制动和加速区域(S52);之后得到加速/制动区域各个坐标点的目标速度值(S53);最后为保证行驶安全,对最高速度进行限值处理(S54);最终输出各点的目标速度的值(S55)。
(5)控制算法验证模块50
无人矿卡仿真平台的控制算法验证模块50包括路径跟踪控制(横向控制)子模块和速度控制(纵向控制)子模块两部分。
路径跟踪控制子模块,其根据电子地图与实时规划路径,以横向位置误差、航向角偏差、车速、参考路径曲率和车辆相关参数作为输入,利用多种路径跟踪控制算法计算得出方向盘转角,从而实现矿卡对给定参考路径的跟踪控制。仿真平台为路径跟踪控制子模块提供的输入参数接口包括:横向位置误差、横向位置误差变化率、航向角偏差、航向角偏差变化率、车速、参考路径曲率、车辆相关参数等。输出量为目标方向盘转角、以及其他相关参数。仿真平台预先集成了PID控制、前馈+预瞄反馈控制、虚拟地形场控制共三种路径跟踪控制算法。在对其他路径跟踪控制算法进行验证时,只需要将目前的控制算法模块替换即可。控制效果评估包括控制误差数据显示和矿卡跟踪可视化展示两部分。
速度控制子模块,其根据目标速度规划结果,以参考车速、实际车速和目标加速度作为输入,计算得出油门踏板、电制动踏板、机械制动踏板行程数值,作为输出量发送给车辆动力学模型。该仿真平台的矿卡为电传动结构,加速时采用电机驱动,减速时有两种制动模式:车速较高时采用电机反拖制动,较低车速时改用机械制动。因此,必须准确模拟矿卡的驱动和制动特性,才能使整个无人矿卡仿真平台与实际相接近。速度控制流程如图6所示。
首先根据参考车速、实际车速计算得出油门踏板、制动踏板的开度数值,大于0时表示油门开度,处于驱动行驶模式,此时根据油门开度、车速等信息计算的出各轮对应的驱动力矩;小于0时表示制动踏板开度,处于制动模式,根据车速和制动强度的需求进一步划分为电制动和机械制动,最后计算得出制动力矩数值。
在感知、规划、控制等各项算法通过无人矿卡仿真平台验证后,即可通过代码转换功能自动生成C++程序,可实现算法的快速实际应用。
在一个优选实施例中,基于Matlab/Simulink软件搭建了具备可视化场景的无人矿卡感知、规划和控制算法的快速验证平台。但本发明实施例提出的矿用车辆模型及架构是基于数学模型给出的,实际模型搭建中可用多种数学建模软件来实现,不仅仅限于Matlab/Simulink,故本发明对模型构建及仿真软件环境不作具体限定,本领域技术人员可根据实际需求进行选择。本发明实施例采用Matlab/Simulink仿真的优势在于,Matlab为众多科研人员认可常用的软件,借助该软件创建矿卡模型后,可在同一个软件平台下进一步开发控制系统、虚拟显示系统等多种功能,避免了跨平台开发系统的缺陷,并且最终搭建的矿卡动力学模型可满足模型准确性、运行实时性、可扩展性等众多优势。
综上所述,整个无人矿卡仿真平台具备准确的矿卡动力学模型、逼真的可视化展示场景、完备的各类算法模块。利用该平台可对规划、决策、控制算法的有效性进行快速验证。对每一个需要测试的算法证均可进行参数化展示、以及与既有算法对比验证,同时也可通过可视化界面直观评估。本发明实施例搭建的无人矿卡仿真平台能够对各种极端工况进行快速反复测试,提高无人矿卡的测试安全性、缩短测试周期、降低测试成本。由于无人矿卡仿真平台涵盖了准确的矿卡整车动力学模型,实现了对整体平台架构的搭建,可进行整车层面相关算法的验证。另外,矿卡仿真测试场景可根据实际需要进行广泛自定义搭建,仿真测试过程均为可视化界面显示。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (9)
1.一种用于验证无人矿卡相关算法的系统,其特征在于,该系统包括:
矿卡动力学仿真系统,其模拟仿真矿卡车辆的运行状态,分析其在全液压转向机制、车辆轮胎动力学和车辆悬架动力学的性能;
虚拟现实场景展示模块,其在虚拟现实场景中可视化展示出与当前矿卡车辆的性能数据相对应的矿卡的运动状态;
感知算法验证模块,其对虚拟现实场景中实时获取的矿卡感知数据进行感知算法的验证;
规划算法验证模块,其基于预设的电子地图和感知算法验证结果进行避障路径的规划和避障路径的速度规划;
控制算法验证模块,其基于所述规划算法验证模块对参考路径和参考速度的规划结果实现对路径跟踪的控制和目标速度的控制。
2.根据权利要求1所述的系统,其特征在于,所述矿卡动力学仿真系统包括如下:
全液压转向子系统,其根据液压转向-轮胎动力响应模型和全液压转向系统数学模型,分析矿卡在全液压转向机制上的性能;以及
整车动力学子系统,其配置有悬架结构数据库,根据每种悬架结构对应的表征悬架车身轮胎运动关系的整车动力学方程,分析矿卡在车辆悬架动力学和车辆轮胎动力学的性能。
3.根据权利要求2所述的系统,其特征在于,所述整车动力学子系统包括如下模块:
轮胎滑移计算模块,其计算轮胎当前的滑移率,并得到相应的轮胎侧偏角和轮胎转速;
轮胎横向力与纵向力模块,其与轮胎滑移计算模块连接,计算轮胎当前的横向力及侧向力,并得到相应的回转力矩;
轮胎垂向动力学模块,其与轮胎横向力与纵向力模块连接,计算轮胎当前的垂向力及变形量,并得到相应的轮胎当前时刻的垂向速度和滚动半径;
悬架动力学模块,其与轮胎横向力与纵向力模块和轮胎横向力与纵向力模块连接,计算符合当前矿车悬架类型的悬架位移、悬挂行程、悬架侧向力、悬架垂向力及悬架纵向力;
车身动力学模块,其与悬架动力学模块连接,计算当前矿车运行过程中的车身动力学参数,并得到相应的包括车身垂向位移、车身侧倾角和车身俯仰角等信息的计算结果;
地形高度输入模块,其与轮胎垂向动力学模块连接,在矿车行驶过程中实时输出对应当前矿车行驶路径路况的地形等级的地面高度数据。
4.根据权利要求2或3所述的系统,其特征在于,所述全液压转向子系统包括如下模块:
转向机构动力学模块,其与轮胎横向与纵向力模块、轮胎垂向动力学模块、车身动力学模块连接,利用液压转向-轮胎动力响应模型,计算矿车车轮实时的转向角、以及油缸实时移动的变化量,得到相应的车轮转角和油缸位移数据;
全液压转向器模块,其与转向机构动力学模块连接,利用全液压转向系统数学模型,计算液压油路中的流量和油压数据,进一步得到相应的油缸推力。
5.根据权利要求1~4中任一项所述的系统,其特征在于,
所述感知算法验证模块,其根据获取的矿卡感知数据,对基于单目/双目视觉的障碍物和车道线检测,以及基于视觉的车辆组合定位的视觉感知算法进行验证。
6.根据权利要求1~5任一项所述的系统,其特征在于,所述规划算法验证模块包括:
路径规划子模块,其根据配备的电子地图、当前车辆位置和指定的终点位置进行全局行驶路径规划;
速度规划子模块,其根据参考路径的曲率、允许的侧向加速度极限值、道路坡度、行驶偏差和道路限速要求,对全局道路进行初始速度规划。
7.根据权利要求6所述的系统,其特征在于,
所述路径规划子模块,其在遇到障碍物时,根据当前车辆位置、航向,障碍物位置、大小,以及终点位置和航向实现对局部路径的规划并实时更新地图;
所述速度规划子模块,其对前方预瞄距离内各参考点的速度值进行进一步规划,根据车辆的驱动和制动能力、当前车速、初始规划车速,实现预瞄范围内速度的平滑可靠规划。
8.根据权利要求1~6任一项所述的系统,其特征在于,所述控制算法验证模块包括:
路径跟踪控制子模块,其根据电子地图与实时规划路径,以横向位置误差、航向角偏差、车速、参考路径曲率和车辆相关参数作为输入,利用多种路径跟踪控制算法计算得出方向盘转角,从而实现矿卡对给定参考路径的跟踪控制;
速度控制子模块,其根据目标速度规划结果,以参考车速、实际车速和目标加速度作为输入,计算得出油门踏板、电制动踏板、机械制动踏板行程数值,作为输出量发送给车辆动力学模型。
9.根据权利要求1所述的系统,其特征在于,该系统是基于Matlab/Simulink软件搭建而成的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811636749.XA CN109726480A (zh) | 2018-12-29 | 2018-12-29 | 一种用于验证无人矿卡相关算法的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811636749.XA CN109726480A (zh) | 2018-12-29 | 2018-12-29 | 一种用于验证无人矿卡相关算法的系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109726480A true CN109726480A (zh) | 2019-05-07 |
Family
ID=66297941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811636749.XA Pending CN109726480A (zh) | 2018-12-29 | 2018-12-29 | 一种用于验证无人矿卡相关算法的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109726480A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368424A (zh) * | 2020-03-03 | 2020-07-03 | 北京百度网讯科技有限公司 | 一种车辆仿真方法、装置、设备及介质 |
CN111967129A (zh) * | 2020-07-06 | 2020-11-20 | 上海工程技术大学 | 一种基于CarMaker仿真环境的纵向避障验证方法 |
CN112131697A (zh) * | 2019-06-06 | 2020-12-25 | 上海汽车集团股份有限公司 | 一种智能集卡的仿真测试方法、装置及平台 |
CN112926194A (zh) * | 2021-02-02 | 2021-06-08 | 三一重型装备有限公司 | 矿车悬挂系统状态信息的获取方法及系统 |
CN113031583A (zh) * | 2020-03-13 | 2021-06-25 | 青岛慧拓智能机器有限公司 | 一种结构化道路避障方法 |
CN113602285A (zh) * | 2021-08-05 | 2021-11-05 | 北京赛目科技有限公司 | 一种车辆自动驾驶的控制方法、装置、设备及介质 |
CN113848750A (zh) * | 2021-09-14 | 2021-12-28 | 清华大学 | 一种双轮机器人仿真系统及机器人系统 |
CN116224825A (zh) * | 2022-12-08 | 2023-06-06 | 中国科学院力学研究所 | 一种基于悬挂摆的单自由度无拖曳控制仿真系统 |
CN116588087A (zh) * | 2023-07-14 | 2023-08-15 | 上海伯镭智能科技有限公司 | 基于多模态数据的无人驾驶矿车装卸点停靠方法 |
CN116880472A (zh) * | 2023-06-30 | 2023-10-13 | 西安建筑科技大学 | 一种露天无人驾驶矿车行进障碍物的智能检测系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866181A (zh) * | 2009-04-16 | 2010-10-20 | 中国农业大学 | 农用机械的导航方法、导航装置和农用机械 |
CN106649983A (zh) * | 2016-11-09 | 2017-05-10 | 吉林大学 | 用于无人驾驶车辆高速运动规划的车辆动力学模型建模方法 |
CN107782564A (zh) * | 2017-10-30 | 2018-03-09 | 青岛慧拓智能机器有限公司 | 一种自动驾驶车辆测评系统及方法 |
CN107843440A (zh) * | 2017-10-30 | 2018-03-27 | 青岛慧拓智能机器有限公司 | 一种自动驾驶车辆性能测试系统及方法 |
CN107992016A (zh) * | 2016-10-26 | 2018-05-04 | 法乐第(北京)网络科技有限公司 | 一种无人驾驶车辆模拟测试方法 |
CN107991898A (zh) * | 2016-10-26 | 2018-05-04 | 法乐第(北京)网络科技有限公司 | 一种无人驾驶车辆模拟测试装置及电子设备 |
CN108656962A (zh) * | 2018-05-10 | 2018-10-16 | 中国石油大学(华东) | 一种智能网联电动观光车及控制方法 |
CN108803607A (zh) * | 2018-06-08 | 2018-11-13 | 北京领骏科技有限公司 | 一种用于自动驾驶的多功能仿真系统 |
CN109670266A (zh) * | 2018-12-29 | 2019-04-23 | 青岛慧拓智能机器有限公司 | 一种用于创建矿用车辆动力学模型的方法 |
-
2018
- 2018-12-29 CN CN201811636749.XA patent/CN109726480A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866181A (zh) * | 2009-04-16 | 2010-10-20 | 中国农业大学 | 农用机械的导航方法、导航装置和农用机械 |
CN107992016A (zh) * | 2016-10-26 | 2018-05-04 | 法乐第(北京)网络科技有限公司 | 一种无人驾驶车辆模拟测试方法 |
CN107991898A (zh) * | 2016-10-26 | 2018-05-04 | 法乐第(北京)网络科技有限公司 | 一种无人驾驶车辆模拟测试装置及电子设备 |
CN106649983A (zh) * | 2016-11-09 | 2017-05-10 | 吉林大学 | 用于无人驾驶车辆高速运动规划的车辆动力学模型建模方法 |
CN107782564A (zh) * | 2017-10-30 | 2018-03-09 | 青岛慧拓智能机器有限公司 | 一种自动驾驶车辆测评系统及方法 |
CN107843440A (zh) * | 2017-10-30 | 2018-03-27 | 青岛慧拓智能机器有限公司 | 一种自动驾驶车辆性能测试系统及方法 |
CN108656962A (zh) * | 2018-05-10 | 2018-10-16 | 中国石油大学(华东) | 一种智能网联电动观光车及控制方法 |
CN108803607A (zh) * | 2018-06-08 | 2018-11-13 | 北京领骏科技有限公司 | 一种用于自动驾驶的多功能仿真系统 |
CN109670266A (zh) * | 2018-12-29 | 2019-04-23 | 青岛慧拓智能机器有限公司 | 一种用于创建矿用车辆动力学模型的方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112131697A (zh) * | 2019-06-06 | 2020-12-25 | 上海汽车集团股份有限公司 | 一种智能集卡的仿真测试方法、装置及平台 |
CN111368424B (zh) * | 2020-03-03 | 2023-09-01 | 阿波罗智能技术(北京)有限公司 | 一种车辆仿真方法、装置、设备及介质 |
CN111368424A (zh) * | 2020-03-03 | 2020-07-03 | 北京百度网讯科技有限公司 | 一种车辆仿真方法、装置、设备及介质 |
CN113031583A (zh) * | 2020-03-13 | 2021-06-25 | 青岛慧拓智能机器有限公司 | 一种结构化道路避障方法 |
CN111967129A (zh) * | 2020-07-06 | 2020-11-20 | 上海工程技术大学 | 一种基于CarMaker仿真环境的纵向避障验证方法 |
CN112926194A (zh) * | 2021-02-02 | 2021-06-08 | 三一重型装备有限公司 | 矿车悬挂系统状态信息的获取方法及系统 |
CN112926194B (zh) * | 2021-02-02 | 2024-04-12 | 三一重型装备有限公司 | 矿车悬挂系统状态信息的获取方法及系统 |
CN113602285A (zh) * | 2021-08-05 | 2021-11-05 | 北京赛目科技有限公司 | 一种车辆自动驾驶的控制方法、装置、设备及介质 |
CN113602285B (zh) * | 2021-08-05 | 2022-08-26 | 北京赛目科技有限公司 | 一种车辆自动驾驶的控制方法、装置、设备及介质 |
CN113848750A (zh) * | 2021-09-14 | 2021-12-28 | 清华大学 | 一种双轮机器人仿真系统及机器人系统 |
CN116224825B (zh) * | 2022-12-08 | 2024-04-09 | 中国科学院力学研究所 | 一种基于悬挂摆的单自由度无拖曳控制仿真系统 |
CN116224825A (zh) * | 2022-12-08 | 2023-06-06 | 中国科学院力学研究所 | 一种基于悬挂摆的单自由度无拖曳控制仿真系统 |
CN116880472A (zh) * | 2023-06-30 | 2023-10-13 | 西安建筑科技大学 | 一种露天无人驾驶矿车行进障碍物的智能检测系统 |
CN116588087A (zh) * | 2023-07-14 | 2023-08-15 | 上海伯镭智能科技有限公司 | 基于多模态数据的无人驾驶矿车装卸点停靠方法 |
CN116588087B (zh) * | 2023-07-14 | 2023-09-29 | 上海伯镭智能科技有限公司 | 基于多模态数据的无人驾驶矿车装卸点停靠方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109726480A (zh) | 一种用于验证无人矿卡相关算法的系统 | |
CN108803607B (zh) | 一种用于自动驾驶的多功能仿真系统 | |
Best et al. | Autonovi-sim: Autonomous vehicle simulation platform with weather, sensing, and traffic control | |
Marín-Plaza et al. | Stereo vision-based local occupancy grid map for autonomous navigation in ros | |
JP6811335B2 (ja) | 自動運転シミュレータ及び自動運転シミュレータ用地図生成方法 | |
EP4141736A1 (en) | Lane tracking method and apparatus | |
CN107403038A (zh) | 一种智能汽车虚拟快速测试方法 | |
CN103413473B (zh) | 一种地下矿用铰接车的驾驶模拟系统 | |
US20220004197A1 (en) | Verification Of Iterative Closest Point Alignments For Autonomous Vehicles | |
Li et al. | Pre-deployment testing of low speed, Urban Road Autonomous Driving in a Simulated Environment | |
US20230230330A1 (en) | Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles | |
CN112035951A (zh) | 一种用于自动驾驶算法验证的仿真平台及仿真方法 | |
Guvenc et al. | Simulation Environment for Safety Assessment of CEAV Deployment in Linden | |
Teng et al. | Fusionplanner: A multi-task motion planner for mining trucks using multi-sensor fusion method | |
Li et al. | Design and performance evaluation of a simple semi-physical human-vehicle collaborative driving simulation system | |
Artunedo et al. | Advanced co-simulation framework for cooperative maneuvers among vehicles | |
Seraji | New traversability indices and traversability grid for integrated sensor/map‐based navigation | |
Sukthankar et al. | Tactical-level simulation for intelligent transportation systems | |
Goodin et al. | High-fidelity physics-based simulation of a UGV reconnaissance mission in a complex urban environment | |
Aparow et al. | Scenario based simulation testing of autonomous vehicle using Malaysian road | |
Estreen et al. | Visualization of Platooning in Unity | |
Luo et al. | Intelligent vehicle simulation and debugging environment based on physics engine | |
Sidharth et al. | Sensor fusion, mapping, localization and calibration of a converted autonomous quad bike | |
Redmill et al. | Virtual environment simulation for image processing sensor evaluation | |
Redmill et al. | Sensor and data fusion design and evaluation with a virtual environment simulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190507 |
|
RJ01 | Rejection of invention patent application after publication |