CN106200612B - 用于测试车辆的方法和系统 - Google Patents
用于测试车辆的方法和系统 Download PDFInfo
- Publication number
- CN106200612B CN106200612B CN201610532297.5A CN201610532297A CN106200612B CN 106200612 B CN106200612 B CN 106200612B CN 201610532297 A CN201610532297 A CN 201610532297A CN 106200612 B CN106200612 B CN 106200612B
- Authority
- CN
- China
- Prior art keywords
- test
- machine
- emulates
- emulation server
- assignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本申请公开了用于测试车辆的方法和系统。所述方法的一具体实施方式包括:仿真服务器接收客户端发送的测试任务和执行该测试任务所需要的测试场景集合,其中,测试场景集合包括多个测试场景,客户端用于为用户提供人机交互的界面;仿真服务器将各测试场景分别分配到第一仿真执行机,并将测试任务发送到各第一仿真执行机,以使各第一仿真执行机在单个测试场景下并行执行测试任务;仿真服务器从各第一仿真执行机获取测试任务的测试结果;仿真服务器将测试结果与预设的测试标准对比,生成测试任务的反馈信息,并将反馈信息发送到客户端。该实施方式中的各第一仿真执行机在不同测试场景下并行执行测试任务,提高了车辆测试的效率。
Description
技术领域
本申请涉及车辆测试技术领域,尤其涉及用于测试车辆的方法和系统。
背景技术
随着社会的发展,车辆已经成为比较常用的交通工具。为了保证车辆在不同场景下性能的良好性以及行驶的安全性,在车辆定型前,需要进行一系列的测试实验,测试车辆的控制系统等的性能。
在测试阶段的车辆直接上路测试会造成测试成本增加,并具有一定的危险性。因此,业内通常采用模拟仿真的方式测试车辆中控制系统等的性能。通常,为了提高车辆的性能,需要测试人员进行多次仿真实验,测试大量的测试场景下车辆的控制系统等的性能。但是,现有的仿真试验方法通常是基于单机完成的,即采用单个仿真执行机依次测试不同测试场景下的测试任务,因此,如果需要完成大量场景下的仿真实验往往需要半年甚至一年的时间,造成了测试周期长、效率低的问题。
发明内容
本申请的目的在于提出一种改进的用于测试车辆的方法和系统,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种用于测试车辆的方法,所述方法包括:仿真服务器接收客户端发送的测试任务和执行该测试任务所需要的测试场景集合,其中,所述测试场景集合包括多个测试场景,所述客户端用于为用户提供人机交互的界面,以使所述用户在所述客户端配置所述测试任务;所述仿真服务器将各所述测试场景分别分配到第一仿真执行机,并将所述测试任务发送到各所述第一仿真执行机,以使各所述第一仿真执行机在单个测试场景下并行执行所述测试任务;所述仿真服务器从各所述第一仿真执行机获取所述测试任务的测试结果;所述仿真服务器将所述测试结果与预设的测试标准对比,生成所述测试任务的反馈信息,并将所述反馈信息发送到所述客户端。
在一些实施例中,所述方法还包括:所述客户端从测试场景模块选取所述测试场景集合,其中,所述测试场景模块用于分类存储测试场景以及测试场景的场景数据。
在一些实施例中,所述方法还包括:所述第一仿真执行机判断本地缓存中是否存在该第一仿真执行机被分配的所述测试场景的场景数据;若是,所述第一仿真执行机从所述本地缓存中获取所述测试场景的场景数据;若否,所述第一仿真执行机从所述测试场景模块中获取所述测试场景的场景数据,并将所述测试场景的场景数据存储到所述本地缓存。
在一些实施例中,在所述仿真服务器从各所述第一仿真执行机获取所述测试任务的测试结果之前,所述方法还包括:当所述仿真服务器确定存在发生故障的第一仿真执行机时,所述仿真服务器调度第二仿真执行机作为所述第一仿真执行机重新执行所述测试任务。
在一些实施例中,各所述第一仿真执行机之间相互独立。
在一些实施例中,所述仿真服务器中设有等待队列;所述方法还包括:所述仿真服务器查询是否存在空闲状态的仿真执行机;若是,所述仿真服务器从所述空闲状态的仿真执行机中选取预设数目的仿真执行机作为第一仿真执行机;若否,所述仿真服务器将所述测试任务存储在所述等待队列继续查询,直至确认存在空闲状态的仿真执行机。
第二方面,本申请提供了一种用于测试车辆的系统,所述系统包括:仿真服务器、仿真执行机、客户端,其中,所述仿真服务器分别连接所述仿真执行机和所述客户端;所述客户端,为用户提供人机交互的界面,响应于所述用户的操作指令配置测试任务和执行所述测试任务所需要的测试场景集合,并将所述测试任务和所述测试场景集合发送到所述仿真服务器,以及接收所述仿真服务器发送的所述测试任务的反馈信息,其中,所述测试场景集合包括多个测试场景;所述仿真执行机,多个所述仿真执行机在单个测试场景下并行执行同一测试任务,生成测试结果,以及将所述测试结果发送到所述仿真服务器;所述仿真服务器,用于将从所述客户端接收到的所述测试场景集合中的各测试场景分别分配到所述仿真执行机,将所述客户端接收到的所述测试任务发送到各所述仿真执行机,以及将从所述仿真执行机接收到的所述测试结果与预设的测试标准对比,生成所述测试任务的反馈信息。
在一些实施例中,所述系统还包括:测试场景模块,用于分类存储测试场景以及测试场景的场景数据;所述测试场景模块连接所述客户端,以使所述客户端从所述测试场景模块选取所述测试场景集合;所述测试场景模块连接所述仿真执行机,以使所述仿真执行机从所述测试场景模块获取该仿真执行机被分配的所述测试场景的场景数据,并将所述场景数据存储到所述仿真执行机的本地缓存。
在一些实施例中,所述仿真服务器还用于监控各所述仿真执行机的健康状态,以及当确定存在故障仿真执行机时调度正常仿真执行机代替所述故障仿真执行机。
在一些实施例中,各所述仿真执行机之间相互独立。
在一些实施例中,所述仿真服务器还用于查询是否存在空闲状态的仿真执行机,以及选取空闲状态的仿真执行机执行所述测试任务;所述仿真服务器中设有等待队列,用于在确定不存在空闲状态的仿真执行机的状态下,存储所述测试任务。
本申请提供的用于测试车辆的方法和系统,仿真服务器可以将客户端发送的测试任务和测试场景集合中的各测试场景分配到多个第一仿真执行机,各第一仿真执行机在单个测试场景下并列执行上述测试任务,之后上述仿真服务器获取上述测试任务的测试结果,并将测试结果与测试标准对比生成该测试任务的反馈信息,最后将该反馈信息发送到客户端,完成上述测试任务,上述测试方法通过采用多个第一仿真执行机在不同测试场景下并列执行测试任务,缩短了车辆测试的时间,提高了车辆测试的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了根据本申请的用于测试车辆的系统的一个实施例的架构图;
图2示出了根据本申请的用于测试车辆的方法的一个实施例的流程图;
图3示出了根据本申请的用于测试车辆的方法的又一个实施例的流程图;
图4是适于用来实现本申请实施例的客户端设备或仿真服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的用于车辆测试的系统的一个实施例的架构图100。如图所示,用于车辆测试的系统100可以包括客户端101、仿真执行机102和仿真服务器103。
在本实施例中,上述仿真服务器103可以分别连接上述仿真执行机102和上述客户端101,如图1所示。上述客户端101可以为用户提供人机交互的界面。当用户在上述客户端101进行操作时,上述客户端101可以响应于用户输入的操作指令配置需要测试的测试任务,以及执行该测试任务所需要的测试场景集合,而后将上述测试任务和测试场景集合发送到上述仿真服务器103。上述仿真服务器103可以接收上述客户端101发送的测试任务和该测试任务对应的测试场景集合,之后将上述测试场集合中的各测试场景分别分配到选择的仿真执行机102,将上述测试任务发送到上述被分配到测试场景的仿真执行机102。上述系统100中可以包括多个仿真执行机102,各仿真执行机102可以用于在单个测试场景下执行测试任务,并生成该测试任务的测试结果,以及将测试结果发送到上述仿真服务器103,仿真服务器103可以将测试结果与预先设置的测试标准对比,生成反馈信息,并将该反馈信息发送的客户端101,以便于上述用户获取该反馈信息。
需要说明的是,在上述系统100中通常存在多个仿真执行机102接收到同一测试任务(各仿真执行机102被分配的测试场景可以不同),则上述多个仿真执行机102可以并列执行该测试任务。而传统的车辆测试系统通常是采用单个仿真执行机依次在各测试场景下执行测试任务,测试任务耗费的总时间为在每个测试场景下执行测试任务耗费的时间的总和,测试消耗时间较长。由此可见,采用本实施例中的用于测试车辆的系统100可以缩短测试时间,提高测试效率。例如,当用户需要在5个不同的测试场景下测试车辆的决策控制算法的性能时,即上述测试任务为测试车辆的决策控制算法,用户可以通过上述客户端101将测试任务和测试场景发送给上述仿真服务器103,之后仿真服务器103从上述仿真执行机102中确定5个用于执行上述测试任务的第一仿真执行机,并将5个测试场景分别分配给上述确定的5个第一仿真执行机,以及将测试任务发送给上述各第一仿真执行机,以使第一仿真执行机在其所分配的测试场景下执行上述测试任务,需要说明的是,上述5个第一仿真执行机同时执行上述测试任务,各第一仿真执行机执行上述测试任务消耗的时间分别为t1、t2、t3、t4、t5,则该测试任务耗费的时间为t1、t2、t3、t4、t5中的最大值,而现有技术中该测试任务耗费的时间为t1、t2、t3、t4、t5的总和,由此可见,采用本实施例中的用于测试车辆的系统可以缩短车辆测试时间,提高测试效率。
在本实施例的一些可选的实现方式中,上述用于车辆测试的系统100还可以包括测试场景模块104,如图所示,该测试场景模块104可以用于分类存储测试场景以及测试场景的场景数据。上述测试场景模块104可以与上述客户端101连接,以使上述客户端101可以从该测试场景模块104选取执行测试任务所需要的测试场景,形成测试场景集合。上述测试场景模块104还可以与上述仿真执行端102连接,以使上述仿真执行机102可以从测试场景模块104获取该仿真执行机102被分配的测试场景的场景数据,之后,该仿真执行机102可以将上述测试场景的场景数据存储到该仿真执行机102的本地缓存中,以便于下次需要上述测试场景的场景数据时,仿真执行机102可以直接从本地缓存中调用上述场景数据,使得仿真执行机不必每次都从测试场景模块104获取测试场景数据,缩短测试时间,提高测试效率。
在本实施例的一些可选的实现方式中,上述仿真服务器103还可以用于监控上述仿真执行机102的健康状态,一旦发现仿真执行机102出现故障,仿真服务器103可以采取相应的措施解决问题,避免因仿真执行机102故障导致测试结果缺失的情况发生。例如,当上述仿真服务器103监控到正在执行测试任务的仿真执行机102中存在发生故障的仿真执行机102时,仿真服务器103可以调用正常的仿真执行机102代替上述发生故障的仿真执行机102,并控制该正常状态的仿真执行机102重新执行上述测试任务,从而保证仿真执行机102可以在测试场景集合中的各测试场景下执行上述测试任务,保证了测试的完整性。
在本实施例的一些可选的实现方式中,上述用于车辆测试的系统100可以包括大量的仿真执行机102,上述各仿真执行机102可以相互隔离,彼此之间不通信,从而避免了各仿真执行机102在执行测试任务时发生干扰。
在本实施例的一些可选的实现的方式中,上述仿真服务器103中还可以设有等待队列,当上述仿真服务器103接收到上述客户端101发送的测试任务,且不存在可以执行上述测试任务的空闲状态的仿真执行机102时,上述仿真服务器103可以将上述测试任务存储到其设置的等待队列中。即上述仿真服务器103还可以用于查询上述系统100中是否存在空闲状态的仿真执行机102。如果上述仿真服务器103确定上述系统100中存在空闲状态的仿真执行机102,该仿真服务器103可以从中选取预设数目的仿真执行机102,并将上述测试任务发送到选取的仿真执行机102;如果上述仿真服务器103确定上述系统100中不存在空闲状态的仿真执行机102,上述仿真服务器103可以将上述测试任务存储到上述等待队列中继续查询上述系统100中的仿真执行机102,直到确定该系统100中存在空闲状态的仿真执行机102。上述仿真服务器103可以选取空闲状态的仿真执行机102执行上述测试任务,以使各仿真执行机102可以负载均衡。
在本实施例的一些可选的实现方式中,上述用于车辆测试的系统100可以用于云计算环境。该系统100中的仿真执行机101的数量可以决定可以接收测试任务的数量,而用户通常可以通过客户端向上述仿真服务器103发送任务,因此该系统100还可以根据上述仿真执行机102的数量设置客户端101的数量。上述客户端101的数量和上述仿真执行机102的数量可以成正相关关系,以避免因客户端101数量较多而造成浪费。
本申请的上述实施例提供的用于测试车辆的系统100,通过设置客户端101、仿真执行机102、仿真服务器103,使得用户可以利用客户端101向仿真服务器103提交测试任务,仿真服务器103可以控制各仿真执行机102在被分配的单个测试场景下并行执行上述测试任务,缩短了测试的时间,提高了测试的效率。
继续参考图2,示出了根据本申请的用于车辆测试的方法的一个实施例的流程200。所述的用于车辆测试的方法,包括以下步骤:
步骤201,仿真服务器接收客户端发送的测试任务和执行该测试任务所需要的测试场景集合。
在本实施例中,用于车辆测试的方法中的仿真服务器可以通过无线通信的方式与上述客户端连接,上述仿真服务器可以接收客户端发送的测试任务和执行该测试任务所需要的测试场景。这里,客户端可以为用户提供用于车辆测试的人机交互的界面,用户可以在该客户端配置车辆测试的测试任务。上述测试场景集合可以包括多个测试场景。
通常,用户可以通过上述客户端配置车辆的各种测试任务,例如,这里的测试任务可以为测试车辆的决策控制算法的性能。上述测试场景通常是指在特定环境中发生特定连续事件的集合,可以描述为天气、道路结构、红绿灯情况、障碍物信息等类别的组合。譬如一个测试场景可以描述成晴天十字路口无红绿灯情况下,行人横穿马路。
在本实施例的一些可选的实现方式中,上述客户端可以从测试场景模块中选取执行上述测试任务所需要的测试场景构成上述测试场景集合。这里,测试场景模块主要用于分类存储测试场景和测试场景的场景数据。
步骤202,仿真服务器将各测试场景分别分配到第一仿真执行机,并将测试任务发送到各第一仿真执行机,以使各第一仿真执行机在单个测试场景下并行执行测试任务。
在本实施例中,上述仿真服务器可以将从上述客户端接收到的测试任务和测试场景集合中的各测试场景分配给第一仿真执行机,这里的第一仿真执行机可以用于在单个场景下执行上述测试任务。具体地,上述仿真服务器可以将上述场景集合中的各测试场景分别分配到第一仿真执行机,之后可以将上述测试任务发送到各第一仿真执行机,最后各第一仿真执行机在其被分配的单个场景下并行执行上述测试任务。例如,上述测试场景集合中包括5个测试场景,上述仿真服务器可以将5个测试场景分别分配到5个不同的第一仿真执行机,使得每个第一仿真执行机被分配到一个测试场景,之后上述仿真服务器将测试任务发送到上述5个第一仿真执行机,最后上述5个第一仿真执行机在其被分配的测试场景下同时执行上述测试任务。可以理解的是,若上述各第一仿真执行机执行上述测试任务消耗的时间分别为t1、t2、t3、t4、t5,则该测试任务耗费的时间为t1、t2、t3、t4、t5中的最大值,而现有技术中该测试任务耗费的时间为t1、t2、t3、t4、t5的总和,由此可见,采用本实施例中的方法进行车辆测试可以缩短车辆测试的时间,提高车辆测试的效率。
在本实施例的一些可选的实现方式中,上述各第一仿真执行机之间可以相互独立,即各第一仿真执行机相互隔离,彼此之间不通信,从而避免了各第一仿真执行机在执行测试任务时发生干扰。
在本实施例的一些可选的实现方式中,上述仿真服务器还可以实时监控上述各第一仿真执行机的健康状态。当上述仿真服务器监控到正在执行测试任务的第一仿真执行机中存在发生故障的第一仿真执行机,该仿真服务器可以调用正常的第二仿真执行机作为第一仿真执行机代替上述发生故障的第一仿真执行机。该正常的第一仿真执行机可以重新执行上述测试任务,从而保证了各第一仿真执行机可以在测试场景集合中的所有测试场景下执行上述测试任务,保证了测试的完整性。
步骤203,仿真服务器从各第一仿真执行机获取测试任务的测试结果。
在本实施例中,上述各第一仿真执行机在其被分配的测试场景下同时执行上述测试任务后,可以获得对应的测试结果。上述仿真服务器可以从上述各第一仿真执行机获取不同测试场景下测试任务的测试结果。这里的测试结果可以为行驶速度、减速时间等。
步骤204,仿真服务器将测试结果与预设的测试标准对比,生成测试任务的反馈信息,并将反馈信息发送客户端。
在本实施例中,可以预先设置测试标准,上述仿真服务器可以从上述各第一仿真执行机获取不同测试场景下测试任务的测试结果,之后将测试结果与上述测试标准对比,生成反馈信息。例如,上述仿真服务器获取了在某一测试场景下车辆的行驶时间和行驶距离,该仿真服务器可以确定上述车辆的测试结果(例如平均速度),之后将该测试结果与预设的测试标准对比,可以生成测试合格或者不合格等反馈信息。上述仿真服务器可以将上述测试任务的反馈信息发送到上述客户端,以使用户通过客户端确定测试车辆的性能。
本申请的上述实施例提供的用于测试车辆的方法,仿真服务器可以将客户端发送的测试任务和测试场景集合中的各测试场景分配到多个第一仿真执行机,各第一仿真执行机在单个测试场景下并列执行上述测试任务,之后上述仿真服务器获取上述测试任务的测试结果,并将测试结果与测试标准对比生成该测试任务的反馈信息,最后将该反馈信息发送到客户端,完成上述测试任务,上述测试方法通过采用多个第一仿真执行机在不同测试场景下并列执行测试任务,缩短了车辆测试的时间,提高了车辆测试的效率。
进一步参考图3,其示出了用于测试车辆的方法的又一个实施例的流程300。该用于测试车辆的方法的流程300,包括以下步骤:
步骤301,仿真服务器接收客户端发送的测试任务和执行该测试任务所需要的测试场景集合。
在本实施例中,用于车辆测试的方法中的仿真服务器可以通过无线通信的方式与上述客户端连接,上述仿真服务器可以接收客户端发送的测试任务和执行该测试任务所需要的测试场景。这里,客户端可以为用户提供用于车辆测试的人机交互的界面,用户可以在该客户端配置车辆测试的测试任务。上述测试场景集合可以包括多个测试场景。
步骤302,仿真服务器查询是否存在空闲状态的仿真执行机。
在本实施例中,上述仿真服务器基于步骤301接收到的测试任务,以及执行该测试任务所需要的测试场景集合,该仿真服务器查询是否存在处于空闲状态的仿真执行机,以选取预设数目的空闲状态的仿真执行机作为执行上述测试任务的第一仿真执行机,该方法可以使得各仿真执行机负载均衡。若上述仿真服务器确定存在空闲状态的仿真执行机,则可以转到步骤303;若上述仿真服务器确定不存在空闲状态的仿真执行机,则可以转到步骤304。
步骤303,仿真服务器从空闲状态的仿真执行机中选取预设数目的仿真执行机作为第一仿真执行机。
在本实施例中,仿真服务器基于步骤302确定的存在空闲状态的仿真执行机,上述仿真服务器可以从空闲状态的仿真执行机中选取预设数目的仿真执行机作为执行上述测试任务的第一仿真执行机。
在本实施例的一些可选的实现方式中,在上述仿真服务器确定存在空闲状态的仿真服务器的情况下,上述仿真服务器可以进一步确定空闲状态的仿真服务器的数量。若空闲状态的仿真执行机的数量大于或等于执行上述测试任务所需要的第一仿真执行机的数量,上述仿真服务器可以从中选取上述测试任务所需要的第一仿真执行机;若空闲状态的仿真执行机的数量小于执行上述测试任务所需要的第一仿真执行机的数量,上述仿真服务器可以将所有的空闲状态的仿真执行机作为第一仿真执行机,之后再继续等待空闲状态的仿真执行机。
步骤304,仿真服务器将测试任务存储在等待队列继续查询,直至确认存在空闲状态的仿真执行机。
在本实施例中,上述仿真服务器可以预先设置等待队列,该等待队列可以用于暂时存储测试任务。基于步骤302确定的不存在空闲状态的仿真执行机,上述仿真服务器可以将上述测试任务存储到上述等待队列中,继续查询空闲状态的仿真执行机,直到确认存在空闲状态的仿真执行机,则可以转到步骤303,即上述仿真服务器可以从空闲状态的仿真执行机中确定预设数目的仿真执行机作为执行上述测试任务的第一仿真执行机。
步骤305,仿真服务器将各测试场景分别分配到第一仿真执行机,并将测试任务发送到各第一仿真执行机。
在本实施例中,基于步骤303或304中确定的用于执行上述测试任务的第一仿真执行机,上述仿真服务器可以将接收到的测试场景集合中的各测试场景分配到上述第一仿真执行机,之后上述仿真服务器可以将接收到的测试任务发送到上述各第一仿真执行机,以便于各第一仿真执行机在不同的测试场景下执行上述测试任务。。
步骤306,第一仿真执行机判断本地缓存中是否存在该第一仿真执行机被分配的测试场景的场景数据。
在本实施例中,上述第一仿真执行机被分配测试场景后,该第一仿真执行机可以在本地缓存中查找是否存在上述分配的测试场景的场景数据。若上述第一仿真执行机的本地缓存中存在上述测试场景的场景数据,则转到步骤307;若上述第一仿真执行机的本地缓存中不存在上述测试场景的场景数据,则转到步骤308。
步骤307,第一仿真执行机从本地缓存中获取测试场景的场景数据。
在本实施例中,基于步骤306确定的上述第一仿真执行机的本地缓存中存在上述测试场景的场景数据,该第一仿真执行机可以从本地缓存中获取该第一仿真执行机被分配的测试场景的场景数据。
步骤308,第一仿真执行机从测试场景模块中获取测试场景的场景数据,并将测试场景的场景数据存储到本地缓存。
在本实施例中,基于步骤306确定的上述第一仿真执行机的本地缓存中不存在上述测试场景的场景数据,该第一仿真执行机可以从上述测试场景模块获取其被分配的测试场景的场景数据。之后将所获取的测试场景的场景数据存储到该第一仿真执行机的本地缓存中,以便于下次需要上述测试场景的场景数据时,上述第一仿真执行机可以直接从本地缓存中调用上述场景数据。提高了第一仿真执行机执行测试任务的效率。
步骤309,各第一仿真执行机在单个测试场景下并行执行测试任务,仿真服务器从各第一仿真执行机获取测试任务的测试结果。
在本实施例中,上述各第一仿真执行机在获取其被分配的测试场景的场景数据及测试任务后,各第一仿真执行机并列执行上述测试任务,并生成测试结果。之后,上述仿真服务器可以从各第一仿真执行机获取上述测试任务的测试结果。可以理解的是,若存在5个第一仿真执行机在5个不同的测试场景下同时执行测试任务,且上述5个第一执行机执行测试任务消耗的时间分别为t1、t2、t3、t4、t5,则该测试任务耗费的时间为t1、t2、t3、t4、t5中的最大值,而现有技术中该测试任务耗费的时间为t1、t2、t3、t4、t5的总和。由此可见,采用本实施例中的方法进行车辆测试可以缩短车辆测试的时间,提高车辆测试的效率。
步骤310,仿真服务器将测试结果与预设的测试标准对比,生成测试任务的反馈信息,并将反馈信息发送客户端。
在本实施例中,可以预先设置测试标准,上述仿真服务器可以从上述各第一仿真执行机获取不同测试场景下测试任务的测试结果,之后将测试结果与上述测试标准对比,生成反馈信息。
例如,上述仿真服务器获取了在某一测试场景下车辆的行驶时间和行驶距离,该仿真服务器可以确定上述车辆的测试结果(例如平均速度),之后将该测试结果与预设的测试标准对比,可以生成测试合格或者不合格等反馈信息。上述仿真服务器可以将上述测试任务的反馈信息发送到上述客户端,以使用户通过客户端确定测试车辆的性能。
从图3中可以看出,与图2对应的实施例相比,本实施例中的用于测试车辆的方法的流程300突出了仿真服务器查询空闲状态的仿真执行机的步骤,以及第一仿真执行机判断本地缓存中是否存在被分配的测试场景的场景数据的步骤。由此,本实施例描述的方案可以选取空闲状态的仿真执行机作为执行测试任务的第一仿真执行机,使得各仿真执行机负载均衡;并且该第一仿真执行机可以从本地缓存中直接获取测试场景的场景数据,提高了测试的效率。
下面参考图4,其示出了适于用来实现本申请实施例的客户端设备或仿真服务器的计算机系统400的结构示意图。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述系统中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入客户端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,例如所述设备为仿真服务器:仿真服务器接收客户端发送的测试任务和执行该测试任务所需要的测试场景集合,其中,所述测试场景集合包括多个测试场景,所述客户端用于为用户提供人机交互的界面,以使所述用户在所述客户端配置所述测试任务;所述仿真服务器将各所述测试场景分别分配到第一仿真执行机,并将所述测试任务发送到各所述第一仿真执行机,以使各所述第一仿真执行机在单个测试场景下并行执行所述测试任务;所述仿真服务器从各所述第一仿真执行机获取所述测试任务的测试结果;所述仿真服务器将所述测试结果与预设的测试标准对比,生成所述测试任务的反馈信息,并将所述反馈信息发送到所述客户端。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (11)
1.一种用于测试车辆的方法,其特征在于,所述方法包括:
仿真服务器接收客户端发送的测试任务和执行该测试任务所需要的测试场景集合,其中,所述测试场景集合包括多个测试场景,所述客户端用于为用户提供人机交互的界面,以使所述用户在所述客户端配置所述测试任务;
所述仿真服务器将各所述测试场景分别分配到第一仿真执行机,并将所述测试任务发送到各所述第一仿真执行机,以使各所述第一仿真执行机在单个测试场景下并行执行所述测试任务;
所述仿真服务器从各所述第一仿真执行机获取所述测试任务的测试结果;
所述仿真服务器将所述测试结果与预设的测试标准对比,生成所述测试任务的反馈信息,并将所述反馈信息发送到所述客户端。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述客户端从测试场景模块选取所述测试场景集合,其中,所述测试场景模块用于分类存储测试场景以及测试场景的场景数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一仿真执行机判断本地缓存中是否存在该第一仿真执行机被分配的所述测试场景的场景数据;
若是,所述第一仿真执行机从所述本地缓存中获取所述测试场景的场景数据;
若否,所述第一仿真执行机从所述测试场景模块中获取所述测试场景的场景数据,并将所述测试场景的场景数据存储到所述本地缓存。
4.根据权利要求3所述的方法,其特征在于,在所述仿真服务器从各所述第一仿真执行机获取所述测试任务的测试结果之前,所述方法还包括:
当所述仿真服务器确定存在发生故障的第一仿真执行机时,所述仿真服务器调度第二仿真执行机作为所述第一仿真执行机重新执行所述测试任务。
5.根据权利要求4所述的方法,其特征在于,各所述第一仿真执行机之间相互独立。
6.根据权利要求5所述的方法,其特征在于,所述仿真服务器中设有等待队列;
所述方法还包括:
所述仿真服务器查询是否存在空闲状态的仿真执行机;
若是,所述仿真服务器从所述空闲状态的仿真执行机中选取预设数目的仿真执行机作为第一仿真执行机;
若否,所述仿真服务器将所述测试任务存储在所述等待队列继续查询,直至确认存在空闲状态的仿真执行机。
7.一种用于测试车辆的系统,其特征在于,所述系统包括:仿真服务器、仿真执行机、客户端,其中,所述仿真服务器分别连接所述仿真执行机和所述客户端;
所述客户端,为用户提供人机交互的界面,响应于所述用户的操作指令配置测试任务和执行所述测试任务所需要的测试场景集合,并将所述测试任务和所述测试场景集合发送到所述仿真服务器,以及接收所述仿真服务器发送的所述测试任务的反馈信息,其中,所述测试场景集合包括多个测试场景;
所述仿真执行机,多个所述仿真执行机在单个测试场景下并行执行同一测试任务,生成测试结果,以及将所述测试结果发送到所述仿真服务器;
所述仿真服务器,用于将从所述客户端接收到所述测试场景集合中的各测试场景分别分配到所述仿真执行机,将从所述客户端接收到的所述测试任务发送到各所述仿真执行机,以及将从所述仿真执行机接收到的所述测试结果与预设的测试标准对比,生成所述测试任务的反馈信息。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:
测试场景模块,用于分类存储测试场景以及测试场景的场景数据;
所述测试场景模块连接所述客户端,以使所述客户端从所述测试场景模块选取所述测试场景集合;
所述测试场景模块连接所述仿真执行机,以使所述仿真执行机从所述测试场景模块获取该仿真执行机被分配的所述测试场景的场景数据,并将所述场景数据存储到所述仿真执行机的本地缓存。
9.根据权利要求8所述的系统,其特征在于,所述仿真服务器还用于监控各所述仿真执行机的健康状态,以及当确定存在故障仿真执行机时调度正常仿真执行机代替所述故障仿真执行机。
10.根据权利要求9所述的系统,其特征在于,各所述仿真执行机之间相互独立。
11.根据权利要求10所述的系统,其特征在于,所述仿真服务器还用于查询是否存在空闲状态的仿真执行机,以及选取空闲状态的仿真执行机执行所述测试任务;
所述仿真服务器中设有等待队列,用于在确定不存在空闲状态的仿真执行机的状态下,存储所述测试任务。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610532297.5A CN106200612B (zh) | 2016-07-07 | 2016-07-07 | 用于测试车辆的方法和系统 |
US15/385,476 US10699036B2 (en) | 2016-07-07 | 2016-12-20 | Method and system for testing vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610532297.5A CN106200612B (zh) | 2016-07-07 | 2016-07-07 | 用于测试车辆的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106200612A CN106200612A (zh) | 2016-12-07 |
CN106200612B true CN106200612B (zh) | 2019-01-22 |
Family
ID=57473536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610532297.5A Active CN106200612B (zh) | 2016-07-07 | 2016-07-07 | 用于测试车辆的方法和系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10699036B2 (zh) |
CN (1) | CN106200612B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022515936A (ja) * | 2016-12-07 | 2022-02-24 | アメリカ合衆国 | 三次元的エッチングマスクを用いて形成される反射防止表面構造体 |
CN108415398B (zh) * | 2017-02-10 | 2021-07-16 | 上海辇联网络科技有限公司 | 汽车信息安全自动化测试系统及测试方法 |
CN108319250B (zh) * | 2017-12-25 | 2021-06-18 | 浙江合众新能源汽车有限公司 | 智能驾驶汽车试验方法 |
CN111125857B (zh) * | 2018-10-31 | 2024-06-04 | 百度在线网络技术(北京)有限公司 | 分布式仿真方法和装置 |
CN109557904B (zh) * | 2018-12-06 | 2020-07-10 | 百度在线网络技术(北京)有限公司 | 一种测试方法、装置、设备和介质 |
CN109740222B (zh) * | 2018-12-25 | 2023-06-20 | 国汽(北京)智能网联汽车研究院有限公司 | 一种针对汽车网联化场景的测试装置和系统 |
CN110188490B (zh) * | 2019-06-03 | 2021-03-23 | 珠海格力电器股份有限公司 | 提高数据仿真效率的方法及装置、存储介质和电子装置 |
CN110413527A (zh) * | 2019-07-30 | 2019-11-05 | 中国工商银行股份有限公司 | 测试系统、测试方法、电子设备以及计算机可读存储介质 |
CN112241580B (zh) * | 2019-09-12 | 2024-06-07 | 北京国家新能源汽车技术创新中心有限公司 | 动力系统参数确定方法、装置、计算机设备和存储介质 |
CN110794712A (zh) * | 2019-12-03 | 2020-02-14 | 清华大学苏州汽车研究院(吴江) | 一种自动驾驶虚景在环测试系统和方法 |
CN111209702A (zh) * | 2020-01-02 | 2020-05-29 | 中车青岛四方机车车辆股份有限公司 | 一种轨道列车车体强度仿真与试验对标方法及装置 |
CN113139269A (zh) * | 2020-01-20 | 2021-07-20 | 斑马智行网络(香港)有限公司 | 车机仿真测试方法、装置、设备和介质 |
CN111506401B (zh) * | 2020-03-27 | 2023-11-21 | 北京百度网讯科技有限公司 | 自动驾驶仿真任务调度方法、装置、电子设备及存储介质 |
CN111859528A (zh) * | 2020-06-05 | 2020-10-30 | 北京百度网讯科技有限公司 | 自动驾驶策略控制模块的仿真测试方法、设备及存储介质 |
CN112631912A (zh) * | 2020-12-23 | 2021-04-09 | 北京百度网讯科技有限公司 | 基于车联网的仿真方法、装置、设备以及存储介质 |
CN112904827B (zh) * | 2021-01-18 | 2022-02-01 | 同济大学 | 一种面向多icu的无人驾驶虚拟仿真测试系统 |
CN113092135A (zh) * | 2021-04-14 | 2021-07-09 | 东软睿驰汽车技术(沈阳)有限公司 | 一种自动驾驶车辆的测试方法、装置及设备 |
CN113626311A (zh) * | 2021-07-14 | 2021-11-09 | 上海复佳信息科技有限公司 | 座舱显示系统的测试方法、测试系统及存储介质 |
CN113360412B (zh) * | 2021-07-20 | 2021-11-02 | 北京赛目科技有限公司 | 一种测试场景选取方法、装置、电子设备及存储介质 |
CN114384820B (zh) * | 2021-11-30 | 2023-12-22 | 重庆长安汽车股份有限公司 | 基于云台架的自动驾驶算法仿真测试系统及方法 |
CN114280959A (zh) * | 2021-12-27 | 2022-04-05 | 招商局检测车辆技术研究院有限公司 | 云地协同的整车场地在环仿真测试系统 |
CN114494439B (zh) * | 2022-01-25 | 2023-08-15 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
CN115114778A (zh) * | 2022-06-24 | 2022-09-27 | 合众新能源汽车有限公司 | 生成仿真测试场景的方法及装置 |
CN115879323B (zh) * | 2023-02-02 | 2023-05-23 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试方法、电子设备及计算机可读存储介质 |
CN116010289B (zh) * | 2023-03-27 | 2023-06-13 | 禾多科技(北京)有限公司 | 自动驾驶仿真场景测试方法、装置、电子设备和可读介质 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5421004A (en) * | 1992-09-24 | 1995-05-30 | International Business Machines Corporation | Hierarchical testing environment |
US6411898B2 (en) * | 2000-04-24 | 2002-06-25 | Matsushita Electric Industrial Co., Ltd. | Navigation device |
DE10307408B3 (de) * | 2003-02-20 | 2004-09-02 | Radioplan Gmbh | Verfahren zur Ablaufsteuerung von sequentiellen objektorientierten Systemsimulationen der Kommunikation in Mobilfunknetzen |
US8781808B2 (en) * | 2005-10-10 | 2014-07-15 | Sei Yang Yang | Prediction-based distributed parallel simulation method |
US20090199047A1 (en) * | 2008-01-31 | 2009-08-06 | Yahoo! Inc. | Executing software performance test jobs in a clustered system |
US20100047760A1 (en) * | 2008-08-20 | 2010-02-25 | Mike Best | Method and system for delivering performance based emulation testing |
CN101727389B (zh) * | 2009-11-23 | 2012-11-14 | 中兴通讯股份有限公司 | 一种分布式综合业务自动化测试系统及方法 |
EP2354940A1 (en) * | 2010-02-01 | 2011-08-10 | Siemens Aktiengesellschaft | Calibration of stream models and stream simulation tools |
US9786193B2 (en) * | 2011-09-01 | 2017-10-10 | L-3 Communications Corporation | Adaptive training system, method and apparatus |
US8767947B1 (en) * | 2012-11-29 | 2014-07-01 | Genesys Telecommunications Laboratories, Inc. | System and method for testing and deploying rules |
US9384108B2 (en) * | 2012-12-04 | 2016-07-05 | International Business Machines Corporation | Functional built-in self test for a chip |
US9836993B2 (en) * | 2012-12-17 | 2017-12-05 | Lawrence Livermore National Security, Llc | Realistic training scenario simulations and simulation techniques |
WO2014152554A1 (en) * | 2013-03-15 | 2014-09-25 | Caliper Corporation | Lane-level vehicle navigation for vehicle routing and traffic management |
CN103207090B (zh) * | 2013-04-09 | 2016-02-24 | 北京理工大学 | 一种无人驾驶车辆环境模拟测试系统及测试方法 |
US9508267B2 (en) * | 2013-06-09 | 2016-11-29 | Cae Inc. | Configurable simulator with testing capabilities |
GB2516986B (en) * | 2013-08-06 | 2017-03-22 | Barclays Bank Plc | Automated application test system |
US10078712B2 (en) * | 2014-01-14 | 2018-09-18 | Energid Technologies Corporation | Digital proxy simulation of robotic hardware |
JP6241300B2 (ja) * | 2014-02-04 | 2017-12-06 | 富士通株式会社 | ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム |
JP6245700B2 (ja) * | 2014-04-11 | 2017-12-13 | 国立大学法人 東京大学 | 計算機システム、データの検査方法及び計算機 |
DE102014006322A1 (de) * | 2014-04-30 | 2015-11-05 | Avl List Gmbh | System und Verfahren zur Analyse der Energieeffizienz eines Fahrzeugs |
DE102014006321A1 (de) * | 2014-04-30 | 2015-11-05 | Avl List Gmbh | System und Verfahren zur Analyse der Energieeffizienz eines Kraftfahrzeugs, insbesondere einer Vorrichtung des Kraftfahrzeugs |
CN104850110B (zh) * | 2014-05-27 | 2019-04-16 | 北京宝沃汽车有限公司 | 一种建立测试用例的方法及系统 |
US9575536B2 (en) * | 2014-08-22 | 2017-02-21 | Intel Corporation | Methods and apparatus to estimate power performance of a job that runs on multiple nodes of a distributed computer system |
US10635761B2 (en) * | 2015-04-29 | 2020-04-28 | Energid Technologies Corporation | System and method for evaluation of object autonomy |
CA3010440A1 (en) * | 2016-01-03 | 2017-07-06 | Yosef Mintz | System and methods to apply robust predictive traffic load balancing control and robust cooperative safe driving for smart cities |
US10187450B2 (en) * | 2016-06-01 | 2019-01-22 | T-Mobile Usa, Inc. | Parallel and sequential execution of automated online charging test procedures |
-
2016
- 2016-07-07 CN CN201610532297.5A patent/CN106200612B/zh active Active
- 2016-12-20 US US15/385,476 patent/US10699036B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180011964A1 (en) | 2018-01-11 |
CN106200612A (zh) | 2016-12-07 |
US10699036B2 (en) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106200612B (zh) | 用于测试车辆的方法和系统 | |
Rausch et al. | Optimized container scheduling for data-intensive serverless edge computing | |
CN108304250A (zh) | 用于确定运行机器学习任务的节点的方法和装置 | |
US10282171B2 (en) | Application analyzer for cloud computing | |
US8793381B2 (en) | Workload adaptive cloud computing resource allocation | |
CN107733977A (zh) | 一种基于Docker的集群管理方法及装置 | |
CN107977268A (zh) | 人工智能的异构硬件的任务调度方法、装置及可读介质 | |
US20200409744A1 (en) | Workflow engine framework | |
CN108089921A (zh) | 用于云端大数据运算架构的服务器及其运算资源最佳化方法 | |
CN111656735A (zh) | 使用硬件在环即服务(hilaas)测试嵌入式系统和应用程序 | |
US9591094B2 (en) | Caching of machine images | |
CN101697141A (zh) | 网格中基于历史数据建模的作业性能预测方法 | |
US10613908B2 (en) | Managing hydrocarbon energy production while proactively maintaining a balanced workload | |
WO2016040699A1 (en) | Computing instance launch time | |
CN111316238A (zh) | 数据中心利用率预测系统和方法 | |
CN112639734B (zh) | 仿真任务调度方法、执行方法、仿真实现方法及装置 | |
CN109947565A (zh) | 用于分配计算任务的方法和装置 | |
CN107678752A (zh) | 一种面向异构集群的任务处理方法及装置 | |
Ulm et al. | OODIDA: on-board/off-board distributed real-time data analytics for connected vehicles | |
CN104350460A (zh) | 确定虚拟机放置 | |
US20240111739A1 (en) | Tuning large data infrastructures | |
CN106471473A (zh) | 用于控制数据中心中的服务器过高分配的机制 | |
CN113419941A (zh) | 评估方法及装置、电子设备和计算机可读存储介质 | |
US9153138B1 (en) | Agent-based airfield conflict resolution | |
CN109117244A (zh) | 一种虚拟机资源申请排队机制的实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |