CN111258312B - 可移动模型及其控制方法、装置、系统、设备和存储介质 - Google Patents
可移动模型及其控制方法、装置、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN111258312B CN111258312B CN202010063159.3A CN202010063159A CN111258312B CN 111258312 B CN111258312 B CN 111258312B CN 202010063159 A CN202010063159 A CN 202010063159A CN 111258312 B CN111258312 B CN 111258312B
- Authority
- CN
- China
- Prior art keywords
- movable model
- information
- position information
- control
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 12
- 239000004576 sand Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开实施例提供一种可移动模型及其控制方法、装置、系统、设备和存储介质,通过定位单元获取可移动模型的第一位置信息,通过感知单元感知所述可移动模型周围的目标对象的状态信息,再通过控制单元基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,能够实现复杂场景下对可移动模型的行驶控制,提高了复杂场景下的控制可靠性。
Description
技术领域
本公开涉及可移动模型技术领域,尤其涉及可移动模型及其控制方法、装置、系统、设备和存储介质。
背景技术
由于对真实的可移动平台(例如,汽车)的自动行驶的研发成本较高,因此,开始出现了采用可移动模型来对真实的可移动平台的行驶过程进行模拟的手段。然而,传统的可移动模型往往只能模拟比较简单的场景,例如,循迹行驶或者在固定路线中行驶,而在较为复杂的场景下,控制可靠性较差。
发明内容
本公开提供一种可移动模型及其控制方法、装置、系统、设备和存储介质。
根据本公开实施例的第一方面,提供一种可移动模型控制系统,所述系统包括:定位单元,感知单元以及控制单元;所述定位单元用于获取可移动模型的第一位置信息,并将所述第一位置信息发送给所述控制单元;所述感知单元用于感知所述可移动模型周围的目标对象的状态信息,并将所述状态信息发送给所述控制单元;所述控制单元用于基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。
根据本公开实施例,通过定位单元获取可移动模型的第一位置信息,通过感知单元感知所述可移动模型周围的目标对象的状态信息,再通过控制单元基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,能够实现复杂场景下对可移动模型的行驶控制,提高了复杂场景下的控制可靠性。
在一些实施例中,所述定位单元包括:第一定位单元和第二定位单元;所述第一定位单元和第二定位单元分别获取所述可移动模型的第二位置信息和第三位置信息,并将获取到的第二位置信息和第三位置信息分别发送至所述控制单元,以使所述控制单元根据所述第二位置信息和所述第三位置信息确定所述可移动模型的第一位置信息。
通过采用第一定位单元和第二定位单元共同确定所述可移动模型的第一位置信息,能够提高定位精确度,从而进一步提高对所述可移动模型的行驶状态的控制精确度和可靠性。
在一些实施例中,所述控制单元对所述第二位置信息和所述第三位置信息进行加权平均,以确定所述可移动模型的第一位置信息。通过对所述第二位置信息和所述第三位置信息进行加权平均的方式获取第一位置信息,能够根据实际情况对第二位置信息和所述第三位置信息赋予不同的权重,以在不同的应用场景下提高定位准确性。
在一些实施例中,所述第一定位单元包括激光雷达;和/或所述第二定位单元包括轮速计和惯性测量单元。通过采用激光雷达加轮速计和惯性测量单元的组合导航系统,可以减少定位误差,增加系统鲁棒性。
在一些实施例中,所述控制单元包括:第一控制单元和第二控制单元;所述第二控制单元用于获取所述第二定位单元采集的第三位置信息,并将所述第三位置信息发送至所述第一控制单元;所述第一控制单元用于获取所述第一定位单元采集的第二位置信息,根据所述第二位置信息和所述第三位置信息,确定所述可移动模型的第一位置信息,并根据所述道路结构信息、第一位置信息和所述状态信息,向所述第二控制单元发送控制指令,以使所述第二控制单元输出用于控制所述可移动模型的行驶状态的行驶状态控制指令。采用两个控制单元,能够解决只有一个控制单元时接口数量不足的问题,使得能够同时获取多个定位单元采集的位置信息。
在一些实施例中,所述道路结构信息由所述控制单元从预先建立的场景地图中获取,和/或,所述行驶状态包括所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度。通过预先建立的场景地图,便于快速从所述场景地图中确定所述道路结构信息。通过对所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度进行控制,能够在复杂场景中实现对所述可移动模型的精确控制。
在一些实施例中,所述目标对象包括交通指示标志,所述状态信息包括所述交通指示标志的语义信息;和/或所述目标对象包括移动目标,所述状态信息包括所述移动目标的位置信息、移动速度和/或移动方向。通过对不同目标对象获取不同的状态信息,能够根据各种目标对象的状态信息来对所述可移动模型的行驶状态进行控制,提高了控制可靠性。
根据本公开实施例的第二方面,提供一种可移动模型,所述可移动模型包括任一实施例所述的可移动模型控制系统。
根据本公开实施例的第三方面,提供一种可移动模型控制方法,所述方法包括:获取可移动模型的第一位置信息;获取所述可移动模型周围的目标对象的状态信息;基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。
根据本公开实施例,通过获取可移动模型的第一位置信息,以及获取所述可移动模型周围的目标对象的状态信息,再基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,能够实现复杂场景下对可移动模型的行驶控制,提高了复杂场景下的控制可靠性。
在一些实施例中,所述获取可移动模型的第一位置信息,包括:获取第一定位单元采集的所述可移动模型的第二位置信息以及第二定位单元采集的所述可移动模型的第三位置信息;根据所述第二位置信息以及所述第三位置信息,获取可移动模型的第一位置信息。通过采用第一定位单元和第二定位单元共同确定所述可移动模型的第一位置信息,能够提高定位精确度,从而进一步提高对所述可移动模型的行驶状态的控制精确度和可靠性。
在一些实施例中,所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制之前,包括:从预先建立的场景地图中获取所述道路结构信息。通过建立场景地图,便于快速从所述场景地图中确定所述道路结构信息。
在一些实施例中,所述目标对象包括交通指示标志,所述状态信息包括所述交通指示标志的语义信息;和/或所述目标对象包括移动目标,所述状态信息包括所述移动目标的位置信息、移动速度和/或移动方向。通过对不同目标对象获取不同的状态信息,能够根据各种目标对象的状态信息来对所述可移动模型的行驶状态进行控制,提高了控制可靠性。
在一些实施例中,所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,包括:基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,规划所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度,并控制所述可移动模型以所述行驶轨迹以及对应的行驶速度进行行驶。通过对所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度进行控制,能够在复杂场景中实现对所述可移动模型的精确控制。
根据本公开实施例的第四方面,提供一种可移动模型控制装置,所述装置包括:第一获取模块,用于获取可移动模型的第一位置信息;第二获取模块,用于获取所述可移动模型周围的目标对象的状态信息;控制模块,用于基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。
根据本公开实施例,通过获取可移动模型的第一位置信息,以及获取所述可移动模型周围的目标对象的状态信息,再基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,能够实现复杂场景下对可移动模型的行驶控制,提高了复杂场景下的控制可靠性。
根据本公开实施例的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第六方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现任一实施例所述的方法。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的应用场景的示意图。
图2是本公开实施例的可移动模型控制系统的框图。
图3是本公开实施例的可移动模型控制系统的示意图。
图4是本公开实施例的控制过程中的数据流的示意图。
图5是本公开实施例的可移动模型控制方法流程图。
图6是本公开实施例的可移动模型控制装置的框图。
图7是本公开实施例的计算机设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
如图1所示,是本公开实施例的一个应用场景的示意图。本公开实施例的可移动模型可以是智能小车,可以通过智能小车在沙盘中的行驶过程来模拟真实车辆的行驶过程。其中,图1仅示出了沙盘中一个十字路口的示意图,但本领域技术人员可以理解,为了模拟各种复杂环境,可以在沙盘中构建包括十字路口、直行路口、T字路口等多种路口区域的场景。真实车辆的行驶过程还可能受到各种交通指示标志的影响,这些交通指示标志包括地面车道线(例如,双黄线、实线、虚线)、交通信号灯(例如,红绿灯)、交通指示牌(例如,限速牌)等。因此,还可以在沙盘中建立各种交通指示标志。除此之外,真实车辆的行驶过程还可能受到其他移动对象的影响,因此,还可以在沙盘中建立一个或多个移动对象,例如,其他智能小车、行人等。本领域技术人员可以理解,以上应用场景仅作为示例性说明,并非对本公开实施例的限制。本公开实施例的可移动模型也可以是其他可移动平台,例如,移动机器人等。移动机器人所处的场景也可以是厂房、建筑工地、住宅等场景。
传统的可移动模型往往只能模拟比较简单的场景,例如,循迹行驶或者在固定路线中行驶,而在较为复杂的场景下,控制可靠性较差。以图1所示的场景为例,传统的智能小车一般只能在预先规划好的路径上行驶,当场景中存在交通标志或者其他移动对象时,往往不能根据实际需要对智能小车的行驶速度和行驶路径进行规划。基于此,本公开实施例提供了一种可移动模型控制系统,如图2所示,所述系统可包括:
定位单元201,感知单元202以及控制单元203;
所述定位单元201用于获取可移动模型的第一位置信息,并将所述第一位置信息发送给所述控制单元203;
所述感知单元202用于感知所述可移动模型周围的目标对象的状态信息,并将所述状态信息发送给所述控制单元203;
所述控制单元203用于基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。
在一些实施例中,所述定位单元201,感知单元202以及控制单元203可以安装在所述可移动模型上。所述定位单元201可以对所述可移动模型的实时位置进行定位,并将定位得到的第一位置信息发送给控制单元203。所述第一位置信息可以是所述可移动模型在特定坐标系下的坐标,例如,可以是在场景地图坐标系下的全局坐标,场景地图可以预先建立。所述感知单元202可以对所述可移动模型周围的各个目标对象进行感知。当然,在其他实施例中,定位单元201,感知单元202以及控制单元203可以部分设置在可移动模型上,例如定位单元201,感知单元202设置在可移动模型上,控制单元203不设置在可移动模型上,通过有线或无线通信与定位单元201,感知单元202和可移动模型进行通信;也可以都不设置在可移动模型上,通过通信方式进行信息传递,以控制可移动模型。
目标对象的状态信息是与所述可移动模型的行驶状态相关的信息,当所述可移动模型处于所述目标对象周围时,所述目标对象的状态信息可以影响所述可移动模型的行驶状态。例如,当目标对象为移动物体时,由于移动物体的移动速度和方向会对所述可移动模型的行驶状态产生影响,因此,所述状态信息可以包括移动物体的移动速度和方向。又例如,当目标对象为交通标志时,交通标志的语义会对所述可移动模型的行驶状态产生影响,因此,所述状态信息可以包括交通标志的语义。又例如,当目标对象为道路中的障碍物时,障碍物的位置和大小会对所述可移动模型的行驶状态产生影响,因此,所述状态信息可以包括障碍物的位置和大小。
其中,所述目标对象的数量可以是一个或多个,所述目标对象中可以包括位置固定的目标对象,例如,交通标志。所述交通标志可以包括交通指示线,例如,车道实线、车道虚线、双黄线;也可以包括交通指示牌,例如,限速指示牌、车道指示牌;还可以包括交通信号灯,例如,红绿灯、闪光警告信号灯、车道信号灯,等等。所述感知单元202可以对所述交通标志的语义进行感知,例如,对于交通指示线类的交通标志,当所述感知单元202感知到车道实线,则可以确定其语义为“不可变道”。又例如,对于限速指示牌类的交通标志,所述感知单元202可以对限速指示牌中的限速值进行感知。又例如,对于红绿灯类的交通标志,所述感知单元202可以感知所述红绿灯的语义是“可以通行”、“减速”或者“禁止通行”。所述目标对象中也可以包括位置动态变化的目标对象,例如,其他可移动模型以及行人。所述感知单元202可以对其他可移动模型以及行人的实时位置、移动速度和/或移动方向进行感知。
在一些实施例中,所述感知单元包括深度相机。所述深度相机可以先根据获取的目标对象图像,获取目标对象在可移动模型坐标系下的坐标,再将目标对象在可移动模型坐标系下的坐标转换为场景地图坐标系下的全局坐标。在其他实施例中,感知单元可以包括距离传感器、非深度相机,以结合相机获取的图像检测到的目标对象以及距离传感器检测到的目标对象的距离,获取目标对象的坐标。
所述控制单元203可以基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。其中,所述道路结构信息包括道路的形状(例如,是直行道还是弯道),同一路口区域中各路段之间的连接关系,例如,在十字路口中,与路段A相连的路段包括路段B、路段C和路段D,其中,路段B与路段A的左拐车道相连接,路段C与路段A的直行车道相连接,路段D与路段A的右拐车道相连接。
所述道路结构信息由所述控制单元从预先建立的场景地图中获取。所述场景地图为可移动模型行驶场景的地图,例如,所述可移动模型为智能小车时,所述智能小车的行驶场景可以是沙盘,所述场景地图可以是沙盘的地图,所述道路结构信息为所述沙盘的道路结构信息。为了提高控制精确度,所述场景地图可以采用高精度地图。所述高精度地图中至少包括沙盘中各个车道的位置信息,还可以包括各个交通标志的位置信息。所述场景地图可以预先建立并保存。在建立所述场景地图时,可以由所述可移动模型搭载所述定位单元201,并在建图场景下行驶,以获取建图场景的点云数据,然后根据所述点云数据构建场景地图。可以在所述场景地图中标注道路坐标信息,所述道路坐标信息可包括各个路口区域的坐标信息、车道线的坐标信息等。
在可移动模型行驶过程中,控制单元203可以获取可移动模型的当前位置,并从保存的场景地图中获取当前位置对应的道路结构信息,以便对所述可移动模型的行驶状态进行控制。在一些实施例中,所述行驶状态包括所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度。例如,当可移动模型处于图1所示的位置时,控制单元203可以获取到道路结构信息为十字路口,并获取到如下状态信息:地面指示箭头为右转箭头,以及右转信号灯(假设为绿灯)的语义为允许通行,同时,控制单元203可以获取到可移动模型的第一位置信息,从而根据所述第一位置信息,规划出一条向右行驶的轨迹。
又例如,当感知单元202感知到可移动模型正前方较近距离处存在障碍物,且控制单元203获取到道路结构信息为直行道路,则控制单元203可以规划出一条从当前位置到障碍物前方的直行轨迹,且可移动模型在该轨迹上的各个轨迹点的速度依次递减,直到减为零。
通过获取所述可移动模型所在位置的道路结构信息,并根据所述可移动模型的第一位置信息和所述可移动模型周围的目标对象的状态信息,对所述可移动模型的行驶状态进行控制,从而能够实现在复杂场景下对所述可移动模型的行驶状态的精确控制,提高了控制的精确度和可靠性。
在一些实施例中,所述第一定位单元和第二定位单元分别获取所述可移动模型的第二位置信息和第三位置信息,并将获取到的第二位置信息和第三位置信息分别发送至所述控制单元,以使所述控制单元根据所述第二位置信息和所述第三位置信息确定所述可移动模型的第一位置信息。通过采用第一定位单元和第二定位单元共同确定所述可移动模型的第一位置信息,能够提高定位精确度,从而进一步提高对所述可移动模型的行驶状态的控制精确度和可靠性。
具体而言,所述控制单元可以对所述第二位置信息和所述第三位置信息进行加权平均,以确定所述可移动模型的第一位置信息。加权平均所采用的权重可以根据实际需要而设置,在一些实际应用场景下,所述第一定位单元对应的权重和所述第二定位单元对应的权重可以相等。在另一些实际应用场景下,也可以根据所述第一定位单元和所述第二定位单元的定位信号的信号强度来动态设置所述权重。例如,当所述第一定位单元的定位信号的信号强度较强,而所述第二定位单元的定位信号的信号强度较弱时,可以将所述第一定位单元对应的权重设置得较大,将所述第二定位单元对应的权重设置得较小。
在一些实施例中,所述第一定位单元可以包括激光雷达。所述激光雷达在所述可移动模型行驶过程中,采集周围环境中的点云数据,根据采集到的点云数据解析出所述可移动模型周围的目标对象,并将所述目标对象与预先建立的场景地图中的目标对象进行匹配,以获取所述可移动模型的第二位置信息。在另一些实施例中,所述第二定位单元包括轮速计和惯性测量单元(Inertial Measurement Unit,IMU)。所述惯性测量单元可以获取所述可移动模型的移动方向,所述轮速计可以获取所述可移动模型的行驶速度,并根据所述移动方向和行驶速度估算所述可移动模型的第三位置信息。
在一些实施例中,所述第二控制单元用于获取所述第二定位单元采集的第三位置信息,并将所述第三位置信息发送至所述第一控制单元;所述第一控制单元用于获取所述第一定位单元采集的第二位置信息,根据所述第二位置信息和所述第三位置信息,确定所述可移动模型的第一位置信息,并根据所述道路结构信息、第一位置信息和所述状态信息,向所述第二控制单元发送控制指令,以使所述第二控制单元输出用于控制所述可移动模型的行驶状态的行驶状态控制指令。
如图3和图4所示,是一些实施例的可移动模型控制系统及其数据流的示意图。所述第一控制单元可以采用Jetson TX2主控,所述第二控制单元可以采用单片机,例如,STM32系列的单片机。首先,通过激光雷达对可移动模型进行定位。所述Jetson TX2主控可以获取激光雷达采集的第二位置信息,所述STM32单片机可以获取IMU和轮速计采集的数据,并发送至所述Jetson TX2主控,所述Jetson TX2主控根据IMU和轮速计的数据计算出第三位置信息,并将计算出的第三位置信息与激光雷达采集的第二位置信息进行加权平均,以最终获取所述可移动模型的第一位置信息。然后,通过深度相机对所述可移动模型周围的目标对象进行采集,并将采集得到的图像作为感知输入信息发送至Jetson TX2主控,由Jetson TX2主控根据所述图像得到所述目标对象的状态信息,例如,交通标志的语义以及行人的移动速度和移动方向。最后,通过所述TX2主控进行决策规划。所述Jetson TX2主控根据最终得到的所述可移动模型的第一位置信息,以及道路结构信息和周围目标对象的状态信息,生成控制指令并发送至所述STM32单片机,所述STM32单片机生成控制指令来控制所述可移动模型的执行机构,例如,电机、方向盘等,以控制所述可移动模型的行驶速度和行驶方向。可移动模型在所述STM32单片机生成的控制指令的控制下,调整其速度和/或行驶方向。然后,继续执行上述过程,以实现对可移动模型的行驶状态的持续控制。
相比于仅仅通过简单相机识别简单车道并进行追踪,但是很难识在复杂场景(例如,路口区域)下行驶的方式,本公开实施例的方案可以在提前进行道路结构信息进行标注的前提下,完成对复杂场景的识别和行驶。此外,本公开实施例的方案还可以通过目标检测方式识别交通指示牌等目标对象,从而选择不同的行驶路线。
本公开实施例还提供一种可移动模型,所述可移动模型包括任一实施例所述的可移动模型控制系统。在一些实施例中,所述可移动模型为智能小车或者移动机器人。进一步地,所述可移动模型还可包括执行机构,所述执行机构用于接收所述可移动模型控制系统的控制指令,以调整所述可移动模型的行驶状态。可选地,所述执行机构可以包括但不限于以下任一:方向盘,电机、离合器、变速器等。
本公开实施例的方案可用于模拟真实复杂道路上的汽车行驶场景,进而有助于汽车自动驾驶技术的开发学习,有效降低自动驾驶技术的研发成本、风险以及时间。此外,本公开实施例的方案还可以应用于人工智能教学项目中,使学生用更低的成本学习汽车自动驾驶项目。
如图5所示,本公开实施例还提供一种可移动模型控制方法,所述方法可包括:
步骤501:获取可移动模型的第一位置信息;
步骤502:获取所述可移动模型周围的目标对象的状态信息;
步骤503:基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。
在一些实施例中,所述获取可移动模型的第一位置信息,包括:获取第一定位单元采集的所述可移动模型的第二位置信息以及第二定位单元采集的所述可移动模型的第三位置信息;根据所述第二位置信息以及所述第三位置信息,获取可移动模型的第一位置信息。
在一些实施例中,所述根据所述第二位置信息以及所述第三位置信息,获取可移动模型的第一位置信息,包括:对所述第二位置信息和所述第三位置信息进行加权平均,以确定所述可移动模型的第一位置信息。
在一些实施例中,所述第一定位单元包括激光雷达;和/或所述第二定位单元包括轮速计和惯性测量单元。
在一些实施例中,所述第一定位单元采集的所述可移动模型的第二位置信息由第一控制单元获取,所述第二定位单元采集的所述可移动模型的第三位置信息由第二控制单元获取后发送至第一控制单元,其中,所述第一控制单元根据所述第二位置信息和所述第三位置信息,确定所述可移动模型的第一位置信息,并根据所述道路结构信息、第一位置信息和所述状态信息,向所述第二控制单元发送控制指令,以使所述第二控制单元输出用于控制所述可移动模型的行驶状态的行驶状态控制指令。
在一些实施例中,所述目标对象的状态信息由感知单元获取,其中,所述感知单元可以包括深度相机。
在一些实施例中,所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制之前,包括:从预先建立的场景地图中获取所述道路结构信息。
在一些实施例中,所述目标对象包括交通指示标志,所述状态信息包括所述交通指示标志的语义信息;和/或所述目标对象包括移动目标,所述状态信息包括所述移动目标的位置信息、移动速度和/或移动方向。
在一些实施例中,所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,包括:基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,规划所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度,并控制所述可移动模型以所述行驶轨迹以及对应的行驶速度进行行驶。
在一些实施例中,所述可移动模型行驶在沙盘中,所述道路结构信息为所述沙盘的道路结构信息。
该方法实施例可由以上可移动模型控制系统中的控制单元实现,该方法实施例中的其他技术细节详见以上可移动模型控制系统的实施例,此处不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图6所示,本公开还提供一种可移动模型控制装置,所述装置包括:
第一获取模块601,用于获取可移动模型的第一位置信息;
第二获取模块602,用于获取所述可移动模型周围的目标对象的状态信息;
控制模块603,用于基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现任一实施例所述的方法。
图7示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图,该设备可以包括:处理器701、存储器702,还可以包括输入/输出接口703、通信接口704和总线705。其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。
处理器701可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器702可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器702可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器702中,并由处理器701来调用执行。
输入/输出接口703用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口704用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线705包括一通路,在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器701、存储器702、输入/输出接口703、通信接口704和总线705,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本公开实施例还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (13)
1.一种可移动模型控制系统,其特征在于,所述系统包括:
定位单元,感知单元以及控制单元;
所述定位单元用于获取可移动模型的第一位置信息,并将所述第一位置信息发送给所述控制单元;
所述感知单元用于感知所述可移动模型周围的目标对象的状态信息,并将所述状态信息发送给所述控制单元;
所述控制单元用于基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制;
所述定位单元包括第一定位单元和第二定位单元,所述控制单元包括第一控制单元和第二控制单元;
所述第一定位单元用于获取所述可移动模型的第二位置信息,并将所述第二位置信息发送至所述第一控制单元;
所述第二定位单元用于获取所述可移动模型的第三位置信息,并将所述第三位置信息发送至所述第二控制单元;
所述第二控制单元用于将所述第三位置信息发送至所述第一控制单元;
所述第一控制单元用于根据所述第二位置信息和所述第三位置信息,确定所述可移动模型的第一位置信息,并根据所述道路结构信息、第一位置信息和所述状态信息,向所述第二控制单元发送控制指令,以使所述第二控制单元输出用于控制所述可移动模型的行驶状态的行驶状态控制指令。
2.根据权利要求1所述的系统,其特征在于,所述控制单元对所述第二位置信息和所述第三位置信息进行加权平均,以确定所述可移动模型的第一位置信息。
3.根据权利要求1所述的系统,其特征在于,所述第一定位单元包括激光雷达;和/或
所述第二定位单元包括轮速计和惯性测量单元。
4.根据权利要求1所述的系统,其特征在于,所述道路结构信息由所述控制单元从预先建立的场景地图中获取,和/或,所述行驶状态包括所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度。
5.根据权利要求1至4任意一项所述的系统,其特征在于,所述目标对象包括交通指示标志,所述状态信息包括所述交通指示标志的语义信息;和/或
所述目标对象包括移动目标,所述状态信息包括所述移动目标的位置信息、移动速度和/或移动方向。
6.一种可移动模型,其特征在于,所述可移动模型包括权利要求1至5任意一项所述的可移动模型控制系统。
7.一种可移动模型控制方法,其特征在于,所述方法包括:
获取可移动模型的第一位置信息;
获取所述可移动模型周围的目标对象的状态信息;
基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制;
所述获取可移动模型的第一位置信息,包括:
获取第一定位单元发送的第二位置信息,以及其他控制单元发送的第三位置信息;所述第三位置信息由第二定位单元发送至所述其他控制单元;
根据所述第二位置信息和所述第三位置信息,确定所述可移动模型的第一位置信息;
所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,包括:
根据所述道路结构信息、第一位置信息和所述状态信息,向所述其他控制单元发送控制指令,以使所述其他控制单元输出用于控制所述可移动模型的行驶状态的行驶状态控制指令。
8.根据权利要求7所述的方法,其特征在于,所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制之前,包括:
从预先建立的场景地图中获取所述道路结构信息。
9.根据权利要求7所述的方法,其特征在于,所述目标对象包括交通指示标志,所述状态信息包括所述交通指示标志的语义信息;和/或
所述目标对象包括移动目标,所述状态信息包括所述移动目标的位置信息、移动速度和/或移动方向。
10.根据权利要求7至9任意一项所述的方法,其特征在于,所述基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制,包括:
基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,规划所述可移动模型的行驶轨迹以及所述行驶轨迹对应的行驶速度,并控制所述可移动模型以所述行驶轨迹以及对应的行驶速度进行行驶。
11.一种可移动模型控制装置,其特征在于,所述装置包括:
第一获取模块,用于获取可移动模型的第一位置信息;
第二获取模块,用于获取所述可移动模型周围的目标对象的状态信息;
控制模块,用于基于所述可移动模型所在位置的道路结构信息,并根据所述第一位置信息和所述状态信息,对所述可移动模型的行驶状态进行控制;
所述第一获取模块具体用于:
获取第一定位单元发送的第二位置信息,以及其他控制单元发送的第三位置信息;所述第三位置信息由第二定位单元发送至所述其他控制单元;
根据所述第二位置信息和所述第三位置信息,确定所述可移动模型的第一位置信息;
所述控制模块具体用于:
根据所述道路结构信息、第一位置信息和所述状态信息,向所述其他控制单元发送控制指令,以使所述其他控制单元输出用于控制所述可移动模型的行驶状态的行驶状态控制指令。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求7至10任意一项所述的方法。
13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求7至10任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010063159.3A CN111258312B (zh) | 2020-01-20 | 2020-01-20 | 可移动模型及其控制方法、装置、系统、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010063159.3A CN111258312B (zh) | 2020-01-20 | 2020-01-20 | 可移动模型及其控制方法、装置、系统、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111258312A CN111258312A (zh) | 2020-06-09 |
CN111258312B true CN111258312B (zh) | 2024-04-02 |
Family
ID=70954302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010063159.3A Active CN111258312B (zh) | 2020-01-20 | 2020-01-20 | 可移动模型及其控制方法、装置、系统、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111258312B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114743449A (zh) * | 2020-12-23 | 2022-07-12 | 北醒(北京)光子科技有限公司 | 一种基于激光雷达的物联网教具 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2374676A1 (en) * | 2010-04-09 | 2011-10-12 | Navteq North America, LLC | Method and system for vehicle ESC system using map data |
CN107161207A (zh) * | 2017-05-08 | 2017-09-15 | 江苏大学 | 一种基于主动安全的智能汽车轨迹跟踪控制系统及控制方法 |
CN108011947A (zh) * | 2017-11-30 | 2018-05-08 | 湖北汽车工业学院 | 一种车辆协作式编队行驶系统 |
CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
CN109597317A (zh) * | 2018-12-26 | 2019-04-09 | 广州小鹏汽车科技有限公司 | 一种基于自学习的车辆自动驾驶方法、系统及电子设备 |
CN109669461A (zh) * | 2019-01-08 | 2019-04-23 | 南京航空航天大学 | 一种复杂工况下自动驾驶车辆决策系统及其轨迹规划方法 |
WO2019085829A1 (zh) * | 2017-11-03 | 2019-05-09 | 腾讯科技(深圳)有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
CN110136254A (zh) * | 2019-06-13 | 2019-08-16 | 吉林大学 | 基于动态概率驾驶地图的驾驶辅助信息显示方法 |
CN110220517A (zh) * | 2019-07-08 | 2019-09-10 | 紫光云技术有限公司 | 一种结合环境语意的室内机器人鲁棒slam方法 |
CN110456745A (zh) * | 2019-07-29 | 2019-11-15 | 湖南大学 | 一种全自动地下采矿运输系统 |
CN110597711A (zh) * | 2019-08-26 | 2019-12-20 | 湖南大学 | 一种基于场景和任务的自动驾驶测试用例生成方法 |
-
2020
- 2020-01-20 CN CN202010063159.3A patent/CN111258312B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2374676A1 (en) * | 2010-04-09 | 2011-10-12 | Navteq North America, LLC | Method and system for vehicle ESC system using map data |
CN107161207A (zh) * | 2017-05-08 | 2017-09-15 | 江苏大学 | 一种基于主动安全的智能汽车轨迹跟踪控制系统及控制方法 |
WO2019085829A1 (zh) * | 2017-11-03 | 2019-05-09 | 腾讯科技(深圳)有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
CN108011947A (zh) * | 2017-11-30 | 2018-05-08 | 湖北汽车工业学院 | 一种车辆协作式编队行驶系统 |
CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
CN109597317A (zh) * | 2018-12-26 | 2019-04-09 | 广州小鹏汽车科技有限公司 | 一种基于自学习的车辆自动驾驶方法、系统及电子设备 |
CN109669461A (zh) * | 2019-01-08 | 2019-04-23 | 南京航空航天大学 | 一种复杂工况下自动驾驶车辆决策系统及其轨迹规划方法 |
CN110136254A (zh) * | 2019-06-13 | 2019-08-16 | 吉林大学 | 基于动态概率驾驶地图的驾驶辅助信息显示方法 |
CN110220517A (zh) * | 2019-07-08 | 2019-09-10 | 紫光云技术有限公司 | 一种结合环境语意的室内机器人鲁棒slam方法 |
CN110456745A (zh) * | 2019-07-29 | 2019-11-15 | 湖南大学 | 一种全自动地下采矿运输系统 |
CN110597711A (zh) * | 2019-08-26 | 2019-12-20 | 湖南大学 | 一种基于场景和任务的自动驾驶测试用例生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111258312A (zh) | 2020-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113032285B (zh) | 一种高精地图测试方法、装置、电子设备及存储介质 | |
CN111204336B (zh) | 一种车辆行车风险的评估方法及设备 | |
CN111897305A (zh) | 一种基于自动驾驶的数据处理方法、装置、设备及介质 | |
CN109215433A (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
JP2020034906A (ja) | 高精度地図生成方法、高精度地図生成装置、コンピュータ機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品 | |
CN111582189B (zh) | 交通信号灯识别方法、装置、车载控制终端及机动车 | |
CN108628324A (zh) | 基于矢量地图的无人车导航方法、装置、设备及存储介质 | |
CN110530377B (zh) | 用于实施用于车辆的至少一个提高安全性的措施的方法和装置 | |
CN112729316A (zh) | 自动驾驶车辆的定位方法、装置、车载设备、系统及车辆 | |
CN108519085B (zh) | 导航路径获取方法、装置、系统及其存储介质 | |
JPWO2020066505A1 (ja) | 認識装置 | |
TWI711804B (zh) | 自駕車輛之車輛導航設備 | |
US20230266129A1 (en) | Map selection for vehicle pose system | |
US20190049252A1 (en) | 3d localization device | |
CN115235500A (zh) | 基于车道线约束的位姿校正方法及装置、全工况静态环境建模方法及装置 | |
CN111240224A (zh) | 一种车辆自动驾驶技术的多功能仿真模拟系统 | |
CN111127651A (zh) | 基于高精度可视化技术的自动驾驶测试开发方法及装置 | |
CN110375786B (zh) | 一种传感器外参的标定方法、车载设备及存储介质 | |
CN111258312B (zh) | 可移动模型及其控制方法、装置、系统、设备和存储介质 | |
Matthaei et al. | Robust grid-based road detection for ADAS and autonomous vehicles in urban environments | |
JP6790951B2 (ja) | 地図情報学習方法及び地図情報学習装置 | |
US20230168368A1 (en) | Guardrail estimation method based on multi-sensor data fusion, and vehicle-mounted device | |
CN116105712A (zh) | 道路地图的生成方法、回注方法、计算机设备及介质 | |
CN102045636A (zh) | 路况导航方法、移动终端和路况导航服务器 | |
CN114426030A (zh) | 一种行人穿行意图估计方法、装置、设备和汽车 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |