CN110210280A - 一种超视距感知方法、系统、终端和存储介质 - Google Patents
一种超视距感知方法、系统、终端和存储介质 Download PDFInfo
- Publication number
- CN110210280A CN110210280A CN201910154121.4A CN201910154121A CN110210280A CN 110210280 A CN110210280 A CN 110210280A CN 201910154121 A CN201910154121 A CN 201910154121A CN 110210280 A CN110210280 A CN 110210280A
- Authority
- CN
- China
- Prior art keywords
- static
- sensing module
- scene map
- obstacle thing
- barrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 27
- 230000004888 barrier function Effects 0.000 claims abstract description 96
- 230000008447 perception Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000003068 static effect Effects 0.000 claims description 14
- 230000001953 sensory effect Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种超视距感知方法、系统、终端和存储介质,包括以下步骤S01:获取场景地图,所述场景地图中仅包括底图信息;自局部感知模块和/或个体感知模块感知数据中提取障碍物要素;确定障碍物的姿态、尺寸信息以及与场景地图的相对位置关系;S02:融合自局部感知模块和/或个体感知模块感知数据中提取的所有障碍物实例,并映射到场景地图中,并实时更新障碍物实例在场景地图中的位置。通过将场景中动态物体和/或静态障碍物语义分割、实例分割、目标检测,进而将动态物体和/或静态障碍物映射到场景地图中,形成动态地图,并实时更新映射关系,并将动态地图存储在服务器中,供移动端或者车载移动端下载、使用。
Description
技术领域
本发明涉及汽车电子技术领域,特别是涉及一种超视距感知方法、系统、终端和存储介质。
背景技术
图像是人们从客观世界获取信息的重要来源,图像信息最主要来自其边缘和轮廓。所谓边缘是指其周围像素灰度急剧变化的那些象素的集合,它存在于目标、背景和区域之间。图像边缘检测是图像处理中的一个重要内容和步骤。
传统的汽车自主泊车方法一般是驾驶员首先人工寻找到空停车位,然后自主泊车系统依靠车身携带的传感器系统搜集车身四周环境特征,泊车系统再根据四周环境特征进行认知判断,然后做出泊车决策规划辅助驾驶员完成自动泊车。仅仅依靠车载传感器车辆所能感知距离非常有限,只能感受到车身周围较小范围内的环境特征,而且在道路拥堵或者光线条件比较复杂的环境下,车载传感器提供的数据无法使汽车准确地完成感知任务。
发明内容
为了解决上述的以及其他潜在的技术问题,本发明提供了一种超视距感知方法、系统、终端和存储介质,通过将场景中动态物体和/或静态障碍物语义分割、实例分割、目标检测,并通过结合动态物体和/或静态障碍物获取渠道对应的感知模块标定参数和/或感知模块的定位信息以及动态物体和/或静态障碍物的相对位置、姿态、尺寸信息获得目标的相对坐标转换关系,进而将动态物体和/或静态障碍物映射到场景地图中,形成动态地图,并实时更新映射关系,并将动态地图存储在服务器中,供移动端或者车载移动端下载、使用。
一种超视距感知方法,包括以下步骤:
S01:获取场景地图,所述场景地图中仅包括底图信息;自局部感知模块和/或个体感知模块感知数据中提取障碍物要素;确定障碍物的姿态、尺寸信息以及与场景地图的相对位置关系;
S02:融合自局部感知模块和/或个体感知模块感知数据中提取的所有障碍物实例,并映射到场景地图中,并实时更新障碍物实例在场景地图中的位置。
进一步地,所述障碍物包括静态障碍物和动态障碍物。
进一步地,所述静态障碍物包含静态障碍物要素,所述动态障碍物包含动态障碍物要素。
进一步地,所述静态障碍物要素包括静态障碍物类别、静态障碍物实例,所述静态障碍物实例中包含静态障碍物姿态、静态障碍物形状、静态障碍物尺寸、静态障碍物在场景地图中的坐标。
进一步地,所述静态障碍物类别包括红绿灯、标识牌、栅栏、隔离墩、道闸杆、防护桩、车位地锁、车阻石、道闸、橡胶挡车器、立柱、静止状态的车辆中的一种或几种。
进一步地,所述动态障碍物要素包括动态障碍物类别、动态障碍物实例,所述动态障碍物实例中包含动态障碍物姿态、动态障碍物形状、动态障碍物速度、动态障碍物在场景地图中的坐标、动态障碍物路径规划的信息中的一种或几种。
进一步地,所述动态障碍物类别包括但是不限于机动车辆、自行车、行人、未知;所述机动车辆类别内还包括第二类别,所述第二类别包括轿车、SUV、摩托车、平衡车、电瓶车;所述未知包括所有根据目标追踪得到但是又无法分类的移动物体。
进一步地,所述步骤S02中融合自局部感知模块和/或个体感知模块感知数据中提取的所有静态障碍物实例和/或动态障碍物实例映射到场景地图中时,包括以下步骤:
S021:局部感知模块和/或个体感知模块获取各自感知范围内的静态障碍物实例和/或动态障碍物实例在俯视视角下或由自由视角转换为俯视视角下的目标框,所述目标框在场景地图中的相对位置和姿态;
S022:将所有局部感知模块和/或个体感知模块获取的俯视视角下的目标框根据其在场景地图中的相对位置、姿态以及相对尺寸转换关系映射到场景地图中。
进一步地,所述步骤S021中确定目标框在场景地图中的相对位置和姿态时,若静态障碍物实例和/或动态障碍物实例来自局部感知模块,则获取局部感知模块在场景地图中实际安装位置与标定参数、以及静态障碍物实例和/或动态障碍物实例在局部感知模块感受野范围内的位置,通过坐标转换获得静态障碍物实例和/动态障碍物实例在场景地图中的相对坐标和姿态。
进一步地,所述步骤S022中确定目标框在场景地图中的相对位置、姿态和尺寸时,若静态障碍物实例和/或动态障碍物实例来自个体感知模块,则获取个体感知模块上传的世界坐标定位,再由世界坐标定位通过坐标转换关系转换为场景地图中的相对位置;根据获取的个体感知模块自身实际尺寸通过场景地图与真实地图的缩放比例转换为个体感知模块在场景地图中显示的尺寸;根据获取的个体感知模块的航向角、车身控制信号信号通过角度转换关系转换为个体感知模块在场景地图中的姿态信息。
进一步地,所述步骤S022中确定目标框在场景地图中的相对位置、姿态和尺寸时,先预设置每一个类别障碍物的至少三个轮廓角点,识别静态障碍物和/或动态障碍物将该三个轮廓角点,并将每一个识别出的轮廓点通过坐标转换关系转换到场景地图中,以三个轮廓角点的相对位置关系确定静态障碍物和/或动态障碍物的姿态和尺寸关系。
进一步地,所述每一个静态障碍物类别均包括一个主表、至少一个辅表和至少一个索引,所述每一个静态障碍物类别均记载在主表中,所述每一个静态障碍物类别中所有的实例要素均记载在辅表中,所述主表与所述附表映射关系通过索引实现。
进一步地,当局部感知模块和/或个体感知模块感知到的静态目标不属于静态障碍物中任一类别,则在所述静态障碍物类别主表中增加一个类别,系统验证该待添加类别在原主表中无重复,即可添加入主表,并记录添加的时间;当局部感知模块和/或个体感知模块感知到的静态目标不属于静态障碍物所在类别中任一实例,则静态障碍物类别附表中添加一个实例,则系统验证该待添加实例在原辅表中与剩余实例之间无重复,即可添加入辅表,并记录添加实例的时间;所述每一个静态障碍物实例均有一个唯一的ID表征其所在类别和其在所在类别中的编号。
进一步地,当所有局部感知模块和/或个体感知模块在指定时间内均未感知到特定实例,则在所述静态障碍物类别辅表中找到该实例ID,删除该实例ID信息并记录删除内容。
进一步地,所述场景地图为GIS图、栅格图、矢量图中的任意一种。
一种超视距感知系统,包括以下部分:
个体感知模块,所述个体感知模块包括个体上装载的包括但不限于摄像头、超声波雷达、激光雷达中一种或几种在内的感知设备,所述个体感知模块用于感知个体感受野范围内的环境信息和路况信息;
局部感知模块,所述布局感知模块包括设置在场景地图中的包括但不限于摄像头、超声波雷达、激光雷达中一种或几种在内的感知设备,所述布局感知模块用于感知场景地图内布局限定范围内的环境信息、路况信息以及动态障碍物的方向、运动速度、加速度等;
整体感知模块,所述整体感知模块包括基础层场景地图、由个体感知模块和/或局部感知模块映射到基础场景地图上的所有静态障碍物实例和/或动态障碍物实例。
进一步地,所述个体感知模块通过感知设备目标检测方法对车身四周其余物体进行感知获取其具体类别及检测边界框,通过由图像坐标系和世界坐标系之间的转换关系,把感知到的信息投射到以自车为中心的俯视图上,获得个体感受野范围内的环境信息。
进一步,所述个体感知模块通过语义分割方法识别停车场地面车道线标识和车位位置,以判断车辆可行使区和车位;通过图像分类方法识别停车场类各种指示牌以获取车辆当前可行驶方向,获得个体感受野范围内的路况信息。
进一步地,所述局部感知系统接收场景地图中局部感知模块的感知数据,运用目标检测方法获取摄像头范围每个物体的检测结果及其物理大小和所处位置等信息;运用语义分割等方法可以获取当前检测方位内的可行使区域和空车位信息;对于动态物体运用目标跟踪方法获取其前进方向和运动速度等信息,再通过各个局部感知模块的标定参数和图像坐标和世界坐标之间的转换关系将局部感知模块感知的所有数据融合,并显示在场景地图上。
一种终端设备,如可以执行上述超视距感知程序的智能手机或可以执行超视距感知程序的车载终端控制设备。
一种服务器,所述服务器可以存储、实时更新并支持下载上述超视距感知方法和/或超视距感知系统。
一种计算机存储介质,所述计算机存储介质用于存储上述超视距感知方法所对应的软件程序和/或超视距感知系统所对应的场景地图数据库。
如上所述,本发明的具有以下有益效果:
通过将场景中动态物体和/或静态障碍物语义分割、实例分割、目标检测,并通过结合动态物体和/或静态障碍物获取渠道对应的感知模块标定参数和/或感知模块的定位信息以及动态物体和/或静态障碍物的相对位置、姿态、尺寸信息获得目标的相对坐标转换关系,进而将动态物体和/或静态障碍物映射到场景地图中,形成动态地图,并实时更新映射关系,并将动态地图存储在服务器中,供移动端或者车载移动端下载、使用
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1显示为本发明一实施例的流程图。
图2显示为本发明另一实施例的流程图。
图3显示为本发明感知模块融合的流程框图。
图4显示为本发明另一实施例中感知模块融合的流程框图。
图5显示为本发明一实施例中场景地图GIS地图。
图6显示为本发明一实施例中场景地图矢量图。
图7显示为本发明一实施例中带有运行车辆的场景地图矢量图。
图8显示为本发明一实施例中个体感知设备的捕获图像。
图9显示为本发明一实施例中局部感知设备的捕获图像。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
参见图1~图9,
实施例1:一种超视距感知方法,包括以下步骤:
S01:获取场景地图,所述场景地图中仅包括底图信息;自局部感知模块和/或个体感知模块感知数据中提取障碍物要素;确定障碍物的姿态、尺寸信息以及与场景地图的相对位置关系;
S02:融合自局部感知模块和/或个体感知模块感知数据中提取的所有障碍物实例,并映射到场景地图中,并实时更新障碍物实例在场景地图中的位置。
进一步地,所述障碍物包括静态障碍物和动态障碍物。
进一步地,所述静态障碍物包含静态障碍物要素,所述动态障碍物包含动态障碍物要素。
进一步地,所述静态障碍物要素包括静态障碍物类别、静态障碍物实例,所述静态障碍物实例中包含静态障碍物姿态、静态障碍物形状、静态障碍物尺寸、静态障碍物在场景地图中的坐标。
进一步地,所述静态障碍物类别包括红绿灯、标识牌、栅栏、隔离墩、道闸杆、防护桩、车位地锁、车阻石、道闸、橡胶挡车器、立柱、静止状态的车辆中的一种或几种。
进一步地,所述动态障碍物要素包括动态障碍物类别、动态障碍物实例,所述动态障碍物实例中包含动态障碍物姿态、动态障碍物形状、动态障碍物速度、动态障碍物在场景地图中的坐标、动态障碍物路径规划的信息中的一种或几种。
进一步地,所述动态障碍物类别包括但是不限于机动车辆、自行车、行人、未知;所述机动车辆类别内还包括第二类别,所述第二类别包括轿车、SUV、摩托车、平衡车、电瓶车;所述未知包括所有根据目标追踪得到但是又无法分类的移动物体。
进一步地,所述步骤S02中融合自局部感知模块和/或个体感知模块感知数据中提取的所有静态障碍物实例和/或动态障碍物实例映射到场景地图中时,包括以下步骤:
S021:局部感知模块和/或个体感知模块获取各自感知范围内的静态障碍物实例和/或动态障碍物实例在俯视视角下或由自由视角转换为俯视视角下的目标框,所述目标框在场景地图中的相对位置和姿态;
S022:将所有局部感知模块和/或个体感知模块获取的俯视视角下的目标框根据其在场景地图中的相对位置、姿态以及相对尺寸转换关系映射到场景地图中。
进一步地,所述步骤S021中确定目标框在场景地图中的相对位置和姿态时,若静态障碍物实例和/或动态障碍物实例来自局部感知模块,则获取局部感知模块在场景地图中实际安装位置与标定参数、以及静态障碍物实例和/或动态障碍物实例在局部感知模块感受野范围内的位置,通过坐标转换获得静态障碍物实例和/动态障碍物实例在场景地图中的相对坐标和姿态。
进一步地,所述步骤S022中确定目标框在场景地图中的相对位置、姿态和尺寸时,若静态障碍物实例和/或动态障碍物实例来自个体感知模块,则获取个体感知模块上传的世界坐标定位,再由世界坐标定位通过坐标转换关系转换为场景地图中的相对位置;根据获取的个体感知模块自身实际尺寸通过场景地图与真实地图的缩放比例转换为个体感知模块在场景地图中显示的尺寸;根据获取的个体感知模块的航向角、车身控制信号信号通过角度转换关系转换为个体感知模块在场景地图中的姿态信息。
进一步地,所述步骤S022中确定目标框在场景地图中的相对位置、姿态和尺寸时,先预设置每一个类别障碍物的至少三个轮廓角点,识别静态障碍物和/或动态障碍物将该三个轮廓角点,并将每一个识别出的轮廓点通过坐标转换关系转换到场景地图中,以三个轮廓角点的相对位置关系确定静态障碍物和/或动态障碍物的姿态和尺寸关系。
进一步地,所述每一个静态障碍物类别均包括一个主表、至少一个辅表和至少一个索引,所述每一个静态障碍物类别均记载在主表中,所述每一个静态障碍物类别中所有的实例要素均记载在辅表中,所述主表与所述附表映射关系通过索引实现。
进一步地,当局部感知模块和/或个体感知模块感知到的静态目标不属于静态障碍物中任一类别,则在所述静态障碍物类别主表中增加一个类别,系统验证该待添加类别在原主表中无重复,即可添加入主表,并记录添加的时间;当局部感知模块和/或个体感知模块感知到的静态目标不属于静态障碍物所在类别中任一实例,则静态障碍物类别附表中添加一个实例,则系统验证该待添加实例在原辅表中与剩余实例之间无重复,即可添加入辅表,并记录添加实例的时间;所述每一个静态障碍物实例均有一个唯一的ID表征其所在类别和其在所在类别中的编号。
进一步地,当所有局部感知模块和/或个体感知模块在指定时间内均未感知到特定实例,则在所述静态障碍物类别辅表中找到该实例ID,删除该实例ID信息并记录删除内容。
进一步地,所述场景地图为GIS图、栅格图、矢量图中的任意一种。
一种超视距感知系统,包括以下部分:
个体感知模块,所述个体感知模块包括个体上装载的包括但不限于摄像头、超声波雷达、激光雷达中一种或几种在内的感知设备,所述个体感知模块用于感知个体感受野范围内的环境信息和路况信息;
局部感知模块,所述布局感知模块包括设置在场景地图中的包括但不限于摄像头、超声波雷达、激光雷达中一种或几种在内的感知设备,所述布局感知模块用于感知场景地图内布局限定范围内的环境信息、路况信息以及动态障碍物的方向、运动速度、加速度等;
整体感知模块,所述整体感知模块包括基础层场景地图、由个体感知模块和/或局部感知模块映射到基础场景地图上的所有静态障碍物实例和/或动态障碍物实例。
进一步地,所述个体感知模块通过感知设备目标检测方法对车身四周其余物体进行感知获取其具体类别及检测边界框,通过由图像坐标系和世界坐标系之间的转换关系,把感知到的信息投射到以自车为中心的俯视图上,获得个体感受野范围内的环境信息。
进一步,所述个体感知模块通过语义分割方法识别停车场地面车道线标识和车位位置,以判断车辆可行使区和车位;通过图像分类方法识别停车场类各种指示牌以获取车辆当前可行驶方向,获得个体感受野范围内的路况信息。
进一步地,所述局部感知系统接收场景地图中局部感知模块的感知数据,运用目标检测方法获取摄像头范围每个物体的检测结果及其物理大小和所处位置等信息;运用语义分割等方法可以获取当前检测方位内的可行使区域和空车位信息;对于动态物体运用目标跟踪方法获取其前进方向和运动速度等信息,再通过各个局部感知模块的标定参数和图像坐标和世界坐标之间的转换关系将局部感知模块感知的所有数据融合,并显示在场景地图上。
一种终端设备,如可以执行上述超视距感知程序的智能手机或可以执行超视距感知程序的车载终端控制设备。
一种服务器,所述服务器可以存储、实时更新并支持下载上述超视距感知方法和/或超视距感知系统。
一种计算机存储介质,所述计算机存储介质用于存储上述超视距感知方法所对应的软件程序和/或超视距感知系统所对应的场景地图数据库。
实施例2:
一种超视距感知方法,包括以下步骤
S01:首先把停车场GIS图放在下方,作为静态底层。对其上的每一个停车位可以指定一个编号;
S02:然后把局部感知代表的不同摄像头监控范围停车场使用状况的俯视图投射到GIS图上,每个摄像头局部感知俯视图上的每个车位拥有和GIS图上每个车位相同的编号,这样通过局部感知俯视图上车位使用信息就可以获取GIS图上车位使用信息。每个局部感知俯视图和GIS图都有一对相应的坐标转换关系,通过该坐标转换可以把每个摄像头形成的局部感知俯视图里清楚地投射到GIS图上。我们只把局部感知俯视图上的运动中物体、停放着的车辆和其余障碍物等信息,单独投射到GIS图上,而局部感知俯视图上和GIS图都有的车位和道路等信息则不再进行投射;
对于存在感受野交叠的局部感知俯视图,由于我们只是投射1)局部感知俯视图中的运动物体和静态车辆及障碍物信息到GIS图里,2)每个局部感知俯视图和GIS图有精确的对应关系,摄像头监控交叉部分对应的俯视图投射过去的物体一般不会有多少覆盖交叠,3)对于投射过去存在交叠部分的物体可以进行合并操作。因此对于感受野交叠的局部感知俯视图也能很好投射;
S03:接着把环境感知代表的以车辆为中心的周围环境的感知的俯视图也投射到GIS图上。环境感知俯视图也和GIS图有一个对应的坐标转换关系,因此我们也能把环境感知俯视图上的自车和周围其余物体投射到GIS图上,而环境感知俯视图上的道路和车位也不进行投射。对于环境感知部分和过程2所形成的融合数据存在感受野交叠的部分具体处理方法和过程2对交叠部分的处理类似。
S04:当对过程2和过程3实时动态处理后,可以获得对整个停车场状态的实时动态感知。能够实现1)获得整个停车场所有车位的使用状况;2)捕捉停车场内行驶中的车辆的前进方向和速度。
作为优选实施例,本实施例还提供一种终端设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于:可通过系统总线相互通信连接的存储器、处理器。需要指出的是,具有组件存储器、处理器的终端设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的超视距感知方法实施更多或者更少的组件。
作为优选实施例,存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器可以是计算机设备的内部存储单元,例如该计算机设备20的硬盘或内存。在另一些实施例中,存储器也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中的程序代码等。此外,存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中,处理器用于运行存储器中存储的程序代码或者处理数据,例如运行的检测程序,以实现实施例中超视距感知方法的功能。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储程序,被处理器执行时实现实施例中的超视距感知方法。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (15)
1.一种超视距感知方法,其特征在于,包括以下步骤:
S01:获取场景地图,所述场景地图中仅包括底图信息;自局部感知模块和/或个体感知模块感知数据中提取障碍物要素;确定障碍物的姿态、尺寸信息以及与场景地图的相对位置关系;
S02:融合自局部感知模块和/或个体感知模块感知数据中提取的所有障碍物实例,并映射到场景地图中,并实时更新障碍物实例在场景地图中的位置。
2.根据权利要求1所述的超视距感知方法,其特征在于,所述障碍物包括静态障碍物和动态障碍物;静态障碍物包含静态障碍物要素,所述动态障碍物包含动态障碍物要素。
3.根据权利要求2所述的超视距感知方法,其特征在于,所述所述静态障碍物要素包括静态障碍物类别、静态障碍物实例,所述静态障碍物实例中包含静态障碍物姿态、静态障碍物形状、静态障碍物尺寸、静态障碍物在场景地图中的坐标;所述静态障碍物类别包括红绿灯、标识牌、栅栏、隔离墩、道闸杆、防护桩、车位地锁、车阻石、道闸、橡胶挡车器、立柱、静止状态的车辆中的一种或几种。
4.根据权利要求1所述的超视距感知方法,其特征在于,所述动态障碍物要素包括动态障碍物类别、动态障碍物实例,所述动态障碍物实例中包含动态障碍物姿态、动态障碍物形状、动态障碍物速度、动态障碍物在场景地图中的坐标、动态障碍物路径规划的信息中的一种或几种;所述动态障碍物类别包括但是不限于机动车辆、自行车、行人、未知;所述机动车辆类别内还包括第二类别,所述第二类别包括轿车、SUV、摩托车、平衡车、电瓶车;所述未知包括所有根据目标追踪得到但是又无法分类的移动物体。
5.根据权利要求1所述的超视距感知方法,其特征在于,所述步骤S02中融合自局部感知模块和/或个体感知模块感知数据中提取的所有静态障碍物实例和/或动态障碍物实例映射到场景地图中时,包括以下步骤:
S021:局部感知模块和/或个体感知模块获取各自感知范围内的静态障碍物实例和/或动态障碍物实例在俯视视角下或由自由视角转换为俯视视角下的目标框,所述目标框在场景地图中的相对位置和姿态;
S022:将所有局部感知模块和/或个体感知模块获取的俯视视角下的目标框根据其在场景地图中的相对位置、姿态以及相对尺寸转换关系映射到场景地图中。
6.根据权利要求5所述的超视距感知方法,其特征在于,所述步骤S021中确定目标框在场景地图中的相对位置和姿态时,若静态障碍物实例和/或动态障碍物实例来自局部感知模块,则获取局部感知模块在场景地图中实际安装位置与标定参数、以及静态障碍物实例和/ 或动态障碍物实例在局部感知模块感受野范围内的位置,通过坐标转换获得静态障碍物实例和/动态障碍物实例在场景地图中的相对坐标和姿态。
7.根据权利要求5所述的超视距感知方法,其特征在于,所述步骤S022中确定目标框在场景地图中的相对位置、姿态和尺寸时,若静态障碍物实例和/或动态障碍物实例来自个体感知模块,则获取个体感知模块上传的世界坐标定位,再由世界坐标定位通过坐标转换关系转换为场景地图中的相对位置;根据获取的个体感知模块自身实际尺寸通过场景地图与真实地图的缩放比例转换为个体感知模块在场景地图中显示的尺寸;根据获取的个体感知模块的航向角、车身控制信号信号通过角度转换关系转换为个体感知模块在场景地图中的姿态信息。
8.根据权利要求5所述的超视距感知方法,其特征在于,所述步骤S022中确定目标框在场景地图中的相对位置、姿态和尺寸时,先预设置每一个类别障碍物的至少三个轮廓角点,识别静态障碍物和/或动态障碍物将该三个轮廓角点,并将每一个识别出的轮廓点通过坐标转换关系转换到场景地图中,以三个轮廓角点的相对位置关系确定静态障碍物和/或动态障碍物的姿态和尺寸关系。
9.根据权利要求8所述的超视距感知方法,其特征在于,当局部感知模块和/或个体感知模块感知到的静态目标不属于静态障碍物中任一类别,则在所述静态障碍物类别主表中增加一个类别,系统验证该待添加类别在原主表中无重复,即可添加入主表,并记录添加的时间;当局部感知模块和/或个体感知模块感知到的静态目标不属于静态障碍物所在类别中任一实例,则静态障碍物类别附表中添加一个实例,则系统验证该待添加实例在原辅表中与剩余实例之间无重复,即可添加入辅表,并记录添加实例的时间;所述每一个静态障碍物实例均有一个唯一的ID表征其所在类别和其在所在类别中的编号。
10.一种超视距感知系统,其特征在于,包括以下部分:
个体感知模块,所述个体感知模块包括个体上装载的包括但不限于摄像头、超声波雷达、激光雷达中一种或几种在内的感知设备,所述个体感知模块用于感知个体感受野范围内的环境信息和路况信息;
局部感知模块,所述布局感知模块包括设置在场景地图中的包括但不限于摄像头、超声波雷达、激光雷达中一种或几种在内的感知设备,所述布局感知模块用于感知场景地图内布局限定范围内的环境信息、路况信息以及动态障碍物的方向、运动速度、加速度等;
整体感知模块,所述整体感知模块包括基础层场景地图、由个体感知模块和/或局部感知模块映射到基础场景地图上的所有静态障碍物实例和/或动态障碍物实例。
11.根据权利要求10所述的超视距感知系统,其特征在于,所述个体感知模块通过语义分割方法识别停车场地面车道线标识和车位位置,以判断车辆可行使区和车位;通过图像分类方法识别停车场类各种指示牌以获取车辆当前可行驶方向,获得个体感受野范围内的路况信息。
12.根据权利要求10所述的超视距感知系统,其特征在于,所述局部感知系统接收场景地图中局部感知模块的感知数据,运用目标检测方法获取摄像头范围每个物体的检测结果及其物理大小和所处位置等信息;运用语义分割等方法可以获取当前检测方位内的可行使区域和空车位信息;对于动态物体运用目标跟踪方法获取其前进方向和运动速度等信息,再通过各个局部感知模块的标定参数和图像坐标和世界坐标之间的转换关系将局部感知模块感知的所有数据融合,并显示在场景地图上。
13.一种终端设备,其特征在于:所述终端设备为执行上述权利要求1-9任一项所述超视距感知方法的智能手机或为执行上述权利要求1-9任一项所述超视距感知方法的车载终端控制设备。
14.一种服务器,其特征在于:所述服务器可以存储、实时更新并支持下载上述权利要求1-9任一项所述超视距感知方法和/或上述权利要求10-12任一项所述超视距感知系统。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1至9任一权利要求所述的方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910154121.4A CN110210280B (zh) | 2019-03-01 | 2019-03-01 | 一种超视距感知方法、系统、终端和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910154121.4A CN110210280B (zh) | 2019-03-01 | 2019-03-01 | 一种超视距感知方法、系统、终端和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110210280A true CN110210280A (zh) | 2019-09-06 |
CN110210280B CN110210280B (zh) | 2024-04-19 |
Family
ID=67785231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910154121.4A Active CN110210280B (zh) | 2019-03-01 | 2019-03-01 | 一种超视距感知方法、系统、终端和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110210280B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110979313A (zh) * | 2019-12-13 | 2020-04-10 | 武汉乐庭软件技术有限公司 | 一种基于空间地图的自动泊车定位方法及系统 |
CN111243335A (zh) * | 2020-01-20 | 2020-06-05 | 上海大学 | 一种自主无人系统中的场景描述方法 |
CN111274974A (zh) * | 2020-01-21 | 2020-06-12 | 北京百度网讯科技有限公司 | 定位元素检测方法、装置、设备和介质 |
CN111289002A (zh) * | 2019-09-24 | 2020-06-16 | 陈水弟 | 一种机器人路径规划方法及系统 |
CN111338336A (zh) * | 2020-02-11 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 一种自动驾驶方法及装置 |
CN111710039A (zh) * | 2020-06-03 | 2020-09-25 | 纵目科技(上海)股份有限公司 | 一种高精度地图的构建方法、系统、终端和存储介质 |
CN112363494A (zh) * | 2020-09-24 | 2021-02-12 | 深圳优地科技有限公司 | 机器人前进路径的规划方法、设备及存储介质 |
CN112652190A (zh) * | 2019-10-11 | 2021-04-13 | 广州汽车集团股份有限公司 | 自动泊车的车位识别方法及其系统 |
CN112947401A (zh) * | 2019-12-09 | 2021-06-11 | 深动科技(北京)有限公司 | 一种自动驾驶系统中的感知数据的显示方法 |
CN113176097A (zh) * | 2021-03-15 | 2021-07-27 | 北京汽车研究总院有限公司 | 感知模块的检测方法、计算机可读存储介质及车辆 |
WO2021184841A1 (zh) * | 2020-03-19 | 2021-09-23 | 中移(上海)信息通信科技有限公司 | 车联网方法、装置、设备、存储介质及系统 |
CN113689695A (zh) * | 2021-08-11 | 2021-11-23 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN114185353A (zh) * | 2021-12-09 | 2022-03-15 | 吉林大学 | 一种自主作业装载机倒车避障与路径规划方法 |
CN114255351A (zh) * | 2022-02-28 | 2022-03-29 | 魔门塔(苏州)科技有限公司 | 一种图像处理方法、装置、介质、设备及驾驶系统 |
CN117685954A (zh) * | 2024-02-01 | 2024-03-12 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建系统和方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040230340A1 (en) * | 2003-03-28 | 2004-11-18 | Masaki Fukuchi | Behavior controlling apparatus, behavior control method, behavior control program and mobile robot apparatus |
JP2005310043A (ja) * | 2004-04-26 | 2005-11-04 | Mitsubishi Heavy Ind Ltd | 移動体の障害物回避方法及び該移動体 |
CN103413313A (zh) * | 2013-08-19 | 2013-11-27 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN105711597A (zh) * | 2016-02-25 | 2016-06-29 | 江苏大学 | 前方局部行驶环境感知系统及方法 |
CN106529495A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的障碍物检测方法和装置 |
CN106802954A (zh) * | 2017-01-18 | 2017-06-06 | 中国科学院合肥物质科学研究院 | 无人车语义地图模型构建方法及其在无人车上的应用方法 |
CN107589753A (zh) * | 2016-07-06 | 2018-01-16 | 王春生 | 一种无人机巡检避障装置 |
WO2018129648A1 (zh) * | 2017-01-10 | 2018-07-19 | 深圳市极思维智能科技有限公司 | 一种机器人及其以深度摄像头和避障系统构建地图的方法 |
CN108663681A (zh) * | 2018-05-16 | 2018-10-16 | 华南理工大学 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
CN109029463A (zh) * | 2018-08-20 | 2018-12-18 | 重庆师范大学 | 面向车辆安全行驶的室内多平衡车自主导航与调度系统 |
CN109084781A (zh) * | 2017-06-13 | 2018-12-25 | 纵目科技(上海)股份有限公司 | 构建相对坐标系下的停车库全景地图数据库的方法和系统 |
CN109146938A (zh) * | 2018-08-30 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 动态障碍物的位置校准方法、装置、设备及存储介质 |
-
2019
- 2019-03-01 CN CN201910154121.4A patent/CN110210280B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040230340A1 (en) * | 2003-03-28 | 2004-11-18 | Masaki Fukuchi | Behavior controlling apparatus, behavior control method, behavior control program and mobile robot apparatus |
JP2005310043A (ja) * | 2004-04-26 | 2005-11-04 | Mitsubishi Heavy Ind Ltd | 移動体の障害物回避方法及び該移動体 |
CN103413313A (zh) * | 2013-08-19 | 2013-11-27 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN105711597A (zh) * | 2016-02-25 | 2016-06-29 | 江苏大学 | 前方局部行驶环境感知系统及方法 |
CN107589753A (zh) * | 2016-07-06 | 2018-01-16 | 王春生 | 一种无人机巡检避障装置 |
CN106529495A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的障碍物检测方法和装置 |
WO2018129648A1 (zh) * | 2017-01-10 | 2018-07-19 | 深圳市极思维智能科技有限公司 | 一种机器人及其以深度摄像头和避障系统构建地图的方法 |
CN106802954A (zh) * | 2017-01-18 | 2017-06-06 | 中国科学院合肥物质科学研究院 | 无人车语义地图模型构建方法及其在无人车上的应用方法 |
CN109084781A (zh) * | 2017-06-13 | 2018-12-25 | 纵目科技(上海)股份有限公司 | 构建相对坐标系下的停车库全景地图数据库的方法和系统 |
CN108663681A (zh) * | 2018-05-16 | 2018-10-16 | 华南理工大学 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
CN109029463A (zh) * | 2018-08-20 | 2018-12-18 | 重庆师范大学 | 面向车辆安全行驶的室内多平衡车自主导航与调度系统 |
CN109146938A (zh) * | 2018-08-30 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 动态障碍物的位置校准方法、装置、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
C.FERNANDEZ: "Grid-Based Multi-Sensor Fusion for On-Road Obstacle Detection: Application to Autonomous Driving", COMPUTER SCIENCE, pages 1 - 18 * |
徐进等: "激光传感器和视觉传感器的机器人障碍物检测", 激光杂志, vol. 37, no. 5, pages 56 - 59 * |
蒋超: "基于雷达和视觉复合传感器的无人机障碍物检测研究", 中国优秀硕士学位论文全文数据库 工程科技II辑, no. 6, pages 031 - 93 * |
陆峰等: "基于信息融合的智能车障碍物检测方法", 计算机应用, no. 2, pages 120 - 124 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111289002A (zh) * | 2019-09-24 | 2020-06-16 | 陈水弟 | 一种机器人路径规划方法及系统 |
CN112652190A (zh) * | 2019-10-11 | 2021-04-13 | 广州汽车集团股份有限公司 | 自动泊车的车位识别方法及其系统 |
CN112652190B (zh) * | 2019-10-11 | 2022-05-03 | 广州汽车集团股份有限公司 | 自动泊车的车位识别方法及其系统 |
CN112947401A (zh) * | 2019-12-09 | 2021-06-11 | 深动科技(北京)有限公司 | 一种自动驾驶系统中的感知数据的显示方法 |
CN110979313A (zh) * | 2019-12-13 | 2020-04-10 | 武汉乐庭软件技术有限公司 | 一种基于空间地图的自动泊车定位方法及系统 |
CN110979313B (zh) * | 2019-12-13 | 2021-02-09 | 武汉乐庭软件技术有限公司 | 一种基于空间地图的自动泊车定位方法及系统 |
CN111243335A (zh) * | 2020-01-20 | 2020-06-05 | 上海大学 | 一种自主无人系统中的场景描述方法 |
CN111274974A (zh) * | 2020-01-21 | 2020-06-12 | 北京百度网讯科技有限公司 | 定位元素检测方法、装置、设备和介质 |
CN111274974B (zh) * | 2020-01-21 | 2023-09-01 | 阿波罗智能技术(北京)有限公司 | 定位元素检测方法、装置、设备和介质 |
CN111338336A (zh) * | 2020-02-11 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 一种自动驾驶方法及装置 |
WO2021184841A1 (zh) * | 2020-03-19 | 2021-09-23 | 中移(上海)信息通信科技有限公司 | 车联网方法、装置、设备、存储介质及系统 |
CN111710039A (zh) * | 2020-06-03 | 2020-09-25 | 纵目科技(上海)股份有限公司 | 一种高精度地图的构建方法、系统、终端和存储介质 |
CN112363494A (zh) * | 2020-09-24 | 2021-02-12 | 深圳优地科技有限公司 | 机器人前进路径的规划方法、设备及存储介质 |
CN113176097A (zh) * | 2021-03-15 | 2021-07-27 | 北京汽车研究总院有限公司 | 感知模块的检测方法、计算机可读存储介质及车辆 |
CN113689695A (zh) * | 2021-08-11 | 2021-11-23 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN113689695B (zh) * | 2021-08-11 | 2022-07-08 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN114185353A (zh) * | 2021-12-09 | 2022-03-15 | 吉林大学 | 一种自主作业装载机倒车避障与路径规划方法 |
CN114185353B (zh) * | 2021-12-09 | 2024-03-22 | 吉林大学 | 一种自主作业装载机倒车避障与路径规划方法 |
CN114255351A (zh) * | 2022-02-28 | 2022-03-29 | 魔门塔(苏州)科技有限公司 | 一种图像处理方法、装置、介质、设备及驾驶系统 |
CN117685954A (zh) * | 2024-02-01 | 2024-03-12 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建系统和方法 |
CN117685954B (zh) * | 2024-02-01 | 2024-05-24 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110210280B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210280A (zh) | 一种超视距感知方法、系统、终端和存储介质 | |
US11487988B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
US11488392B2 (en) | Vehicle system and method for detecting objects and object distance | |
CN110471058A (zh) | 用于拖车属性的自动检测的系统和方法 | |
CN111874006B (zh) | 路线规划处理方法和装置 | |
US20190065637A1 (en) | Augmenting Real Sensor Recordings With Simulated Sensor Data | |
CN112212874B (zh) | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 | |
Mu et al. | Traffic light detection and recognition for autonomous vehicles | |
CN109461211A (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
EP1906339B1 (en) | Method for recognizing an object in an image and image recognition device | |
CN108734979A (zh) | 交通信号灯检测系统及方法 | |
US11725950B2 (en) | Substitute autonomous vehicle data | |
CN111256693B (zh) | 一种计算位姿变化方法及车载终端 | |
JPWO2020100922A1 (ja) | データ配信システム、センサデバイス及びサーバ | |
CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
DE102019113872A1 (de) | Integrierte identifikation und authentifizierung für carsharing und taxidienste | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
CN111142402B (zh) | 仿真场景构建方法、装置和终端 | |
DE112021006402T5 (de) | Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten | |
JP2022039188A (ja) | 位置姿勢算出方法および位置姿勢算出プログラム | |
JP2021128705A (ja) | 物体状態識別装置 | |
Matsuda et al. | A system for real-time on-street parking detection and visualization on an edge device | |
CN111210411B (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
CN117372991A (zh) | 基于多视角多模态融合的自动驾驶方法及系统 | |
CN114729810A (zh) | 人行横道检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |