CN113516765B - 一种地图管理方法、地图管理装置及智能设备 - Google Patents
一种地图管理方法、地图管理装置及智能设备 Download PDFInfo
- Publication number
- CN113516765B CN113516765B CN202110709454.6A CN202110709454A CN113516765B CN 113516765 B CN113516765 B CN 113516765B CN 202110709454 A CN202110709454 A CN 202110709454A CN 113516765 B CN113516765 B CN 113516765B
- Authority
- CN
- China
- Prior art keywords
- map
- target
- white color
- pixel point
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000638 solvent extraction Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000005192 partition Methods 0.000 claims description 64
- 238000013507 mapping Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010408 sweeping Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种地图管理方法、地图管理装置、智能设备及计算机可读存储介质。其中,该方法包括:对原始地图进行预处理,得到第一地图;在所述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;基于至少两个二值化阈值分别对所述第二地图进行二值化处理,得到至少两个二值化地图;根据预设的地图条件,在所述至少两个二值化地图中确定出第三地图;基于所述第三地图,对所述原始地图进行分区,得到目标地图。本申请方案可实现智能设备对地图的自动分区,提升智能设备的智能化水平。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种地图管理方法、地图管理装置、智能设备及计算机可读存储介质。
背景技术
栅格地图目前被广泛应用于移动机器人的定位与导航中。而对于扫地机及陪伴机器人等家用服务型机器人来说,对栅格地图的分区是一个重要的任务,该任务有助于其它功能及业务的实现。例如,在地图分区后,扫地机器人可进行选区清扫,提升路径规划的准确性及清扫效率;陪伴机器人可对各区域添加语意信息,使其在进入不同区域时选择对应的行为模式,改善人机交互,提升自身的智能化水平。然而,当前的地图分区主要依赖于人工操作,机器人自身并不能实现对地图的自动分区。
发明内容
本申请提供了一种地图管理方法、地图管理装置、智能设备及计算机可读存储介质,可实现智能设备对地图的自动分区,有助于提升智能设备的智能化水平。
第一方面,本申请提供了一种地图管理方法,包括:
对原始地图进行预处理,得到第一地图;
在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;
基于至少两个二值化阈值分别对上述第二地图进行二值化处理,得到至少两个二值化地图;
根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图;
基于上述第三地图,对上述原始地图进行分区,得到目标地图。
第二方面,本申请提供了一种地图管理装置,包括:
第一处理单元,用于对原始地图进行预处理,得到第一地图;
第二处理单元,用于在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;
第三处理单元,用于基于至少两个二值化阈值分别对上述第二地图进行二值化处理,得到至少两个二值化地图;
确定单元,用于根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图;
分区单元,用于基于上述第三地图,对上述原始地图进行分区,得到目标地图。
第三方面,本申请提供了一种智能设备,上述智能设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面,本申请提供了一种计算机程序产品,上述计算机程序产品包括计算机程序,上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
本申请与现有技术相比存在的有益效果是:首先对原始地图进行预处理,得到第一地图,然后在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图,接着基于至少两个二值化阈值分别对上述第二地图进行二值化处理,得到至少两个二值化地图,之后再根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图,最后基于上述第三地图,对上述原始地图进行分区,得到目标地图。本申请方案先后通过预处理、距离变换处理及二值化处理等操作对原始地图进行处理,获得能够体现区域分布情况的第三地图,并基于该第三地图来对最开始的原始地图进行分区操作,由此实现自动分区。该原始地图的自动分区的结果还可作为智能设备的其它功能的决策基础,有助于提升智能设备的智能化水平。可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的地图管理方法的实现流程示意图;
图2是本申请实施例提供的原始地图的示例图;
图3是本申请实施例提供的第一地图的示例图;
图4是本申请实施例提供的第二地图的示例图;
图5是本申请实施例提供的第三地图的示例图;
图6是本申请实施例提供的目标地图的示例图;
图7是本申请实施例提供的对目标地图进行区域合并的示例图;
图8是本申请实施例提供的对目标地图进行区域分割的示例图;
图9是本申请实施例提供的地图管理装置的结构框图;
图10是本申请实施例提供的智能设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所提出的技术方案,下面通过具体实施例来进行说明。
下面对本申请实施例所提出的地图管理方法作出说明。请参阅图1,该地图管理方法包括:
步骤101,对原始地图进行预处理,得到第一地图。
在本申请实施例中,智能设备可通过激光雷达和/或摄像头等传感器对其所处的环境进行感知,即可获得该环境的原始地图。请参阅图2,图2给出了一原始地图的示例。在图2中,黑色区域表示障碍物区域,白色区域表示空闲区域,灰色区域表示未知区域,其中,黑色像素点的像素值为0,白色像素点的像素值为255,灰色像素点的像素值为205。
在一些实施例中,上述预处理的操作包括:二值化处理、去噪处理及填充处理等;则上述步骤101可具体表现为:
A1、对上述原始地图进行二值化处理,得到二值化原始地图。
智能设备可采用指定二值化阈值,对该原始地图进行二值化处理。可以理解,二值化处理后所获得的二值化原始地图只包含两种颜色:一种是白色,另一种是黑色。也即,二值化原始地图只包括黑色色块及白色色块。
A2、通过闭操作消除上述二值化原始地图的噪点,得到无噪点原始地图。
智能设备可对二值化原始地图中的各个黑色色块进行闭操作。其中,该闭操作具体为:先膨胀再腐蚀。由于闭操作可以连接狭窄的间断和长细的鸿沟,消除小的孔洞,并填补轮廓线中的断裂,因而,通过闭操作可以消除二值化原始地图中的噪点。
A3、将上述无噪点原始地图中,面积小于预设的第二面积阈值的黑色色块填充为白色,得到上述第一地图。
在获得无噪点原始地图后,可以对该无噪点原始地图进行连通域分析,由此可得到该无噪点原始地图中的各个黑色色块的面积。智能设备可以预先设定一个第二面积阈值,并将各个黑色色块的面积与该第二面积阈值进行比对,即可筛选出面积小于该第二面积阈值的黑色色块。对这些黑色色块进行填充操作,具体为填充为白色。至此,预处理操作完成,所得地图即为第一地图。请参阅图3,图3给出了对图2所示出的原始地图进行预处理后所得的第一地图的示例。
步骤102,在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图。
在本申请实施例中,通过前文的描述可知,第一地图中仅包括黑色色块及白色色块;也即,第一地图中仅包括黑色像素点及白色像素点。考虑到通常原始地图中的黑色区域表示障碍物区域,因而,该第一地图中的黑色像素点可被认为约等于障碍物区域;相对应地,第一地图中的白色像素点可被认为约等于空白区域。
在一些实施例中,由于本申请实施例考虑的是对地图进行分区,而分区的过程通常依赖于障碍物。例如,在房屋环境中,房屋的墙体即为障碍物,通过墙体可将房屋划分为多个房间。因而,智能设备将判断哪些空白区域未被墙体所分隔开。由此,智能设备可设定满足预设的像素点条件的像素点为:白色像素点。由此,步骤102实际上是对各个白色像素点进行距离变换处理,得到第二地图。
下面以第一地图中的任一白色像素点为例,对距离变换处理的过程作出说明:
B1、计算与上述白色像素点最近的黑色像素点的距离。
可以理解,该距离为欧式距离。具体地,该距离可以以像素为单位。举例来说,对于白色像素点A,其最近的黑色像素点B与其相隔了5个像素点;则该像素点A与最近的黑色像素点B的距离为:5像素。
B2、将上述距离映射至预设的像素值区间,得到目标像素值。
仅作为示例,该像素值区间可以为[0,255],其中,像素值为255时表示白色,像素值为0时表示黑色;当然,该像素值区间也可以是其它取值,此处不作限定。
智能设备可以在统计出各个白色像素点分别与各自最近的黑色像素点的距离后,通过统计所得的该距离的最大值及最小值获得距离区间。将该距离区间映射至像素值区间,由此使得各个距离可在该像素值区间内映射得到对应的目标像素值。
仅作为示例,假定所计算得到的距离区间为[0,16],像素值区间为[0,255];对于与最近的黑色像素点的距离为16像素的白色像素点来说,其目标像素值为255;对于与最近的黑色像素点的距离为8像素的白色像素点来说,其目标像素值为128;对于与最近的黑色像素点的距离为0像素的白色像素点来说,其目标像素值为0,以此类推,此处不再赘述。
B3、将上述目标像素值作为上述第二地图中与上述白色像素点对应的像素点的像素值。
仅作为示例,假定白色像素点A的坐标为(x1,y1),白色像素点B的坐标为(x2,y2);假定通过步骤B1及B2,计算得到白色像素点A的目标像素值为P1,白色像素点B的目标像素值为P2;则第二地图中的坐标为(x1,y1)的像素点的像素值即为P1,第二地图中的坐标为(x2,y2)的像素点的像素值即为P2。
需要注意的是,对于第二地图中与第一地图的各个黑色像素点相对应的像素点来说,其像素值均为0;也即,第一地图中的黑色像素点会被完全移植到第二地图中的对应位置。请参阅图4,图4给出了对图3所示出的第一地图进距离变换处理后所得的第二地图的示例。
步骤103,基于至少两个二值化阈值分别对上述第二地图进行二值化处理,得到至少两个二值化地图。
在本申请实施例中,智能设备可以确定至少两个二值化阈值来作为二值化处理的基础。其中,该至少两个二值化阈值可通过如下方式确定:按一定像素值间隔,确定至少两个二值化阈值。例如,从0开始,每间隔8取一个像素值作为二值化阈值,则可得到8、16、24、32……等多个二值化阈值。可以理解的是,该像素值间隔越小,则越可能得到最优的结果;但相对应地,其计算量会增大。实际应用中,智能设备为了获得最优解,可以按照最小的像素值间隔(也即像素值间隔为1)来设定二值化阈值,则可得到1、2、3、4、5……等多个二值化阈值。
智能设备可分别基于各个二值化阈值对第二地图进行二值化处理,由此,可对应得到至少两个二值化地图。也即,每个二值化阈值均对应可得到一个二值化地图,最终所得的二值化地图的数量与二值化阈值的数量相等。
步骤104,根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图。
在本申请实施例中,这至少两个二值化地图中有一个最优的地图可作为后续区域划分的基础,该最优的地图即为第三地图。具体地,上述预设的地图条件与白色色块的面积相关,则上述步骤104可具体表现为:
C1、计算每个二值化地图中的各个白色色块的面积。
C2、统计每个二值化地图中的目标白色色块的数量。
其中,目标白色色块指的是面积在预设的面积区间内的白色色块,此处不对该面积区间的取值作出限定。
C3、将上述目标白色色块的数量最多的二值化地图确定为上述第三地图。
仅作为示例,假定共有4个二值化地图,分别为二值化地图I1、I2、I3及I4。在通过步骤C1及C2后,发现二值化地图I1有3个目标白色色块,二值化地图I2有5个目标白色色块,二值化地图I3有4个目标白色色块,二值化地图I4有3个目标白色色块,则可知二值化地图I2的目标白色色块的数量最多;也即,该二值化地图I2将被确定为第三地图。
请参阅图5,图5给出了对图4所示出的第二地图进行二值化处理后所得的第三地图的示例。
步骤105,基于上述第三地图,对上述原始地图进行分区,得到目标地图。
在本申请实施例中,智能设备可以第三地图作为分区的参考,对原始地图进行分区。原始地图分区完成后,即成为了目标地图。考虑到第三地图中的白色色块很好的表现了空白区域,因而,智能设备可以将该第三地图中的各个白色色块映射回原始地图;也即,将该第三地图中的各个白色色块复制到原始地图的对应位置。这之后,智能设备可再基于该原始地图中映射所得的各个白色色块对自身进行分区,即可得到目标地图。
在一些实施例中,该分区的过程可具体表现为:
D1、在上述原始地图中,将映射所得的各个白色色块的边缘向四周进行拓展,得到映射所得的各个白色色块分别对应的分区区域。
为便于理解,下面给出该拓展操作的具体过程:
1)、为每个白色色块赋予一个标签值,且不同白色色块被赋予的标签值不重复。在将各个白色色块映射到原始地图后,得到一张新的图。为了将该图中映射所得的白色色块与原本就存在于原始地图中的白色色块区分开来,将该图中映射所得的白色色块的像素值设定于[1,204]这一像素值区间内;也即,可以理解为每个标签值对应了该像素值区间内的一个像素值,且不同标签值所对应的像素值不同。由此可知,该图中存在如下像素值:0(也即黑色区域,用于表示障碍物区域);[1,204](存在标签值的区域,由映射所得的各个白色色块而得);205(也即灰色区域,用于表示未知区域);255(也即白色区域,用于表示空闲区域)。
2)、以预设顺序(例如从上至下,从左至右)遍历该图中的每一个像素点。若当前遍历到的像素点的像素值为255,也即,该像素点为白色像素点,则观察该像素点上下左右四个方向的相邻像素点是否存在标签值。若存在,则将该标签值复制至该当前遍历到的像素点。
3)、重复第2步,直至图中不存在白色像素。
通过以上操作,即可使得原始地图中的空闲区域(也即白色区域)的每个像素点均有对应的标签值。由此,便能得到近似横平竖直的分界,获得多个分区区域。可以理解,属于同一标签值的像素点即构成了一个分区区域,且该分区区域内的像素点都有着相同的像素值(在[1,204]的像素值区间内),且所得的分区区域的数量等于第三图像中的白色色块的数量。
在一些实施例中,在步骤C1-C3的基础上,为提升处理速度及处理准确率,也可以仅考虑基于第三地图的目标白色色块对原始地图进行分区。也即,智能设备可以将该第三地图中的各个目标白色色块映射回原始地图。这之后,智能设备可再基于该原始地图中映射所得的各个目标白色色块对自身进行分区,即可得到目标地图。相对应地,上述拓展操作中,则只为各个目标白色色块赋予对应的标签值,且不同目标白色色块被赋予的标签值不重复,以此为基础执行后续的像素点遍历及标签值复制等操作,最后得到的分区区域的数量等于第三图像中的目标白色色块的数量。
D2、将目标分区区域与距离上述目标分区区域最近的分区区域合并,得到上述目标地图。
其中,目标分区区域指的是:面积小于预设的第一面积阈值的分区区域。也即,目标分区区域指的是面积过小的分区区域。对于这些目标分区区域来说,智能设备可将其并入距离最近的分区区域。可以理解的是,两个分区区域的距离,指的是两个分区区域的中心点的欧式距离。
仅作为示例,假定目标分区区域Z1的上下左右均有相邻的分区区域,分别为Z2、Z3、Z4及Z5;则智能设备会计算Z1的中心点与Z2的中心点的距离D12,Z1的中心点与Z3的中心点的距离D13,Z1的中心点与Z4的中心点的距离D14,Z1的中心点与Z5的中心点的距离D15;若通过比对发现D12、D13、D14及D15中的最小值为D13,则可确定与目标分区区域Z1距离最近的分区区域为Z3。之后,智能设备可将Z1与Z3合并为一个分区区域。
当然,如果步骤D1所得的分区结果中不存在目标分区区域,则可直接将该分区结果确定为目标地图。也即,步骤D2仅在存在目标分区区域时执行;在不存在目标分区区域时,通过步骤D1即可直接获得目标地图。
请参阅图6,图6给出了基于图5所示出的第三地图对图2所示出的原始地图进行分区后所得的目标地图的示例。
在一些实施例中,考虑到自动分区的准确性不是百分之百,因而智能设备除了可实现自动分区之外,还支持用户的地图编辑处理。也即,用户可根据智能设备所处环境的实际情况,对自动分区后所得的目标地图进行编辑,包括区域分割及区域合并。则上述地图管理方法还可包括:
E1、若接收到区域合并指令,则对上述区域分割指令所指示的至少两个分区区域进行合并处理。
在实际应用过程中,用户可通过点击操作选择出想要合并的至少两个分区区域。也即,该区域合并指令应指示了至少两个分区区域。显然,只有相邻的分区区域才有合并的可能,因而智能设备还会对该区域分割指令所指示的至少两个分区区域是否相邻进行判断。可以理解,该合并处理的过程具体为:
1)、人工选定两个分区区域。用户实际操作时,只需选择地图上的两个点;这两个点所分别对应的分区区域即为用户所选定的分区区域。
2)、异常判断:
①、判断该两个分区区域的标签值是否相同。若相同,则表明用户实际选择的是相同的分区区域,无需合并。此时,可输出提醒消息,用于提醒用户区域选择错误。
②、判断该两个分区区域是否连通,也即判断该两个分区区域是否相邻。记该两个分区区域中的一个分区区域为区域一,另一个分区区域为区域二,则可通过检测区域一中的点是否存在区域二中的相邻点来判断连通性。若不连通,则该两个分区区域无法进行区域合并。此时,也可输出提醒消息,用于提醒用户区域选择错误。
3)、合并区域:在该两个分区区域的标签不相同,且该两个分区区域连通的情况下,将该两个分区区域的标签值置为相同,实现对该两个分区区域的合并处理。
请参阅图7,图7给出了对目标地图进行区域合并的示例。
E2、若接收到区域分割指令,则基于上述区域分割指令所携带的分割线,对上述区域分割指令所指示的分区区域进行分割处理。
在实际应用过程中,用户可通过滑动操作在目标地图中输入一条分界线,用于分割某一分区区域。也即,该区域分割指令应携带一条分割线。显然,只有彻底分割了某一分区区域的分割线才可实现对该分区区域的分割;也即,该分割线与该分区区域的边界应形成封闭区域。可以理解,该合并处理的过程具体为:
1)、人工绘制分割线。
2)、统计该分割线在各个分区区域中所占的像素点的数量,并将所占的像素点的数量最多的分区区域确定为待分割区域。
3)、从该待分割区域中任取一像素点,以该像素点为基础进行漫水填充。
4)、在漫水填充完成后,若该待分割区域中仍存在未被填充到的像素点,则分割成功,将漫水填充涉及到的像素点的标签值更改,分区区域数加一;反之,则分割失败。
需要注意的是,在进行漫水填充前,可先将分割线上的各个像素点的像素值置为0。这样一来,只要分割线确实彻底分割了该待分割区域,则后续进行漫水填充时就不会越过分割线。
请参阅图8,图8给出了对目标地图进行区域分割的示例。
由上可见,通过本申请实施例,充分对原始地图中的空白区域进行考虑,先后通过预处理、距离变换处理及二值化处理等操作对原始地图进行处理,获得能够体现空白区域的分布情况的第三地图,并基于该第三地图来对最开始的原始地图进行分区操作,由此实现自动分区。该原始地图的自动分区的结果还可作为智能设备的其它功能的决策基础,有助于提升智能设备的智能化水平。
对应于上文所提供的地图管理方法,本申请实施例还提供了一种地图管理装置。如图9所示,该地图管理装置900包括:
第一处理单元901,用于对原始地图进行预处理,得到第一地图;
第二处理单元902,用于在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;
第三处理单元903,用于基于至少两个二值化阈值分别对上述第二地图进行二值化处理,得到至少两个二值化地图;
确定单元904,用于根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图;
分区单元905,用于基于上述第三地图,对上述原始地图进行分区,得到目标地图。
可选地,上述第一地图中仅包括白色像素点及黑色像素点;上述第二处理单元902,包括:
距离计算子单元,用于在上述第一地图中,针对每个白色像素点,计算与上述白色像素点最近的黑色像素点的距离;
像素值映射子单元,用于将上述距离映射至预设的像素值区间,得到目标像素值;
像素值确定子单元,用于将上述目标像素值作为上述第二地图中与上述白色像素点对应的像素点的像素值。
可选地,上述确定单元904,包括:
面积计算子单元,用于计算每个二值化地图中的各个白色色块的面积;
数量统计子单元,用于统计每个二值化地图中的目标白色色块的数量,其中,上述目标白色色块为:面积在预设的面积区间内的白色色块;
第三地图确定子单元,用于将上述目标白色色块的数量最多的二值化地图确定为上述第三地图。
可选地,分区单元905,包括:
色块映射子单元,用于将上述第三地图中的各个白色色块映射回上述原始地图;
地图分区子单元,用于基于上述原始地图中映射所得的各个白色色块对上述原始地图进行分区,得到上述目标地图。
可选地,上述地图分区子单元,包括:
边缘拓展子单元,用于在上述原始地图中,将映射所得的各个白色色块的边缘向四周进行拓展,得到映射所得的各个白色色块分别对应的分区区域;
分区合并子单元,用于将目标分区区域与距离上述目标分区区域最近的分区区域合并,得到上述目标地图,其中,上述目标分区区域为:面积小于预设的第一面积阈值的分区区域。
可选地,第一处理单元901,包括:
二值化子单元,用于对上述原始地图进行二值化处理,得到二值化原始地图;
闭操作子单元,用于通过闭操作消除上述二值化原始地图的噪点,得到无噪点原始地图;
填充子单元,用于将上述无噪点原始地图中,面积小于预设的第二面积阈值的黑色色块填充为白色,得到上述第一地图。
可选地,上述地图管理装置900还包括:
分割单元,用于若接收到区域分割指令,则基于上述区域分割指令所携带的分割线,对上述区域分割指令所指示的分区区域进行分割处理;
合并单元,用于若接收到区域合并指令,则对上述区域分割指令所指示的至少两个分区区域进行合并处理。
由上可见,通过本申请实施例,充分对原始地图中的空白区域进行考虑,先后通过预处理、距离变换处理及二值化处理等操作对原始地图进行处理,获得能够体现空白区域的分布情况的第三地图,并基于该第三地图来对最开始的原始地图进行分区操作,由此实现自动分区。该原始地图的自动分区的结果还可作为智能设备的其它功能的决策基础,有助于提升智能设备的智能化水平。
对应于上文所提供的地图管理方法,本申请实施例还提供了一种智能设备。请参阅图10,本申请实施例中的智能设备10包括:存储器1001,一个或多个处理器1002(图10中仅示出一个)及存储在存储器1001上并可在处理器上运行的计算机程序。其中:存储器1001用于存储软件程序以及单元,处理器1002通过运行存储在存储器1001的软件程序以及单元,从而执行各种功能应用以及诊断,以获取上述预设事件对应的资源。具体地,处理器1002通过运行存储在存储器1001的上述计算机程序时实现以下步骤:
对原始地图进行预处理,得到第一地图;
在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;
基于至少两个二值化阈值分别对上述第二地图进行二值化处理,得到至少两个二值化地图;
根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图;
基于上述第三地图,对上述原始地图进行分区,得到目标地图。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,上述第一地图中仅包括白色像素点及黑色像素点;上述在上述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图,包括:
在上述第一地图中,针对每个白色像素点:
计算与上述白色像素点最近的黑色像素点的距离;
将上述距离映射至预设的像素值区间,得到目标像素值;
将上述目标像素值作为上述第二地图中与上述白色像素点对应的像素点的像素值。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,上述根据预设的地图条件,在上述至少两个二值化地图中确定出第三地图,包括:
计算每个二值化地图中的各个白色色块的面积;
统计每个二值化地图中的目标白色色块的数量,其中,上述目标白色色块为:面积在预设的面积区间内的白色色块;
将上述目标白色色块的数量最多的二值化地图确定为上述第三地图。
在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,上述基于上述第三地图,对上述原始地图进行分区,得到目标地图,包括:
将上述第三地图中的各个白色色块映射回上述原始地图;
基于上述原始地图中映射所得的各个白色色块对上述原始地图进行分区,得到上述目标地图。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,上述基于上述原始地图中映射所得的各个白色色块对上述原始地图进行分区,得到上述目标地图,包括:
在上述原始地图中,将映射所得的各个白色色块的边缘向四周进行拓展,得到映射所得的各个白色色块分别对应的分区区域;
将目标分区区域与距离上述目标分区区域最近的分区区域合并,得到上述目标地图,其中,上述目标分区区域为:面积小于预设的第一面积阈值的分区区域。
在上述第一种可能的实施方式作为基础而提供的第六种可能的实施方式中,上述对原始地图进行预处理,得到第一地图,包括:
对上述原始地图进行二值化处理,得到二值化原始地图;
通过闭操作消除上述二值化原始地图的噪点,得到无噪点原始地图;
将上述无噪点原始地图中,面积小于预设的第二面积阈值的黑色色块填充为白色,得到上述第一地图。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础,或者上述第四种可能的实施方式作为基础,或者上述第五种可能的实施方式作为基础,或者上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中,在上述基于上述第三地图,对上述原始地图进行分区,得到目标地图之后,处理器1002通过运行存储在存储器1001的上述计算机程序时还实现以下步骤:
若接收到区域分割指令,则基于上述区域分割指令所携带的分割线,对上述区域分割指令所指示的分区区域进行分割处理;
若接收到区域合并指令,则对上述区域分割指令所指示的至少两个分区区域进行合并处理。
应当理解,在本申请实施例中,所称处理器1002可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1001可以包括只读存储器和随机存取存储器,并向处理器1002提供指令和数据。存储器1001的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器1001还可以存储设备类别的信息。
由上可见,通过本申请实施例,充分对原始地图中的空白区域进行考虑,先后通过预处理、距离变换处理及二值化处理等操作对原始地图进行处理,获得能够体现空白区域的分布情况的第三地图,并基于该第三地图来对最开始的原始地图进行分区操作,由此实现自动分区。该原始地图的自动分区的结果还可作为智能设备的其它功能的决策基础,有助于提升智能设备的智能化水平。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关联的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (7)
1.一种地图管理方法,其特征在于,包括:
对原始地图进行预处理,得到第一地图;
在所述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;
基于至少两个二值化阈值分别对所述第二地图进行二值化处理,得到至少两个二值化地图,其中,所述至少两个二值化阈值根据最小的像素值间隔进行设定;
根据预设的地图条件,在所述至少两个二值化地图中确定出第三地图;
基于所述第三地图,对所述原始地图进行分区,得到目标地图;
其中,所述根据预设的地图条件,在所述至少两个二值化地图中确定出第三地图,包括:
计算每个二值化地图中的各个白色色块的面积;
统计每个二值化地图中的目标白色色块的数量,其中, 所述目标白色色块为:面积在预设的面积区间内的白色色块;
将所述目标白色色块的数量最多的二值化地图确定为所述第三地图;
其中,所述基于所述第三地图,对所述原始地图进行分区,得到目标地图,包括:
将所述第三地图中的各个白色色块映射回所述原始地图;
基于所述原始地图中映射所得的各个白色色块对所述原始地图进行分区,得到所述目标地图;
其中,所述基于所述原始地图中映射所得的各个白色色块对所述原始地图进行分区,得到所述目标地图,包括:
在所述原始地图中,将映射所得的各个白色色块的边缘向四周进行拓展,得到映射所得的各个白色色块分别对应的分区区域,所述拓展的操作为:为每个白色色块赋予一个标签值,且不同白色色块被赋予的标签值不重复,以预设顺序遍历每一个像素点,若当前遍历到的像素点为白色像素点,则观察所述当前遍历到的像素点上下左右四个方向的相邻像素点是否存在标签值,若存在,则将该标签值复制至所述当前遍历到的像素点,直至不存在白色像素点,其中,映射所得的各个白色色块的像素值在预设的像素值区间内;
将目标分区区域与距离所述目标分区区域最近的分区区域合并,得到所述目标地图,其中,所述目标分区区域为:面积小于预设的第一面积阈值的分区区域。
2.如权利要求1所述的地图管理方法,其特征在于,所述第一地图中仅包括白色像素点及黑色像素点;所述在所述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图,包括:
在所述第一地图中,针对每个白色像素点:
计算与所述白色像素点最近的黑色像素点的距离;
将所述距离映射至预设的像素值区间,得到目标像素值;
将所述目标像素值作为所述第二地图中与所述白色像素点对应的像素点的像素值。
3.如权利要求1所述的地图管理方法,其特征在于,所述对原始地图进行预处理,得到第一地图,包括:
对所述原始地图进行二值化处理,得到二值化原始地图;
通过闭操作消除所述二值化原始地图的噪点,得到无噪点原始地图;
将所述无噪点原始地图中,面积小于预设的第二面积阈值的黑色色块填充为白色,得到所述第一地图。
4.如权利要求1至3任一项所述的地图管理方法,其特征在于,在所述基于所述第三地图,对所述原始地图进行分区,得到目标地图之后,所述地图管理方法还包括:
若接收到区域合并指令,则对所述区域合并指令所指示的至少两个分区区域进行合并处理;
若接收到区域分割指令,则基于所述区域分割指令所携带的分割线,对所述区域分割指令所指示的分区区域进行分割处理。
5.一种地图管理装置,其特征在于,包括:
第一处理单元,用于对原始地图进行预处理,得到第一地图;
第二处理单元,用于在所述第一地图中,对满足预设的像素点条件的各个像素点进行距离变换处理,得到第二地图;
第三处理单元,用于基于至少两个二值化阈值分别对所述第二地图进行二值化处理,得到至少两个二值化地图,其中,所述至少两个二值化阈值根据最小的像素值间隔进行设定;
确定单元,用于根据预设的地图条件,在所述至少两个二值化地图中确定出第三地图;
分区单元,用于基于所述第三地图,对所述原始地图进行分区,得到目标地图;
所述确定单元,包括:
面积计算子单元,用于计算每个二值化地图中的各个白色色块的面积;
数量统计子单元,用于统计每个二值化地图中的目标白色色块的数量,其中,所述目标白色色块为:面积在预设的面积区间内的白色色块;
第三地图确定子单元,用于将所述目标白色色块的数量最多的二值化地图确定为所述第三地图;
所述分区单元,包括:
色块映射子单元,用于将所述第三地图中的各个白色色块映射回所述原始地图;
地图分区子单元,用于基于所述原始地图中映射所得的各个白色色块对所述原始地图进行分区,得到所述目标地图;
所述地图分区子单元,包括:
边缘拓展子单元,用于在所述原始地图中,将映射所得的各个白色色块的边缘向四周进行拓展,得到映射所得的各个白色色块分别对应的分区区域,所述拓展的操作为:为每个白色色块赋予一个标签值,且不同白色色块被赋予的标签值不重复,以预设顺序遍历每一个像素点,若当前遍历到的像素点为白色像素点,则观察所述当前遍历到的像素点上下左右四个方向的相邻像素点是否存在标签值,若存在,则将该标签值复制至所述当前遍历到的像素点,直至不存在白色像素点,其中,映射所得的各个白色色块的像素值在预设的像素值区间内;
分区合并子单元,用于将目标分区区域与距离所述目标分区区域最近的分区区域合并,得到所述目标地图,其中,所述目标分区区域为:面积小于预设的第一面积阈值的分区区域。
6.一种智能设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110709454.6A CN113516765B (zh) | 2021-06-25 | 2021-06-25 | 一种地图管理方法、地图管理装置及智能设备 |
PCT/CN2021/126713 WO2022267284A1 (zh) | 2021-06-25 | 2021-10-27 | 一种地图管理方法、地图管理装置及智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110709454.6A CN113516765B (zh) | 2021-06-25 | 2021-06-25 | 一种地图管理方法、地图管理装置及智能设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516765A CN113516765A (zh) | 2021-10-19 |
CN113516765B true CN113516765B (zh) | 2023-08-11 |
Family
ID=78065873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110709454.6A Active CN113516765B (zh) | 2021-06-25 | 2021-06-25 | 一种地图管理方法、地图管理装置及智能设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113516765B (zh) |
WO (1) | WO2022267284A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516765B (zh) * | 2021-06-25 | 2023-08-11 | 深圳市优必选科技股份有限公司 | 一种地图管理方法、地图管理装置及智能设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017067287A1 (zh) * | 2015-10-19 | 2017-04-27 | 广东欧珀移动通信有限公司 | 一种指纹识别的方法、装置及终端 |
CN109816697A (zh) * | 2019-02-02 | 2019-05-28 | 绥化学院 | 一种无人模型车建立地图的系统及方法 |
CN111063029A (zh) * | 2019-12-11 | 2020-04-24 | 深圳市优必选科技股份有限公司 | 地图构建方法、装置、计算机可读存储介质及机器人 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120082385A1 (en) * | 2010-09-30 | 2012-04-05 | Sharp Laboratories Of America, Inc. | Edge based template matching |
CN109541634B (zh) * | 2018-12-28 | 2023-01-17 | 歌尔股份有限公司 | 一种路径规划方法、装置和移动设备 |
CN113516765B (zh) * | 2021-06-25 | 2023-08-11 | 深圳市优必选科技股份有限公司 | 一种地图管理方法、地图管理装置及智能设备 |
-
2021
- 2021-06-25 CN CN202110709454.6A patent/CN113516765B/zh active Active
- 2021-10-27 WO PCT/CN2021/126713 patent/WO2022267284A1/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017067287A1 (zh) * | 2015-10-19 | 2017-04-27 | 广东欧珀移动通信有限公司 | 一种指纹识别的方法、装置及终端 |
CN109816697A (zh) * | 2019-02-02 | 2019-05-28 | 绥化学院 | 一种无人模型车建立地图的系统及方法 |
CN111063029A (zh) * | 2019-12-11 | 2020-04-24 | 深圳市优必选科技股份有限公司 | 地图构建方法、装置、计算机可读存储介质及机器人 |
Non-Patent Citations (1)
Title |
---|
Room segmentation Survey, implementation, and analysis;Richard Bormann et al.;《2016 IEEE International Conference on Robotics and Automation (ICRA)》;20160516;第1021-1023页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2022267284A1 (zh) | 2022-12-29 |
CN113516765A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020134082A1 (zh) | 一种路径规划方法、装置和移动设备 | |
JP6802331B2 (ja) | 車線処理方法及び装置 | |
CN110008962B (zh) | 基于注意力机制的弱监督语义分割方法 | |
CN111191570B (zh) | 图像识别方法和装置 | |
CN113516765B (zh) | 一种地图管理方法、地图管理装置及智能设备 | |
CN112509027B (zh) | 重定位方法、机器人及计算机可读存储介质 | |
CN115779424B (zh) | 一种导航网格寻路方法、装置、设备及介质 | |
CN111695389B (zh) | 一种车道线聚类方法及装置 | |
CN117197796A (zh) | 一种车辆遮挡识别方法及相关装置 | |
CN112667924A (zh) | 机器人地图获取方法、装置、处理器和电子装置 | |
CN112116585A (zh) | 图像移除篡改盲检测方法、系统、设备及存储介质 | |
CN115035495A (zh) | 一种图像处理方法及装置 | |
CN112566177A (zh) | 弱覆盖区域识别方法及装置、计算机可存储介质 | |
CN113269806B (zh) | 测量血管内部血流流量的方法、装置与处理器 | |
US11988522B2 (en) | Method, data processing apparatus and computer program product for generating map data | |
CN115624747A (zh) | 地形数据的处理方法、装置、设备及存储介质 | |
CN115471808A (zh) | 一种基于参考图像重组目标点云的处理方法和装置 | |
CN115311569A (zh) | 基于遥感影像的推填土变化检测方法、装置和终端设备 | |
CN110796129A (zh) | 一种文本行区域检测方法及装置 | |
CN114937072A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN113867371A (zh) | 路径规划方法和电子设备 | |
CN114584922A (zh) | 一种出入界识别方法、装置、设备及存储介质 | |
CN117876390A (zh) | 地图分区方法、装置、电子设备及计算机可读存储介质 | |
CN115937454B (zh) | 一种在大规模城市场景中自动摆放树木模型的方法和装置 | |
CN113139975B (zh) | 一种基于道路特征的路面分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |