CN113110417B - 扫地机器人的地图的优化方法、装置、设备及存储介质 - Google Patents
扫地机器人的地图的优化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113110417B CN113110417B CN202110296687.8A CN202110296687A CN113110417B CN 113110417 B CN113110417 B CN 113110417B CN 202110296687 A CN202110296687 A CN 202110296687A CN 113110417 B CN113110417 B CN 113110417B
- Authority
- CN
- China
- Prior art keywords
- region
- determining
- pixel block
- obstacle
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010408 sweeping Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims description 31
- 239000003086 colorant Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 241001417527 Pempheridae Species 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本申请提供的一种扫地机器人的地图的优化方法、装置、设备及存储介质,包括:获取待优化地图,并确定所述待优化地图中的障碍物区域;基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,其中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率;基于所述目标障碍物区域和所述非障碍物区域确定目标地图。
Description
技术领域
本申请涉及扫地机器人的地图的优化技术领域,特别地涉及一种扫地机器人的地图的优化方法、装置、设备及存储介质。
背景技术
扫地机器人中的核心算法模块包括建图定位以及路径规划,其中路径规划严格依赖定位与建图,因此定位与建图的准确性非常重要,从根本上决定了扫地机器人的智能程度。当前商业型扫地机器人的定位与建图一般使用激光雷达传感器作为外界信息输入的传感器,激光雷达信号能够直接实时返回击中目标的距离,建图和定位更高效。在建图过程中,由于扫地机需要持续性的处理激光并进行建图,那么因为传感器的误差随着时间及运动的增加越来越大,也会导致建图过程中地图中墙的厚度越来越厚,而依赖地图进行定位就会越来越不准,误差越来越大,墙厚也会使地图看上去不美观给图美化造成比较大的困难。
发明内容
针对上述问题,本申请提供一种扫地机器人的地图的优化方法、装置、设备及存储介质。
本申请提供了一种扫地机器人的地图的优化方法,包括:
获取待优化地图,并确定所述待优化地图中的障碍物区域;
基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,其中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率;
基于所述目标障碍物区域和所述非障碍物区域确定目标地图。
在一些实施例中,所述确定所述待优化地图中的障碍物区域,包括:
确定所述待优化地图中的空闲区域,并标记所述空闲区域为第一颜色;
确定所述空闲区域的各个第一颜色块对应的第一颜色连通域;
将最大的第一颜色连通域对应的第一颜色块确定为可行区域;
基于所述可行区域确定障碍物区域。
在一些实施例中,所述基于所述可行区域确定障碍物区域,包括:
将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色;
确定所述非可行区域中各个第二颜色块对应的第二颜色连通域;
基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域。
在一些实施例中,所述基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域,包括:
基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连;
用第三颜色替换所述第二颜色以标记所述未知区域;
将除所述未知区域的非可行区域确定为障碍物区域。
在一些实施例中,所述基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,包括:
确定所述障碍物区域中各个第一像素块,每个第一像素块与所述可行区域相连;
确定所述障碍物区域中每个第一像素块对应的第二像素块,其中,每个第一像素块与对应的第二像素块相连;
确定所述障碍物区域中每个第i-1像素块对应的第i像素块,其中,第N像素块与所述未知区域相连,所述第i-1像素块与对应的第i像素块相连,2≤i≤N,N为大于或等于3的正整数;
基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域。
在一些实施例中,所述基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域,包括:
确定每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率之间的大小关系;
将各个最大占据概率对应的像素块确定为目标像素块;
基于所述目标像素块确定目标障碍物区域;
将除所述目标障碍物区域之外的障碍物区域确定为非障碍物区域。
在一些实施例中,所述基于所述目标障碍物区域和所述非障碍区域确定目标地图,包括
将所述可行区域与所述可行区域相连的非障碍物区域确定为目标可行区域;
将所述未知区域与所述未知区域相连的非障碍物区域确定为目标未知区域;
基于所述目标障碍物区域、所述目标未知区域、所述目标可行区域确定目标地图。
本申请实施例提供一种扫地机器人的地图的优化装置,包括:
第一确定模块,用于获取待优化地图,并确定所述待优化地图中的障碍物区域;
第二确定模块,用于基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,其中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率;
第三确定模块,用于基于所述目标障碍物区域和所述非障碍区域确定目标地图。
本申请实施例提供一种扫地机器人的地图的优化设备,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,执行上述任意一项所述的扫地机器人的地图的优化方法。
本申请实施例提供一种存储介质,该存储介质存储的计算机程序,可被一个或多个处理器执行,可用来实现上述任一项所述的扫地机器人的地图的优化方法。
本申请提供的一种扫地机器人的地图的优化方法、装置、设备及存储介质,通过确定待优化地图中的障碍物区域(如没有进行优化前地图中墙的厚度对应的区域),基于障碍物区域中像素的占据概率来确定最终的目标障碍物区域(如优化后墙的厚度对应的区域),并基于目标障碍物区域确定目标地图,可以避免因误差导致的地图中墙体较厚,使得通过目标地图进行定位时的准确性更高。
附图说明
在下文中将基于实施例并参考附图来对本申请进行更详细的描述。
图1为本申请实施例提供的一种扫地机器人的地图的优化方法的实现流程示意图;
图2为本申请实施例提供的一种栅格地图中各个区域的标记示意图;
图3为本申请实施例提供的一种确定障碍物区域的实现流程示意图;
图4为本申请实施例提供的一种基于可行区域确定障碍物区域的流程示意图;
图5为本申请实施例提供的确定目标障碍物区域和非障碍物区域的实现流程示意图;
图6为本申请实施例提供的一种扫地机器人的地图的优化装置的结构示意图;
图7为本申请实施例提供的扫地机器人的地图的优化设备的组成结构示意图。
在附图中,相同的部件使用相同的附图标记,附图并未按照实际的比例绘制。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
基于相关技术中存在的问题,本申请实施例提供一种扫地机器人的地图的优化方法,所述方法应用于扫地机器人的地图的优化设备,该扫地机器人的地图的优化设备可以是电子设备,电子设备可以是计算机、移动终端、扫地机器人等。本申请实施例提供的扫地机器人的地图的优化方法所实现的功能可以通过扫地机器人的地图的优化设备的处理器调用程序代码来实现,其中,程序代码可以保存在计算机存储介质中。
本申请实施例提供一种扫地机器人的地图的优化方法,图1为本申请实施例提供的一种扫地机器人的地图的优化方法的实现流程示意图,如图1所示,包括:
步骤S1,获取待优化地图,并确定所述待优化地图中的障碍物区域。
本申请实施例中,待优化地图是栅格地图,所述待优化地图为通过slam算法建立的。障碍物区域为待优化地图中除可行区域和未知区域的区域。障碍物区域可以是slam算法确定的墙体对应的区域,由于传感器的误差随着时间及运动的增加越来越大,也会导致是slam算法建图过程中墙的厚度越来越厚,也就是说,该障碍物区域是有误差的。
本申请实施例中,确定所述待优化地图中的障碍物区域可以通过以下方式实现:确定所述待优化地图中的空闲区域,并标记所述空闲区域为第一颜色;确定所述空闲区域的各个第一颜色块对应的第一颜色连通域;将最大的第一颜色连通域对应的第一颜色块确定为可行区域;基于所述可行区域确定障碍物区域。所述基于所述可行区域确定障碍物区域可以包括:将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色;确定所述非可行区域中各个第二颜色块对应的第二颜色连通域;基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域。在一些实施例中,所述基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域,包括:基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连;用第三颜色替换所述第二颜色以标记所述未知区域;将除所述未知区域的非可行区域确定为障碍物区域。图2为本申请实施例提供的一种栅格地图中各个区域的标记示意图,如图2所示,在地图中包括可行区域、障碍物区域和未知区域,其中,可行区域用第一颜色进行标记,障碍物区域用第二颜色进行标记,未知区域用第三颜色进行标记。
步骤S2,基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域。
本申请实施例中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率,在一些实施例中,目标障碍物区域中的像素的占据概率最大。也就是说,初始确定的障碍物区域并不是最终的障碍物区域,在进行扫地机器人的地图的优化的过程中,会根据障碍物区域中像素的占据概率来剔除非障碍物区域。示例性地,障碍物区域为slam算法确定的墙体对应区域,目标障碍物区域为最终墙体对应区域,由于通过占据概率去除掉了部分墙体区域,使得最终的墙体变薄。
本申请实施例中,基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域可以通过以下方式实现:确定所述障碍物区域中各个第一像素块,每个第一像素块与所述可行区域相连;确定所述障碍物区域中每个第一像素块对应的第二像素块,其中,每个第一像素块与对应的第二像素块相连;确定所述障碍物区域中每个第i-1像素块对应的第i像素块,其中,第i像素块与所述未知区域相连,所述第i-1像素块与对应的第i像素块相连,2≤i≤N,N为大于或等于3的正整数;基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块的第i占据概率确定目标障碍物区域和非障碍物区域。在一些实施例中,所述基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块的第i占据概率确定目标障碍物区域和非障碍物区域,可以通过以下方式实现:确定每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块的第i占据概率之间的大小关系;将各个最大占据概率对应的像素块确定为目标像素块;基于所述目标像素块确定目标障碍物区域;将除所述目标障碍物区域之外的障碍物区域确定为非障碍物区域。
步骤S3,基于所述目标障碍物区域和所述非障碍区域确定目标地图。
本申请实施例中,可以将所述可行区域与所述可行区域相连的非障碍物区域确定为目标可行区域;将所述未知区域与所述未知区域相连的非障碍物区域确定为目标未知区域;基于所述目标障碍物区域、所述目标未知区域、所述目标可行区域确定目标地图。
本申请实施例中,目标地图即为优化后的地图,可以基于目标地图进行定位,提高了定位精度和准确度。
申请提供的一种扫地机器人的地图的优化方法,通过确定待优化地图中的障碍物区域(如没有进行优化前地图中墙的厚度对应的区域),基于障碍物区域中像素的占据概率来确定最终的目标障碍物区域(优化后墙的厚度对应的区域),并基于目标障碍物区域确定目标地图,可以避免因误差导致的地图中墙体较厚,使得通过目标地图进行定位时的准确性更高。
在一些实施例中,步骤S1中“确定所述待优化地图中的障碍物区域”可以通过以下步骤实现,图3为本申请实施例提供的一种确定障碍物区域的实现流程示意图,如图3所示,包括:
步骤S11,确定所述待优化地图中的空闲区域,并标记所述空闲区域为第一颜色。
本申请实施例中,可以基于待优化地图信息确定空闲区域,可以对空闲区域用第一颜色进行标记,其中,第一颜色块可以为白色、黑色或其它颜色,在此不做限定,示例性地,如图2所示,第一颜色标记为白色。
步骤S12,确定所述空闲区域的各个第一颜色块对应的第一颜色连通域。
本申请实施例中,可以通过连通域分析方法,确定空闲区域中各个第一颜色块对应的第一颜色连通域,各个第一颜色块包括至少一个被第一颜色标记的像素。本申请实施例中,当第一颜色为白色时,所述第一颜色连通域为白色连通域。
步骤S13,将最大的第一颜色连通域对应的第一颜色块确定为可行区域。
本申请实施例中,当确定了各个第一颜色块对应的第一颜色连通域后,可以比较各个第一颜色连通域的大小关系,将最大的第一颜色连通域对应的第一颜色块确定为可行区域,如图2所示,可行区域为表示的白色方块区域。可行区域为实际上机器人可行走区域,而剩下的则可以判定为机器人实际不可行。
步骤S14,基于所述可行区域确定障碍物区域。
本申请实施例中,基于所述可行区域确定障碍物区域可以通过以下步骤实现:将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色;确定所述非可行区域中各个第二颜色块对应的第二颜色连通域;基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域。
本申请实施例提供的扫地机器人的地图的优化方法,通过在空闲区域中标记第一颜色,并计算空闲区域中第一颜色块对应的第一颜色连通域,将最大连通域对应的第一颜色块确定为可行区域。
在一些实施例中,步骤S14“所述基于所述可行区域确定障碍物区域”可以通过以下步骤实现,图4为本申请实施例提供的一种基于可行区域确定障碍物区域的流程示意图,如图4所示,包括:
步骤S141,将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色。
本申请实施例中,在地图中,可行区域之外的区域确定为非可以区域,该非可行区域中包括障碍物区域和未知区域。在确定了非可行区域后,可以用第二颜色进行标记,第二颜色可以为不同于第一颜色块的任意颜色,在此均不做限定,如图2所示,第一颜色块为白色方块,可以将第二颜色块标记为黑色方块,则障碍物区域为黑色方块区域。
步骤S142,确定所述非可行区域中各个第二颜色块对应的第二颜色连通域。
本申请实施例中,可以通过连通域分析方法,确定非可行区域中各个第二颜色块的第二颜色连通域,所述第二颜色块至少包括一个被第二颜色标记的像素。
步骤S143,基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域。
本申请实施例中,当确定了各个第二颜色连通域后,可以基于各个第二颜色连通域与可行区域的连接关系,确定未知区域和障碍物区域。基于各个第二颜色连通域与可行区域的连接关系确定位置区域和障碍物区域可以通过以下方式实现:基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连;用第三颜色替换所述第二颜色以标记所述未知区域;将除所述未知区域的非可行区域确定为障碍物区域。
本申请实施例提供的扫地机器人的地图的优化方法,通过在非可行区域中标记第而颜色,并计算非可行区域中第二颜色块对应的第二颜色连通域,基于各个第二颜色连通域与可行区域的连接关系来确定为障碍物区域。
在一些实施例中,步骤S143“所述基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域”可以通过以下步骤实现:
步骤S1431,基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域。
本申请实施例中,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连。
步骤S1432,用第三颜色替换所述第二颜色以标记所述未知区域。
本申请实施例中,所述第三颜色可以为不同于第一颜色块和第二颜色块的任意颜色,在此均不做限定,例如可以是灰色(如图2所示的网格方块表示)。
步骤S1433,将除所述未知区域的非可行区域确定为障碍物区域。
本申请实施例中,障碍物区域还是用第二颜色标记。
在一些实施例中,步骤S2“基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域”可以通过以下步骤实现,图5为本申请实施例提供的确定目标障碍物区域和非障碍物区域的实现流程示意图,如图5所示,包括:
步骤S21,确定所述障碍物区域中各个第一像素块,每个第一像素块与所述可行区域相连。
本申请实施例中,各个第一像素块与可行区域相连,可以对各个第一像素块设定一个第一值,示例性地,设定各个第一像素块的值为100。
步骤S22,确定所述障碍物区域中每个第一像素块对应的第二像素块,其中,每个第一像素块与对应的第二像素块相连。
本申请实施例中,同样给各个第二像素块设定一个第二值,示例性地,各个第二像素块的值为120。
步骤S23,确定所述障碍物区域中每个第i-1像素块对应的第i像素块。
本申请实施例中,可以确定障碍物区域中每个第二像素块对应的第三像素块,该第三像素块与第二像素块相连,如此可以确定确定所述障碍物区域中每个第i-1像素块对应的第i像素块。第N像素块与所述未知区域相连,所述所述第i-1像素块与对应的第i像素块相连,2≤i≤N,N为大于或等于3的正整数。
本申请实施例中,可以将第三像素块的值设定为140。每增加一层,像素块的值增加20。如第N像素块的值为100+20N。
步骤S24,基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域。
本申请实施例中,可以确定每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率之间的大小关系;将各个最大占据概率对应的像素块确定为目标像素块;基于所述目标像素块确定目标障碍物区域;将除所述目标障碍物区域之外的障碍物区域确定为非障碍物区域。
本申请实施例提供的扫地机器人的地图的优化方法,通过确定障碍物区域中各个第一像素块与对应的第2至第N像素块之间的占据概率大小来确定目标障碍物区域和非障碍区域,使得目标障碍物区域相比障碍物区域占有区域减少,并基于目标障碍物区域确定目标地图,可以避免因误差导致的地图中墙体越来越厚,使得通过目标地图进行定位时的准确性更高。
在一些实施例中,步骤S3“所述基于所述目标障碍物区域和所述非障碍区域确定目标地图”可以通过以下步骤实现:
步骤S31,将所述可行区域与所述可行区域相连的非障碍物区域确定为目标可行区域。
本申请实施例中,在确定目标可行区域后,用第一颜色替换第二颜色对非障碍物区域进行标记。示例性地,用白色代替黑色标记非障碍物区域。
步骤S32,将所述未知区域与所述未知区域相连的非障碍物区域确定为目标未知区域。
本申请实施例中,在确定了目标未知区域后,用第三颜色替换第二颜色对非障碍物区域进行标记,示例性地,用灰色代替黑色标记非障碍物区域。
步骤S33,基于所述目标障碍物区域、所述目标未知区域、所述目标可行区域确定目标地图。
申请提供的一种扫地机器人的地图的优化方法,通过确定待优化地图中的障碍物区域(如没有进行优化前地图中墙的厚度对应的区域),基于障碍物区域中像素的占据概率来确定最终的目标障碍物区域(优化后墙的厚度对应的区域),并基于目标障碍物区域、所述目标未知区域、所述目标可行区域确定目标地图,可以避免因误差导致的地图中墙体越来越厚,使得通过目标地图进行定位时的准确性更高。
基于前述的各个实施例,本申请实施例在提供一种扫地机器人的地图的优化方法,用对地图去除部分累计误差的方法来提高依赖地图定位的准确性。slam所建地图通过完整性算法确定为已经建图完备后,将已经建好的地图(即上述实施例中的待优化地图)进行“墙打薄,去毛躁”的处理,因为经过很多帧激光的不停建图,累积误差会明显,一般表现是地图中的墙变得很厚(理论上来说激光的墙应该只有分辨率的厚度)同时对于障碍物也会出现不明区域变少而障碍物区域变得多。首先先标记地图上的可行可达区域也就是空闲区域为白色,障碍物区域为黑色,未知区域为灰色,针对栅格地图进行如下的操作:
白块去掉:对于地图上的所有白色块计算连通域,连通域最大的白色连通域为实际上的机器人可行走区域(同上述实施例中的可行区域),而剩下的则可以判定为机器人实际不可行(同上述实施例中的非可行区域),直接将非最大连通域的白色设定为黑色。
处理离群黑色:遍历地图的黑色连通域,如果黑色连通域中的每一个黑色像素块均不与白色像素(即上述实施例中的可行区域)相连,则该黑色连通域是无效的,直接将其全部设置为灰色(即设置为未知区域)。
当前地图只剩下提取最有效的黑色块,为了进一步保证定位精度,将所有与白色块相邻的黑色像素块(同上述实施例中的第一颜色块)设定为100,将与100直接相连的黑色块(同上述实施例中的第二颜色块)设置为120,而与120直接相连的设置为140,每增加一层像素值加20,直到遇上灰色像素(同上述实施例中的第N第二颜色块与未知区域相连)。从最内层100像素值开始获取建图时的占据概率,对每一个100像素值,获取与其相连的120像素值的占据概率(即获取与各个第一像素块对应的第二像素块的占据概率),直到最外层,取占据概率最高的一个为黑色,其余若与白色相连则设定为白色(即同上述实施例中确定为可行区域),与灰色相连则设定为黑色(即同上述实施例中确定为未知区域),直至遍历所有100的像素。
将处理完的地图保存并应用于slam之后的定位。
本申请实施例提供的扫地机器人的地图的优化方法,通过优化建图过程中的累积误差,从而提高定位了的准确度。
基于前述的实施例,本申请实施例提供一种扫地机器人的地图的优化装置,该装置包括的各模块、以及各模块包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU,CentralProcessing Unit)、微处理器(MPU,Microprocessor Unit)、数字信号处理器(DSP,DigitalSignal Processing)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等。
本申请实施例提供一种扫地机器人的地图的优化装置,图6为本申请实施例提供的一种扫地机器人的地图的优化装置的结构示意图,如图6所示,扫地机器人的地图的优化装置600包括:
第一确定模块601,用于获取待优化地图,并确定所述待优化地图中的障碍物区域;
第二确定模块602,用于基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,其中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率;
第三确定模块603,用于基于所述目标障碍物区域和所述非障碍区域确定目标地图。
在一些实施例中,第一确定模块601,包括:
第一确定单元,用于确定所述待优化地图中的空闲区域,并标记所述空闲区域为第一颜色;
第二确定单元,用于确定所述空闲区域的各个第一颜色块对应的第一颜色连通域;
第三确定单元,用于将最大的第一颜色连通域对应的第一颜色块确定为可行区域;
第四确定单元,用于基于所述可行区域确定障碍物区域。
在一些实施例中,所述第四确定单元,包括:
第一确定子单元,用于将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色;
第二确定子单元,用于确定所述非可行区域中各个第二颜色块对应的第二颜色连通域;
第三确定子单元,基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域。
在一些实施例中,所述第三确定子单元,用于基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连;用第三颜色替换所述第二颜色以标记所述未知区域;将除所述未知区域的非可行区域确定为障碍物区域。
在一些实施例中,所述第二确定模块602包括:
第五确定单元,用于确定所述障碍物区域中各个第一像素块,每个第一像素块与所述可行区域相连;
第六确定单元,用于确定所述障碍物区域中每个第一像素块对应的第二像素块,其中,每个第一像素块与对应的第二像素块相连;
第七确定单元,用于确定所述障碍物区域中每个第i-1像素块对应的第i像素块,其中,第N像素块与所述未知区域相连,所述第i-1像素块与对应的第i像素块相连,2≤i≤N,N为大于或等于3的正整数;
第八确定单元,用于基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域。
在一些实施例中,所述第八确定单元包括:
第四确定子单元,用于确定每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率之间的大小关系;
第五确定子单元,用于将各个最大占据概率对应的像素块确定为目标像素块;
第六确定子单元,用于基于所述目标像素块确定目标障碍物区域;
第七确定子单元,用于将除所述目标障碍物区域之外的障碍物区域确定为非障碍物区域。
在一些实施例中,所述第三确定模块603包括:
第九确定单元,用于将所述可行区域与所述可行区域相连的非障碍物区域确定为目标可行区域;
第十确定单元,用于将所述未知区域与所述未知区域相连的非障碍物区域确定为目标未知区域;
第十一确定单元,用于基于所述目标障碍物区域、所述目标未知区域、所述目标可行区域确定目标地图。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的扫地机器人的地图的优化方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
相应地,本申请实施例提供一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述实施例中提供的扫地机器人的地图的优化方法中的步骤。
本申请实施例提供一种扫地机器人的地图的优化设备;图7为本申请实施例提供的扫地机器人的地图的优化设备的组成结构示意图,如图7所示,所述扫地机器人的地图的优化设备700包括:一个处理器701、至少一个通信总线702、用户接口703、至少一个外部通信接口704、存储器705。其中,通信总线702配置为实现这些组件之间的连接通信。其中,用户接口703可以包括显示屏,外部通信接口704可以包括标准的有线接口和无线接口。所述处理器701配置为执行存储器中存储的扫地机器人的地图的优化方法的程序,以实现以上述实施例提供的扫地机器人的地图的优化方法中的步骤。
以上显示设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请计算机设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种扫地机器人的地图的优化方法,其特征在于,包括:
获取待优化地图,并确定所述待优化地图中的障碍物区域,所述确定所述待优化地图中的障碍物区域,包括:确定所述待优化地图中的空闲区域,并标记所述空闲区域为第一颜色;确定所述空闲区域的各个第一颜色块对应的第一颜色连通域;将最大的第一颜色连通域对应的第一颜色块确定为可行区域;基于所述可行区域确定障碍物区域,所述基于所述可行区域确定障碍物区域,包括:将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色;确定所述非可行区域中各个第二颜色块对应的第二颜色连通域;基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域,所述基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域,包括:基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连;用第三颜色替换所述第二颜色以标记所述未知区域;将除所述未知区域的非可行区域确定为障碍物区域;
基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,其中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率,所述基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,包括:确定所述障碍物区域中各个第一像素块,每个第一像素块与所述可行区域相连;确定所述障碍物区域中每个第一像素块对应的第二像素块,其中,每个第一像素块与对应的第二像素块相连;确定所述障碍物区域中每个第i-1像素块对应的第i像素块,其中,第N像素块与所述未知区域相连,所述第i-1像素块与对应的第i像素块相连,2≤i≤N,N为大于或等于3的正整数;基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域;
基于所述目标障碍物区域和所述非障碍物区域确定目标地图。
2.根据权利要求1所述的方法,其特征在于,所述基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域,包括:
确定每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率之间的大小关系;
将各个最大占据概率对应的像素块确定为目标像素块;
基于所述目标像素块确定目标障碍物区域;
将除所述目标障碍物区域之外的障碍物区域确定为非障碍物区域。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标障碍物区域和所述非障碍物区域确定目标地图,包括
将所述可行区域与所述可行区域相连的非障碍物区域确定为目标可行区域;
将所述未知区域与所述未知区域相连的非障碍物区域确定为目标未知区域;
基于所述目标障碍物区域、所述目标未知区域、所述目标可行区域确定目标地图。
4.一种扫地机器人的地图的优化装置,其特征在于,包括:
第一确定模块,用于获取待优化地图,并确定所述待优化地图中的障碍物区域,所述确定所述待优化地图中的障碍物区域,包括:确定所述待优化地图中的空闲区域,并标记所述空闲区域为第一颜色;确定所述空闲区域的各个第一颜色块对应的第一颜色连通域;将最大的第一颜色连通域对应的第一颜色块确定为可行区域;基于所述可行区域确定障碍物区域,所述基于所述可行区域确定障碍物区域,包括:将所述待优化地图中除所述可行区域之外的区域确定为非可行区域,并标记所述非可行区域为第二颜色;确定所述非可行区域中各个第二颜色块对应的第二颜色连通域;基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域,所述基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定障碍物区域,包括:基于各个第二颜色块对应的第二颜色连通域从所述非可行区域中确定未知区域,所述未知区域中的各个第二颜色连通域中各个像素都不与所述可行区域相连;用第三颜色替换所述第二颜色以标记所述未知区域;将除所述未知区域的非可行区域确定为障碍物区域;
第二确定模块,用于基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,其中,所述目标障碍物区域中像素的占据概率大于所述非障碍物区域中像素的占据概率,所述基于所述障碍物区域中像素的占据概率确定所述障碍物区域中的目标障碍物区域和非障碍物区域,包括:确定所述障碍物区域中各个第一像素块,每个第一像素块与所述可行区域相连;确定所述障碍物区域中每个第一像素块对应的第二像素块,其中,每个第一像素块与对应的第二像素块相连;确定所述障碍物区域中每个第i-1像素块对应的第i像素块,其中,第N像素块与所述未知区域相连,所述第i-1像素块与对应的第i像素块相连,2≤i≤N,N为大于或等于3的正整数;基于每个第一像素块的第一占据概率、每个第一像素块对应的第二像素块的第二占据概率、每个第i-1像素块的第i-1占据概率、每个第i-1像素块对应的第i像素块第i占据概率确定目标障碍物区域和非障碍物区域;
第三确定模块,用于基于所述目标障碍物区域和所述非障碍物区域确定目标地图。
5.一种扫地机器人的地图的优化设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,执行如权利要求1至3任意一项所述的扫地机器人的地图的优化方法。
6.一种存储介质,其特征在于,该存储介质存储的计算机程序,能够被一个或多个处理器执行,能够用来实现如权利要求1至3中任一项所述的扫地机器人的地图的优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110296687.8A CN113110417B (zh) | 2021-03-19 | 2021-03-19 | 扫地机器人的地图的优化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110296687.8A CN113110417B (zh) | 2021-03-19 | 2021-03-19 | 扫地机器人的地图的优化方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113110417A CN113110417A (zh) | 2021-07-13 |
CN113110417B true CN113110417B (zh) | 2023-06-16 |
Family
ID=76712015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110296687.8A Active CN113110417B (zh) | 2021-03-19 | 2021-03-19 | 扫地机器人的地图的优化方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113110417B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113741481A (zh) * | 2021-09-17 | 2021-12-03 | 北京石头世纪科技股份有限公司 | 地图处理方法、装置、存储介质及机器人 |
CN115147809B (zh) * | 2022-06-30 | 2023-09-22 | 阿波罗智能技术(北京)有限公司 | 一种障碍物检测方法、装置、设备以及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK2952993T3 (en) * | 2014-06-05 | 2018-07-30 | Softbank Robotics Europe | PROCEDURE FOR MAKING A CARD OF LIKELIHOOD FOR ONE OF THE ABSENCE OR EXISTENCE OF BARRIERS FOR AN AUTONOMOUS ROBOT |
CN109782763B (zh) * | 2019-01-18 | 2021-11-23 | 中国电子科技集团公司信息科学研究院 | 一种动态环境下的移动机器人路径规划方法 |
CN111104933B (zh) * | 2020-03-20 | 2020-07-17 | 深圳飞科机器人有限公司 | 地图处理方法、移动机器人及计算机可读存储介质 |
CN111709965B (zh) * | 2020-08-19 | 2020-12-22 | 浙江欣奕华智能科技有限公司 | 扫地机器人的地图的优化方法及装置 |
CN112150490B (zh) * | 2020-09-30 | 2024-02-02 | 北京小狗吸尘器集团股份有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
-
2021
- 2021-03-19 CN CN202110296687.8A patent/CN113110417B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113110417A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113110417B (zh) | 扫地机器人的地图的优化方法、装置、设备及存储介质 | |
US10496901B2 (en) | Image recognition method | |
JP2017059207A (ja) | 画像認識方法 | |
US20190353487A1 (en) | Positioning a terminal device based on deep learning | |
CN110766038A (zh) | 无监督式的地貌分类模型训练和地貌图构建方法 | |
CN113344986B (zh) | 点云配准结果的评估方法、装置、设备及存储介质 | |
CN115421158B (zh) | 自监督学习的固态激光雷达三维语义建图方法与装置 | |
CN113589306B (zh) | 定位方法、装置、电子设备及存储介质 | |
CN113792871A (zh) | 神经网络训练方法、目标识别方法、装置和电子设备 | |
CN108364320B (zh) | 摄像头标定方法、终端设备及计算机可读存储介质 | |
JP2019194821A (ja) | 目標認識装置、目標認識方法及びプログラム | |
CN112053383B (zh) | 一种机器人实时定位的方法及装置 | |
CN113673530A (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN114220087A (zh) | 一种车牌检测方法、车牌检测器及相关设备 | |
CN113034511A (zh) | 基于高分辨率遥感影像与深度学习的乡村建筑识别算法 | |
CN111144243B (zh) | 基于对抗学习的户型图识别方法和装置 | |
CN114882115B (zh) | 车辆位姿的预测方法和装置、电子设备和存储介质 | |
CN113110418B (zh) | 栅格地图优化方法、存储介质和移动机器人 | |
CN116229419A (zh) | 一种行人检测方法及装置 | |
CN115856874A (zh) | 毫米波雷达点云降噪方法、装置、设备及存储介质 | |
CN113119996B (zh) | 一种轨迹预测方法、装置、电子设备及存储介质 | |
CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 | |
CN112733782A (zh) | 基于道路网的城市功能区识别方法、存储介质和电子设备 | |
CN116206114B (zh) | 一种复杂背景下人像提取方法及装置 | |
CN114926454B (zh) | 一种停车位检测方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |