CN111652057A - 地图构建方法、装置、计算机设备和存储介质 - Google Patents

地图构建方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111652057A
CN111652057A CN202010333655.6A CN202010333655A CN111652057A CN 111652057 A CN111652057 A CN 111652057A CN 202010333655 A CN202010333655 A CN 202010333655A CN 111652057 A CN111652057 A CN 111652057A
Authority
CN
China
Prior art keywords
shop
map
robot
schematic diagram
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010333655.6A
Other languages
English (en)
Inventor
苏雄飞
王虎
周宸
陈远旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010333655.6A priority Critical patent/CN111652057A/zh
Priority to PCT/CN2020/093427 priority patent/WO2021212609A1/zh
Publication of CN111652057A publication Critical patent/CN111652057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请揭示了一种地图构建方法、装置、计算机设备和存储介质，方法包括：获取目标机构的平面示意图；采用计算机视觉算法对平面示意图中的道路元素区域与店铺元素区域进行分割，生成与平面示意图对应的语义地图；按照预设规则生成与语义地图对应的拓扑地图。本申请通过获取目标机构的平面示意图，之后采用相应算法生成与该平面示意图对应的语义地图，最后智能地根据该语义地图来便捷的生成用于机器人在目标机构内导航移动的拓扑地图，提高了创建地图的效率。此外，本发明还涉及区块链技术，所述目标机构的平面示意图可存储于区块链中。

Description

地图构建方法、装置、计算机设备和存储介质
技术领域
本申请涉及机器人技术领域，具体涉及一种地图构建方法、装置、计算机设备和存储介质。
背景技术
目前，机器人构建地图的方法有很多，同时定位与地图构建(SimultaneousLocalization And Mapping，简称SLAM)为最常用的方法，其通常是指在机器人或者其他载体上，通过对各种传感器数据进行采集和计算，生成对其自身位置姿态的定位和场景地图信息的系统，这种地图构建方法在自动驾驶、服务型机器人、无人机、AR/VR等领域有着广泛的同用，可以说凡是拥有一定行动能力的智能体都拥有某种形式的SLAM系统。但是SLAM系统的建图速度容易受到环境影响，且需要机器人去实际场景构建地图，费时费力，构建地图的效率低。
发明内容
本申请的主要目的为提供一种地图构建方法、装置、计算机设备和存储介质，旨在解决现有采用SLAM系统进行构建地图的方法的建图速度容易受到环境影响，且需要机器人去实际场景构建地图，费时费力，构建地图的效率低的技术问题。
本申请提出一种地图构建方法，所述方法包括步骤：
获取目标机构的平面示意图；
采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
可选地，所述采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图的步骤，包括：
调用与所述计算机视觉算法对应的指定公式计算所述平面示意图中所有元素区域的得分，其中，所述指定公式为：
Figure BDA0002465841440000021
其中，所述ci表示所述平面示意图中的第i个元素区域，H(ci)是ci中空洞的个数，Area(ci)是ci围绕的矩形区域面积，Deviation(ci)是ci中心与平面示意图的中心之间的距离，且Coverage(ci)的计算公式为Coverage(ci)＝∑j≠iI(ci∩cj)，I是指示函数，指代任意两个相邻元素i和j的交集；
从所有所述得分中筛选出满足预设条件的指定分数；
将与所述指定分数对应的指定元素区域确定为所述道路元素区域，并将除所述指定元素区域外的其他元素区域确定为所述店铺区域，得到与所述平面示意图对应的所述语义地图。
可选地，所述采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图的步骤之后，包括：
预设用于填充所述道路元素区域的第一颜色；以及，
预设用于填充所述店铺元素区域的第二颜色，其中，所述第二颜色与所述第一颜色为互不相同的颜色；
采用所述第一颜色对所述道路元素区域进行填充；以及，
采用所述第二颜色对所述店铺元素区域进行填充。
可选地，所述按照预设规则生成与所述语义地图对应的拓扑地图的步骤，包括：
分别生成与每一个所述店铺元素区域的区域边界对应的一个定位点；
通过预设的第三颜色对所有所述定位点进行标记，得到标记后的定位点，其中，所述第三颜色与所述第一颜色、所述第二颜色为互不相同的颜色；
对所有所述标记后的定位点进行连接，以连通所有所述道路元素区域，得到与所述语义地图对应的拓扑地图。
可选地，所述按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动的步骤之后，包括：
当所述机器人根据所述拓扑地图在所述目标机构内移动时，向所述机器人发送拍摄指令，以控制所述机器人通过摄像头拍摄当前的店铺环境，并生成对应的店铺环境图像；
接收所述机器人返回的所述店铺环境图像，并识别出与所述店铺环境图像对应的指定店铺标记；
根据所述指定店铺标记，确定与所述指定店铺标记对应的指定店铺名称；
从预存储的名称-编号映射列表中筛选出与所述指定店铺名称对应的指定店铺编号；
根据所述指定店铺编号，确定出所述机器人在所述拓扑地图中的第一位置。
可选地，所述从预存储的名称-编号映射列表中筛选出与所述指定店铺名称对应的指定店铺编号的步骤之前，包括：
通过最大稳定极值区域算法提取出所述平面示意图中的文字元素；
通过预设的文本识别算法对所述文字元素进行识别处理，得到所有店铺的店铺名称，以及所有店铺的店铺编号；
根据所述店铺名称与所述店铺编号的对应关系，采用分类算法对所有所述店铺名称与所有所述店铺编号进行一一对应的建立映射处理，生成所述名称-编号映射列表；
将所述名称-编号映射列表存储于预设的指定文件目录内。
可选地，所述根据所述指定店铺编号，确定出所述机器人在所述拓扑地图中的第一位置的步骤之后，包括：
获取所述店铺环境图像的拍摄视角；
根据所述拍摄视角，通过视觉几何的特征矩阵算法对所述店铺环境图像进行位置定位处理，确定出所述机器人相对于所述拓扑地图的第二位置；
根据所述第二位置，在所述拓扑地图上对所述机器人进行位置修正。
本申请还提供一种地图构建装置，包括：
第一获取模块，用于获取目标机构的平面示意图；
分割模块，用于采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
生成模块，用于按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请中提供的地图构建方法、装置、计算机设备和存储介质，具有以下有益效果：
本申请中提供的地图构建方法、装置、计算机设备和存储介质，获取目标机构的平面示意图；采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。本申请通过获取目标机构的平面示意图，之后采用相应算法生成与该平面示意图对应的语义地图，最后智能地根据该语义地图来便捷的生成用于机器人在目标机构内导航移动的拓扑地图，使得不再需要机器人依靠自身安装的传感器去实际场景中获取目标机构内的环境信息，并对环境信息进行融合分析进而来创建相应的环境地图，有效的降低了生成地图所需的时间与成本，提高了创建地图的效率。
附图说明
图1是本申请一实施例的地图构建方法的流程示意图；
图2是本申请一实施例的地图构建装置的结构示意图；
图3是本申请一实施例的计算机设备的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。
需要说明，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
参照图1，本申请一实施例的地图构建方法，包括：
S1：获取目标机构的平面示意图；
S2：采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
S3：按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
如上述步骤S1至S3上述，本方法实施例的执行主体为一种地图构建装置。在实际应用中，该地图构建装置可以通过虚拟装置，例如软件代码实现，也可以通过写入或集成有相关执行代码的实体装置实现，且可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。举例地，该地图构建装置为与机器人之间通讯连接，且对机器人起到命令控制作用的终端设备，如平板电脑。本实施例提供的地图构建装置能够智能快捷地生成用于协助机器人在目标机构内移动导航的拓扑地图。具体地，首先获取目标机构的平面示意图。其中，上述目标机构具体可以为商城，且商城一般对应设置有购物指示地图，上述平面示意图可通过对该购物指示地图进行拍摄后得到的图片。然后采用计算机视觉算法对上述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与上述平面示意图对应的语义地图。其中，计算机视觉是深度学习领域最热门的研究领域之一，且计算机视觉实际上是一个跨领域的交叉学科，包括计算机科学，数学，工程学，物理学(光学)，生物学(神经科学)和心理学等等，上述计算机视觉算法为与计算机视觉相关的算法。可以通过使用与上述计算机视觉算法对应的指定公式来计算出平面示意图中的所有元素区域的得分，然后根据各元素区域的具体得分详情来划分出道路元素区域与店铺元素区域，且上述元素区域包括道路元素区域与店铺元素区域。另外，上述语义地图是通过图像语义分割操作来为场景理解提供语义信息的地图，上述场景理解就是标注图像与目标机构所在环境中其他物体之间的关系，机器人可以根据生成的上述语义地图来识别目标机构中的场景。在生成了上述语义地图后，最后按照预设规则生成与上述语义地图对应的拓扑地图，以使机器人根据上述拓扑地图在上述目标机构内导航移动。其中，上述拓扑地图(topological map)是指地图学中一种统计地图,一种保持点与线相对位置关系正确而不一定保持图形形状与面积、距离、方向正确的抽象地图。另外，拓扑地图为把室内环境表示为带节点和相关连接线的拓扑结构图，节点表示环境中的重要位置点，例如拐角、门、电梯、楼梯等，边表示节点间的连接关系，如走廊等。在本实施例，通过在语义地图中生成一定数量的节点，以及完善节点之间的连接关系，并能生成对应的拓扑地图。生成的拓扑地图为机器人能够理解的地图，且机器人根据上述拓扑地图在上述目标机构内进行导航移动。本实施例通过获取目标机构的平面示意图，之后采用相应算法生成与该平面示意图对应的语义地图，最后智能地根据该语义地图来便捷的生成用于机器人在目标机构内导航移动的拓扑地图，使得不再需要机器人依靠自身安装的传感器去实际场景中获取目标机构内的环境信息，并对环境信息进行融合分析进而来创建相应的环境地图，有效的降低了生成地图所需的时间与成本，提高了创建地图的效率。
需要强调的是，为进一步保证所述目标机构的平面示意图的私密和安全性，所述目标机构的平面示意图还可以存储于一区块链的节点中。
进一步地，本申请一实施例中，上述步骤S2，包括：
S200：调用与所述计算机视觉算法对应的指定公式计算所述平面示意图中所有元素区域的得分，其中，所述指定公式为：
Figure BDA0002465841440000071
Figure BDA0002465841440000073
其中，所述ci表示所述平面示意图中的第i个元素区域，H(ci)是ci中空洞的个数，Area(ci)是ci围绕的矩形区域面积，Deviation(ci)是ci中心与平面示意图的中心之间的距离，且Coverage(ci)的计算公式为Coverage(ci)＝∑j≠iI(ci∩cj)，I是指示函数，指代任意两个相邻元素区域i和j的交集；
S201：从所有所述得分中筛选出满足预设条件的指定分数；
S202：将与所述指定分数对应的指定元素区域确定为所述道路元素区域，并将除所述指定元素区域外的其他元素区域确定为所述店铺区域，得到与所述平面示意图对应的所述语义地图。
如上述步骤S200至S202所述，上述采用计算机视觉算法对上述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与上述平面示意图对应的语义地图的步骤，具体可包括：首先调用与上述计算机视觉算法对应的指定公式计算上述平面示意图中所有元素区域的得分，其中，上述指定公式为：
Figure BDA0002465841440000072
其中，上述ci表示上述平面示意图中的第i个元素区域，H(ci)是ci中空洞的个数，Area(ci)是ci围绕的矩形区域面积，Deviation(ci)是ci中心与平面示意图的中心之间的距离，且Coverage(ci)的计算公式为Coverage(ci)＝∑i≠iI(ci∩cj)，I是指示函数，指代任意两个相邻元素区域i和j的交集。在得到了上述平面示意图中所有元素区域的得分后，从所有上述得分中筛选出满足预设条件的指定分数。最后将与上述指定分数对应的指定元素区域确定为上述道路元素区域，并将除上述指定元素区域外的其他元素区域确定为上述店铺区域，得到与上述平面示意图对应的上述语义地图，其中，可通过上述指定公式对地图中的任意两个相邻元素区域i与j进行分数计算，例如得到第一分数与第二分数，然后对该第一分数与第二分数进行大小比较，并将两者中分数较大的元素区域确定为道路元素区域，而将分数较小的元素确定为店铺元素区域，依此类推直至完成对地图内的所有元素的划分处理，进而得到上述语义地图。本实施例通过获取目标机构的平面示意图，之后采用计算机视觉算法对应的指定公式来生成与该平面示意图对应的语义地图，有利于后续根据该语义地图来快速便捷地生成用于机器人在目标机构内导航移动的拓扑地图。
进一步地，本申请一实施例中，上述步骤S2之后，包括：
S210：预设用于填充所述道路元素区域的第一颜色；以及，
S211：预设用于填充所述店铺元素区域的第二颜色，其中，所述第二颜色与所述第一颜色为互不相同的颜色；
S212：采用所述第一颜色对所述道路元素区域进行填充；以及，
S213：采用所述第二颜色对所述店铺元素区域进行填充。
如上述步骤S210至S213所述，在得到了上述语义地图后，且在生成上述拓扑地图之前，还可以进一步对该语义地图中的道路元素区域与店铺元素区域进行颜色填充处理，以实现在语义地图中实现对于不同的元素区域的区分。具体地，首先预设用于填充上述道路元素区域的第一颜色；以及预设用于填充上述店铺元素区域的第二颜色。其中，对于上述第一颜色与第二颜色不作具体限定，但第一颜色与第二颜色之间为互不相同的颜色，可以由地图构建装置自动生成或者根据用户的实际需求所输入的颜色来进行设置。举例地，可选取红色作为上述第一颜色，选取黑色作为上述第二颜色。在确定出了上述第一颜色与第二颜色后，通过上述第一颜色对上述道路元素区域进行填充；以及通过上述第二颜色对上述店铺元素区域进行填充。本实施例通过对语义地图中的道路元素区域与店铺元素区域填充不同的颜色加以区分，使得后续生成的拓扑地图中也具有对于不同元素区域的划分细节，从而后续机器人能够根据该划分细节来智能的识别并了解目标机构内的格局设置，有利于机器人在目标机构中能够顺序地导航移动。
进一步地，本申请一实施例中，上述步骤S3，包括：
S300：分别生成与每一个所述店铺元素区域的区域边界对应的一个定位点；
S301：通过预设的第三颜色对所有所述定位点进行标记，得到标记后的定位点，其中，所述第三颜色与所述第一颜色、所述第二颜色为互不相同的颜色；
S302：对所有所述标记后的定位点进行连接，以连通所有所述道路元素区域，得到与所述语义地图对应的拓扑地图。
如上述步骤S300至S302所述，在得到了上述语义地图后，还可进一步在语义地图中生成一定数量的节点，完善节点之间的连接关系，进而生成用于机器人移动导航并的移动道路网。具体地，首先分别生成与每一个上述店铺元素区域的区域边界对应的一个定位点。其中，上述店铺元素区域的区域边界是指特定店铺元素区域与相邻的特定道路区域相交/相接触的特定边界线，上述特定边界线的条数可为一条或多条，但不大于特定店铺元素区域的总边数，上述特定店铺元素区域为所有店铺元素区域中的任意一个店铺元素区域。另外，上述定位点属于上述特定道路区域中的一个点，具体为上述特定边界线往外延申，即往特定道路区域的方向延申一定距离后得到的点，例如可为特定边界线的中点往外延申1m后所得到的点。在得到上述定位点时，然后通过预设的第三颜色对所有上述定位点进行标记，得到标记后的定位点。其中，对于上述第三颜色不作具体限定，优选第三颜色与上述第一颜色、第二颜色为互不相同的颜色，可以由地图构建装置自动生成或者根据用户的实际需求所输入的颜色来进行设置。举例地，可选取黄色作为上述第三颜色。在得到了上述标记后的定位点时，最后对所有上述标记后的定位点进行连接，以连通所有上述道路元素区域，得到与上述语义地图对应的拓扑地图，有利于后续机器人可以依据该拓扑地图在目标机构内进行安全方便的移动导航。
进一步地，本申请一实施例中，上述步骤S3之后，包括：
S310：当所述机器人根据所述拓扑地图在所述目标机构内移动时，向所述机器人发送拍摄指令，以控制所述机器人通过摄像头拍摄当前的店铺环境，并生成对应的店铺环境图像；
S311：接收所述机器人返回的所述店铺环境图像，并识别出与所述店铺环境图像对应的指定店铺标记；
S312：根据所述指定店铺标记，确定与所述指定店铺标记对应的指定店铺名称；
S313：从预存储的名称-编号映射列表中筛选出与所述指定店铺名称对应的指定店铺编号；
S314：根据所述指定店铺编号，确定出所述机器人在所述拓扑地图中的第一位置。
如上述步骤S310至S314所述，当上述机器人根据上述拓扑地图在上述目标机构内移动时，可以根据机器人当前所处的店铺环境，来粗略地确定出机器人在上述拓扑地图中的位置。具体地，当上述机器人根据上述拓扑地图在上述目标机构内移动时，首先向上述机器人发送拍摄指令，以控制上述机器人通过摄像头拍摄店铺环境。其中，上述店铺环境为店铺的门面环境，机器人在拍摄店铺环境完毕后会返回对应的店铺环境图像。然后接收上述机器人返回的店铺环境图像，并识别出与上述店铺环境图像对应的指定店铺标记。在得到了上述指定店铺标记后，再根据上述指定店铺标记，确定与上述指定店铺标记对应的指定店铺名称。其中，每一个店铺标记均一一对应有一个店铺名称，可通过上述指定店铺标记来查询到对应的指定店铺名称。之后从预存储的名称-编号映射列表中筛选出与上述指定店铺名称对应的指定店铺编号。其中，可以对上述平面示意图进行识别处理后得到相应的文字信息，再从该文字信息中提取出店铺名称与店铺编号的对应关系。最后根据上述指定店铺编号，确定出上述机器人在上述拓扑地图中的第一位置。其中，在得到了上述指定店铺编号后，便可从拓扑地图中查询出与该指定店铺编号对应的位置信息，进而根据该位置信息来确定出上述第一位置。本实施例能够在机器人在目标机构内移动时，通过与机器人进行交互，以实现根据机器人返回的店铺环境图像来方便快捷的对机器人的当前位置进行粗略的定位。
本申请一实施例中，上述步骤S313之前，包括：
S3130：通过最大稳定极值区域算法提取出所述平面示意图中的文字元素；
S3131：通过预设的文本识别算法对所述文字元素进行识别处理，得到所有店铺的店铺名称，以及所有店铺的店铺编号；
S3132：根据所述店铺名称与所述店铺编号的对应关系，采用分类算法对所有所述店铺名称与所有所述店铺编号进行一一对应的建立映射处理，生成所述名称-编号映射列表；
S3133：将所述名称-编号映射列表存储于预设的指定文件目录内。
如上述步骤S3130至S3133所述，在进行从预存储的名称-编号映射列表中筛选出与上述店铺名称对应的店铺编号的筛选过程中之前，还包括生成上述名称-编号映射列表的生成过程。具体地，首先通过最大稳定极值区域算法提取出上述平面示意图中的文字元素。其中，在计算机视觉领域，MSER算法(Maximally Stable Extremal Regions，最大稳定极值区域)是一种用于在图像中进行斑点检测的方法。这个方法由Matas等人提出，用于在两个不同视角的图片中寻找对应关系(correspondence problem)。这种方法从图像中提取全面的元素对应关系，有助于宽基线匹配(wide-baseline matching)，以及更好的立体匹配和物体识别算法。本实施例通过借助最大稳定极值区域，能够快捷准确地提取出上述平面示意图中的文字元素。在得到了上述文字元素后，通过预设的文本识别算法对上述文字元素进行识别处理，得到所有店铺的店铺名称与店铺编号。其中，对于上述文本识别算法的选取不作具体限定，可采用现有常用的文本识别算法，例如可为CTPN，East，CRNN等算法。然后根据上述店铺名称与上述店铺编号的对应关系，采用分类算法对所有上述店铺名称与所有上述店铺编号进行一一对应的建立映射处理，生成上述名称-编号映射列表。其中，对于上述分类算法的选取不作具体限定，可采用现有常用的分类算法。最后将上述名称-编号映射列表存储于指定文件目录内，以便后续对其进行调用。其中，对于上述指定文件目录的具体目录地址不作具体限定，可根据实际情况进行设置，优选可为存储空间较大的目录地址。本实施例通过采用算法的方式对平面示意图中的文字元素进行提取以及识别来得到相应的店铺信息，进而根据该店铺信息创建对应的名称-编号映射列表，有利于后续利用该名称-编号映射列表来方便快捷地对机器人的当前所处位置进行粗定位。
进一步地，本申请一实施例中，上述步骤S314之后，包括：
S3140：获取所述店铺环境图像的拍摄视角；
S3141：根据所述拍摄视角，通过视觉几何的特征矩阵算法对所述店铺环境图像进行位置定位处理，确定出所述机器人相对于所述拓扑地图的第二位置；
S3142：根据所述第二位置，在所述拓扑地图上对所述机器人进行位置修正。
如上述步骤S3140至S3142所述，在确定出机器人在上述拓扑地图中的第一位置时，由于该第一位置只是一个粗略的定位，还可以借助视觉几何的特征矩阵算法来在上述拓扑地图上对上述机器人进行位置修正，进而实现对于机器人的精确定位。具体地，首先获取上述环境图像的拍摄视角，其中，上述店铺环境图像包括具有不同视角的多张图片。然后根据上述拍摄视角，通过视觉几何的特征矩阵算法对上述环境图像进行位置定位处理，计算出上述机器人相对于上述拓扑地图的第二位置。其中，上述视觉几何的特征矩阵算法为与计算机视觉中几何特征以及矩阵特征相关的算法，本实施例对上述视觉几何的特征矩阵算法的选取不作具体限定，可采用现有常用的视觉几何的特征矩阵算法。在得到了上述第二位置时，最后根据上述第二位置，在上述拓扑地图上对上述机器人进行位置修正。其中，在得到了上述第二位置后，首先判断第二位置与第一位置是否为相同的位置，如果两者为不同的位置，则通过采用将机器人的位置标记由上述第一位置更改为该第二位置的方式，来实现机器人定位的位置修正。而如果第二位置与第一位置为相同的位置，则不需要对机器人进行位置修正。本实施例根据店铺环境图像的拍摄视角，能够采用相应的特定算法来实现精确地计算出机器人的当前位置，进而能够在拓扑地图上对机器人之前的粗定位进行位置修正，有效的提高了机器人定位的位置信息的准确度。
参照图2，本申请一实施例中还提供了一种地图构建装置，包括：
第一获取模块1，用于获取目标机构的平面示意图；
分割模块2，用于采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
生成模块3，用于按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
本实施例中，上述地图构建装置中的第一获取模块、分割模块与生成模块的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S1至S3的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述分割模块，包括：
计算单元，用于调用与所述计算机视觉算法对应的指定公式计算所述平面示意图中所有元素区域的得分，其中，所述指定公式为：
Figure BDA0002465841440000131
Figure BDA0002465841440000132
其中，所述ci表示所述平面示意图中的第i个元素区域，H(ci)是ci中空洞的个数，Area(ci)是ci围绕的矩形区域面积，Deviation(ci)是ci中心与平面示意图的中心之间的距离，且Coverage(ci)的计算公式为Coverage(ci)＝∑j≠iI(ci∩cj)，I是指示函数，指代任意两个相邻元素区域i和j的交集；
筛选单元，用于从所有所述得分中筛选出满足预设条件的指定分数；
确定单元，用于将与所述指定分数对应的指定元素区域确定为所述道路元素区域，并将除所述指定元素区域外的其他元素区域确定为所述店铺区域，得到与所述平面示意图对应的所述语义地图。
本实施例中，上述地图构建装置中的计算单元、筛选单元与确定单元的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S200至S202的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述地图构建装置，包括：
第一预设单元，用于预设用于填充所述道路元素区域的第一颜色；以及，
第二预设单元，用于预设用于填充所述店铺元素区域的第二颜色，其中，所述第二颜色与所述第一颜色为互不相同的颜色；
第一填充单元，用于采用所述第一颜色对所述道路元素区域进行填充；以及，
第二填充单元，用于采用所述第二颜色对所述店铺元素区域进行填充。
本实施例中，上述地图构建装置中的第一预设单元、第二预设单元、第一填充单元与第二填充单元的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S210至S213的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述生成模块，包括：
生成单元，用于分别生成与每一个所述店铺元素区域的区域边界对应的一个定位点；
标记单元，用于通过预设的第三颜色对所有所述定位点进行标记，得到标记后的定位点，其中，所述第三颜色与所述第一颜色、所述第二颜色为互不相同的颜色；
连接单元，用于对所有所述标记后的定位点进行连接，以连通所有所述道路元素区域，得到与所述语义地图对应的拓扑地图。
本实施例中，上述地图构建装置中的生成单元、标记单元与连接单元的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S300至S302的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述地图构建装置，包括：
发送模块，用于当所述机器人根据所述拓扑地图在所述目标机构内移动时，向所述机器人发送拍摄指令，以控制所述机器人通过摄像头拍摄当前的店铺环境，并生成对应的店铺环境图像；
接收模块，用于接收所述机器人返回的所述店铺环境图像，并识别出与所述店铺环境图像对应的指定店铺标记；
第一确定模块，用于根据所述指定店铺标记，确定与所述指定店铺标记对应的指定店铺名称；
筛选模块，用于从预存储的名称-编号映射列表中筛选出与所述指定店铺名称对应的指定店铺编号；
第二确定模块，用于根据所述指定店铺编号，确定出所述机器人在所述拓扑地图中的第一位置。
本实施例中，上述地图构建装置中的发送模块、接收模块、第一确定模块、筛选模块与第二确定模块的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S310至S314的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述地图构建装置，包括：
提取模块，用于通过最大稳定极值区域算法提取出所述平面示意图中的文字元素；
识别模块，用于通过预设的文本识别算法对所述文字元素进行识别处理，得到所有店铺的店铺名称，以及所有店铺的店铺编号；
处理模块，用于根据所述店铺名称与所述店铺编号的对应关系，采用分类算法对所有所述店铺名称与所有所述店铺编号进行一一对应的建立映射处理，生成所述名称-编号映射列表；
存储模块，用于将所述名称-编号映射列表存储于预设的指定文件目录内。
本实施例中，上述地图构建装置中的提取模块、识别模块、处理模块与存储模块的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S3130至S3133的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述地图构建装置，包括：
第二获取模块，用于获取所述店铺环境图像的拍摄视角；
第三确定模块，用于根据所述拍摄视角，通过视觉几何的特征矩阵算法对所述店铺环境图像进行位置定位处理，确定出所述机器人相对于所述拓扑地图的第二位置；
修正模块，用于根据所述第二位置，在所述拓扑地图上对所述机器人进行位置修正。
本实施例中，上述地图构建装置中的第二获取模块第三确定模块与修正模块的功能和作用的实现过程具体详见上述地图构建方法中对应步骤S3140至S3142的实现过程，在此不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储平面示意图、语义地图以及拓扑地图等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种地图构建方法。
上述处理器执行上述地图构建方法的步骤：
获取目标机构的平面示意图；
采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的装置、计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种地图构建方法，具体为：
获取目标机构的平面示意图；
采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
综上所述，本申请实施例中提供的地图构建方法、装置、计算机设备和存储介质，获取目标机构的平面示意图；采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。本申请实施例通过获取目标机构的平面示意图，之后采用相应算法生成与该平面示意图对应的语义地图，最后智能地根据该语义地图来便捷的生成用于机器人在目标机构内导航移动的拓扑地图，使得不再需要机器人依靠自身安装的传感器去实际场景中获取目标机构内的环境信息，并对环境信息进行融合分析进而来创建相应的环境地图，有效的降低了生成地图所需的时间与成本，提高了创建地图的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种地图构建方法，其特征在于，包括：
获取目标机构的平面示意图；
采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
2.根据权利要求1所述的地图构建方法，其特征在于，所述采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图的步骤，包括：
调用与所述计算机视觉算法对应的指定公式计算所述平面示意图中所有元素区域的得分，其中，所述指定公式为：
Figure FDA0002465841430000011
其中，所述ci表示所述平面示意图中的第i个元素区域，H(ci)是ci中空洞的个数，Area(ci)是ci围绕的矩形区域面积，Deviation(ci)是ci中心与平面示意图的中心之间的距离，且Coverage(ci)的计算公式为Coverage(ci)＝∑j≠iI(ci∩cj)，I是指示函数，指代任意两个相邻元素区域i和j的交集；
从所有所述得分中筛选出满足预设条件的指定分数；
将与所述指定分数对应的指定元素区域确定为所述道路元素区域，并将除所述指定元素区域外的其他元素区域确定为所述店铺区域，得到与所述平面示意图对应的所述语义地图。
3.根据权利要求1所述的地图构建方法，其特征在于，所述采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图的步骤之后，包括：
预设用于填充所述道路元素区域的第一颜色；以及，
预设用于填充所述店铺元素区域的第二颜色，其中，所述第二颜色与所述第一颜色为互不相同的颜色；
采用所述第一颜色对所述道路元素区域进行填充；以及，
采用所述第二颜色对所述店铺元素区域进行填充。
4.根据权利要求3所述的地图构建方法，其特征在于，所述按照预设规则生成与所述语义地图对应的拓扑地图的步骤，包括：
分别生成与每一个所述店铺元素区域的区域边界对应的一个定位点；
通过预设的第三颜色对所有所述定位点进行标记，得到标记后的定位点，其中，所述第三颜色与所述第一颜色、所述第二颜色为互不相同的颜色；
对所有所述标记后的定位点进行连接，以连通所有所述道路元素区域，得到与所述语义地图对应的拓扑地图。
5.根据权利要求1所述的地图构建方法，其特征在于，所述按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动的步骤之后，包括：
当所述机器人根据所述拓扑地图在所述目标机构内移动时，向所述机器人发送拍摄指令，以控制所述机器人通过摄像头拍摄当前的店铺环境，并生成对应的店铺环境图像；
接收所述机器人返回的所述店铺环境图像，并识别出与所述店铺环境图像对应的指定店铺标记；
根据所述指定店铺标记，确定与所述指定店铺标记对应的指定店铺名称；
从预存储的名称-编号映射列表中筛选出与所述指定店铺名称对应的指定店铺编号；
根据所述指定店铺编号，确定出所述机器人在所述拓扑地图中的第一位置。
6.根据权利要求5所述的地图构建方法，其特征在于，所述从预存储的名称-编号映射列表中筛选出与所述指定店铺名称对应的指定店铺编号的步骤之前，包括：
通过最大稳定极值区域算法提取出所述平面示意图中的文字元素；
通过预设的文本识别算法对所述文字元素进行识别处理，得到所有店铺的店铺名称，以及所有店铺的店铺编号；
根据所述店铺名称与所述店铺编号的对应关系，采用分类算法对所有所述店铺名称与所有所述店铺编号进行一一对应的建立映射处理，生成所述名称-编号映射列表；
将所述名称-编号映射列表存储于预设的指定文件目录内。
7.根据权利要求5所述的地图构建方法，其特征在于，所述目标机构的平面示意图存储于区块链中，所述根据所述指定店铺编号，确定出所述机器人在所述拓扑地图中的第一位置的步骤之后，包括：
获取所述店铺环境图像的拍摄视角；
根据所述拍摄视角，通过视觉几何的特征矩阵算法对所述店铺环境图像进行位置定位处理，确定出所述机器人相对于所述拓扑地图的第二位置；
根据所述第二位置，在所述拓扑地图上对所述机器人进行位置修正。
8.一种地图构建装置，其特征在于，包括：
第一获取模块，用于获取目标机构的平面示意图；
分割模块，用于采用计算机视觉算法对所述平面示意图中的道路元素区域与店铺元素区域进行分割，生成与所述平面示意图对应的语义地图；
生成模块，用于按照预设规则生成与所述语义地图对应的拓扑地图，以使机器人根据所述拓扑地图在所述目标机构内进行导航移动。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010333655.6A 2020-04-24 2020-04-24 地图构建方法、装置、计算机设备和存储介质 Pending CN111652057A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010333655.6A CN111652057A (zh) 2020-04-24 2020-04-24 地图构建方法、装置、计算机设备和存储介质
PCT/CN2020/093427 WO2021212609A1 (zh) 2020-04-24 2020-05-29 地图构建方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333655.6A CN111652057A (zh) 2020-04-24 2020-04-24 地图构建方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111652057A true CN111652057A (zh) 2020-09-11

Family

ID=72344471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333655.6A Pending CN111652057A (zh) 2020-04-24 2020-04-24 地图构建方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111652057A (zh)
WO (1) WO2021212609A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883132A (zh) * 2021-01-15 2021-06-01 北京小米移动软件有限公司 语义地图生成方法、语义地图生成装置、以及电子设备
CN113332722A (zh) * 2021-06-04 2021-09-03 网易（杭州）网络有限公司 一种地图生成方法、装置、终端及存储介质
CN116109643A (zh) * 2023-04-13 2023-05-12 深圳市明源云科技有限公司 市场布局数据采集方法、设备及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061564B (zh) * 2021-11-01 2022-12-13 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366631B (zh) * 2012-04-09 2015-08-19 北京四维图新科技股份有限公司 一种制作室内地图的方法和制作室内地图的装置
CN106780735B (zh) * 2016-12-29 2020-01-24 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
CN108986122B (zh) * 2018-08-01 2021-03-02 重庆大学 室内泊车引导地图智能重构方法
CN110532602B (zh) * 2019-07-19 2022-11-18 中国地质大学（武汉） 一种基于平面图图像的室内自动制图与建模方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883132A (zh) * 2021-01-15 2021-06-01 北京小米移动软件有限公司 语义地图生成方法、语义地图生成装置、以及电子设备
CN112883132B (zh) * 2021-01-15 2024-04-30 北京小米移动软件有限公司 语义地图生成方法、语义地图生成装置、以及电子设备
CN113332722A (zh) * 2021-06-04 2021-09-03 网易（杭州）网络有限公司 一种地图生成方法、装置、终端及存储介质
CN116109643A (zh) * 2023-04-13 2023-05-12 深圳市明源云科技有限公司 市场布局数据采集方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2021212609A1 (zh) 2021-10-28

Similar Documents

Publication Publication Date Title
CN111652057A (zh) 地图构建方法、装置、计算机设备和存储介质
Guindel et al. Automatic extrinsic calibration for lidar-stereo vehicle sensor setups
Castellanos et al. Multisensor fusion for simultaneous localization and map building
CN110207710B (zh) 机器人重定位方法及装置
KR102143108B1 (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
WO2020173188A1 (zh) 语义地图中障碍物定位方法、装置、计算机设备和存储介质
CN110457420B (zh) 兴趣点位置识别方法、装置、设备及存储介质
CN111191800B (zh) 设备模型核查方法、装置、计算机设备和存储介质
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN112241442A (zh) 地图更新方法、装置、计算机设备和存储介质
JP2021156016A (ja) 建設作業支援システムおよび建設作業支援方法
CN112287730A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN115810133A (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN110728684B (zh) 地图构建方法、装置、存储介质及电子设备
CN117269982A (zh) 一种视觉感知精度的检测方法、装置及电子设备
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN114459483B (zh) 基于机器人导航用地标导航地图构建与应用方法、系统
JPH08240421A (ja) カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法
CN113246136B (zh) 机器人、地图构建方法、装置和存储介质
CN116266402A (zh) 对象自动标注方法、装置、电子设备及存储介质
CN111462341A (zh) 增强现实的建造辅助方法、装置、终端和介质
KR20220067719A (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
CN112685527A (zh) 建立地图的方法、装置和电子系统
JPH01271883A (ja) 指紋中心検出方式
CN111862218A (zh) 计算机设备定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination