CN113894799B - 机器人及辅助环境定位的标识物识别方法和装置 - Google Patents
机器人及辅助环境定位的标识物识别方法和装置 Download PDFInfo
- Publication number
- CN113894799B CN113894799B CN202111487624.7A CN202111487624A CN113894799B CN 113894799 B CN113894799 B CN 113894799B CN 202111487624 A CN202111487624 A CN 202111487624A CN 113894799 B CN113894799 B CN 113894799B
- Authority
- CN
- China
- Prior art keywords
- determined
- pattern
- marker
- candidate
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种机器人及辅助环境定位的标识物识别方法和装置,其中识别方法包括:确定待定位区域图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;根据所述每个候选图案对应的位置信息对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形中的M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;上述识别方法具有计算量小,识别速度快的优点。
Description
技术领域
本申请涉及环境感知与定位技术领域,尤其涉及一种机器人及辅助环境定位的标识物识别方法和装置。
背景技术
机器人定位技术常用到标识物或视觉标记。标识物属于一种自定义、具备图像特征识别且有具体的编码解码规则、可依据相机映射关系解算标识物与相机间的位姿变换关系的一种图形标识,是与已知模型一致的人工对象。标识物和对应的定位方法多应用于需要直接或者间接得知相机与目标物体间的相对位姿的领域,如需要高精度和可重复性的基于图像的测量时,就必须使用这类标识物;另外在视觉领域的尺寸评估任务,如机器人导航和SLAM,运动捕捉,姿势估计,摄像机校准,增强现实领域也需要使用这类标识物。标识物放置在设定场景中以提供参考框架。每当需要基于图像的位姿测量时,就会选择这种标记物。举例来说,机械臂需要抓取一些位置随机的物体,此时无法采用设定机械臂执行固定运动路径的方法,需要通过在机械臂上加装相机用于识别目标物体上粘贴的标识物,然后解算标识物与相机的的相对位姿关系,由于相机与机械臂的位姿关系已知,则可间接的计算出标识物与机械臂间的位姿关系,就可以进行目标物体的抓取任务。
目前基于标识物识别的定位方法,所使用的较多的标识物有ARTag,AprilTag,对这类标识物进行识别时,需要采用检测边缘轮廓,分割轮廓,解码等步骤进行匹配,其缺点为标识物形状复杂,图像识别消耗的CPU资源过高,识别速度慢;且标识物形状不能灵活改变,抗噪点能力差等。
发明内容
本发明提供了一种机器人及辅助环境定位的标识物识别方法和装置,以解决或者部分解决目前的视觉标记用标识物的识别方法,存在识别计算量大,资源占用多,标识物形状不能灵活调整的技术问题。
为解决上述技术问题,根据本发明一个可选的实施例,提供了一种辅助环境定位的标识物识别方法,包括:
获得待定位区域的图像;
确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;
根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;
根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;
根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率。
可选的,所述确定所述图像中具有设定形状的多个候选图案,包括:
对所述图像进行二值化处理,获得二值化图像;
对所述二值化图像进行边缘检测,获得所述二值化图像中的多个待确定区域,以及每个待确定区域的边缘像素点;
根据所述每个待确定区域的边缘像素点进行拟合,获得边缘拟合方程;
将边缘拟合方程为圆方程或椭圆方程的待确定区域确定为所述候选图案。
进一步的,所述对所述图像进行二值化处理,获得二值化图像,包括:
将所述图像分割成多个局部区域;
确定每个局部区域对应的局部阈值,包括:根据所述局部区域内的目标像素点的灰度值,以及所述局部区域内其余像素点的灰度值,确定每个所述局部区域的灰度均值和灰度标准差;根据所有局部区域的灰度标准差,确定灰度标准差的偏差值;根据所述灰度均值,所述灰度标准差和所述偏差值,确定所述每个局部区域对应的局部阈值;
根据所述局部阈值,对每个所述局部区域进行二值化处理,获得所述二值化图像。
可选的,所述根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形,包括:
根据所述每个候选图案对应的位置信息,确定所述多个候选图案中的多个共线性分组;每一个共线性分组包括不少于四个,彼此之间共线的候选图案;
根据所述多个共线性分组,确定第一角点图案;所述第一角点图案为同时属于两个共线性分组的候选图案;
根据所述第一角点图案和所述第一角点图案所属的共线性分组,获得所述待确定图形。
可选的,所述根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形,包括:
将所述每个候选图案对应的像素坐标输入预先训练的空间索引模型,获得第二角点图案以及所述第二角点图案所属的共线性分组;所述共线性分组包括不少于四个,彼此之间共线的候选图案,所述第二角点图案为同时属于两个共线性分组的候选图案;
根据所述第二角点图案和所述第二角点图案所属的共线性分组,获得所述待确定图形。
可选的,所述根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物,包括:
根据待确定图形中每条边的交叉比率以及预设标识物中每条边的交叉比率,确定所述待确定图形与每一个预设标识物之间的交叉比率距离;
根据所述交叉比率距离,从所述标识物模型库中确定出所述待确定图形对应的目标标识物;所述目标标识物为所述交叉比率距离小于设定阈值的预设标识物。
可选的,所述标识物信息包括每个所述预设标识物的交叉比率特征码,所述交叉比率特征码是使用哈希函数,对第一序列进行哈希运算获得的,所述第一序列是对所述预设标识物中的所有边的交叉比率通过设定排序方法进行排序后获得的交叉比率序列;
所述根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物,包括:
根据所述设定排序方法,对所述待确定图形的所有交叉比率进行排序,获得第二序列;
根据所述哈希函数,对所述第二序列进行哈希运算,获得待确定特征码;
根据所述待确定特征码,从所述标识物模型库中确定出所述待确定图形对应的目标标识物,所述目标标识物的交叉比率特征码与所述待确定特征码相同。
根据本发明另一个可选的实施例,提供了一种辅助环境定位的标识物识别装置,包括:
获取模块,用于获得待定位区域的图像;
椭圆检测模块,用于确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;
共线性检测模块,用于根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;
交叉比率确定模块,用于根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;
识别模块,用于根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率。
根据本发明另一个可选的实施例,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述技术方案中的任一项所述识别方法的步骤。
根据本发明另一个可选的实施例,提供了一种机器人,所述机器人包括相机,处理器和存储器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时使所述机器人执行前述技术方案中的任一项所述识别方法的步骤。
通过本发明的一个或者多个技术方案,本发明具有以下有益效果或者优点:
本发明提供了一种辅助环境定位的标识物识别方法,基于相机投影椭圆形状不变的原理,快速搜索图像中形状为椭圆或类椭圆的候选图案,在搜索候选图案的同时也剔除了图像中的大部分噪点;然后是基于相机投影的共线性不变的原理,通过对多个候选图案进行共线性匹配,获得由多组共线的候选图案组成的待确定图形,同时也剔除了图像中不属于标志物的类椭圆性噪点;接下来是利用候选图案的位置信息,计算待确定图形中每条边的交叉比率,基于相机投影的交叉比率不变的原理,从标识模型库中确定出与待确定图形匹配的目标标识物。上述基于椭圆识别,共线性匹配和交叉比率匹配的标识物识别方法,只需要标识物的标识图案在相机的图像坐标系上的投影为椭圆形,因此标识图案的形状设计可以简化,识别所需的计算量小,识别速度快,节省了识别资源占用;而共线性匹配和交叉比率匹配的方法保证了标识图案可以根据需求灵活调整形状和排列,且在标识物在部分遮挡,部分污损或部分曝光时,仍然可以通过共线性匹配确定标识物中未受影响的剩余边,并计算剩余边的交叉比率进行标识物匹配。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的标识图案为实心圆的标识物示例;
图2示出了根据本发明一个实施例的辅助环境定位的标识物识别方法的流程示意图;
图3示出了根据本发明一个实施例的相机投影的共线性不变的原理示意图;
图4示出了根据本发明一个实施例的辅助环境定位的标识物识别装置示意图;
图5为本发明又一个实施例提供的计算机存储介质的结构示意图。
具体实施方式
为了使本申请所属技术领域中的技术人员更清楚地理解本申请,下面结合附图,通过具体实施例对本申请技术方案作详细描述。在整个说明书中,除非另有特别说明,本文使用的术语应理解为如本领域中通常所使用的含义。因此,除非另有定义,本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾,本说明书优先。除非另有特别说明,本发明中用到的各种设备等,均可通过市场购买得到或者可通过现有方法制备得到。
为了解决目前的视觉标记或标识物存在的识别计算量大,资源占用高,标识物形状不能灵活调整的技术问题,本发明提供了一种辅助环境定位的标识物识别方法,其整体思路如下:
获得待定位区域的图像;确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率。
上述标识物识别方法的原理是:基于相机投影椭圆形状不变的原理:即空间坐标系中椭圆形状的物体在相机的图像坐标系中的投影形状同为椭圆,快速搜索图像中形状为椭圆或类椭圆的候选图案,在搜索候选图案的同时也剔除了图像中的大部分噪点;然后是基于相机投影的共线性不变的原理,通过对多个候选图案进行共线性匹配,获得由多组共线的候选图案组成的待确定图形,同时也剔除了图像中不属于标志物的类椭圆性噪点;接下来是利用候选图案的位置信息,计算待确定图形中每条边的交叉比率,基于相机投影的交叉比率不变的原理,从标识模型库中确定出与待确定图形匹配的目标标识物;在得到待确定图形对应的标识物信息后,就可以确定标识物的几何形状,在位置数据已知的情况下,接下来就可以计算相机的位姿,从而实现基于标识物的环境感知与定位。
上述基于椭圆识别,共线性匹配和交叉比率匹配的标识物识别方法,只需要标识物的标识图案为椭圆形,或在相机的图像坐标系上的投影为椭圆形,因此标识图案的形状设计可以简化,其边缘识别计算量小,识别速度快,节省了识别资源占用;而共线性匹配和交叉比率匹配的方法保证了标识图案可以根据需求灵活调整形状和排列,且在标识物在部分遮挡,部分污损或部分曝光时,仍然可以通过共线性匹配确定标识物中未受影响的剩余边,通过计算剩余边的交叉比率进行标识物匹配。
本发明标识物设计可以是:所述标识物包括M个标识图案,所述M个标识图案设置在载体物的表面,并排列成一多边形;所述多边形中的每条边包括数量为4的所述标识图案;所述标识图案为椭圆形,或者在相机的图像坐标系上的投影图形为椭圆形。
可选的,多个标识图案形成的多边形的边的数量至少为4条。每条边上要求不少于4个的标识图案,这是因为计算一条边的交叉比率,至少需要4个共线点的位置坐标。
由于要求标识图案在相机的图像坐标系上的投影为椭圆类,因此可选的,所述标识图案的形状为圆环或实心圆。图1示出了一种由12个实心圆形状的标识图案形成的四边形标识物,每条边上包括4个共线的标识图案。圆形和椭圆形的标识图案在相机的图像坐标系上的投影均为椭圆形,需要说明的是,圆形是一种特殊的椭圆。
可选的,所述载体物可以是木板,金属板,也可以是室内摆设物,如桌椅,立柜等,还可以是墙面。
可选的,标识图案还可以是橘子,苹果,梨,桃,石榴,番茄,葡萄,荔枝,桂圆,李子,柚,西瓜,蛋,饼干,树叶,足球,篮球,排球,乒乓球,橄榄球,碗,盘,钟表盘,圆桌等生活中常见的圆形图案或椭圆形图案,这些图案在相机的图像坐标系上的投影图形均是椭圆形。
在接下来的内容中,结合具体实施方式,对上述标识物识别方法进行详细说明:
在一个可选的实施例中,将上述方案应用于室内机器人定位领域。室内机器人主要依靠激光SLAM或者视觉SLAM进行环境感知与定位,但是在一些特殊环境下,缺乏比较鲜明的环境特征(例如停车场、长走廊、餐厅等),此时就需要额外的环境感知定位方法,而设置标识物就是其中一种方法。在前期构建机器人环境地图时,将标识物部署在机器人不容易定位的一些环境中,机器人在SLAM过程中对标识物进行感知识别定位,将其位置,ID信息保存在地图中,在机器人正常任务运行中,通过识别定位到标识物信息与之前环境中保存的标识物信息进行匹配,以此方法进行辅助机器人环境感知与定位。
在本实施例中,预先设置的标识物如图1所示,包括M个标识图案,所述M个标识图案排列成一四边形;所述多边形中的每条边包括4个所述标识图案;所述标识图案为实心圆形。
与之相应的标识物识别方法如图2所示,其步骤包括:
S201:获得待定位区域的图像;
具体的,机器人在室内行走过程中会通过搭载的相机不断的抓拍周围环境的图像计算机器人位姿信息,然后结合内置离线地图实现机器人定位。
S202:确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;
本步骤是基于拍摄的图像进行椭圆检测,通过搜索图像中的椭圆形图案或类椭圆形的图案,将其保存为候选图案;同时也剔除了大部分的非椭圆形状的图像噪点。在确定候选图案时,同时也计算出组成候选图案像素点的像素坐标,根据像素点的像素坐标可以反映每个候选图案的位置信息。像素坐标表示像素在图像中的位置,在本实施例中,像素坐标是像素点在相机的图像坐标系下的坐标。
一种可选的确定候选图案的方法为:
2021:对所述图像进行二值化处理,获得二值化图像;
图像的二值化可以采用全局阈值二值化和局部阈值二值化两种方案,考虑在一些场景下全局阈值自动分割的方法并不能准确地将图案和背景二值化,本实施例提供了一种新的局部阈值二值化方法,能够减小局部阈值二值化的计算量,提高图案与背景的二值化效果。
局部阈值二值化的方案具体为:将所述图像分割成多个局部区域;确定每个局部区域对应的局部阈值,包括:根据所述局部区域内的目标像素点的灰度值,以及所述局部区域内其余像素点的灰度值,确定每个所述局部区域的灰度均值和灰度标准差;根据所有局部区域的灰度标准差,确定灰度标准差的偏差值;根据所述灰度均值,所述灰度标准差和所述偏差值,依次确定所述每个局部区域对应的局部阈值;根据所述局部阈值,对每个所述局部区域进行二值化处理,获得所述二值化图像。
局部阈值二值化的的基本原理是:基于某一目标像素点P(x,y),其灰度值为g(x,y),其邻域为r×r,邻域内每一个像素点的灰度值为g(i,j),r为划分邻域大小的像素数量,根据实际需求确定;(x,y)是像素坐标。那么通过计算该邻域内的局部阈值T,基于局部阈值T进行邻域内像素二值化处理。
该邻域的灰度像素均值m(x,y)采用下式计算:
该邻域的灰度标准差s(x,y)采用下式计算:
在计算出每一个邻域的标准差s后,根据所有邻域的标准差,可以计算出标准差的变化范围或偏差值R,R=s(x,y)max- s(x,y)min。
接下来,根据灰度均值m(x,y),灰度标准差s(x,y)和偏差R确定局部阈值T的方法见下式:
在式(3)中,k为修正系数,通过实验确定。
另一方面,也可以采用下式计算局部阈值T:
在式(4)中,k为第一修正系数,p为第二修正系数,其取值均通过实验确定。
2022:对所述二值化图像进行边缘检测,获得所述二值化图像中的多个待确定区域,以及每个待确定区域的边缘像素点;
具体的,边缘检测方法可以采用Sobel,Prewitt,Roberts,Canny等边缘检测算子进行检测,得到每个待确定区域对应的边缘像素点,同时也获得了每个边缘像素点的像素坐标。
2023根据所述每个待确定区域的边缘像素点进行拟合,获得边缘拟合方程;将边缘拟合方程为圆方程或椭圆方程的待确定区域确定为所述候选图案。
具体的,对每个待确定区域的边缘像素点进行拟合,或基于边缘像素点的像素坐标进行拟合,可以得到每个待确定区域的边缘拟合方程。根据拟合方程的形式,可以确定待确定区域的形状。
例如,若某待确定区域的边缘拟合方程具有(x-a)2+(y-b)2= c的形式,则可以确定该待确定区域为圆形;若某待确定区域的边缘拟合方程具有x2/a+y2/b = 1的形式,则可以确定该待确定区域为椭圆形。通常认为圆是椭圆的一种特殊情况。
通过上述的方案,筛选出图像中的椭圆或类椭圆图形,将其作为候选图案;同时剔除了图像中的大部分非椭圆形的噪点。
S203:根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;
共线性匹配基于的原理是相机影射变换的共线不变性原理,即在空间坐标系中共线的候选图案,在投影到相机的图像坐标系上也不会改变其共线特征。如图3所示,空间坐标系中共线的ABCD四点,在投影到图像坐标系后对应的点为A’,B’,C’,D’,其也是共线的。
共线性匹配可采用如下的方案:
方案一:
根据所述每个候选图案对应的位置信息,确定所述多个候选图案中的多个共线性分组;每一个共线性分组包括不少于四个,彼此之间共线的候选图案;根据所述多个共线性分组,确定第一角点图案;所述第一角点图案为同时属于两个共线性分组的候选图案;根据所述第一角点图案和所述第一角点图案所属的共线性分组,获得所述待确定图形。
本方案是基于每个候选图案的位置逐一进行共线性匹配,确定出所有的共线性分组。考虑到候选图案是一个区域,因此在进行共线性匹配时,可以选择候选图案中的代表性像素点,如中心像素点的像素坐标或质心像素点的像素坐标进行共线性匹配。以质心为例,首先选择第一候选图案,第二候选图案的质心坐标,确定对应的直线方程,然后再遍历其余的候选图案的质心像素坐标,计算其余候选图案与直线的距离;若某个候选图案:如第三候选图案的距离为0或小于一个距离阈值,可确定第三候选图案与第一候选图案,第二候选图案共线。通过重复上述的方法,可以得到全部的共线性分组。
对于所有的共线性分组,可以通过筛选保留候选图案共线数量与标识物设计的标识图案共线数量相适应的共线性分组。例如,若标识物设计时,一条边上有4个共线的标识图案,则保留候选图案共线数量为4的共线性分组,如果一条边上设计有5个共线的标识图案,则保留候选图案共线数量为5的共线性分组。
接下来根据确定的共线性分组确定角点图案,角点图案是两组共线性分组中的交点图案,例如,候选图案A、B、C、D共线,同时候选图案A还与候选图案E、F、G共线,则候选图案A为角点图案。在找到角点图案,以及角点图案对应的共线性分组后,即可根据角点图案与角点图案共线的候选图案,确定出待确定图形。
上述方案在共线性匹配时,需要逐一匹配每一个候选图案是否与其它候选图案共线,计算量较大。为了减少计算量,另一种可选的方案为:
方案二:
将所述每个候选图案对应的像素坐标输入预先训练的空间索引模型,获得第二角点图案以及所述第二角点图案所属的共线性分组;所述共线性分组包括不少于四个,彼此之间共线的候选图案,所述第二角点图案为同时属于两个共线性分组的候选图案;根据所述第二角点图案和所述第二角点图案所属的共线性分组,获得所述待确定图形。
具体来讲,空间索引模型可以选择基于哈希思想的网格索引,或基于树思想的四叉树或R树等。通过预先构建和训练空间索引模型,然后将每个候选图案对应的质心像素坐标输入空间索引模型,直接输出角点图案和角点图案对应的共线性分组。
以位置信息为候选图案中的质心像素坐标,空间索引模型为四叉树模型为例,将所有候选图案的质心像素坐标输入四叉树模型,首先检查出两个可作为角点的角点图案,然后检测其它的候选图案是否能与这两个角点图案形成共线的候选边,从而完成第三个角点和第四个角点的确定。在确定了角点图案之后,将与角点图案共线,且位置处于两角点图案之间的候选图案纳入共线性分组。
S204:根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;
交叉比率是指直线上共线的多个位置点之间的距离交叉比值,根据相机投影的交叉比率不变特性,如图3所示,位于空间坐标系中的ABCD和其在图像坐标系中的投影:A’B’C’D的交叉比率相等,即:
cross-ratio(A,B,C,D)=cross-ratio(A’,B’,C’,D’);
其中,cross-ratio(A,B,C,D)= |AB|/|BD| ÷|AC|/|CD|,cross-ratio(A’,B’,C’,D’)= |A’B’|/|B’D’| ÷|A’C’|/|C’D’|。
在计算交叉比率时,可根据候选图案的质心像素坐标,计算两个候选图案之间的距离。对于共线数量为4个的待确定图形,交叉比率的计算方式见上式。对于共线数量超过4个的待确定图形,可根据根据实际需求灵活定义交叉比率,如cross-ratio(A,B,C,D,E)可以是:|AC|/|CE|÷|AB|/|BE|,也可以是|AD|/|DE| ÷|AC|/|CE|。
S205:根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率。
具体的,在计算出待确定图形中的每条边的交叉比率后,结合标识物模型库中已知标识物对应的交叉比率进行匹配,从而确定待确定图形对应的标识物信息。
一种可选的交叉比率的匹配方案为:
根据待确定图形中每条边的交叉比率以及预设标识物中每条边的交叉比率,确定所述待确定图形与每一个预设标识物之间的交叉比率距离;根据所述交叉比率距离,从所述标识物模型库中确定出所述待确定图形对应的目标标识物;所述目标标识物为所述交叉比率距离小于设定阈值的预设标识物。
具体的,以图2的标识物为例,可将待确定图形所有的交叉比率组成一个交叉比率一维向量,而在标识物模型库中存储了多个预设标识物的交叉比率一维向量Ci=。然后分别计算C0与每一个Ci之间的距离,计算的距离可以是欧式距离,曼哈顿距离,切比雪夫距离或马氏距离。当距离值为0,或距离值小于设定阈值时,说明对应的预设标识物为匹配当前定位场景中的待确定图形。
另一种可选的交叉比率的匹配方案为哈希方案,具体如下:
标识物模型库中的标识物信息包括每个所述预设标识物的交叉比率特征码,所述交叉比率特征码是使用哈希函数,对第一序列进行哈希运算获得的,所述第一序列是对所述预设标识物中的所有边的交叉比率通过设定排序方法进行排序后获得的交叉比率序列;
在进行标识物匹配时,根据所述设定排序方法,对所述待确定图形的所有交叉比率进行排序,获得第二序列;根据所述哈希函数,对所述第二序列进行哈希运算,获得待确定特征码;根据所述待确定特征码,从所述标识物模型库中确定出所述待确定图形对应的目标标识物,所述目标标识物的交叉比率特征码与所述待确定特征码相同。
举例来讲,在标识物模型库中,某四边形的预设标识物A的四个边的交叉比率为:0.5,0.7,0.3,0.6,则先按照升序顺序进行排列,获得的第一序列:0.30.50.60.7,则以第一序列自变量,采用预先确定的哈希函数进行哈希运算,得到交叉比率特征码。而在某场景下识别的待确定图形的四个边的交叉比率分别为0.3,0.5,0.7,0.6,同样先进行升序排列,得到第二序列:0.30.50.60.7,在使用相同的哈希函数进行运算,得到待确定特征码。由于自变量相同,哈希函数相同,因此两种特征码必然是相同的,即可以确定待确定图形是预设标识物A。
需要说明的是,在一些情况下,置于环境中的标识物可能会被部分遮挡或部分污损,在部分遮挡或污损时,本标识物的形状设计和对应的识别方法也能够保证标识物能够正常识别。对于采用前述方案一的共线性匹配,可以找出没有被遮挡或污损部分的共线性分组,即标识物的部分边,从而得到一个以上的角点图案,通过动态识别部分角点,如两个角点,三个角点,可以计算部分边的交叉比率,基于部分边的交叉比率,也可以与标识物模型库中的预设标识物的交叉比率进行匹配。对于采用前述方案二的共线性匹配,通过空间索引模型,识别出待确定图形的一个角点,即两个相邻的共线性分组后,可以计算出两个相邻边的交叉比率;通过动态识别两个,三个,四个角点的方法,能够识别出更多的共线性分组,从而计算出更多边的交叉比率,同样能够实现标识物匹配。
为了提高识别精度,对于四边形的标识物,受遮挡和污损影响的边最好不超过一条,对于具有更多条边的多边形标识物,允许受遮挡和污损的边的数量可以适当增加。
在确定待确定图形属于哪一种标识物后,由于标识物的几何形状和位置都已经获得,此时就可以根据标识物计算相机的位姿,可以使用任何可以解决PnP问题的算法进行位姿计算,基于相机位姿和离线地图实现机器人在室内场景的精准定位。
第二方面,基于前述实施例相同的发明构思,在另一个可选的实施例中,如图4所示,提供了一种辅助环境定位的标识物识别装置,包括:
获取模块410,用于获得待定位区域的图像;
椭圆检测模块420,用于确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;
共线性检测模块430,用于根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;
交叉比率确定模块440,用于根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;
识别模块450,用于根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率。
可选的,所述椭圆检测模块420用于:
对所述图像进行二值化处理,获得二值化图像;
对所述二值化图像进行边缘检测,获得所述二值化图像中的多个待确定区域,以及每个待确定区域的边缘像素点;
根据所述每个待确定区域的边缘像素点进行拟合,获得边缘拟合方程;
将边缘拟合方程为圆方程或椭圆方程的待确定区域确定为所述候选图案。
进一步的,所述椭圆检测模块420用于:
将所述图像分割成多个局部区域;
确定每个局部区域对应的局部阈值,包括:根据所述局部区域内的目标像素点的灰度值,以及所述局部区域内其余像素点的灰度值,确定每个所述局部区域的灰度均值和灰度标准差;根据所有局部区域的灰度标准差,确定灰度标准差的偏差值;根据所述灰度均值,所述灰度标准差和所述偏差值,确定所述每个局部区域对应的局部阈值;
根据所述局部阈值,对每个所述局部区域进行二值化处理,获得所述二值化图像。
可选的,所述共线性检测模块430用于:
根据所述每个候选图案对应的位置信息,确定所述多个候选图案中的多个共线性分组;每一个共线性分组包括不少于四个,彼此之间共线的候选图案;
根据所述多个共线性分组,确定第一角点图案;所述第一角点图案为同时属于两个共线性分组的候选图案;
根据所述第一角点图案和所述第一角点图案所属的共线性分组,获得所述待确定图形。
可选的,所述共线性检测模块430用于:
将所述每个候选图案对应的像素坐标输入预先训练的空间索引模型,获得第二角点图案以及所述第二角点图案所属的共线性分组;所述共线性分组包括不少于四个,彼此之间共线的候选图案,所述第二角点图案为同时属于两个共线性分组的候选图案;
根据所述第二角点图案和所述第二角点图案所属的共线性分组,获得所述待确定图形。
可选的,所述识别模块450用于:
根据待确定图形中每条边的交叉比率以及预设标识物中每条边的交叉比率,确定所述待确定图形与每一个预设标识物之间的交叉比率距离;
根据所述交叉比率距离,从所述标识物模型库中确定出所述待确定图形对应的目标标识物;所述目标标识物为所述交叉比率距离小于设定阈值的预设标识物。
可选的,所述标识物信息包括每个所述预设标识物的交叉比率特征码,所述交叉比率特征码是使用哈希函数,对第一序列进行哈希运算获得的,所述第一序列是对所述预设标识物中的所有边的交叉比率通过设定排序方法进行排序后获得的交叉比率序列;
所述识别模块450用于:
根据所述设定排序方法,对所述待确定图形的所有交叉比率进行排序,获得第二序列;
根据所述哈希函数,对所述第二序列进行哈希运算,获得待确定特征码;
根据所述待确定特征码,从所述标识物模型库中确定出所述待确定图形对应的目标标识物,所述目标标识物的交叉比率特征码与所述待确定特征码相同。
第三方面,如图5所示,在本发明的又一实施例中提供了一种计算机可读存储介质500,其上存储有计算机程序511,该程序被处理器执行时前述实施例中的所述识别方法的步骤。
第四方面,在本发明的又一实施例中提供了一种机器人,所述机器人包括相机,处理器和存储器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时使所述机器人执行前述实施例中的任一项所述识别方法的步骤。
通过本发明的一个或者多个实施例,本发明具有以下有益效果或者优点:
本发明提供了一种辅助环境定位的标识物识别方法、识别装置、存储介质和电子设备,基于相机投影椭圆形状不变的原理,快速搜索图像中形状为椭圆或类椭圆的候选图案,在搜索候选图案的同时也剔除了图像中的大部分噪点;然后是基于相机投影的共线性不变的原理,通过对多个候选图案进行共线性匹配,获得由多组共线的候选图案组成的待确定图形,同时也剔除了图像中不属于标志物的类椭圆性噪点;接下来是利用候选图案的位置信息,计算待确定图形中每条边的交叉比率,基于相机投影的交叉比率不变的原理,从标识模型库中确定出与待确定图形匹配的目标标识物。上述基于椭圆识别,共线性匹配和交叉比率匹配的标识物识别方法,只需要标识物的标识图案在相机的图像坐标系上的投影为椭圆形,因此标识图案的形状设计可以简化,其边缘识别的计算量小,识别速度快,节省了识别资源占用;而共线性匹配和交叉比率匹配的方法保证了标识图案可以根据需求灵活调整形状和排列,且在标识物在部分遮挡,部分污损或部分曝光时,仍然可以通过共线性匹配确定标识物中未受影响的剩余边,并计算剩余边的交叉比率进行标识物匹配。
尽管已描述了本申请的优选实施例,但本领域内的普通技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种辅助环境定位的标识物识别方法,其特征在于,所述识别方法包括:
获得待定位区域的图像;
确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;
根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;
根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;
根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率;
其中,所述根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形,包括:将所述每个候选图案对应的像素坐标输入预先训练的空间索引模型,获得第二角点图案以及所述第二角点图案所属的共线性分组;所述共线性分组包括不少于四个,彼此之间共线的候选图案,所述第二角点图案为同时属于两个共线性分组的候选图案;根据所述第二角点图案和所述第二角点图案所属的共线性分组,获得所述待确定图形。
2.如权利要求1所述的识别方法,其特征在于,所述确定所述图像中具有设定形状的多个候选图案,包括:
对所述图像进行二值化处理,获得二值化图像;
对所述二值化图像进行边缘检测,获得所述二值化图像中的多个待确定区域,以及每个待确定区域的边缘像素点;
根据所述每个待确定区域的边缘像素点进行拟合,获得边缘拟合方程;
将边缘拟合方程为圆方程或椭圆方程的待确定区域确定为所述候选图案。
3.如权利要求2所述的识别方法,其特征在于,所述对所述图像进行二值化处理,获得二值化图像,包括:
将所述图像分割成多个局部区域;
确定每个局部区域对应的局部阈值,包括:根据所述局部区域内的目标像素点的灰度值,以及所述局部区域内其余像素点的灰度值,确定每个所述局部区域的灰度均值和灰度标准差;根据所有局部区域的灰度标准差,确定灰度标准差的偏差值;根据所述灰度均值,所述灰度标准差和所述偏差值,确定所述每个局部区域对应的局部阈值;
根据所述局部阈值,对每个所述局部区域进行二值化处理,获得所述二值化图像。
4.如权利要求1所述的识别方法,其特征在于,所述根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形,包括:
根据所述每个候选图案对应的位置信息,确定所述多个候选图案中的多个共线性分组;每一个共线性分组包括不少于四个,彼此之间共线的候选图案;
根据所述多个共线性分组,确定第一角点图案;所述第一角点图案为同时属于两个共线性分组的候选图案;
根据所述第一角点图案和所述第一角点图案所属的共线性分组,获得所述待确定图形。
5.如权利要求1所述的识别方法,其特征在于,所述根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物,包括:
根据待确定图形中每条边的交叉比率以及预设标识物中每条边的交叉比率,确定所述待确定图形与每一个预设标识物之间的交叉比率距离;
根据所述交叉比率距离,从所述标识物模型库中确定出所述待确定图形对应的目标标识物;所述目标标识物为所述交叉比率距离小于设定阈值的预设标识物。
6.如权利要求1所述的识别方法,其特征在于,所述标识物信息包括每个所述预设标识物的交叉比率特征码,所述交叉比率特征码是使用哈希函数,对第一序列进行哈希运算获得的,所述第一序列是对所述预设标识物中的所有边的交叉比率通过设定排序方法进行排序后获得的交叉比率序列;
所述根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物,包括:
根据所述设定排序方法,对所述待确定图形的所有交叉比率进行排序,获得第二序列;
根据所述哈希函数,对所述第二序列进行哈希运算,获得待确定特征码;
根据所述待确定特征码,从所述标识物模型库中确定出所述待确定图形对应的目标标识物,所述目标标识物的交叉比率特征码与所述待确定特征码相同。
7.一种辅助环境定位的标识物识别装置,其特征在于,所述识别装置包括:
获取模块,用于获得待定位区域的图像;
椭圆检测模块,用于确定所述图像中具有设定形状的多个候选图案,以及每个候选图案对应的位置信息;所述设定形状为圆形或椭圆形;
共线性检测模块,用于根据所述每个候选图案对应的位置信息,对所述多个候选图案进行共线性匹配,获得待确定图形;所述待确定图形包括M个候选图案,所述M个候选图案排列成一多边形,所述多边形中的每条边包括彼此共线的,数量不少于4个的所述候选图案;
交叉比率确定模块,用于根据所述M个候选图案的位置信息,确定所述待确定图形中每条边的交叉比率;
识别模块,用于根据所述每条边的交叉比率,从标识物模型库中确定出所述待确定图形对应的目标标识物;其中,所述标识物模型库中包括多个预设标识物的标识物信息,所述标识物信息包括预设标识物中每条边的交叉比率;
其中,所述共线性检测模块具体用于:将所述每个候选图案对应的像素坐标输入预先训练的空间索引模型,获得第二角点图案以及所述第二角点图案所属的共线性分组;所述共线性分组包括不少于四个,彼此之间共线的候选图案,所述第二角点图案为同时属于两个共线性分组的候选图案;根据所述第二角点图案和所述第二角点图案所属的共线性分组,获得所述待确定图形。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一项所述识别方法的步骤。
9.一种机器人,其特征在于,所述机器人包括相机,处理器和存储器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时使所述机器人执行权利要求1-6中任一项所述识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111487624.7A CN113894799B (zh) | 2021-12-08 | 2021-12-08 | 机器人及辅助环境定位的标识物识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111487624.7A CN113894799B (zh) | 2021-12-08 | 2021-12-08 | 机器人及辅助环境定位的标识物识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113894799A CN113894799A (zh) | 2022-01-07 |
CN113894799B true CN113894799B (zh) | 2022-04-08 |
Family
ID=79025540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111487624.7A Active CN113894799B (zh) | 2021-12-08 | 2021-12-08 | 机器人及辅助环境定位的标识物识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113894799B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114485760B (zh) * | 2022-01-26 | 2023-10-31 | 震坤行工业超市(上海)有限公司 | 传感器校准方法、电子设备、介质及系统 |
CN115655112B (zh) * | 2022-11-09 | 2023-06-27 | 长安大学 | 一种基于可定位性的井下标识物及井下辅助定位方法 |
CN115781673A (zh) * | 2022-11-18 | 2023-03-14 | 节卡机器人股份有限公司 | 一种零件抓取方法、装置、设备及介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100386090B1 (ko) * | 2001-04-02 | 2003-06-02 | 한국과학기술원 | 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법 |
CN1674047A (zh) * | 2004-03-25 | 2005-09-28 | 上海大学 | 基于微机并行处理结构的六自由度视觉跟踪方法及系统 |
CN101339604B (zh) * | 2008-07-09 | 2010-07-28 | 北京理工大学 | 一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法 |
CN101853396B (zh) * | 2010-06-17 | 2012-12-05 | 中国人民解放军信息工程大学 | 点分布型编码标志识别方法 |
CN103697813B (zh) * | 2013-12-31 | 2016-08-17 | 中建铁路建设有限公司 | 无砟轨道板尺寸检测方法及装置 |
US9672607B2 (en) * | 2015-10-08 | 2017-06-06 | Biosense Webster (Israel) Ltd. | Identification and registration of multi-marker jig |
CN111881338A (zh) * | 2020-08-03 | 2020-11-03 | 深圳一块互动网络技术有限公司 | 一种基于社交软件轻应用小程序的印刷品内容检索方法 |
CN111814918B (zh) * | 2020-08-31 | 2020-12-29 | 中国计量大学 | 一种合作靶标及靶标识别方法 |
CN113610917A (zh) * | 2021-08-09 | 2021-11-05 | 河南工业大学 | 一种基于消隐点的圆阵靶标中心像点定位方法 |
-
2021
- 2021-12-08 CN CN202111487624.7A patent/CN113894799B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113894799A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113894799B (zh) | 机器人及辅助环境定位的标识物识别方法和装置 | |
Romero-Ramirez et al. | Speeded up detection of squared fiducial markers | |
CN107766859B (zh) | 移动机器人定位方法、装置及移动机器人 | |
CN104732514B (zh) | 用于处理高度图的设备、系统和方法 | |
US8824781B2 (en) | Learning-based pose estimation from depth maps | |
US9330307B2 (en) | Learning based estimation of hand and finger pose | |
US9157757B1 (en) | Methods and systems for mobile-agent navigation | |
CN110458161B (zh) | 一种结合深度学习的移动机器人门牌定位方法 | |
CN107748855B (zh) | 一种二维码寻像图形的检测方法 | |
US6993177B1 (en) | Gauging based on global alignment and sub-models | |
CN109784250A (zh) | 自动引导小车的定位方法和装置 | |
CN110443242A (zh) | 读数框检测方法、目标识别模型训练方法及相关装置 | |
CN104966299B (zh) | 一种基于径向环形直方图的图像定位匹配方法 | |
CN115937203A (zh) | 一种基于模板匹配的视觉检测方法、装置、设备及介质 | |
CN109977959A (zh) | 一种火车票字符区域分割方法及装置 | |
CN104766332A (zh) | 一种图像处理方法及电子设备 | |
AUGMENTED | Grayscale image enhancement for enhancing features detection in marker-less augmented reality technology | |
CN108388854A (zh) | 一种基于改进fast-surf算法的定位方法 | |
CN109191489B (zh) | 一种飞行器着陆标志的检测跟踪方法与系统 | |
CN115187769A (zh) | 一种定位方法及装置 | |
CN102346605A (zh) | 一种摄像式触摸控制方法及其系统 | |
CN114012736A (zh) | 一种辅助环境定位用定位物及机器人系统 | |
EP2509028B1 (en) | Method and system for optically detecting and localizing a two-dimensional, 2D, marker in 2D scene data, and marker therefor | |
CN106097362A (zh) | 一种x光图像中人工圆形标记的自动检测和定位方法 | |
CN112219207A (zh) | 用于光学识别标记的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089 Patentee after: Beijing Yunji Technology Co.,Ltd. Address before: Room 702, 7 / F, 67 North Fourth Ring Road West, Haidian District, Beijing Patentee before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |