CN111895989A - 一种机器人的定位方法、装置和电子设备 - Google Patents

一种机器人的定位方法、装置和电子设备 Download PDF

Info

Publication number
CN111895989A
CN111895989A CN202010588013.0A CN202010588013A CN111895989A CN 111895989 A CN111895989 A CN 111895989A CN 202010588013 A CN202010588013 A CN 202010588013A CN 111895989 A CN111895989 A CN 111895989A
Authority
CN
China
Prior art keywords
point cloud
laser
robot
pose
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010588013.0A
Other languages
English (en)
Inventor
彭建建
林辉
卢维
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010588013.0A priority Critical patent/CN111895989A/zh
Publication of CN111895989A publication Critical patent/CN111895989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种机器人的定位方法、装置和电子设备，其中，该机器人的定位方法包括：相比于相关技术，本申请实施例提供的机器人的定位方法，通过获取机器人的激光点云和栅格地图，将激光点云与栅格地图匹配确定第一残差项；根据激光点云确定反光柱的检测位置，将检测位置与反光柱的标定位置匹配确定第二残差项；利用非线性优化确定第一残差项和第二残差项的最值，根据最值确定激光设备的帧位姿，根据帧位姿确定机器人的位姿，解决了基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在观测信息或预测信息偏差较大时融合后得到的机器人位姿精度较低的问题，提高了机器人的定位精度。

Description

一种机器人的定位方法、装置和电子设备
技术领域
本申请涉及定位导航技术领域，特别是涉及一种机器人的定位方法、装置和电子设备。
背景技术
当前自动导引运输车蓬勃发展，物流机器人、导览机器人和家庭机器人等各类导引运输车在市面上涌现。在整个机器人系统中，导航技术是其最主要的核心技术之一，导航技术主要是通过传感器技术确定机器人的当前位姿信息，并根据目的地信息明确小车的导引角度、速度以及运行路线。
相关技术中，建图过程利用里程计测量值实时估计移动机器人位姿，导航过程通过轮廓与地图匹配计算机器人位姿，并选取反光板进行三角定位计算位姿，基于卡尔曼滤波将轮廓匹配获得的位姿与三角定位的位姿进行融合，得到优化后的机器人位姿，但是基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在滤波器的观测信息或预测信息偏差较大时，融合后得到优化的机器人位姿精度较低。
目前针对相关技术中基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在观测信息或预测信息偏差较大时，融合后得到的机器人位姿精度较低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种机器人的定位方法、装置和电子设备，以至少解决相关技术中基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在观测信息或预测信息偏差较大时融合后得到的机器人位姿精度较低的问题。
第一方面，本申请实施例提供了一种机器人的定位方法，所述方法包括：
获取机器人的激光点云和栅格地图，通过所述激光点云与所述栅格地图匹配确定第一残差项；其中，所述激光点云是由设于所述机器人上的激光设备获取，所述栅格地图是利用激光设备的数据构建的；
根据所述激光点云确定所述反光柱的检测位置，通过所述检测位置与所述反光柱的标定位置匹配确定第二残差项；
利用非线性优化分别确定所述第一残差项和所述第二残差项的最值，根据所述最值确定所述激光设备的帧位姿，根据所述帧位姿确定所述机器人的位姿。
在其中一些实施例中，所述将所述激光点云与所述栅格地图匹配确定第一残差项包括：
将所述激光点云按照预设的投影范围分为长期特征点云和短期特征点云，其中，所述长期特征点云为激光束投影在所述栅格地图的障碍物内所形成的点云，所述短期特征点云为激光束未投影在所述栅格地图的障碍物内所形成的点云；
通过所述长期特征点云与所述栅格地图匹配确定所述第一残差项。
在其中一些实施例中，所述将所述检测位置与所述反光柱的标定位置匹配确定第二残差项包括：
获取激光设备的初始位姿，根据所述初始位姿确定所述检测位置的圆心；
获取所述标定位置的圆心；
通过所述检测位置的圆心与所述标定位置的圆心匹配确定所述第二残差项。
在其中一些实施例中，所述获取所述标定位置的圆心包括：
将所述激光点云分簇处理，以确定所述反光柱的轮廓点云；
根据激光束和所述激光点云，剔除所述轮廓点云的干扰点云，以确定所述反光柱的激光点云；
根据所述反光柱的激光点云在所述激光设备上的投影距离，确定所述标定位置的圆心。
在其中一些实施例中，所述根据所述反光柱的激光点云的投影距离确定所述标定位置的圆心之前，所述方法还包括：
根据所述反光柱的激光点云的投影距离确定所述标定位置的初始圆心；
根据所述初始圆心利用所述反光柱的激光点云与所述反光柱的拟合剔除所述反光柱的误检点云。
在其中一些实施例中，所述利用非线性优化分别确定所述第一残差项和所述第二残差项的最值包括：
根据里程计运动模型，确定所述激光设备的初始位姿，并根据所述初始位姿，预测位置残差项和角度残差项；
利用非线性优化，通过所述位置残差项和所述角度残差项，分别确定所述第一残差项和所述第二残差项的最值。
第二方面，本申请实施例提供了一种机器人的定位装置，所述装置包括：获取模块、残差项计算模块和机器人位姿生成模块；
所述获取模块，用于获取机器人的激光点云和栅格地图；其中，所述激光点云是由设于所述机器人上的激光设备获取，所述栅格地图是利用激光设备的数据预先构建的；
所述残差项计算模块，用于将所述激光点云与所述栅格地图匹配确定第一残差项，用于根据所述激光点云检测反光柱确定所述反光柱的检测位置，用于将所述检测位置与所述反光柱的标定位置匹配确定第二残差项；
所述机器人位姿生成模块，利用非线性优化确定所述第一残差项和所述第二残差项的最值，根据所述最值确定所述激光设备的帧位姿，根据所述帧位姿确定所述机器人的位姿。
在其中一些实施例中，所述残差项计算模块还用于将所述激光点云按照预设的投影范围分为长期特征点云和短期特征点云，其中，所述长期特征点云为激光束投影在障碍物上，所述短期特征点云为激光束未投影在障碍物上，将所述长期特征点云与所述栅格地图匹配确定所述第一残差项。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的机器人的定位方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的机器人的定位方法。
相比于相关技术，本申请实施例提供的机器人的定位方法，通过获取机器人的激光点云和栅格地图，将激光点云与栅格地图匹配确定第一残差项；其中，激光点云是由设于机器人上的激光设备获取，栅格地图是利用激光设备的数据构建的；根据激光点云检测反光柱确定反光柱的检测位置，将检测位置与反光柱的标定位置匹配确定第二残差项；利用非线性优化确定第一残差项和第二残差项的最值，根据最值确定激光设备的帧位姿，根据帧位姿确定机器人的位姿，解决了相关技术中基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在观测信息或预测信息偏差较大时融合后得到的机器人位姿精度较低的问题，提高了机器人的定位精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的机器人的定位方法的流程图；
图2是根据本申请实施例的将激光点云与栅格地图匹配确定第一残差项的方法的流程图；
图3是根据本申请实施例的将检测位置与所述反光柱的标定位置匹配确定第二残差项的方法的流程图；
图4是根据本申请实施例的获取标定位置的圆心的方法的流程图一；
图5a是根据本申请实施例的获取标定位置的圆心的方法的流程图二；
图5b是根据本申请实施例的基于投影计算反光柱圆心的示意图；
图6是根据本申请实施例的机器人的定位装置的结构框图；
图7是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的机器人的定位方法，应用于机器人定位导航中。机器人上设有激光设备，需要说明的是，激光设备可以为激光雷达，也可以是其他的激光传感器，比如三角反射式激光位移传感器。机器人的使用环境中设有反光柱或者反光板，反光柱和反光板均是具有激光强反射率的材质，当激光束扫射到反光柱时，该激光束的强度信息明显有别于扫描到环境中其他材质的光束强度。
本实施例提供了一种机器人的定位方法，图1是根据本申请实施例的机器人的定位方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，获取机器人的激光点云和栅格地图，通过激光点云与栅格地图匹配确定第一残差项；其中，激光点云是由设于机器人上的激光设备获取，栅格地图是利用激光设备的数据构建的。
需要说明的是，本实施例和以下实施例中，激光设备统一采用激光雷达来进行阐述机器人的定位。激光雷达由发射系统、接收系统、信息处理等部分组成。它利用激光束对机器人的运行环境进行密集采样，以产生高精度的三维x,y,z测量值，能生成离散多点云数据集。初始点云是3D高程点的大集合，其包括x值、y值、z值以及GPS时间戳等其他属性，在初始激光点云经过处理后，可对激光遇到的障碍物表面要素进行分类。机器人运行环境中，货物、行人、其他运行的机器设备以及任何物体，在激光束遇到后反射回来由激光雷达扫描获取构成了激光点云数据，在本申请实施例中提到的激光点云便是激光雷达扫描获取的激光点云数据。
栅格地图也称栅格图像，是利用激光点云数据构建的，可以理解为是将真实世界中的坐标转化为栅格地图中的坐标，因此栅格地图是机器人在未知环境中构建的包含了障碍物和非障碍物位置坐标的地图，进而栅格地图可以根据激光点云数据进行构建并存储于存储器，在需要时可供加载。
基于已知的栅格地图，在机器人初始位姿将激光点云投影到栅格地图中进行匹配以确定第一残差项，可选的，第一残差项的计算方式如下：
residualp[i]＝(1-ρ(H(R*p[i]+t))) 公式1
上述公式1中，p[i]表示第i束的激光点云在当前激光设备坐标系下的位置；R,t分别为当前激光设备在世界坐标系下的旋转矩阵和平移矩阵；H表示世界坐标系到栅格地图坐标系的变换矩阵；ρ(·)为栅格地图中栅格坐标对应的栅格概率值，其允许范围为[0,1]，概率值越大，该栅格坐标被障碍物占据的可能性越高。
其中，可根据里程计运动模型，以上一时刻机器人位姿来预测当前的机器人初始位姿，如下：以激光雷达接收的第一帧激光数据时间戳为搜索时间点，从里程计数据队列中寻找包含搜索时间点的相邻里程计数据帧，以相邻里程计数据帧的第一帧作为世界坐标系的原点，读取第一帧激光数据，以世界坐标系原点为虚拟第0帧激光数据，通过里程计匀速运动模型与激光时间戳预测机器人位姿，计算方式为：
Figure BDA0002555371220000061
上述公式2中，xt-1为前一时刻移动的机器人在世界坐标系下的位姿，xt-1＝[x yθ]T，x、y为二维坐标系中的位置，θ代表二维坐标系中的方向。xt为当前时刻机器人在世界坐标系下的位姿，ut-1为前一时刻里程计的测量值，ut-1＝[v 0 w]T,v为机器人的线速度，w为机器人的角速度，Δt为当前时刻与前一时刻的时间间隔，
Figure BDA0002555371220000062
为矩阵的乘法运算，其定义为：
Figure BDA0002555371220000063
在初始估计第一帧激光数据位姿后，基于相邻帧时间间隔为毫秒级别，可认为其为匀速运动模型，通过公式3可计算机器人当前的机器人初始位姿。
步骤S102，根据激光点云确定反光柱的检测位置，通过检测位置与反光柱的标定位置匹配确定第二残差项。
步骤S103，利用非线性优化分别确定第一残差项和第二残差项的最值，根据最值确定激光设备的帧位姿，根据帧位姿确定机器人的位姿；利用非线性优化器库计算，以使得第一残差项和第二残差项最小时所对应的激光设备的帧位姿R,t作为最优解，最后根据激光设备的帧位姿R,t转换机器人位姿实现对机器人的定位导航；可选的，非线性优化计算方式如下：
Figure BDA0002555371220000071
上述公式4中，其中n为长期特征点云的数量，m为激光束检测到的反光柱的个数，residualr[i]为第二残差项，residualxy,residualangle分别表示激光设备初始位姿对待优化帧位姿的位置残差项和角度残差项；t0,angle0为激光设备的初始位置和角度。
通过步骤S101至步骤S103，将激光点云与栅格地图匹配确定第一残差项，检测位置与反光柱的标定位置匹配确定第二残差项，利用非线性优化确定第一残差项和第二残差项的最值，在第一残差项和第二残差项是最值时，根据该最值确定激光设备的帧位姿和机器人位姿，实现机器人的定位，也就是动态环境中，融合激光观测量和反光柱观测信息，联合优化激光设备的帧位姿，解决了相关技术中基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在观测信息或预测信息偏差较大时融合后得到的机器人位姿精度较低的问题，提高了机器人的定位精度。
在其中一些实施例中，图2是根据本申请实施例的将激光点云与栅格地图匹配确定第一残差项的方法的流程图，如图2所示，该方法包括如下步骤：
步骤S201，将激光点云按照预设的投影范围分为长期特征点云和短期特征点云，其中，长期特征点云为激光束投影在栅格地图的障碍物内所形成的点云，短期特征点云为激光束未投影在栅格地图的障碍物内所形成的点云。
遍历当前激光束所有的点云数据，通过判断点云是否投影在栅格地图中障碍物膨胀范围内区分长期特征点云和短期特征点云，其中长期特征为激光束观测到环境中静态的物体而形成的点云；短期特征为激光束观测到的动态物体及栅格地图中不存在后续添加的静态物体形成的点云。
步骤S202，通过长期特征点云与栅格地图匹配确定第一残差项。
通过步骤S201和步骤S202，遍历当前激光束所有的点云数据，区分长期特征点云与短期特征点云，最终将长期特征点云与栅格地图匹配确定第一残差项，有效剔除了环境中动态物体对匹配的干扰。
在其中一些实施例中，图3是根据本申请实施例的将检测位置与反光柱的标定位置匹配确定第二残差项的方法的流程图，如图3所示，该方法包括如下步骤：
步骤S301，获取激光设备的初始位姿，根据初始位姿确定检测位置的圆心；以激光点云与栅格地图匹配估计的激光设备位姿作为当前帧的初始位姿，将所检测的反光柱圆心坐标根据当前帧初始位姿转换到世界坐标系下。
步骤S302，获取标定位置的圆心；
步骤S303，通过检测位置的圆心与标定位置的圆心匹配确定第二残差项；可选的，第二残差项的计算方式为：
residualr[i]＝|reflectorw[i]-(R*reflectorl[i]+t)| 公式5
上述公式5中，residualr[i]为第i个反光柱的第二残差项，是一个二维列向量，分别表示x轴和y轴方向上的第二残差，reflectorw[i]为标定的第i个反光柱在世界坐标系下的位置，R,t为待优化的帧位姿，reflectorl[i]为激光坐标系下检测到的反光柱圆心坐标。
通过步骤S301至步骤S303，根据检测的反光柱的圆心以及标定的反光柱的圆心确定两者情况下反光柱的匹配差，提高第二残差项的准确度。
在其中一些实施例中，图4是根据本申请实施例的获取标定位置的圆心的方法的流程图一，如图4所示，该方法包括如下步骤：
步骤S401，将激光点云分簇处理，以确定反光柱的轮廓点云；分簇处理的方式为：遍历当前帧的激光点云数据，当激光点云的某束激光的反射强度大于给定阈值时，以该束激光位置为中心，按已知反光柱半径r的两倍为半径，对激光点云进行分簇处理；为保证分簇后的点云与反光柱轮廓尽可能贴合，在分簇后的点云中寻找反射强度最大的激光束，以该激光束位置为中心，按已知反光柱半径r的
Figure BDA0002555371220000081
倍为半径再次进行分簇处理得到最终的反光柱的轮廓点云。
步骤S402，根据激光束和激光点云，剔除轮廓点云的干扰点云，以确定反光柱的激光点云；通过判断激光点云中激光束的数量、激光点云之间的最大距离、反射强度大于阈值的激光束比例、轮廓点云与反光柱拟合程度来剔除误检测点。具体剔除方式为：当某一轮廓点云的点集坐标为：[p1,p2,…,pn]，其中p1、pn分别为轮廓点云的左右边界点，n为轮廓点云的激光束数量，已知反光柱的半径为r，为剔除干扰点，判断公式可选：
Figure BDA0002555371220000091
上述公式6中，n1为点云数量下限，n2为点云数量上限，l1为点云簇的最小长度，l2为轮廓点云的最大长度，pn为轮廓点云中激光反射强度大于给定阈值的激光束数量、num为反射强度大于阈值的激光束比例下限。
步骤S403，根据反光柱的激光点云在激光设备上的投影距离，确定标定位置的圆心。
通过步骤S401至S403，对激光点云做分簇处理以获得反光柱的轮廓点云，利用公式6对分簇处理得到的轮廓点云初步筛选，以剔除误检测点，减少计算算法，并提高反光柱标定位置的精度。
在其中一些实施例中，图5a是根据本申请实施例的获取标定位置的圆心的方法的流程图二，如图5a所示，该方法包括如下步骤：
步骤S501，根据反光柱的激光点云的投影距离确定标定位置的初始圆心；图5b是根据本申请实施例的基于投影计算反光柱圆心的示意图，如图5b所示，其中黑色的小圆点为轮廓点云，图5b中圆为反光柱，通过求取轮廓点云的平均方向可近似获得反光柱圆心在激光设备坐标系下的朝向oc，对轮廓点云中所有点做oc方向投影，获得投影距离od，反光柱半径做oc方向上的投影，获得距离dc，单个激光束的投影距离为oc＝od+dc，对所有轮廓点云的投影距离求均值获得初始圆心的位置。
步骤S502，根据初始圆心利用反光柱的激光点云与反光柱的拟合剔除反光柱的误检点云。为排除可能存在的反光板、非半径为r的反光柱对检测产生的干扰，采用轮廓点云与反光柱拟合程度来剔除误检测点，其中轮廓点云与反光柱的拟合程度的判别方式可为：
Figure BDA0002555371220000092
上述公式7中，pii为轮廓点云中激光束坐标，i∈[1,n]，n为轮廓点云的激光束大小，c为计算的反光柱初始圆心坐标，r为已知的反光柱半径，k为设置的比例参数，例如：k可为0.1。
通过步骤S501和步骤S502，对轮廓点云进行二次筛选，为了排除可能存在的反光板、非半径为r的反光柱对检测产生的干扰，采用分簇点云与圆柱拟合程度来剔除误检测点，提高反光柱标定位置的精度。
在其中一些实施例中，为了剔除环境中可能性的干扰，在计算反光柱初始圆心位置后，可以利用最小二乘优化方法求解
Figure BDA0002555371220000101
最小的圆心坐标c，可将其最小时所对应的圆心坐标c作为优化后的反光柱的标定圆心位置；为进一步提高反光柱检测的稳定性，采用连续3激光束检测到同一反光柱用以剔除环境变化、遮挡、定位偏差等突发情况对反光柱检测的影响。
在其中一些实施例中，在通过步骤S101至步骤S103根据观测信息确定激光设备的帧位姿后，利用里程计模型进行EKF(卡尔曼滤波)融合进行矫正，EKF是由预测方程和观测方程构成，以根据里程计运动模型、上一时刻机器人位姿来预测当前的激光设备初始位姿为预测方程，以通过步骤S101至步骤S103根据观测信息确定激光设备的帧位姿为观测方程，将矫正后的激光设备帧位姿作为最终的帧位姿，进而确定机器人最终的位姿。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种机器人的定位装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一些实施例中，图6是根据本申请实施例的机器人的定位装置的结构框图，如图6所示，该装置包括：获取模块61、残差项计算模块62和机器人位姿生成模块63；
获取模块61，用于获取机器人的激光点云和栅格地图；其中，激光点云是由设于机器人上的激光设备获取，栅格地图是利用激光设备的数据预先构建的；
残差项计算模块62，用于将激光点云与栅格地图匹配确定第一残差项，用于根据激光点云检测反光柱确定反光柱的检测位置，用于将检测位置与反光柱的标定位置匹配确定第二残差项；
机器人位姿生成模块63，利用非线性优化确定第一残差项和第二残差项的最值，根据最值确定激光设备的帧位姿，根据帧位姿确定机器人的位姿。
机器人位姿生成模块63利用非线性优化确定第一残差项和第二残差项的最值，在第一残差项和第二残差项是最值时，根据该最值确定激光设备位姿和机器人位姿，进而实现机器人的定位，解决了相关技术中基于滤波的方式将轮廓匹配的位姿与反光柱匹配位姿进行滤波融合，在观测信息或预测信息偏差较大时融合后得到的机器人位姿精度较低的问题，提高了机器人的定位精度。
在一些实施例中，获取模块61、残差项计算模块62和机器人位姿生成模块63还用于实现上述各实施例提供的机器人的定位方法中的步骤，在这里不再赘述。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人的定位方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图7是根据本申请实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人的定位方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的机器人的定位方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的机器人的定位方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人的定位方法，其特征在于，所述方法包括：
获取机器人的激光点云和栅格地图，通过所述激光点云与所述栅格地图匹配确定第一残差项；其中，所述激光点云是由设于所述机器人上的激光设备获取，所述栅格地图是利用激光设备的数据构建的；
根据所述激光点云确定反光柱的检测位置，通过所述检测位置与所述反光柱的标定位置匹配确定第二残差项；
利用非线性优化分别确定所述第一残差项和所述第二残差项的最值，根据所述最值确定所述激光设备的帧位姿，根据所述帧位姿确定所述机器人的位姿。
2.根据权利要求1所述的方法，其特征在于，所述通过所述激光点云与所述栅格地图匹配确定第一残差项包括：
将所述激光点云按照预设的投影范围分为长期特征点云和短期特征点云，其中，所述长期特征点云为激光束投影在所述栅格地图的障碍物内所形成的点云，所述短期特征点云为激光束未投影在所述栅格地图的障碍物内所形成的点云；
通过所述长期特征点云与所述栅格地图匹配确定所述第一残差项。
3.根据权利要求1所述的方法，其特征在于，所述通过所述检测位置与所述反光柱的标定位置匹配确定第二残差项包括：
获取激光设备的初始位姿，根据所述初始位姿确定所述检测位置的圆心；
获取所述标定位置的圆心；
通过所述检测位置的圆心与所述标定位置的圆心匹配确定所述第二残差项。
4.根据权利要求3所述的方法，其特征在于，所述获取所述标定位置的圆心包括：
将所述激光点云分簇处理，以确定所述反光柱的轮廓点云；
根据激光束和所述激光点云，剔除所述轮廓点云的干扰点云，以确定所述反光柱的激光点云；
根据所述反光柱的激光点云在所述激光设备上的投影距离，确定所述标定位置的圆心。
5.根据权利要求4所述的方法，其特征在于，所述根据所述反光柱的激光点云的投影距离确定所述标定位置的圆心之前，所述方法还包括：
根据所述反光柱的激光点云的投影距离确定所述标定位置的初始圆心；
根据所述初始圆心利用所述反光柱的激光点云与所述反光柱的拟合剔除所述反光柱的误检点云。
6.根据权利要求1所述的方法，其特征在于，所述利用非线性优化分别确定所述第一残差项和所述第二残差项的最值包括：
根据里程计运动模型，确定所述激光设备的初始位姿，并根据所述初始位姿，预测位置残差项和角度残差项；
利用非线性优化，通过所述位置残差项和所述角度残差项，分别确定所述第一残差项和所述第二残差项的最值。
7.一种机器人的定位装置，其特征在于，所述装置包括：获取模块、残差项计算模块和机器人位姿生成模块；
所述获取模块，用于获取机器人的激光点云和栅格地图；其中，所述激光点云是由设于所述机器人上的激光设备获取，所述栅格地图是利用激光设备的数据预先构建的；
所述残差项计算模块，用于将所述激光点云与所述栅格地图匹配确定第一残差项，用于根据所述激光点云检测反光柱确定所述反光柱的检测位置，用于将所述检测位置与所述反光柱的标定位置匹配确定第二残差项；
所述机器人位姿生成模块，利用非线性优化确定所述第一残差项和所述第二残差项的最值，根据所述最值确定所述激光设备的帧位姿，根据所述帧位姿确定所述机器人的位姿。
8.根据权利要求7所述的装置，其特征在于，所述残差项计算模块还用于将所述激光点云按照预设的投影范围分为长期特征点云和短期特征点云，其中，所述长期特征点云为激光束投影在障碍物上，所述短期特征点云为激光束未投影在障碍物上，将所述长期特征点云与所述栅格地图匹配确定所述第一残差项。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
CN202010588013.0A 2020-06-24 2020-06-24 一种机器人的定位方法、装置和电子设备 Pending CN111895989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010588013.0A CN111895989A (zh) 2020-06-24 2020-06-24 一种机器人的定位方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010588013.0A CN111895989A (zh) 2020-06-24 2020-06-24 一种机器人的定位方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN111895989A true CN111895989A (zh) 2020-11-06

Family

ID=73206985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010588013.0A Pending CN111895989A (zh) 2020-06-24 2020-06-24 一种机器人的定位方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111895989A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506200A (zh) * 2020-12-14 2021-03-16 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112612034A (zh) * 2020-12-24 2021-04-06 哈尔滨工业大学芜湖机器人产业技术研究院 基于激光帧和概率地图扫描的位姿匹配方法
CN112630787A (zh) * 2020-12-03 2021-04-09 深圳市优必选科技股份有限公司 定位方法、装置、电子设备及可读存储介质
CN112731337A (zh) * 2020-12-30 2021-04-30 杭州海康机器人技术有限公司 地图构建方法、装置和设备
CN113038103A (zh) * 2021-03-22 2021-06-25 青岛海信激光显示股份有限公司 应用于激光显示设备的激光投影主机和激光显示设备
CN113313765A (zh) * 2021-05-28 2021-08-27 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113313764A (zh) * 2021-05-28 2021-08-27 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113324542A (zh) * 2021-06-07 2021-08-31 北京京东乾石科技有限公司 一种定位方法、装置、设备和存储介质
CN113510703A (zh) * 2021-06-25 2021-10-19 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113689504A (zh) * 2021-10-25 2021-11-23 上海仙工智能科技有限公司 基于可描述形状的点云精准定位方法、装置及存储介质
CN114236564A (zh) * 2022-02-23 2022-03-25 浙江华睿科技股份有限公司 动态环境下机器人定位的方法、机器人、装置及存储介质
CN114353807A (zh) * 2022-03-21 2022-04-15 沈阳吕尚科技有限公司 一种机器人的定位方法及定位装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111575A2 (en) * 2003-06-12 2004-12-23 Brown University Interferometric absolute and real-time surface curvature sensor insensitive to tilt, translation and vibration
CN103604366A (zh) * 2013-11-06 2014-02-26 深圳市华星光电技术有限公司 用于检测误差并引导误差校正的系统及方法
CN107817500A (zh) * 2017-07-28 2018-03-20 浙江工业大学 一种模块化舞台激光定位方法
CN108458715A (zh) * 2018-01-18 2018-08-28 亿嘉和科技股份有限公司 一种基于激光地图的机器人定位初始化方法
CN110160528A (zh) * 2019-05-30 2019-08-23 华中科技大学 一种基于角度特征识别的移动装置位姿定位方法
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110530368A (zh) * 2019-08-22 2019-12-03 浙江大华技术股份有限公司 一种机器人定位方法及设备
CN110969649A (zh) * 2019-11-29 2020-04-07 上海有个机器人有限公司 一种激光点云与地图的匹配评价方法、介质、终端和装置
CN111060888A (zh) * 2019-12-31 2020-04-24 芜湖哈特机器人产业技术研究院有限公司 一种融合icp和似然域模型的移动机器人重定位方法
CN111077495A (zh) * 2019-12-10 2020-04-28 亿嘉和科技股份有限公司 一种基于三维激光的定位恢复方法
CN111121767A (zh) * 2019-12-18 2020-05-08 南京理工大学 一种融合gps的机器人视觉惯导组合定位方法
CN111207774A (zh) * 2020-01-17 2020-05-29 山东大学 一种用于激光-imu外参标定的方法及系统
CN111307147A (zh) * 2020-03-06 2020-06-19 同济人工智能研究院(苏州)有限公司 一种融合定位反光板与激光特征的agv高精度定位方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111575A2 (en) * 2003-06-12 2004-12-23 Brown University Interferometric absolute and real-time surface curvature sensor insensitive to tilt, translation and vibration
CN103604366A (zh) * 2013-11-06 2014-02-26 深圳市华星光电技术有限公司 用于检测误差并引导误差校正的系统及方法
CN107817500A (zh) * 2017-07-28 2018-03-20 浙江工业大学 一种模块化舞台激光定位方法
CN108458715A (zh) * 2018-01-18 2018-08-28 亿嘉和科技股份有限公司 一种基于激光地图的机器人定位初始化方法
CN110160528A (zh) * 2019-05-30 2019-08-23 华中科技大学 一种基于角度特征识别的移动装置位姿定位方法
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110530368A (zh) * 2019-08-22 2019-12-03 浙江大华技术股份有限公司 一种机器人定位方法及设备
CN110969649A (zh) * 2019-11-29 2020-04-07 上海有个机器人有限公司 一种激光点云与地图的匹配评价方法、介质、终端和装置
CN111077495A (zh) * 2019-12-10 2020-04-28 亿嘉和科技股份有限公司 一种基于三维激光的定位恢复方法
CN111121767A (zh) * 2019-12-18 2020-05-08 南京理工大学 一种融合gps的机器人视觉惯导组合定位方法
CN111060888A (zh) * 2019-12-31 2020-04-24 芜湖哈特机器人产业技术研究院有限公司 一种融合icp和似然域模型的移动机器人重定位方法
CN111207774A (zh) * 2020-01-17 2020-05-29 山东大学 一种用于激光-imu外参标定的方法及系统
CN111307147A (zh) * 2020-03-06 2020-06-19 同济人工智能研究院(苏州)有限公司 一种融合定位反光板与激光特征的agv高精度定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
北京理工大学出版社: "《无人驾驶汽车概论》", 北京理工大学出版社 *
周凯月: "融合反光柱的 2D 激光 SLAM 和高精度定位系统", 《现代计算机》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630787B (zh) * 2020-12-03 2022-05-17 深圳市优必选科技股份有限公司 定位方法、装置、电子设备及可读存储介质
CN112630787A (zh) * 2020-12-03 2021-04-09 深圳市优必选科技股份有限公司 定位方法、装置、电子设备及可读存储介质
WO2022116831A1 (zh) * 2020-12-03 2022-06-09 深圳市优必选科技股份有限公司 定位方法、装置、电子设备及可读存储介质
CN112506200A (zh) * 2020-12-14 2021-03-16 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112506200B (zh) * 2020-12-14 2023-12-08 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112612034A (zh) * 2020-12-24 2021-04-06 哈尔滨工业大学芜湖机器人产业技术研究院 基于激光帧和概率地图扫描的位姿匹配方法
CN112612034B (zh) * 2020-12-24 2023-10-13 长三角哈特机器人产业技术研究院 基于激光帧和概率地图扫描的位姿匹配方法
CN112731337A (zh) * 2020-12-30 2021-04-30 杭州海康机器人技术有限公司 地图构建方法、装置和设备
CN112731337B (zh) * 2020-12-30 2024-06-11 杭州海康机器人股份有限公司 地图构建方法、装置和设备
CN113038103A (zh) * 2021-03-22 2021-06-25 青岛海信激光显示股份有限公司 应用于激光显示设备的激光投影主机和激光显示设备
CN113313765A (zh) * 2021-05-28 2021-08-27 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113313764B (zh) * 2021-05-28 2023-08-29 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113313765B (zh) * 2021-05-28 2023-12-01 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113313764A (zh) * 2021-05-28 2021-08-27 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113324542A (zh) * 2021-06-07 2021-08-31 北京京东乾石科技有限公司 一种定位方法、装置、设备和存储介质
CN113324542B (zh) * 2021-06-07 2024-04-12 北京京东乾石科技有限公司 一种定位方法、装置、设备和存储介质
CN113510703B (zh) * 2021-06-25 2022-09-16 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113510703A (zh) * 2021-06-25 2021-10-19 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113689504B (zh) * 2021-10-25 2022-01-25 上海仙工智能科技有限公司 基于可描述形状的点云精准定位方法、装置及存储介质
CN113689504A (zh) * 2021-10-25 2021-11-23 上海仙工智能科技有限公司 基于可描述形状的点云精准定位方法、装置及存储介质
CN114236564A (zh) * 2022-02-23 2022-03-25 浙江华睿科技股份有限公司 动态环境下机器人定位的方法、机器人、装置及存储介质
CN114236564B (zh) * 2022-02-23 2022-06-07 浙江华睿科技股份有限公司 动态环境下机器人定位的方法、机器人、装置及存储介质
CN114353807A (zh) * 2022-03-21 2022-04-15 沈阳吕尚科技有限公司 一种机器人的定位方法及定位装置

Similar Documents

Publication Publication Date Title
CN111895989A (zh) 一种机器人的定位方法、装置和电子设备
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
US20190206122A1 (en) Method and apparatus for generating raster map
CN111624622B (zh) 障碍物检测方法、装置
CN110824491B (zh) 充电桩定位方法、装置、计算机设备和存储介质
CN111563450B (zh) 数据处理方法、装置、设备及存储介质
CN113570629B (zh) 去除动态物体的语义分割方法及系统
US20210278857A1 (en) Method and system for obstacle avoidance in robot path planning using depth sensors
CN114120149B (zh) 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
CN110046677B (zh) 数据预处理方法、地图构建方法、回环检测方法及系统
CN114829971A (zh) 一种激光雷达的标定方法、装置及存储介质
CN112102375A (zh) 一种点云配准可靠性检测的方法、装置、移动智慧设备
Kaufmann et al. Shadow-based matching for precise and robust absolute self-localization during lunar landings
CN112731337A (zh) 地图构建方法、装置和设备
CN116629106A (zh) 移动机器人运行场景的准数字孪生方法、系统、设备及介质
CN108957432B (zh) 路沿检测方法、装置、计算机设备和存储介质
CN115421486A (zh) 返航控制方法、装置、计算机可读介质及自移动设备
JPH07146121A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN113503876A (zh) 多传感器融合的激光雷达定位方法、系统以及终端
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus
Witzgall et al. Recovering spheres from 3D point data
RU2769918C1 (ru) Способ позиционирования наземного транспортного средства
CN110909569A (zh) 路况信息识别方法及终端设备
CN110850856B (zh) 一种数据处理方法、装置及机器人
US20220412745A1 (en) Obtaining a vehicle environment map based on aerial imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201218

Address after: C10, 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Applicant after: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

Address before: No. 1187 Bin'an Road, Binjiang District, Hangzhou, Zhejiang Province

Applicant before: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Huarui Technology Co.,Ltd.

Address before: C10, 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106

RJ01 Rejection of invention patent application after publication