CN112528728B - 一种用于视觉导航的图像处理方法、装置和移动机器人 - Google Patents
一种用于视觉导航的图像处理方法、装置和移动机器人 Download PDFInfo
- Publication number
- CN112528728B CN112528728B CN202011112829.2A CN202011112829A CN112528728B CN 112528728 B CN112528728 B CN 112528728B CN 202011112829 A CN202011112829 A CN 202011112829A CN 112528728 B CN112528728 B CN 112528728B
- Authority
- CN
- China
- Prior art keywords
- points
- feature points
- feature
- characteristic
- height range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000012216 screening Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 241001417527 Pempheridae Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及机器人技术领域，具体涉及一种用于视觉导航的图像处理方法、装置和移动机器人。该方法包括：获取所述移动机器人采集的图像中的特征参数；根据所述特征参数，提取匹配第一高度范围的第一特征点；根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点。本发明获得的特征点能够使移动机器人进行准确的定位，另外，通过筛选特征点，使特征点减少的同时又不会减少信息含量，从而提高了计算速度，以便移动机器人能够实时定位。
Description
技术领域
本发明涉及机器人技术领域，具体涉及一种用于视觉导航的图像处理方法、装置和移动机器人。
背景技术
目前，移动机器人(比如摄像头安装朝上的单目视觉扫地机)常通过角点提取算法提取图像的特征点，角点是在某方面属性特别突出的点，角点是图像很重要的特征，对图像图形的理解和分析有很重要的作用。只要有角点，其所在的平面对应的图像都会被提取到。
然而，当移动机器人靠近墙体时，提取的角点包括不同平面的点，当根据提取的角点计算移动机器人的位姿时，容易造成移动机器人定位不准的问题。
发明内容
本发明实施例提供一种用于视觉导航的图像处理方法、装置和移动机器人，以解决移动机器人定位不准的技术问题。
在第一方面，本发明实施例提供一种用于视觉导航的图像处理方法，应用于移动机器人，所述移动机器人的机身上安装有朝上设置的摄像装置，所述摄像装置用于采集天花板图像，所述方法包括：
获取所述移动机器人采集的图像中的特征参数；
根据所述特征参数，提取匹配第一高度范围的第一特征点；
根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点。
可选地，所述根据所述特征参数，提取匹配第一高度范围的第一特征点，包括：
获取特征点，以及所述特征点的高度；
确定第一高度范围；
提取所述特征点的高度在所述第一高度范围内的特征点作为所述第一特征点。
可选地，所述根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点，包括：
获取所述第一特征点的数量；
在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；
在所述第一特征点的数量小于所述预设阈值时，调整所述第一高度范围的大小，直到满足调整后的第一高度范围的特征点的数量大于或等于所述预设阈值为止，其中，在所述满足调整后的第一高度范围的特征点的数量大于所述预设阈值时，从所述满足调整后的第一高度范围的特征点中提取所述特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点。
可选地，所述根据所述特征参数，提取匹配第一高度范围的第一特征点，包括：
获取直线特征，所述直线特征的端点，以及所述端点的高度；
确定第一高度范围；
提取所述端点的高度在所述第一高度范围内的端点作为所述第一特征点。
可选地，所述根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点，包括：
获取所述第一特征点的数量；
在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；
在所述第一特征点的数量小于所述预设阈值时，根据所述第一特征点对应直线特征进行插值处理，以使所述第一特征点的数量大于或等于所述预设阈值，并获取所述进行插值处理后的所述第一特征点。
可选地，所述根据所述特征参数，提取匹配第一高度范围的第一特征点，包括：
获取特征点和直线特征；
剔除所述直线特征预设范围内的特征点；
获取所述剔除了所述直线特征预设范围内的特征点后剩余的特征点的高度，以及所述直线特征端点的高度；
确定第一高度范围；
提取所述特征点的高度和所述端点的高度在所述第一高度范围内的特征点，所述特征点为所述第一特征点。
在第二方面，本发明实施例提供一种用于视觉导航的图像处理装置，应用于移动机器人，所述移动机器人的机身上安装有朝上设置的摄像装置，所述摄像装置用于采集天花板图像，所述装置包括：
特征参数获取模块，用于获取所述移动机器人采集的图像中的特征参数；
第一特征点提取模块，用于根据所述特征参数，提取匹配第一高度范围的第一特征点；
第二特征点提取模块，用于根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点。
可选地，所述第一特征点提取模块具体用于：
获取特征点，以及所述特征点的高度；
确定第一高度范围；
提取所述特征点的高度在所述第一高度范围内的特征点作为所述第一特征点。
可选地，所述第二特征点提取模块具体用于：
获取所述第一特征点的数量；
在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；
在所述第一特征点的数量小于所述预设阈值时，调整所述第一高度范围的大小，直到满足调整后的第一高度范围的特征点的数量大于或等于所述预设阈值为止，其中，在所述满足调整后的第一高度范围的特征点的数量大于所述预设阈值时，从所述满足调整后的第一高度范围的特征点中提取所述特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点。
在第三方面，本发明实施例提供一种移动机器人，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。
区别于现有技术，上述用于视觉导航的图像处理方法、装置和移动机器人，通过获取移动机器人采集的图像中的特征参数，根据特征参数获取匹配第一高度范围的第一特征点，再根据第一特征点和第一高度范围获取特征点数量满足预设阈值的特征点。其中，通过特征参数和第一高度范围对提取的特征点进行限制，剔除掉不满足要求的特征点，最后获得匹配一定数量的特征点。上述所获得的特征点能够使移动机器人进行准确的定位，另外，通过筛选特征点，使特征点减少的同时又不会减少信息含量，从而提高了计算速度，以便移动机器人能够实时定位。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种应用场景示意图；
图2是本发明实施例提供的一种移动机器人的电路结构示意图；
图3是本发明实施例提供的一种用于视觉导航的图像处理方法的流程图；
图4是本发明另一实施例提供的一种用于视觉导航的图像处理方法的流程图；
图5和图6是本发明实施例提供的应用所述用于视觉导航的图像处理方法的一种场景的示意图；
图7是本发明实施例提供的一种图像处理装置的结构框图；
图8是本发明实施例提供的一种移动机器人的电路结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
本发明实施例提供的用于视觉导航的图像处理方法和装置可以应用于图1所示的应用场景。所示应用场景包括移动机器人10。其中，移动机器人10可以被构造成任何合适形状，以便实现特定业务功能操作，例如，在一些实施例中，本发明实施例的移动机器人10包括且不限于清洁机器人等，其中，清洁机器人包括且不限于扫地机器人、吸尘机器人、拖地机器人以及洗地机器人等等。
移动机器人10可以为单目视觉移动机器人或双目视觉移动机器人，其安装在机身上的摄像装置可以朝上设置，比如面向天花板等，所述摄像装置用于采集天花板图像。所述单目视觉移动机器人和所述双目视觉移动机器人通常是根据采集的图像中的角点进行定位。当所述单目视觉移动机器人或所述双目视觉移动机器人靠近墙体或某一障碍物时，其采集的角点除了包括天花板上的角点外，还包括所述墙体或所述障碍物上的角点。在根据采集的二维角点恢复三维坐标点时容易导致错误，如计算深度偏大，从而导致后续计算移动机器人的位姿时产生错误，定位不准。因此，在本实施例中，所述移动机器人10可以过滤掉不满足要求特征点，使最后保留的特征点尽量维持在同一水平高度，并且保持一定数量的该特征点。例如，所述移动机器人10可以用于：获取所述移动机器人采集的图像中的特征参数；根据所述特征参数，提取匹配第一高度范围的第一特征点；根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点。
其中，在一些实施例中，请参照图2，移动机器人10包括移动机器人主体11(图未示)、激光雷达12、摄像单元13、控制器14、行走机构15(图未示)和传感单元16；或者移动机器人10仅采用激光雷达12和摄像单元13之一。其中，移动机器人主体11是移动机器人的主体结构，可以根据移动机器人10的实际需要，选用相应的形状结构及制造材质(如硬质塑料或者铝、铁等金属)，例如设置为扫地机器人常见的较为扁平的圆柱形。在其他实施方式中，移动机器人10也可以不包括激光雷达12。
行走机构15设置于移动机器人主体11上，是为移动机器人10提供移动能力的结构装置。该行走机构15具体可以采用任何类型的移动装置实现，例如滚轮、履带式等。激光雷达12用于感知移动机器人周围环境的障碍物情况，获得障碍物信息。摄像单元13用于拍摄图像，其可以是各种类型的摄像头，比如安装于所述主体11上的广角摄像头。通常而言，激光雷达12和摄像单元13择一选用，以降低成本。
在其中一些实施例中，传感单元16用于采集移动机器人10的一些运动参数及环境空间各类数据，传感单元16包括各类合适传感器，诸如陀螺仪、红外传感器、里程计、磁场计、加速度计或速度计等等。
控制器14是内置于移动机器人主体11中的电子计算核心，用于执行逻辑运算步骤以实现移动机器人10的智能化控制。控制器14与激光雷达12、摄像单元13和传感单元16连接，用于根据激光雷达12、摄像单元13和传感单元16采集的数据，执行预设的算法以实现特征点的提取。
需要说明的是，根据所要完成的任务，除了以上的功能模组以外，移动机器人主体10上还可以搭载一个或者多个其它不同的功能模组(如储水箱、清扫装置等)，相互配合用以执行相应的任务。
图3是本发明实施例提供的一种用于视觉导航的图像处理方法的流程图，该方法可以应用于上述实施例中的移动机器人10，该方法包括：
S11、获取所述移动机器人采集的图像中的特征参数。
所述移动机器人可以通过机身安装的朝上摄像头采集其当前应用场景的图像，然后从所述图像中提取特征参数。所述特征参数包括点特征和/或直线特征。
其中，可以采用角点提取算法对图像中的点特征进行提取，所述点特征提取即提取特征点，所述角点提取算法包括但不限于Harris角点提取方法、Shi-Tomasi特征点检测算法等。可以通过线特征检测方法(比如Line Segment Detector，直线段检测算法)对图像中的直线特征进行提取，所述直线特征提取即提取直线段。
所述特征参数还包括提取的所述点特征中每一个特征点的高度，以及提取的直线特征中的直线端点和所述直线端点的高度。
其中，可以通过预设的算法计算特征点的高度。比如，针对单目视觉移动机器人，可以利用单目视觉移动机器人的轮式里程计确定单目相机的尺度，然后控制该单目视觉移动机器人向前行走预设距离并采集至少两帧图像，基于光流法提取两帧图像跟踪上的特征，利用本质矩阵计算相机的位姿，其中可以利用所述轮式里程计行走的距离修正平移量，最后通过三角测量的方法计算特征点的深度(即高度)。
其中，本质矩阵是对极几何理论中的一个基本参量，是在三维坐标系下，用来连接两个对应点的矩阵关系。基本的计算流程是通过每两帧图像获取大量对应点，利用对极几何描述的几何关系估算基本矩阵，利用基本矩阵与相机内部参数矩阵估算本质矩阵，最后通过对本质矩阵的SVD分解和其他操作取得相机的平移和旋转，所述平移和旋转即是所述位姿。
例如，考虑一对匹配点，它们的像素坐标(如果是求解本质矩阵，那就是归一化坐标)为x1＝[u1，v1，1]T，x2＝[u2，v2，1]T。根据对极约束，有：
将上面矩阵展开，写成向量的形式(为了后续好解)：
e＝[e1，e2，e3，e4，e5，e6，e7，e8，e9]T
此时上面对极约束的等式可以写成如下的形式
[u2u1，u2v1，u2，v2u1，v2v1，v2，u1，v1，1]·e＝0
将八个点的对极约束放在一起便可以得到一个方程组：
解上述方程组便可以求解出本质矩阵或基础矩阵。
所述三角测量的方法用于计算特征点的三维坐标，所述三维坐标包括特征点的高度。三角测量原理就是相似三角形，其关键在于求出目标和传感器间的距离，然后通过建立的世界坐标系，利用相似关系可以得到目标点的三维坐标。
关于三角测量法详见如下：
由相机成像的几何描述可以理解如下的公式(世界坐标到像素坐标的转换)：
Z1puv1＝K1Pw
Z2puv2＝K2(RPw+t)
其中K是相机内参，R与t是第二个相机在第一个相机的相机坐标系下的外参，Pw是此空间点在第一个相机的相机坐标系下的坐标。Z是空间点到相机光心的距离(也是相机坐标系下的z轴坐标)。是空间点在两个相机平面上的投影点。
首先做出如下定义(其中x1与x2是归一化的相机坐标(X/Z,Y/Z,1))：
带入如上定义可得：
Z2x2＝Z1Rx1+t
由于我们已经通过本质矩阵分解获得了R与t，此时想求的是两个特征点的深度，即上式中的Z1与Z2，此时，可通过如下操作分别求出，首先求解Z1，上式两边同时左乘x2^，也就是两侧同时与x2做外积：
如上，可以计算出深度Z1和深度Z2。
针对双目视觉移动机器人，其双目相机为已经标定过的，即对内外参数已知。获得两个相机采集的图像后，提取特征点并进行匹配，所述匹配的方法包括暴力匹配，模板匹配等算法，最后利用三角测量的方法恢复相应的特征点对应的三维坐标，所述三维坐标包括特征点的高度。
需要说明的是，除了上述方法之外，还可以采用其他方法获取所述特征参数。
S12、根据所述特征参数，提取匹配第一高度范围的第一特征点。
S13、根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点。
根据上述获得特征参数，筛选出满足预设要求的特征点，所述预设要求使最后保留的特征点尽量维持在同一水平高度，并且所述特征点能够保持一定的数量，比如，最后提取的特征点是室内天花板上的50个特征点。
具体地，可以通过下述三种方式来提取满足所述预设要求的特征点。
方式一：
利用用于视觉导航的图像处理方法，提取所有符合要求的特征点。比如，获取特征点，以及所述特征点的高度；确定第一高度范围；提取所述特征点的高度在所述第一高度范围内的特征点作为所述第一特征点。其中，所述第一高度范围可以由移动机器人根据当前的应用场景进行自适应的确定(如获取房顶的高度，根据房顶的高度确定所述第一高度范围)。在提取所述第一特征点后，获取所述第一特征点的数量；在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；在所述第一特征点的数量小于所述预设阈值时，调整所述第一高度范围的大小，直到满足调整后的第一高度范围的特征点的数量大于或等于所述预设阈值为止，其中，在所述满足调整后的第一高度范围的特征点的数量大于所述预设阈值时，从所述满足调整后的第一高度范围的特征点中提取所述特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点。
其中，所述第一特征点之间的间隔距离可以根据特征点的三维坐标计算获得，尽量选择距离较远的特征点。所述预设距离可以由移动机器人系统根据当前采集的图像中特征点的位置进行自定义设置，也可以人为设置。所述调整所述第一高度范围的大小可以是将所述第一高度范围放大，使放大后的高度范围确定的特征点的数量能满足要求。比如，第一高度范围是2.5m<高度<3.1m，如果提取的特征点的数量小于预设阈值，则将第一高度范围放大，如调整为2.4m<高度<3.1m，循环依次减小0.1m，直到满足预设阈值个特征点为止，或者调整后的高度范围的最小高度为最小高度阈值(如1.8m)。
方式二：
通过提取的直线特征获取直线特征的端点，从所述端点中提取出满足要求的特征点。比如，获取直线特征，所述直线特征的端点，以及所述端点的高度；确定第一高度范围；提取所述端点的高度在所述第一高度范围内的端点作为所述第一特征点。其中，可以通过上述三角测量的方式计算所述端点的高度。获得所述第一特征点后，获取所述第一特征点的数量；在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；在所述第一特征点的数量小于所述预设阈值时，根据所述第一特征点对应直线特征进行插值处理，以使所述第一特征点的数量大于或等于所述预设阈值，并获取所述进行插值处理后的所述第一特征点。其中，可以对保留的像素点对应的直线进行插值，获取所需要的特征点，每个特征点可以均匀插值，最后获得预设阈值个特征点。
方式三：
本实施例是同时获取点特征和直线特征，基于获得的点特征和直线特征提取特征点，再根据所述特征点筛选出满足要求的特征点。比如，获取特征点和直线特征；剔除所述直线特征预设范围内的特征点；获取所述剔除了所述直线特征预设范围内的特征点后剩余的特征点的高度，以及所述直线特征端点的高度；确定第一高度范围；提取所述特征点的高度和所述端点的高度在所述第一高度范围内的特征点，所述特征点为所述第一特征点。在获得所述第一特征点后，基于上述方式一和方式二，根据所述第一特征点提取出满足所述预设阈值的特征点。
所述预设阈值是对最后提取的特征点的数量进行限制的参数，其用于保障所获得的特征点能够使移动机器人进行准确定位，因此，其数量应当能够反应图像的全部特征。可以尽量减少特征点数量的同时使图像信息量不减少，从而提高了移动机器人的系统计算速度，提高了定位效率。需要说明的的，所述预设阈值可以是一个具体数值，如50，也可以是一个数值范围，如45至55，等。
基于上述方式一、方式二和方式三，可以获得本发明实施例的特征点提取的基本逻辑，具体参考图4、图5和图6。其中，图4是本发明另一实施例提供的用于视觉导航的图像处理方法的流程图，图5基于移动机器人采集的图像对所述特征参数进行了标识，图6是通过与所述第一高度范围和所述预设阈值进行筛选后提取的特征点。可以看出，最后提取的是位于顶部的特征点。
需要说明的是，除了上述三种方式，还可以通过其他方式提取图像的特征点，以根据所提取的特征点对移动机器人进行准确定位和导航。
本发明实施例提供的用于视觉导航的图像处理方法，通过获取移动机器人采集的图像中的特征参数，根据特征参数获取匹配第一高度范围的第一特征点，再根据第一特征点和第一高度范围获取特征点数量满足预设阈值的特征点。其中，通过特征参数和第一高度范围对提取的特征点进行限制，剔除掉不满足要求的特征点，最后获得匹配一定数量的特征点。上述所获得的特征点能够使移动机器人进行准确的定位，另外，通过筛选特征点，使特征点减少的同时又不会减少信息含量，从而提高了计算速度，以便移动机器人能够实时定位。
图7是本发明实施例提供的一种图像处理装置的结构框图，所述装置20可以应用于上述实施例中的移动机器人，所述装置20包括：特征参数获取模块21、第一特征点提取模块22和第二特征点提取模块23。
所述特征参数获取模块21，用于获取所述移动机器人采集的图像中的特征参数；所述第一特征点提取模块22，用于根据所述特征参数，提取匹配第一高度范围的第一特征点；所述第二特征点提取模块23，用于根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点。
其中，所述第一特征点提取模块22具体用于：获取特征点，以及所述特征点的高度；确定第一高度范围；提取所述特征点的高度在所述第一高度范围内的特征点作为所述第一特征点。
所述第二特征点提取模块23具体用于：获取所述第一特征点的数量；在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；在所述第一特征点的数量小于所述预设阈值时，调整所述第一高度范围的大小，直到满足调整后的第一高度范围的特征点的数量大于或等于所述预设阈值为止，其中，在所述满足调整后的第一高度范围的特征点的数量大于所述预设阈值时，从所述满足调整后的第一高度范围的特征点中提取所述特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点。
在一些实施例中，所述第一特征点提取模块22具体用于：获取直线特征，所述直线特征的端点，以及所述端点的高度；确定第一高度范围；提取所述端点的高度在所述第一高度范围内的端点作为所述第一特征点。
所述第二特征点提取模块23具体用于：获取所述第一特征点的数量；在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；在所述第一特征点的数量小于所述预设阈值时，根据所述第一特征点对应直线特征进行插值处理，以使所述第一特征点的数量大于或等于所述预设阈值，并获取所述进行插值处理后的所述第一特征点。
在一些实施例中，所述第一特征点提取模块22具体用于：获取特征点和直线特征；剔除所述直线特征预设范围内的特征点；获取所述剔除了所述直线特征预设范围内的特征点后剩余的特征点的高度，以及所述直线特征端点的高度；确定第一高度范围；提取所述特征点的高度和所述端点的高度在所述第一高度范围内的特征点，所述特征点为所述第一特征点。在本实施例中，所述第二特征点提取模块23根据所述第一特征点提取模块22获得的特征点和端点提取出满足一定水平高度并且保持一定数量的特征点，具体的方式可以参考上述实施例。
需要说明的是，上述图像处理装置可执行本发明实施例所提供的用于视觉导航的图像处理方法，具备执行方法相应的功能模块和有益效果。未在图像处理装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的用于视觉导航的图像处理方法。
本发明实施例提供的用于视觉导航的图像处理装置，通过获取移动机器人采集的图像中的特征参数，根据特征参数获取匹配第一高度范围的第一特征点，再根据第一特征点和第一高度范围获取特征点数量满足预设阈值的特征点。其中，通过特征参数和第一高度范围对提取的特征点进行限制，剔除掉不满足要求的特征点，最后获得匹配一定数量的特征点。上述所获得的特征点能够使移动机器人进行准确的定位，另外，通过筛选特征点，使特征点减少的同时又不会减少信息含量，从而提高了计算速度，以便移动机器人能够实时定位。
图8是本发明实施例提供的一种移动机器人的电路结构示意图。其中，该移动机器人可以是任何类型的单目视觉移动机器人或双目视觉移动机器人。如图8所示，该移动机器人包括一个或多个处理器31以及存储器32。其中，图8中以一个处理器31为例。
处理器31和存储器32可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器32作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的用于视觉导航的图像处理方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非易失性软件程序、指令以及模块，从而执行图像处理装置的各种功能应用以及数据处理，即实现上述方法实施例提供的用于视觉导航的图像处理方法以及上述装置实施例的各个模块的功能。
存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器32中，当被所述一个或者多个处理器31执行时，执行上述任意方法实施例中的用于视觉导航的图像处理方法。
本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器31，可使得上述一个或多个处理器可执行上述任意方法实施例中的用于视觉导航的图像处理方法。
本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被所述移动机器人执行时，使所述移动机器人执行任一项所述的用于视觉导航的图像处理方法。
以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (9)
1.一种用于视觉导航的图像处理方法，应用于移动机器人，所述移动机器人的机身上安装有朝上设置的摄像装置，所述摄像装置用于采集天花板图像，其特征在于，所述方法包括：
获取所述移动机器人采集的图像中的特征参数；
根据所述特征参数，提取匹配第一高度范围的第一特征点，其中，所述特征参数包括特征点的高度，直线特征中直线端点和所述直线端点的高度；
根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点；
其中，所述根据所述特征参数，提取匹配第一高度范围的第一特征点，包括：
获取直线特征，所述直线特征的端点，以及所述端点的高度；
确定第一高度范围；
提取所述端点的高度在所述第一高度范围内的端点作为所述第一特征点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征参数，提取匹配第一高度范围的第一特征点，还包括：
获取特征点，以及所述特征点的高度；
确定第一高度范围；
提取所述特征点的高度在所述第一高度范围内的特征点作为所述第一特征点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点，包括：
获取所述第一特征点的数量；
在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；
在所述第一特征点的数量小于所述预设阈值时，调整所述第一高度范围的大小，直到满足调整后的第一高度范围的特征点的数量大于或等于所述预设阈值为止，其中，在所述满足调整后的第一高度范围的特征点的数量大于所述预设阈值时，从所述满足调整后的第一高度范围的特征点中提取所述特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点，包括：
获取所述第一特征点的数量；
在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；
在所述第一特征点的数量小于所述预设阈值时，根据所述第一特征点对应直线特征进行插值处理，以使所述第一特征点的数量大于或等于所述预设阈值，并获取所述进行插值处理后的所述第一特征点。
5.根据权利要求1所述的方法，其特征在于，所述根据所述特征参数，提取匹配第一高度范围的第一特征点，还包括：
获取特征点和直线特征；
剔除所述直线特征预设范围内的特征点；
获取所述剔除了所述直线特征预设范围内的特征点后剩余的特征点的高度，以及所述直线特征端点的高度；
确定第一高度范围；
提取所述特征点的高度和所述端点的高度在所述第一高度范围内的特征点，所述特征点为所述第一特征点。
6.一种用于视觉导航的图像处理装置，应用于移动机器人，所述移动机器人的机身上安装有朝上设置的摄像装置，所述摄像装置用于采集天花板图像，其特征在于，所述装置包括：
特征参数获取模块，用于获取所述移动机器人采集的图像中的特征参数；
第一特征点提取模块，用于根据所述特征参数，提取匹配第一高度范围的第一特征点，其中，所述特征参数包括特征点的高度，直线特征中直线端点和所述直线端点的高度；
第二特征点提取模块，用于根据所述第一特征点和所述第一高度范围，获取特征点数量满足预设阈值的特征点；
所述第一特征点提取模块具体用于：
获取直线特征，所述直线特征的端点，以及所述端点的高度；
确定第一高度范围；
提取所述端点的高度在所述第一高度范围内的端点作为所述第一特征点。
7.根据权利要求6所述的装置，其特征在于，所述第一特征点提取模块具体还用于：
获取特征点，以及所述特征点的高度；
确定第一高度范围；
提取所述特征点的高度在所述第一高度范围内的特征点作为所述第一特征点。
8.根据权利要求7所述的装置，其特征在于，所述第二特征点提取模块具体用于：
获取所述第一特征点的数量；
在所述第一特征点的数量大于所述预设阈值时，从所述第一特征点中提取所述第一特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点；
在所述第一特征点的数量小于所述预设阈值时，调整所述第一高度范围的大小，直到满足调整后的第一高度范围的特征点的数量大于或等于所述预设阈值为止，其中，在所述满足调整后的第一高度范围的特征点的数量大于所述预设阈值时，从所述满足调整后的第一高度范围的特征点中提取所述特征点之间的间隔距离大于预设距离并且数量为所述预设阈值的特征点。
9.一种移动机器人，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011112829.2A CN112528728B (zh) | 2020-10-16 | 2020-10-16 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011112829.2A CN112528728B (zh) | 2020-10-16 | 2020-10-16 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528728A CN112528728A (zh) | 2021-03-19 |
| CN112528728B true CN112528728B (zh) | 2024-03-29 |
Family
ID=74979235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011112829.2A Active CN112528728B (zh) | 2020-10-16 | 2020-10-16 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528728B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008046978A (ja) * | 2006-08-18 | 2008-02-28 | Fujitsu Ltd | 特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法 |
| CN106338287A (zh) * | 2016-08-24 | 2017-01-18 | 杭州国辰牵星科技有限公司 | 基于天花板的室内移动机器人视觉定位方法 |
| CN107103582A (zh) * | 2017-06-05 | 2017-08-29 | 中国科学院电子学研究所 | 机器人视觉导航定位图像特征点的匹配方法 |
| CN108151647A (zh) * | 2016-12-06 | 2018-06-12 | 中兴通讯股份有限公司 | 一种图像数据处理方法、装置及移动终端 |
| WO2018214706A1 (zh) * | 2017-05-22 | 2018-11-29 | 腾讯科技（深圳）有限公司 | 运动控制方法、存储介质、计算机设备和服务机器人 |
| CN109645897A (zh) * | 2019-01-10 | 2019-04-19 | 轻客小觅智能科技（北京）有限公司 | 一种扫地机的障碍物检测方法及系统 |
| CN110058602A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度视觉的多旋翼无人机自主定位方法 |
| CN110189399A (zh) * | 2019-04-26 | 2019-08-30 | 浙江大学 | 一种室内三维布局重建的方法及系统 |
| CN110309699A (zh) * | 2019-03-22 | 2019-10-08 | 浙江工业大学 | 一种基于oct的皮下汗孔图自动提取方法 |
| CN110363849A (zh) * | 2018-04-11 | 2019-10-22 | 株式会社日立制作所 | 一种室内三维建模方法及系统 |
| CN110852356A (zh) * | 2019-10-24 | 2020-02-28 | 华南农业大学 | 一种移动机器人v-slam动态阈值图像特征点提取方法 |
| CN110888960A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市银星智能科技股份有限公司 | 一种室内空间分区方法、装置及移动机器人 |
| CN111428651A (zh) * | 2020-03-26 | 2020-07-17 | 广州小鹏汽车科技有限公司 | 一种车辆的障碍信息获取方法、系统及车辆 |
| CN111671360A (zh) * | 2020-05-26 | 2020-09-18 | 深圳拓邦股份有限公司 | 一种扫地机器人位置的计算方法、装置及扫地机器人 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822939A (zh) * | 2017-07-06 | 2021-12-21 | 华为技术有限公司 | 车载传感器的外部参数标定的方法和设备 |
-
2020
- 2020-10-16 CN CN202011112829.2A patent/CN112528728B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008046978A (ja) * | 2006-08-18 | 2008-02-28 | Fujitsu Ltd | 特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法 |
| CN106338287A (zh) * | 2016-08-24 | 2017-01-18 | 杭州国辰牵星科技有限公司 | 基于天花板的室内移动机器人视觉定位方法 |
| CN108151647A (zh) * | 2016-12-06 | 2018-06-12 | 中兴通讯股份有限公司 | 一种图像数据处理方法、装置及移动终端 |
| WO2018214706A1 (zh) * | 2017-05-22 | 2018-11-29 | 腾讯科技（深圳）有限公司 | 运动控制方法、存储介质、计算机设备和服务机器人 |
| CN107103582A (zh) * | 2017-06-05 | 2017-08-29 | 中国科学院电子学研究所 | 机器人视觉导航定位图像特征点的匹配方法 |
| CN110363849A (zh) * | 2018-04-11 | 2019-10-22 | 株式会社日立制作所 | 一种室内三维建模方法及系统 |
| CN109645897A (zh) * | 2019-01-10 | 2019-04-19 | 轻客小觅智能科技（北京）有限公司 | 一种扫地机的障碍物检测方法及系统 |
| CN110309699A (zh) * | 2019-03-22 | 2019-10-08 | 浙江工业大学 | 一种基于oct的皮下汗孔图自动提取方法 |
| CN110058602A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度视觉的多旋翼无人机自主定位方法 |
| CN110189399A (zh) * | 2019-04-26 | 2019-08-30 | 浙江大学 | 一种室内三维布局重建的方法及系统 |
| CN110852356A (zh) * | 2019-10-24 | 2020-02-28 | 华南农业大学 | 一种移动机器人v-slam动态阈值图像特征点提取方法 |
| CN110888960A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市银星智能科技股份有限公司 | 一种室内空间分区方法、装置及移动机器人 |
| CN111428651A (zh) * | 2020-03-26 | 2020-07-17 | 广州小鹏汽车科技有限公司 | 一种车辆的障碍信息获取方法、系统及车辆 |
| CN111671360A (zh) * | 2020-05-26 | 2020-09-18 | 深圳拓邦股份有限公司 | 一种扫地机器人位置的计算方法、装置及扫地机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 基于特征线框的线结构光视觉传感器测量数据分割与建模;刘志刚, 陈康宁, 林志航;制造业自动化(第09期);第20页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528728A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109084732B (zh) | 定位与导航方法、装置及处理设备 | |
| US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
| CN108986161B (zh) | 一种三维空间坐标估计方法、装置、终端和存储介质 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| CN111210477B (zh) | 一种运动目标的定位方法及系统 | |
| CN109887033A (zh) | 定位方法及装置 | |
| KR20190042187A (ko) | 깊이 값을 추정하는 방법 및 장치 | |
| WO2018205803A1 (zh) | 位姿估计方法和装置 | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| CN112880687A (zh) | 一种室内定位方法、装置、设备和计算机可读存储介质 | |
| CN111220148A (zh) | 移动机器人的定位方法、系统、装置及移动机器人 | |
| Romanoni et al. | Incremental reconstruction of urban environments by edge-points delaunay triangulation | |
| Ruf et al. | Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision | |
| CN115249349A (zh) | 一种点云去噪方法、电子设备及存储介质 | |
| CN112700486A (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| Kurban et al. | Plane segmentation of kinect point clouds using RANSAC | |
| CN111553342B (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
| CN112528728B (zh) | 一种用于视觉导航的图像处理方法、装置和移动机器人 | |
| Barth et al. | Vehicle tracking at urban intersections using dense stereo | |
| CN113379850B (zh) | 移动机器人控制方法、装置、移动机器人及存储介质 | |
| CN114862953A (zh) | 一种基于视觉特征和3d激光的移动机器人重定位方法及装置 | |
| Han et al. | Effective height-grid map building using inverse perspective image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 1701, building 2, Yinxing Zhijie, No. 1301-72, sightseeing Road, Xinlan community, Guanlan street, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Yinxing Intelligent Group Co.,Ltd. Address before: 518000 building A1, Yinxing hi tech Industrial Park, Guanlan street, Longhua District, Shenzhen City, Guangdong Province Applicant before: Shenzhen Silver Star Intelligent Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |