CN116148883A - 基于稀疏深度图像的slam方法、装置、终端设备及介质 - Google Patents

基于稀疏深度图像的slam方法、装置、终端设备及介质 Download PDF

Info

Publication number
CN116148883A
CN116148883A CN202310379777.2A CN202310379777A CN116148883A CN 116148883 A CN116148883 A CN 116148883A CN 202310379777 A CN202310379777 A CN 202310379777A CN 116148883 A CN116148883 A CN 116148883A
Authority
CN
China
Prior art keywords
information
slam
image
depth image
sparse depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310379777.2A
Other languages
English (en)
Other versions
CN116148883B (zh
Inventor
唐龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruichi Smart Technology Shenzhen Co ltd
Original Assignee
Ruichi Smart Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruichi Smart Technology Shenzhen Co ltd filed Critical Ruichi Smart Technology Shenzhen Co ltd
Priority to CN202310379777.2A priority Critical patent/CN116148883B/zh
Publication of CN116148883A publication Critical patent/CN116148883A/zh
Application granted granted Critical
Publication of CN116148883B publication Critical patent/CN116148883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种基于稀疏深度图像的SLAM方法、装置、终端设备及介质，其基于稀疏深度图像的SLAM方法包括：获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；通过预设的SLAM系统对环境图像和环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。基于本申请方案，引入环境稀疏深度图像直接作为SLAM系统的输入，能够有效缩短准备深度信息的时间，提高SLAM系统的运行速度。

Description

基于稀疏深度图像的SLAM方法、装置、终端设备及介质
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种基于稀疏深度图像的SLAM方法、装置、终端设备及介质。
背景技术
SLAM技术也被称为同步定位与地图构建技术，通常被用于无人系统的定位、建图、路径规划，其实现过程需要以深度信息作为SLAM系统的输入。例如，RGB-D SLAM以高分辨率深度图像作为SLAM系统的输入，但是前期生成高分辨率深度图像需要耗费较长的时间；又如，激光SLAM通过激光雷达获取点云数据，点云数据实际上是一种坐标数据，需要经过一系列运算才能将点云数据转化为包含距离（深度）信息的点云图像，以包含距离（深度）信息的点云图像作为SLAM系统的输入，此运算过程同样需要耗费较长的时间。
综上，传统的SLAM技术在准备深度信息作为输入的过程耗时较长，由此导致SLAM系统的运行速度慢。
发明内容
本申请的主要目的在于提供一种基于稀疏深度图像的SLAM方法、装置、终端设备及介质，旨在解决SLAM系统的运行速度慢的问题。
为实现上述目的，本申请提供一种基于稀疏深度图像的SLAM方法，所述基于稀疏深度图像的SLAM方法包括：
获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；
通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
可选地，所述通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息的步骤之前，还包括：
获取基于惯性传感器采集的所述无人系统的惯性信息；
所述通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息的步骤包括：
通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
可选地，所述预设的SLAM系统包括系统枢纽模块、轨迹追踪模块以及图像帧模块，所述通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息的步骤包括：
分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
可选地，所述预设的SLAM系统还包括稠密深度信息输出模块，所述分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息的步骤包括：
分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息。
可选地，所述分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息的步骤之后，还包括：
基于所述携带稠密深度信息的姿态信息规划得到所述无人系统的避障路径。
可选地，所述通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息的步骤包括：
通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
可选地，所述通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息的步骤包括：
通过预设的ORB-SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
本申请实施例还提出一种基于稀疏深度图像的SLAM装置，所述基于稀疏深度图像的SLAM装置包括：
获取模块，用于获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；
分析模块，用于通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于稀疏深度图像的SLAM程序，所述基于稀疏深度图像的SLAM程序被所述处理器执行时实现如上所述的基于稀疏深度图像的SLAM方法的步骤。
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于稀疏深度图像的SLAM程序，所述基于稀疏深度图像的SLAM程序被处理器执行时实现如上所述的基于稀疏深度图像的SLAM方法的步骤。
本申请实施例提出的基于稀疏深度图像的SLAM方法、装置、终端设备及介质，通过获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。基于本申请方案，采用了TOF传感器采集的环境稀疏深度图像直接为SLAM系统提供必要的深度信息，再结合相机采集的环境图像作为SLAM系统的输入，可以进一步使SLAM系统分析得到对应的姿态信息。如此，引入环境稀疏深度图像直接作为输入能够有效缩短准备深度信息的时间，提高SLAM系统的运行速度。进一步地，还能够增强SLAM系统的性能并降低能耗。
附图说明
图1为本申请基于稀疏深度图像的SLAM装置所属终端设备的功能模块示意图；
图2为本申请基于稀疏深度图像的SLAM方法第一示例性实施例流程示意图；
图3为本申请基于稀疏深度图像的SLAM方法涉及的高分辨率深度图像示意图；
图4为本申请基于稀疏深度图像的SLAM方法涉及的点云图像示意图；
图5为本申请基于稀疏深度图像的SLAM方法涉及的稀疏深度图像示意图；
图6为本申请基于稀疏深度图像的SLAM方法涉及的第一系统架构图；
图7为本申请基于稀疏深度图像的SLAM方法第二示例性实施例流程示意图；
图8为本申请基于稀疏深度图像的SLAM方法涉及的第二系统架构图；
图9为本申请基于稀疏深度图像的SLAM方法第三示例性实施例流程示意图；
图10为本申请基于稀疏深度图像的SLAM方法涉及的第三系统架构图；
图11为本申请基于稀疏深度图像的SLAM方法第四示例性实施例流程示意图；
图12为本申请基于稀疏深度图像的SLAM方法涉及的第四系统架构图；
图13为本申请基于稀疏深度图像的SLAM方法第五示例性实施例流程示意图；
图14为本申请基于稀疏深度图像的SLAM方法第六示例性实施例流程示意图；
图15为本申请基于稀疏深度图像的SLAM方法第七示例性实施例流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。基于本申请方案，采用了TOF传感器采集的环境稀疏深度图像直接为SLAM系统提供必要的深度信息，再结合相机采集的环境图像作为SLAM系统的输入，可以进一步使SLAM系统分析得到对应的姿态信息。如此，引入环境稀疏深度图像直接作为输入能够有效缩短准备深度信息的时间，提高SLAM系统的运行速度。
具体地，参照图1，图1为本申请基于稀疏深度图像的SLAM装置所属终端设备的功能模块示意图。该基于稀疏深度图像的SLAM装置可以为独立于终端设备的、能够进行基于稀疏深度图像的SLAM的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该基于稀疏深度图像的SLAM装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及基于稀疏深度图像的SLAM程序，基于稀疏深度图像的SLAM装置可以将获取的基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；以及通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到的对应的姿态信息等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时实现以下步骤：
获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；
通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
进一步地，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时还实现以下步骤：
获取基于惯性传感器采集的所述无人系统的惯性信息；
通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
进一步地，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时还实现以下步骤：
分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
进一步地，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时还实现以下步骤：
分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息。
进一步地，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时还实现以下步骤：
基于所述携带稠密深度信息的姿态信息规划得到所述无人系统的避障路径。
进一步地，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时还实现以下步骤：
通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
进一步地，存储器130中的基于稀疏深度图像的SLAM程序被处理器执行时还实现以下步骤：
通过预设的ORB-SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
本实施例通过上述方案，具体通过获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。本实施例中，采用了TOF传感器采集的环境稀疏深度图像直接为SLAM系统提供必要的深度信息，再结合相机采集的环境图像作为SLAM系统的输入，可以进一步使SLAM系统分析得到对应的姿态信息。如此，引入环境稀疏深度图像直接作为输入能够有效缩短准备深度信息的时间，提高SLAM系统的运行速度。进一步地，还能够增强SLAM系统的性能并降低能耗。
参照图2，本申请基于稀疏深度图像的SLAM方法第一实施例提供一种流程示意图，所述基于稀疏深度图像的SLAM方法包括：
步骤S10，获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像。
具体地，为了实现无人系统的定位、地图构建及路径规划，需要以深度信息作为SLAM系统的输入。为SLAM系统提供深度信息的传统方法主要有两种。
方法一是在RGB-D SLAM的架构上，生成高分辨率深度图像作为SLAM系统的输入，如图3所示，图3为本申请基于稀疏深度图像的SLAM方法涉及的高分辨率深度图像示意图。可见高分辨率深度图像包含的像素较多，能够反映非常详细的环境信息，但是，高分辨率深度图像之中有部分的信息是属于冗余信息，对于实现无人系统的定位、地图构建及路径规划并无实际帮助。而且，生成高分辨率深度图像的过程耗时较长，降低了SLAM系统的运行速度。
方法二是在激光SLAM的架构上，将点云数据经过一系列运算，生成包含距离（深度）信息的点云图像，如图4所示，图4为本申请基于稀疏深度图像的SLAM方法涉及的点云图像示意图。可见点云图像的信息量相对高分辨率深度图像较少，并且可以为SLAM系统提供必要的深度信息，但是，由点云数据转换为点云图像的过程需要大量算力，耗时较长，同样降低了SLAM系统的运行速度。
为此，本实施例提出一种基于稀疏深度图像的SLAM方法，可应用于无人系统，例如割草机器人和扫地机器人等家用机器人，或者智能手机、平板电脑、VR眼镜等移动终端。稀疏深度图像是一种区别于上述高分辨率深度图像、点云图像的图像，稀疏深度图像带有稀疏的深度信息，如图5所示，图5为本申请基于稀疏深度图像的SLAM方法涉及的稀疏深度图像示意图，其中白点表示带有深度信息的像素点。稀疏的含义是指带有深度信息的像素点只占整体图像像素点的小部分，并呈稀疏的分布状态。环境稀疏深度图像是指基于无人系统周边环境采集而来的稀疏深度图像。
以割草机器人为例说明环境图像、环境稀疏深度图像的获取过程：在硬件方面，割草机器人需要支持相机和TOF传感器。TOF是飞行时间（Time of Flight）的缩写，TOF传感器通过测量光从物体上反射所需的时间来进行物体的定位和通信，也就是说，通过TOF传感器采集的环境稀疏深度图像包含距离（深度）信息。
更为具体地，割草机器人设置有单目相机或者双目相机，相机可以拍摄得到割草机器人周边的环境图像；割草机器人设置有TOF传感器，TOF传感器可以采集得到割草机器人周边的环境稀疏深度图像。
步骤S20，通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
具体地，如图6所示，图6为本申请基于稀疏深度图像的SLAM方法涉及的第一系统架构图。在得到基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像之后，将环境图像和环境稀疏深度图像传输至SLAM系统接口，并由SLAM系统接口传输至SLAM系统，即环境图像和环境稀疏深度图像作为SLAM系统的输入。进一步地，SLAM系统基于环境图像和环境稀疏深度图像进行分析处理，最终输出对应的姿态信息。其中，姿态信息包括无人系统当前的位置、速度等用于定位、地图构建及路径规划的信息。
本实施例通过上述方案，具体通过获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。本实施例中，采用了TOF传感器采集的环境稀疏深度图像直接为SLAM系统提供必要的深度信息，再结合相机采集的环境图像作为SLAM系统的输入，可以进一步使SLAM系统分析得到对应的姿态信息。如此，引入环境稀疏深度图像直接作为输入能够有效缩短准备深度信息的时间，提高SLAM系统的运行速度。进一步地，还能够增强SLAM系统的性能并降低能耗。
进一步地，参照图7，本申请基于稀疏深度图像的SLAM方法第二实施例提供一种流程示意图，基于上述图2所示的实施例，步骤S20，通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息之前，还包括：
步骤S001，获取基于惯性传感器采集的所述无人系统的惯性信息。
具体地，视觉SLAM系统存在容易受图像遮挡、光照变化、运动物体干扰、弱纹理场景等影响。为此，本实施例引入了惯性信息作为SLAM系统的输入。更为具体地，无人系统预设有惯性传感器（或称IMU传感器），通过惯性传感器采集无人系统的惯性信息，惯性信息为加速度、倾斜、冲击、振动、旋转和多自由度（DoF）运动中的一种或者多种。
步骤S20，通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息进一步细化，包括：
步骤S201，通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
具体地，如图8所示，图8为本申请基于稀疏深度图像的SLAM方法涉及的第二系统架构图。在得到环境图像、环境稀疏深度图像、惯性信息之后，将环境图像、环境稀疏深度图像、惯性信息传输至SLAM系统接口，并由SLAM系统接口传输至SLAM系统，即环境图像、环境稀疏深度图像、惯性信息作为SLAM系统的输入。进一步地，SLAM系统基于环境图像、环境稀疏深度图像、惯性信息进行分析处理，最终输出对应的姿态信息（POSE）。其中，姿态信息包括无人系统当前的位置、速度等用于定位、地图构建及路径规划的信息。
视觉SLAM系统与惯性传感器融合之后会弥补各自的劣势，可利用视觉定位信息来估计惯性传感器的零偏，减少惯性传感器由零偏导致的发散和累积误差；惯性传感器可以为视觉SLAM提供快速运动时的定位以及尺度信息，避免视觉SLAM无法测尺度。
本实施例通过上述方案，具体通过获取基于惯性传感器采集的所述无人系统的惯性信息；通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。本实施例中，引入了惯性信息作为SLAM系统的输入，确保惯性信息能够有效弥补SLAM系统的缺点，提高无人系统的定位、地图构建及路径规划的精度。
进一步地，参照图9，本申请基于稀疏深度图像的SLAM方法第三实施例提供一种流程示意图，基于上述图7所示的实施例，所述预设的SLAM系统包括系统枢纽模块、轨迹追踪模块以及图像帧模块，步骤S201，通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息进一步细化，包括：
步骤S2011，分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
具体地，如图10所示，图10为本申请基于稀疏深度图像的SLAM方法涉及的第三系统架构图。本实施例中的SLAM系统可包括三个模块，分别为系统枢纽模块、轨迹追踪模块和图像帧模块。其中，系统枢纽模块负责执行主要的运算任务，轨迹追踪模块用于计算无人系统的运动轨迹并进行追踪，图像帧模块用于控制输出的帧率，进而影响无人系统定位、地图构建及路径规划的实时性。
进一步地，SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块基于环境图像、环境稀疏深度图像、惯性信息进行分析处理，最终输出对应的姿态信息。其中，姿态信息用于定位、地图构建及路径规划。
本实施例通过上述方案，具体通过分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。本实施例的SLAM系统包括系统枢纽模块、轨迹追踪模块和图像帧模块，分布实现不同的子功能，能够姿态信息的计算分析的过程进行分类控制，并提高无人系统的定位、地图构建及路径规划的准确度。
进一步地，参照图11，本申请基于稀疏深度图像的SLAM方法第四实施例提供一种流程示意图，基于上述图9所示的实施例，所述预设的SLAM系统还包括稠密深度信息输出模块，步骤S2011，分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息进一步细化，包括：
步骤S20111，分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息。“稠密”的定义与“稀疏”相对，稠密深度信息可以是高分辨率深度图像。可以理解的是，相对于稀疏深度图像，高分辨率深度图像拥有数量更多、更为密集的深度点，可用于无人系统精准避障等功能实现。
具体地，如图12所示，图12为本申请基于稀疏深度图像的SLAM方法涉及的第四系统架构图。本实施例中的SLAM系统包括稠密深度信息输出模块，SLAM系统在接收环境稀疏深度图像的基础上，进一步通过稠密深度信息输出模块输出稠密深度信息，并得到携带稠密深度信息的姿态信息。
本实施例通过上述方案，具体通过分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息。以往的SLAM系统并不具备稠密深度信息的输出功能，本实施例在SLAM系统设置稠密深度信息输出模块，利用稠密深度信息输出模块输出稠密深度信息，满足无人系统的避障、路径规划等控制过程的需求，有效提高了无人系统定位、地图构建及路径规划的准确性以及鲁棒性。
进一步地，参照图13，本申请基于稀疏深度图像的SLAM方法第五实施例提供一种流程示意图，基于上述图11所示的实施例，步骤S20111，分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息之后，还包括：
步骤S20112，基于所述携带稠密深度信息的姿态信息规划得到所述无人系统的避障路径。
具体地，稠密深度信息输出模块输出的深度信息（包含在姿态信息之中）可用于无人系统的避障。例如，割草机器人基于稠密深度信息输出模块输出的稠密深度信息避开草坪上的障碍物，或者在此基础上稠密利用深度信息规划避开障碍物的避障路径。
本实施例通过上述方案，具体通过基于所述携带稠密深度信息的姿态信息规划得到所述无人系统的避障路径。本实施例提出了携带稠密深度信息的姿态信息的应用，无人系统利用携带稠密深度信息的姿态信息进行精确的避障路径规划，可以有效提高无人系统避障功能的准确性与鲁棒性。
进一步地，参照图14，本申请基于稀疏深度图像的SLAM方法第六实施例提供一种流程示意图，基于上述图7所示的实施例，步骤S201，通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息进一步细化，包括：
步骤S2012，通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
具体地，本实施例采用的SLAM系统是一种基于视觉的SLAM系统，例如，ORB-SLAM系统、DROID-SLAM 系统、New SLAM 系统、Pro SLAM系统、LSD-SLAM系统、RGBD-SLAM 系统等。可以结合本实施例涉及的环境稀疏深度图像对上述基于视觉的SLAM系统做出改进，进而通过基于视觉的SLAM系统对环境图像、环境稀疏深度图像和无人系统的惯性信息进行分析处理，得到对应的姿态信息。
本实施例通过上述方案，具体通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。本实施例中，环境稀疏深度图像与多种基于视觉的SLAM系统都可以兼容，有效提高了基于视觉的SLAM系统对无人系统定位、地图构建及路径规划的准确性。
进一步地，参照图15，本申请基于稀疏深度图像的SLAM方法第七实施例提供一种流程示意图，基于上述图14所示的实施例，步骤S2012，通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息进一步细化，包括：
步骤S20121，通过预设的ORB-SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
具体地，本实施例采用ORB-SLAM系统对环境图像、环境稀疏深度图像和无人系统的惯性信息进行分析处理，得到对应的姿态信息。ORB-SLAM系统具有良好的泛用性，支持单目、双目、RGB-D等多种模式；其回环检测算法保证了ORB-SLAM系统能够有效地抑制累计误差，并且利用相同手段实现的重定位功能使得系统在失效后能够迅速重定位；ORB-SLAM使用3个线程完成系统，实现了快速跟踪和建图，能够保证轨迹和建图的一致性。
本实施例通过上述方案，具体通过预设的ORB-SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。本实施例采用了ORB-SLAM系统，利用ORB-SLAM系统的优点提高建图速度与轨迹追踪速度，并确保轨迹和建图的一致性。
此外，本申请实施例还提出一种基于稀疏深度图像的SLAM装置，所述基于稀疏深度图像的SLAM装置包括：
获取模块，用于获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；
分析模块，用于通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
本实施例实现基于稀疏深度图像的SLAM的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于稀疏深度图像的SLAM程序，所述基于稀疏深度图像的SLAM程序被所述处理器执行时实现如上所述的基于稀疏深度图像的SLAM方法的步骤。
由于本基于稀疏深度图像的SLAM程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于稀疏深度图像的SLAM程序，所述基于稀疏深度图像的SLAM程序被处理器执行时实现如上所述的基于稀疏深度图像的SLAM方法的步骤。
由于本基于稀疏深度图像的SLAM程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本申请实施例提出的基于稀疏深度图像的SLAM方法、装置、终端设备及介质，通过获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。基于本申请方案，采用了TOF传感器采集的环境稀疏深度图像直接为SLAM系统提供必要的深度信息，再结合相机采集的环境图像作为SLAM系统的输入，可以进一步使SLAM系统分析得到对应的姿态信息。如此，引入环境稀疏深度图像直接作为输入能够有效缩短准备深度信息的时间，提高SLAM系统的运行速度。进一步地，还能够增强SLAM系统的性能并降低能耗。
需要说明的是，在本文中，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，被控终端，或者网络设备等）执行本申请每个实施例的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于稀疏深度图像的SLAM方法，其特征在于，所述基于稀疏深度图像的SLAM方法包括：
获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；
通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
2.如权利要求1所述的基于稀疏深度图像的SLAM方法，其特征在于，所述通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息的步骤之前，还包括：
获取基于惯性传感器采集的所述无人系统的惯性信息；
所述通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息的步骤包括：
通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
3.如权利要求2所述的基于稀疏深度图像的SLAM方法，其特征在于，所述预设的SLAM系统包括系统枢纽模块、轨迹追踪模块以及图像帧模块，所述通过所述预设的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息的步骤包括：
分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
4.如权利要求3所述的基于稀疏深度图像的SLAM方法，其特征在于，所述预设的SLAM系统还包括稠密深度信息输出模块，所述分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块和图像帧模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息的步骤包括：
分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息。
5.如权利要求4所述的基于稀疏深度图像的SLAM方法，其特征在于，所述分别通过所述预设的SLAM系统的系统枢纽模块、轨迹追踪模块、图像帧模块和稠密深度信息输出模块对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到携带稠密深度信息的姿态信息的步骤之后，还包括：
基于所述携带稠密深度信息的姿态信息规划得到所述无人系统的避障路径。
6.如权利要求2所述的基于稀疏深度图像的SLAM方法，其特征在于，所述通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息的步骤包括：
通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
7.如权利要求6所述的基于稀疏深度图像的SLAM方法，其特征在于，所述通过预设的基于视觉的SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息的步骤包括：
通过预设的ORB-SLAM系统对所述环境图像、所述环境稀疏深度图像和所述无人系统的惯性信息进行分析处理，得到对应的姿态信息。
8.一种基于稀疏深度图像的SLAM装置，其特征在于，所述基于稀疏深度图像的SLAM装置包括：
获取模块，用于获取基于相机采集的环境图像以及基于TOF传感器采集的环境稀疏深度图像；
分析模块，用于通过预设的SLAM系统对所述环境图像和所述环境稀疏深度图像进行分析处理，得到对应的姿态信息，其中，所述姿态信息用于无人系统的定位、地图构建及路径规划。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于稀疏深度图像的SLAM程序，所述基于稀疏深度图像的SLAM程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于稀疏深度图像的SLAM方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于稀疏深度图像的SLAM程序，所述基于稀疏深度图像的SLAM程序被处理器执行时实现如权利要求1-7中任一项所述的基于稀疏深度图像的SLAM方法的步骤。
CN202310379777.2A 2023-04-11 2023-04-11 基于稀疏深度图像的slam方法、装置、终端设备及介质 Active CN116148883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310379777.2A CN116148883B (zh) 2023-04-11 2023-04-11 基于稀疏深度图像的slam方法、装置、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310379777.2A CN116148883B (zh) 2023-04-11 2023-04-11 基于稀疏深度图像的slam方法、装置、终端设备及介质

Publications (2)

Publication Number Publication Date
CN116148883A true CN116148883A (zh) 2023-05-23
CN116148883B CN116148883B (zh) 2023-08-08

Family

ID=86352688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310379777.2A Active CN116148883B (zh) 2023-04-11 2023-04-11 基于稀疏深度图像的slam方法、装置、终端设备及介质

Country Status (1)

Country Link
CN (1) CN116148883B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776989A (zh) * 2018-06-08 2018-11-09 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN109035303A (zh) * 2018-08-03 2018-12-18 百度在线网络技术（北京）有限公司 Slam系统相机跟踪方法及装置、计算机可读存储介质
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN112766328A (zh) * 2020-01-05 2021-05-07 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN113091771A (zh) * 2021-04-13 2021-07-09 清华大学 一种激光雷达-相机-惯导联合标定方法及系统
CN113345018A (zh) * 2021-05-31 2021-09-03 湖南大学 一种动态场景下的激光单目视觉融合定位建图方法
CN113436136A (zh) * 2020-03-06 2021-09-24 苹果公司 以对象为中心的扫描
CN113808196A (zh) * 2021-09-09 2021-12-17 浙江商汤科技开发有限公司 平面融合定位方法、装置、电子设备及存储介质
CN114549738A (zh) * 2022-01-07 2022-05-27 北京理工大学重庆创新中心 无人车室内实时稠密点云重建方法、系统、设备及介质
CN115035240A (zh) * 2022-05-13 2022-09-09 清华大学 实时三维场景重建方法及装置
CN115049794A (zh) * 2022-03-31 2022-09-13 香港中文大学（深圳） 通过深度补全生成稠密的全局点云图方法及系统
CN115128628A (zh) * 2022-06-01 2022-09-30 北京理工大学 基于激光slam和单目视觉的道路栅格地图构建方法
CN115585818A (zh) * 2022-10-31 2023-01-10 中国星网网络应用有限公司 一种地图构建方法、装置、电子设备及存储介质
CN115880350A (zh) * 2021-09-27 2023-03-31 荣耀终端有限公司 图像处理方法、设备、系统及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776989A (zh) * 2018-06-08 2018-11-09 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN109035303A (zh) * 2018-08-03 2018-12-18 百度在线网络技术（北京）有限公司 Slam系统相机跟踪方法及装置、计算机可读存储介质
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN112766328A (zh) * 2020-01-05 2021-05-07 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN113436136A (zh) * 2020-03-06 2021-09-24 苹果公司 以对象为中心的扫描
CN113091771A (zh) * 2021-04-13 2021-07-09 清华大学 一种激光雷达-相机-惯导联合标定方法及系统
CN113345018A (zh) * 2021-05-31 2021-09-03 湖南大学 一种动态场景下的激光单目视觉融合定位建图方法
CN113808196A (zh) * 2021-09-09 2021-12-17 浙江商汤科技开发有限公司 平面融合定位方法、装置、电子设备及存储介质
CN115880350A (zh) * 2021-09-27 2023-03-31 荣耀终端有限公司 图像处理方法、设备、系统及计算机可读存储介质
CN114549738A (zh) * 2022-01-07 2022-05-27 北京理工大学重庆创新中心 无人车室内实时稠密点云重建方法、系统、设备及介质
CN115049794A (zh) * 2022-03-31 2022-09-13 香港中文大学（深圳） 通过深度补全生成稠密的全局点云图方法及系统
CN115035240A (zh) * 2022-05-13 2022-09-09 清华大学 实时三维场景重建方法及装置
CN115128628A (zh) * 2022-06-01 2022-09-30 北京理工大学 基于激光slam和单目视觉的道路栅格地图构建方法
CN115585818A (zh) * 2022-10-31 2023-01-10 中国星网网络应用有限公司 一种地图构建方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊泽明等: "机器人学基础", 机械工业出版社, pages: 189 *

Also Published As

Publication number Publication date
CN116148883B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN108419446B (zh) 用于激光深度图取样的系统及方法
EP3627181A1 (en) Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle
CN109506642B (zh) 一种机器人多相机视觉惯性实时定位方法及装置
CN111784748B (zh) 目标跟踪方法、装置、电子设备及移动载具
CN112567201A (zh) 距离测量方法以及设备
JP2022548441A (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN112101209B (zh) 用于路侧计算设备的确定世界坐标点云的方法和装置
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
CN110794844B (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN111209978A (zh) 三维视觉重定位方法、装置及计算设备、存储介质
CN111722245A (zh) 定位方法、定位装置和电子设备
CN113240813B (zh) 三维点云信息确定方法及装置
CN115578433B (zh) 图像处理方法、装置、电子设备及存储介质
CN111784834A (zh) 一种点云地图生成方法、装置以及电子设备
JP2023505987A (ja) 人間関節を用いた無人航空機上のカメラの校正
CN110751123A (zh) 一种单目视觉惯性里程计系统及方法
CN113361365A (zh) 定位方法和装置、设备及存储介质
CN113884006A (zh) 一种空间定位方法及系统、设备和计算机可读存储介质
JP7351892B2 (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
CN111949816A (zh) 定位处理方法、装置、电子设备和存储介质
CN112991440A (zh) 车辆的定位方法和装置、存储介质和电子装置
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
CN112154480B (zh) 可移动平台的定位方法、装置、可移动平台及存储介质
CN116148883B (zh) 基于稀疏深度图像的slam方法、装置、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 313000 Lingang Industrial Park, Meixi Town, Anji County, Huzhou, Zhejiang Province

Applicant after: Ruichi Smart Technology (Anji) Co.,Ltd.

Address before: 518000 Shenzhen national engineering laboratory building a1204, No. 20, Gaoxin South seventh Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Applicant before: Ruichi Smart Technology (Shenzhen) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant