CN111487980B - 智能设备的控制方法、存储介质及电子设备 - Google Patents

智能设备的控制方法、存储介质及电子设备 Download PDF

Info

Publication number
CN111487980B
CN111487980B CN202010408212.9A CN202010408212A CN111487980B CN 111487980 B CN111487980 B CN 111487980B CN 202010408212 A CN202010408212 A CN 202010408212A CN 111487980 B CN111487980 B CN 111487980B
Authority
CN
China
Prior art keywords
dimensional semantic
semantic map
map
point cloud
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408212.9A
Other languages
English (en)
Other versions
CN111487980A (zh
Inventor
檀冲
王颖
张书新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Puppy Vacuum Cleaner Group Co Ltd
Original Assignee
Xiaogou Electric Internet Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaogou Electric Internet Technology Beijing Co Ltd filed Critical Xiaogou Electric Internet Technology Beijing Co Ltd
Priority to CN202010408212.9A priority Critical patent/CN111487980B/zh
Publication of CN111487980A publication Critical patent/CN111487980A/zh
Application granted granted Critical
Publication of CN111487980B publication Critical patent/CN111487980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能设备的控制方法、存储介质及电子设备，方法包括：根据相同时刻智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图，将所述三维语义地图发送至与所述智能设备关联的终端设备以进行显示，接收用户基于所述三维语义地图通过所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图对所述智能设备进行控制。通过采用上述方法，解决了现有技术中智能设备难以构建复杂地图，进而难以准确控制智能设备的问题。

Description

智能设备的控制方法、存储介质及电子设备
技术领域
本发明属于计算机视觉领域，具体涉及一种智能设备的控制方法、存储介质及电子设备。
背景技术
随着社会经济的发展，智能机器人已经开始代替人们进行一些家务劳动，如室内扫地机器人或辅助机器人，其能够显著代替用户完成任务，而定位和地图构建是智能机器人完成任务过程中最为核心的内容。目前国内主流的智能机器人以激光雷达作为地图构建和导航的主要手段，由于激光雷达是2D传感器，所探测的信息有限，难以构建较为复杂的地图，如语义地图，同时激光雷达的成本较高。
而对于单目摄像头需要通过相机的运动形成视差，然后计算目标的深度信息，一方面需要在运动的条件下才能计算深度信息，可信度不高，另一方面存在尺度不确定性。地图构建不准确的话，则对智能机器人后续的移动产生直接的影响，不利于智能机器人准确无遗漏的完成任务。
发明内容
本发明克服了现有技术的不足提供了一种智能设备的控制方法、存储介质及电子设备，解决了现有技术中智能机器人难以构建复杂地图，从而难以准确无遗漏的完成任务的问题。
第一方面，本发明提供一种智能设备的控制方法，应用于关联有终端设备的智能设备，所述方法包括：
根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图；
将所述三维语义地图发送至所述终端设备；
接收用户基于所述三维语义地图通过所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图对所述智能设备进行控制。
可选的，在上述智能设备的控制方法中，所述三维语义地图中包括物体轮廓的形状和所述物体轮廓的形状对应的识别结果，将所述三维语义地图发送至终端设备，包括：
检测所述三维语义地图中是否存在属于目标分类的目标识别结果；
在所述三维语义地图中存在属于所述目标分类的目标识别结果时，在所述三维语义地图中对该目标识别结果对应的物体在该三维语义地图中的位置进行标记，并将标记后的三维语义地图发送至所述终端设备。
可选的，在上述智能设备的控制方法中，在所述三维语义地图中存在属于所述目标分类的目标识别结果时，所述方法还包括：
获取与所述目标识别结果对应的控制方式提示信息，并在将标记后的三维语义地图发送至所述终端设备的同时将所述控制方式提示信息发送至所述终端设备。
可选的，在上述智能设备的控制方法中，获取与所述目标识别结果对应的控制方式提示信息，包括：
从预设对应关系中查找与所述目标识别结果对应的控制方式提示信息，其中，所述预设对应关系中包括多种识别结果和与每种识别结果分别对应的控制方式提示信息。
可选的，在上述智能设备的控制方法中，接收所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图进行控制，包括：
接收所述终端设备反馈的基于标记后的三维语义地图和控制方式提示信息的控制指令；
在所述控制指令包括与所述控制方式提示信息对应的控制方式控制信息时，对所述标记后的三维语义地图中与所述目标识别结果对应的物体在该三维语义地图中的位置执行与所述控制指令对应的操作。
第二方面，本发明还提供一种智能设备的控制方法，应用于关联有智能设备的终端设备，所述方法包括：
接收所述智能设备根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图；
基于所述三维语义地图生成控制指令；
发送所述控制指令至所述智能设备以控制该智能设备。
第三方面，本发明还提供一种存储介质，该存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如上述的智能设备的控制方法。
第四方面，本发明还提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如上述的智能设备的控制方法。
可选的，在上述电子设备中，所述电子设备为智能设备，所述智能设备包括深度摄像头和彩色摄像头，所述深度摄像头和彩色摄像头分别与所述处理器电连接。
可选的，在上述电子设备中，所述电子设备包括扫地机器人。
本发明提供的一种智能设备的控制方法、存储介质及电子设备，方法包括：根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图，将所述三维语义地图发送至终端设备，接收用户基于所述三维语义地图通过所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图对所述智能设备进行控制。通过采用上述方法，解决了现有技术中智能设备难以构建复杂地图，进而难以准确控制智能设备的问题。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1为本发明实施例提供的一种智能设备的控制方法的流程示意图。
图2为图1中步骤S110的流程示意图。
图3为图1中步骤S120的流程示意图。
图4为图1中步骤S130的流程示意图。
图5为本发明实施例提供的另一种智能设备的控制方法的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第一实施例
请参阅图1，本实施例提供了一种智能设备的控制方法，该方法可以应用于关联有终端设备的智能设备，当所述智能设备的控制方法应用于所述智能设备时，执行步骤S110至步骤S130。
步骤S110：根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图。
步骤S120：将所述三维语义地图发送至所述终端设备。
步骤S130：接收用户基于所述三维语义地图通过所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图对所述智能设备进行控制。
通过采用上述步骤S110-步骤S130，可以有效保障建立的三维语义地图的准确性和可靠性，进而解决现有技术中智能设备难以构建复杂地图的问题。此外，通过根据用户基于三维语义地图输入的控制指令和三维语义地图对所述智能设备进行控制，可以确保智能设备完成控制指令的可靠性及准确性。
在步骤S110中，所述深度摄像头是一种3D摄像头，是能够获取目标距离的传感器。且深度摄像头一般具有两种实现技术，包括：红外结构光和飞行时间法(ToF，Time offlight)。深度摄像头生成的3D点云数据可以实现探测、检测以及SLAM(simultaneouslocalization and mapping，即时定位与地图构建)等功能。在本实施例中，所述深度摄像头用于采集点云数据，其中，该点云数据为三维点云数据，且三维点云数据可用于生成三维SLAM地图，即点云地图。
所述彩色摄像头(RGB摄像头)由三根不同的线缆给出了三个基本彩色成分，其通常是用三个独立的CCD传感器来获取三种彩色信号，因此RGB摄像头经常被用来做非常精确的彩色图像采集，在本实施例中，RGB摄像头用于采集图像信息。
上述步骤S110可以是对所述智能设备的彩色摄像头采集的图像信息进行识别，以得到识别结果，并利用识别结果对相同时刻所述深度摄像头采集到的点云数据进行标识以得到三维语义地图。
具体的，请结合参阅图2，在本实施例中，步骤S110包括步骤S112-步骤S116。
步骤S112：对所述智能设备的彩色摄像头采集到的图像信息进行识别得到图像识别结果，以及对相同时刻该智能设备的深度摄像头获得的点云数据进行处理以得到点云地图。
其中，所述深度摄像头和所述彩色摄像头分别设置于所述智能设备，且所述深度摄像头与所述彩色摄像头可以位于相同的水平面，也可以位于不同的水平面。为便于使所述深度摄像头与所述彩色摄像头获得的图像范围趋于一致，在本实施例中，所述深度摄像头与所述彩色摄像头可以位于同一水平面。由于所述深度摄像头和所述彩色摄像头位于所述智能设备，因此，所述深度摄像头与所述彩色摄像头之间可以存在夹角，其中，该夹角可以为光夹角，即所述深度摄像头的光心轴与所述彩色摄像头的光心轴形成的夹角。
对所述图像进行识别的方式可以是采用神经网络算法进行识别，也可以是采用图像比对的方式进行识别，其中，当采用神经网络算法进行识别时，所述神经网络算法可以是图识别算法。
可选的，在本实施例中，对所述图像进行识别得到图像识别结果包括：采用图像识别算法对所述图像信息进行识别，以得到识别结果。其中，对所述图像信息进行识别得到的识别结果可以是一个，也可以是多个，即，所述图像信息中可以包括一个或多个物体的图像。
对所述点云数据进行处理以得到点云地图的方式可以是基于SLAM算法进行处理，也可以是基于ORB-SLAM算法进行处理，还可以是vSALM算法进行处理，还可以是图像视觉算法进行处理，在此不做具体限定，根据实际需求进行设置即可。
可选的，在本实施例中，对所述点云数据进行处理以得到点云地图，包括：采用SLAM算法对所述点云数据进行处理以得到点云地图。
步骤S114：根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述图像信息与所述点云地图是否匹配；其中，所述视角模型用于表征所述点云数据与所述图像信息中的像素点之间的位置对应关系。
为进一步保障所述视角模型中，所述点云数据与所述图像信息中的像素点之间的位置对应关系的可靠性，所述视角模型可以利用目标点在世界坐标系的第一位置、在相同时刻下该目标点对应成像在所述深度摄像头采集到的点云数据对应的点云图像中的第二位置，以及该目标点成像在所述彩色摄像头采集到的图像信息中的第三位置进行计算得到，其中，利用所述第一位置、第二位置以及第三位置得到所述视角模型的步骤包括：
建立所述目标点在世界坐标系的第一位置与该目标点在所述点云地图中的第二位置的转换关系，并根据所述深度摄像头的相机内参、所述彩色摄像头的所述彩色摄像头的焦距以及所述对应关系得到所述视角模型。
具体的，利用所述第一位置、第二位置以及第三位置得到所述视角模型的步骤可以是：
建立所述目标点在世界坐标系的第一位置与该目标点在所述点云地图中的第二位置的转换关系，其中，所述转换关系为：(X,Y,Z)＝A(x,y,z)，(X,Y,Z)为所述第一位置，(x,y,z)为所述第二位置，A为坐标转换矩阵；根据所述深度摄像头的相机内参、所述彩色摄像头的所述彩色摄像头的焦距采用预设计算式进行处理，以得到该目标点在像素坐标系的第三位置，其中，所述第三位置为(u,v)，所述预设计算式为
其中，f为彩色摄像头的相机焦距，Sx、Sy、Ox以及Oy均为相机内参；根据所述预设计算式和所述对应关系得到所述第二位置与所述第三位置之间的转换关系，且该转换关系即为所述视角模型。
在步骤S114中，根据所述视觉模型判断所述图像信息与所述点云地图是否匹配的方式可以是，根据视角模型判断图像信息中的图像识别结果对应物体的像素点位置和点云地图中的物体轮廓包含的点云数据的位置是否匹配，并在匹配时判断该图像识别结果对应物体的形状与点云地图中的物体轮廓的形状是否匹配；也可以是判断点云地图中物体轮廓的形状是否与图像信息中识别出的图像识别结果对应物体的形状匹配，并在匹配时，根据视觉模型判断该物体轮廓对应的点云数据的位置与图像识别结果对应的像素点位置是否匹配。
可选的，在本实施例中，所述步骤S114包括步骤S114a和步骤S114b。
步骤S114a：判断所述点云地图中的物体轮廓的形状与所述图像信息对应的图像识别结果是否匹配。
需要说明的是，点云地图的物体轮廓的形状通常由点云数据集构成，且由于其不具备具体的颜色，因此，同一物体轮廓的形状可以对应有一个或多个预识别结果，例如，长方体状的物体轮廓可以用于表征冰箱、洗衣机、柜子或电视等物体，因此，长方体状的物体轮廓对应的预识别结果可以包括冰箱、洗衣机、柜子或电视。
在本实施例中，上述步骤S114a可以包括：
从预设数据库中查找与所述点云地图中的物体轮廓的形状对应的预识别结果，判断所述预识别结果中是否存在与所述图像识别结果匹配一致的目标预识别结果。
其中，所述预设数据库中存储有多个物体轮廓的形状和与每个物体轮廓的形状分别对应的一种或多种预识别结果。
可以理解，由于图像信息中包括的物体图像可以是一个也可以是多个，即图像信息对应的图像识别结果可以是一个，也可以是多个，因此，上述步骤也可以是1)：判断所述预设识别结果中是否存在与所述图像识别结果中的至少一个图像识别结果匹配一致的目标预识别结果，并在存在时，所述点云地图中的物体轮廓的形状与所述图像信息对应的图像识别结果匹配；也可以是2)：判断所述预设识别结果中是否存在与每个所述图像识别结果分别匹配一致的目标预识别结果，并在都存在时，所述点云地图中的物体轮廓的形状与所述图像信息对应的图像识别结果匹配；还可以是3)：判断多个所述图像识别结果中存在的与目标预识别结果匹配一致的目标图像识别结果的数量与所述多个图像识别结果的比例是否大于预设阈值，并在大于时，所述点云地图中的物体轮廓的形状与所述图像信息对应的图像识别结果匹配。上述判断方式还可以根据实际需求进行选取，在此不作具体限定。
步骤S114b：在匹配时，根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述点云地图中的物体轮廓的位置与该物体轮廓对应的图像识别结果在所述图像信息中的位置是否匹配，其中，在点云地图中的物体轮廓的位置与该物体轮廓对应的图像识别结果在所述图像信息中的位置匹配时，所述图像信息与所述点云地图匹配。
由于点云地图中的物体轮廓的位置可以是点云地图中物体轮廓包括的各点云数据在所述点云地图中的位置，也可以是物体轮廓的中心点在点云地图中的位置，还可以是物体轮廓的角点在点云地图中的位置；图像识别结果在图像信息中的位置可以是图像识别结果所属物体图像的轮廓的像素点在图像信息中的位置，也可以是图像识别结果的所属物体图像的中心点在图像信息中的位置，还可以是图像识别结果的所属物体图像的角点在图像信息中的位置。
可选的，在本实施例中，为保障对图像信息与点云地图进行匹配时获得的匹配结果的可靠性，在本实施例中，所述步骤S114b包括：
在存在与所述图像识别结果匹配一致目标预识别结果时，获取该目标预识别结果对应的物体轮廓包含的点云数据的位置，以及获取所述图像识别结果在所述图像信息中的像素点位置。根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述目标预识别结果对应的物体轮廓包含的点云数据的位置与所述图像识别结果在所述图像信息中的像素点位置是否匹配，其中，在所述目标预识别结果对应的物体轮廓包含的点云数据的位置与所述图像识别结果在所述图像信息中的像素点位置匹配时，所述图像信息与所述点云地图匹配。
其中，获取所述图像识别结果在所述图像信息中的像素点位置具体可以是：获取图像识别结果所属物体图像的轮廓的像素点在图像信息中的位置。
由于所述视角模型用于表征所述点云数据与所述图像信息中的像素点之间的位置对应关系，因此，通过根据所述视角模型即可准确判断目标预识别结果对应的物体轮廓包含的点云数据的位置与所述图像识别结果在所述图像信息中的像素点位置是否匹配。
通过上述步骤，以在所述图像信息与所述点云地图匹配时，可以有效保障根据所述图像识别结果对所述点云地图进行标识得到的所述扫地机器人的三维语义地图的可靠性，进而可以确保扫地机器人完成自动驾驶和人机交互任务的高效性及可靠性。
步骤S116：在所述图像信息与所述点云数据匹配时，根据所述图像识别结果对所述点云地图进行标识以得到所述智能设备的三维语义地图。
在本实施例中，上述步骤S116具体可以是，在所述目标图像识别结果与所述目标预识别结果匹配时，根据所述目标图像识别结果，对所述点云地图中与该目标预识别结果匹配的目标图像识别结果对应的物体轮廓进行标识，其中，进行标识的方式为语义标识。
通过上述步骤S112-S116，以得到所述智能设备的三维语义地图，且获得的三维语义地图精确完整。
可以理解，所述识别结果可以是障碍物，如桌子、椅子、沙发、床等，也可以是待清扫垃圾，如果壳、纸屑等，还可以是人体或动物。
此外，为便于用户能够精准控制所述智能设备，例如，当智能设备为扫地机器人时能够控制扫地机器人重复清扫油污区域和积水区域，以达到良好的清除油污和积水的效果，又例如，当所述智能设备为辅助机器人时，能够控制所述辅助机器人去往目标位置处执行操作，如茶几处执行倒茶操作或执行其他的辅助操作。又例如，当所述智能设备为护理机器人时，能够控制所述护理机器人为病人或动物执行护理操作。
请结合参阅图3，在本实施例中，所述步骤S120包括：
步骤S122：检测所述三维语义地图中是否存在属于目标分类的目标识别结果。
其中，所述智能设备中可以存储有识别结果与分类之间的对应关系，该对应关系中存储有多种识别结果和与每种识别结果对应的分类。例如，当智能设备为扫地机器人时，识别结果为鞋子、凳子时，对应的分类为绕行类；当识别结果为油污、积水时，对应的分类为拖扫类；当识别结果为果皮、纸屑时，对应的分类为清扫类。因此，相应的目标分类可以是拖扫类。又例如，当智能设备为护理机器人，且识别结果为人体或动物时，相应的目标分类为待护理类别。又例如，当智能设备为辅助机器人，如倒茶机器人，且是识别结果为茶具时，对应的目标分类为茶具类别。
步骤S124：在所述三维语义地图中存在属于所述目标分类的目标识别结果时，在所述三维语义地图中对该目标识别结果对应的物体在该三维语义地图中的位置进行标记，并将标记后的三维语义地图发送至所述终端设备。
通过上述方法将标记后的三维语义地图发送至终端设备以进行显示，进而便于用户可以直观的看见室内环境情况，以及便于用户根据标记向智能设备发送控制指令，进而达到良好的控制效果。
进一步地，由于智能设备可以根据不同的识别结果执行不同的操作，例如，当智能设备为扫地机器人，且当识别结果为障碍物时，需要绕行；当识别结果为纸屑、果壳等时，需要执行常规的清扫操作，当识别结果油污、积水时，需要执行重复拖扫操作。又例如，当智能设备为护理机器人，且当识别结果为待护理类别时，需要对该识别结果对应的人体或动物执行护理操作。为便于用户能够快速获知相应的操作，在本实施例中，在所述三维语义地图中存在属于所述目标分类的目标识别结果时，所述方法还包括：
获取与所述目标识别结果对应的控制方式提示信息，并在将标记后的三维语义地图发送至所述终端设备的同时将所述控制方式提示信息发送至所述终端设备。
通过上述设置，以便用户可以基于所述控制方式提示信息反馈与该控制方式提示信息对应的控制指令。可以理解，在本实施例中，获取与目标识别结果对应的控制方式提示信息可以是，从预设对应关系中查找与所述目标识别结果对应的控制方式提示信息，其中，所述预设对应关系中包括多种识别结果和与每种识别结果分别对应的控制方式提示信息。
例如，在本实施例中，当目标识别结果为油污或积水时，对应的控制方式提示信息为拖扫操作提示信息。
请结合参阅图4，在本实施例中，所述步骤S130包括：
步骤S132：接收所述终端设备反馈的基于标记后的三维语义地图和控制方式提示信息的控制指令。
步骤S134：在所述控制指令包括与所述控制方式提示信息对应的控制方式控制信息时，对所述标记后的三维语义地图中与所述目标识别结果对应的物体在该三维语义地图中的位置执行与所述控制指令对应的操作。
通过上述设置，以实现基于三维语义地图输入的控制指令和标记后三维语义地图，对所述标记后的三维语义地图中与所述目标识别结果对应的物体在该三维语义地图中的位置执行与所述控制指令对应的操作，以达到良好的控制效果。
实施例二
在本实施例中，以所述智能设备为扫地机器人为例进行说明，当所述智能设备的控制方法应用于扫地机器人时，所述扫地机器人根据相同时刻该扫地机器人的深度摄像头采集的点云数据和该扫地机器人的彩色摄像头采集的图像信息得到的三维语义地图，并将三维语义地图发送至终端设备以进行显示，并在该扫地机器人接收到用户基于所述三维语义地图通过所述终端设备反馈的清扫控制指令时，根据所述清扫控制指令和所述三维语义地图执行清扫操作，从而准确实现清扫作业。例如，当扫地机器人行进前方是桌子等家具，用户通过终端设备的APP界面的按键反馈控制指令，以调整扫地机器人的行进方向，左转/右转/后退；当扫地机器人在厨房工作时，用户通过终端设备的APP界面的按键反馈控制指令，以调整扫地机器人的工作方式，由于厨房油渍较多，用户还可以通过终端设备的APP界面的按键反馈控制指令以调整扫地机器人重点清扫，例如重复清扫、加大清扫力度、减慢清扫速度或采用拖扫的方式进行清扫；例如当扫地机器人在卫生间清扫时，卫生间地面一般会有水，控制扫地机器人开始扫拖一体模式，既能清扫地面又能拖地清除地面上的水分，并能控制扫地机器人清扫不同区域，从而达到良好的清扫效果。
进一步地，为便于用户能够精准控制所述扫地机器人达到良好的清扫效果，例如，能够控制扫地机器人重复清扫油污区域和积水区域，以达到良好的清除油污和积水的效果，在本实施例中，将所述三维语义地图发送至所述终端设备具体可以是：
检测所述三维语义地图中是否存在属于目标分类的目标识别结果，并在所述三维语义地图中存在属于所述目标分类的目标识别结果时，在所述三维语义地图中对该目标识别结果对应的物体在该三维语义地图中的位置进行标记，并将标记后的三维语义地图发送至所述终端设备以进行显示。
其中，所述扫地机器人中可以存储有识别结果与分类之间的对应关系，该对应关系中存储有多种识别结果和与每种识别结果对应的分类，例如，当识别结果为鞋子、凳子时，对应的分类为绕行类；当识别结果为油污、积水时，对应的分类为拖扫类；当识别结果为果皮、纸屑时，对应的分类为清扫类。所述目标分类可以是拖扫类。
通过上述设置，当存在属于拖扫类的目标识别结果时，即目标识别结果为油污或积水时，在所述三维语义地图中对该目标识别结果为油污或积水的物体在该三维语义地图中的位置进行标记，并将标记后的三维语义地图发送至终端设备以进行显示，进而便于用户可以直观的看见室内环境情况，以及便于用户根据标记向扫地机器人发送拖扫以及控制扫地机器人重复对油污或积水位置进行清扫的控制指令，进而达到良好的清扫效果。
进一步地，由于扫地机器人可以根据不同的识别结果执行不同的操作，例如，当识别结果为障碍物时，需要绕行；当识别结果为纸屑、果壳等时，需要执行常规的清扫操作，当识别结果油污、积水时，需要执行重复拖扫操作。为便于用户能够快速获知相应的操作，在本实施例中，在所述三维语义地图中存在属于所述目标分类的目标识别结果时，所述方法还包括：
获取与所述目标识别结果对应的控制方式提示信息，并在将标记后的三维语义地图发送至所述终端设备的同时将所述控制方式提示信息发送至所述终端设备。
通过上述设置，以便用户可以基于所述控制方式提示信息反馈与该控制方式提示信息对应的控制指令。可以理解，在本实施例中，获取与目标识别结果对应的控制方式提示信息可以是，从预设对应关系中查找与所述目标识别结果对应的控制方式提示信息，其中，所述预设对应关系中包括多种识别结果和与每种识别结果分别对应的控制方式提示信息。
例如，在本实施例中，当目标识别结果为油污或积水时，对应的控制方式提示信息为拖扫操作提示信息，因此，在该扫地机器人接收到用户基于所述三维语义地图通过所述终端设备反馈的清扫控制指令时，根据所述清扫控制指令和所述三维语义地图执行清扫操作，从而准确实现清扫作业，包括：
在接收用户基于标记后的三维语义地图和控制方式提示信息通过所述终端设备反馈的控制指令时，并在所述控制指令包括与所述控制方式提示信息对应的控制方式控制信息时，对所述标记后的三维语义地图中与所述目标识别结果对应的物体在该三维语义地图中的位置执行与所述控制指令对应的清扫操作。
通过上述设置，以实现基于三维语义地图输入的控制指令和标记后三维语义地图，对所述标记后的三维语义地图中与所述目标识别结果对应的物体在该三维语义地图中的位置执行与所述控制指令对应的清扫操作，以准确实现清扫作业，使得扫地机器人的清扫效果更佳。
实施例三
请结合图参阅图5，本实施例提供一种可应用于终端设备的智能设备的控制方法，该终端设备关联有智能设备，且所述智能设备的控制方法的应用于所述终端设备时，执行以下步骤：
步骤S210：接收所述智能设备根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图。
步骤S220：基于所述三维语义地图生成控制指令。
步骤S230：发送所述控制指令至所述智能设备以控制该智能设备。
关于上述步骤S210的具体描述可以参照前文对步骤S110的具体描述，在此不作一一赘述。上述步骤S220中，基于所述三维语义地图生成控制指令的方式可以是接收用户基于所述三维语义地图输入的控制信息。
通过采用上述步骤S210-S230以实现通过所述终端设备远程控制所述智能设备，进而提高了用户控制所述智能设备的便捷性。
实施例四
本实施例提供一种存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被一个或多个处理器执行时可以实现实施例一或实施例三中的智能设备的控制方法。
上述方法步骤的具体实施例过程可参见实施例一或实施例三，本实施例在此不再重复赘述。
实施例五
本申请实施例提供了一种电子设备，存储器和处理器，所述存储器上存储有计算器程序，该计算机程序被处理器执行时实现如实施例一或实施例三中所述的智能设备的控制方法。
其中，所述电子设备可以是智能设备，如护理机器人、扫地机器人或辅助机器人，也可以是终端设备，如手机、平板电脑或PC端。
在本实施例中，当所述电子设备为智能设备时，所述智能设备包括深度摄像头、彩色摄像头，所述深度摄像头和彩色摄像头分别与所述处理器电连接。
当所述智能设备为扫地机器人时，为保障所述扫地机器人获得三维语义地图高效且准确，进而在基于三维语义地图执行清扫操作时清扫效果更佳，可选的，在本实施例中，所述深度摄像头与所述彩色摄像头位于同一水平面。
可以理解，所述智能设备还可以包括，多媒体组件，输入/输出(I/O)接口，以及通信组件。
其中，处理器用于执行如实施例一中的智能设备的控制方法中的全部或部分步骤。存储器用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
所述处理器可以是专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable LogicDevice，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例一中的智能设备的控制方法。
所述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
多媒体组件可以包括屏幕和音频组件，所述屏幕可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。
I/O接口为处理器和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。
通信组件用于该电子设备与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
综上，本发明提供的一种智能设备的控制方法、存储介质及电子设备，通过根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图，将所述三维语义地图发送至所述终端设备以进行显示，接收用户基于所述三维语义地图通过所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图对所述智能设备进行控制。通过上述方法，解决了现有技术中智能设备难以构建复杂地图，进而难以准确执行操作的问题。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种智能设备的控制方法，其特征在于，应用于关联有终端设备的智能设备，所述方法包括：
根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图；包括：对所述图像信息进行识别得到图像识别结果，并且，对相同时刻的所述点云数据进行处理以得到点云地图；在所述图像识别结果对应的物体的形状与所述点云地图中的物体轮廓的形状匹配，并且，所述物体轮廓对应的点云数据的位置与图像识别结果对应的像素点位置匹配的情况下，判断所述图像信息与所述点云地图匹配；在所述图像信息与所述点云地图匹配的情况下，根据所述图像识别结果对所述点云地图进行标识，得到所述三维语义地图；在所述三维语义地图中存在属于目标分类的目标识别结果时，对该目标识别结果对应的物体在所述三维语义地图中的位置进行标记；
其中，所述三维语义地图包括：物体轮廓的形状和所述物体轮廓的形状对应的识别结果，所述识别结果包括：障碍物和待清扫垃圾；将标记后的所述三维语义地图发送至所述终端设备进行显示，以向用户展示环境情况；
接收用户通过所述终端设备反馈的基于所述三维语义地图中的标记的控制指令，并根据所述控制指令和所述三维语义地图对所述智能设备进行控制，以调整所述智能设备的行进方向，并控制所述智能设备执行以下任一操作：去往目标位置处、对所述障碍物绕行或者对所述待清扫垃圾进行清扫；其中，所述行进方向包括以下任一者：左转、右转、后退。
2.根据权利要求1所述的智能设备的控制方法，其特征在于，将所述三维语义地图发送至终端设备，包括：
检测所述三维语义地图中是否存在属于目标分类的目标识别结果；
在所述三维语义地图中存在属于所述目标分类的目标识别结果时，在所述三维语义地图中对该目标识别结果对应的物体在该三维语义地图中的位置进行标记，并将标记后的三维语义地图发送至所述终端设备。
3.根据权利要求2所述的智能设备的控制方法，其特征在于，在所述三维语义地图中存在属于所述目标分类的目标识别结果时，所述方法还包括：
获取与所述目标识别结果对应的控制方式提示信息，并在将标记后的三维语义地图发送至所述终端设备的同时将所述控制方式提示信息发送至所述终端设备。
4.根据权利要求3所述的智能设备的控制方法，其特征在于，获取与所述目标识别结果对应的控制方式提示信息，包括：
从预设对应关系中查找与所述目标识别结果对应的控制方式提示信息，其中，所述预设对应关系中包括多种识别结果和与每种识别结果分别对应的控制方式提示信息。
5.根据权利要求3所述的智能设备的控制方法，其特征在于，接收所述终端设备反馈的控制指令，并根据所述控制指令和所述三维语义地图进行控制，包括：
接收所述终端设备反馈的基于标记后的三维语义地图和控制方式提示信息的控制指令；
在所述控制指令包括与所述控制方式提示信息对应的控制方式控制信息时，对所述标记后的三维语义地图中与所述目标识别结果对应的物体在该三维语义地图中的位置执行与所述控制指令对应的操作。
6.一种智能设备的控制方法，其特征在于，应用于关联有智能设备的终端设备，所述方法包括：
接收所述智能设备根据相同时刻所述智能设备的深度摄像头采集的点云数据和该智能设备的彩色摄像头采集的图像信息得到三维语义地图；包括：在图像识别结果对应的物体的形状与点云地图中的物体轮廓的形状匹配，并且，所述物体轮廓对应的点云数据的位置与图像识别结果对应的像素点位置匹配的情况下，判断所述图像信息与所述点云地图匹配；在所述图像信息与所述点云地图匹配的情况下，根据所述图像识别结果对所述点云地图进行标识，得到所述三维语义地图；在所述三维语义地图中存在属于目标分类的目标识别结果时，对该目标识别结果对应的物体在所述三维语义地图中的位置进行标记；其中，所述图像识别结果是对所述图像信息进行识别得到的，所述点云地图是对相同时刻的所述点云数据进行处理得到的；
其中，所述三维语义地图包括：物体轮廓的形状和所述物体轮廓的形状对应的识别结果，所述识别结果包括：障碍物和待清扫垃圾；
对标记后的所述三维语义地图进行显示，以向用户展示环境情况；
根据用户基于所述三维语义地图的标记的反馈生成控制指令；
发送所述控制指令至所述智能设备以控制该智能设备，进而调整所述智能设备的行进方向，并控制所述智能设备执行以下任一操作：去往目标位置处、对所述障碍物绕行或者对所述待清扫垃圾进行清扫；其中，所述行进方向包括以下任一者：左转、右转、后退。
7.一种存储介质，该存储介质存储有计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时实现如权利要求1-5中任意一项或权利要求6中所述的智能设备的控制方法。
8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如权利要求1-5中任意一项或权利要求6中所述的智能设备的控制方法。
9.根据权利要求8所述的电子设备，其特征在于，所述电子设备为智能设备，所述智能设备包括深度摄像头和彩色摄像头，所述深度摄像头和彩色摄像头分别与所述处理器电连接。
10.根据权利要求8所述的电子设备，其特征在于，所述电子设备包括扫地机器人。
CN202010408212.9A 2020-05-14 2020-05-14 智能设备的控制方法、存储介质及电子设备 Active CN111487980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408212.9A CN111487980B (zh) 2020-05-14 2020-05-14 智能设备的控制方法、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408212.9A CN111487980B (zh) 2020-05-14 2020-05-14 智能设备的控制方法、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111487980A CN111487980A (zh) 2020-08-04
CN111487980B true CN111487980B (zh) 2024-04-02

Family

ID=71811382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408212.9A Active CN111487980B (zh) 2020-05-14 2020-05-14 智能设备的控制方法、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111487980B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085838A (zh) * 2020-09-10 2020-12-15 追创科技(苏州)有限公司 自动清洁设备控制方法、装置及存储介质
CN112860827B (zh) * 2021-01-15 2024-04-30 北京小米移动软件有限公司 设备间交互控制方法、设备间交互控制装置及存储介质
CN113269874A (zh) * 2021-04-20 2021-08-17 达闼机器人有限公司 一种三维地图的建立方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106067191A (zh) * 2016-05-25 2016-11-02 深圳市寒武纪智能科技有限公司 一种家用机器人建立语义地图的方法及系统
CN110974088A (zh) * 2019-11-29 2020-04-10 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424065B2 (en) * 2016-06-10 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing three-dimensional semantic parsing of indoor spaces
US10878294B2 (en) * 2018-01-05 2020-12-29 Irobot Corporation Mobile cleaning robot artificial intelligence for situational awareness

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106067191A (zh) * 2016-05-25 2016-11-02 深圳市寒武纪智能科技有限公司 一种家用机器人建立语义地图的方法及系统
CN110974088A (zh) * 2019-11-29 2020-04-10 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质

Also Published As

Publication number Publication date
CN111487980A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111487980B (zh) 智能设备的控制方法、存储介质及电子设备
US20240358213A1 (en) Cleaning robot and method of performing task thereof
RU2620236C1 (ru) Система автоматической уборки, робот-уборщик и способ управления роботом-уборщиком
US11027425B1 (en) Space extrapolation for robot task performance
CN110989631B (zh) 自移动机器人控制方法、装置、自移动机器人和存储介质
KR102577785B1 (ko) 청소 로봇 및 그의 태스크 수행 방법
EP3781896A1 (en) System and method for detecting human gaze and gesture in unconstrained environments
WO2020248458A1 (zh) 一种信息处理方法、装置及存储介质
CN111476894A (zh) 三维语义地图构建方法、装置、存储介质及电子设备
CN108814444B (zh) 一种扫地机器人腿部跟随清扫方法及装置
CN115033002A (zh) 移动机器人控制方法及装置、电子设备和存储介质
CN114779777A (zh) 自移动机器人的传感器控制方法、装置、介质及机器人
CN110962132B (zh) 一种机器人系统
KR20240063820A (ko) 청소 로봇 및 그의 태스크 수행 방법
KR20230134109A (ko) 청소 로봇 및 그의 태스크 수행 방법
CN115607052A (zh) 一种机器人的清洁方法、装置、设备及清洁机器人
CN117297449A (zh) 清洁设置方法、清洁设备、计算机程序产品和存储介质
CN112927278B (zh) 控制方法、装置、机器人及计算机可读存储介质
KR20200054694A (ko) 청소 장치 및 그 제어 방법
JP7417944B2 (ja) 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
EP4261793A1 (en) Obstacle avoidance using fused depth and intensity for nnt training
CN116091607B (zh) 辅助用户寻找物体的方法、装置、设备及可读存储介质
CN115137251B (zh) 扫地机器人及其控制方法、控制系统及存储介质
CN117530620A (zh) 清洁方法、清洁装置、清洁设备和存储介质
US20240135686A1 (en) Method and electronic device for training neural network model by augmenting image representing object captured by multiple cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 7-605, 6th floor, building 1, yard a, Guanghua Road, Chaoyang District, Beijing 100026

Patentee after: Beijing dog vacuum cleaner Group Co.,Ltd.

Country or region after: China

Address before: 7-605, 6th floor, building 1, yard a, Guanghua Road, Chaoyang District, Beijing 100026

Patentee before: PUPPY ELECTRONIC APPLIANCES INTERNET TECHNOLOGY (BEIJING) Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address