CN112287833A - 机器人的巡检清洁方法、装置、机器人和存储介质 - Google Patents

机器人的巡检清洁方法、装置、机器人和存储介质 Download PDF

Info

Publication number
CN112287833A
CN112287833A CN202011182064.XA CN202011182064A CN112287833A CN 112287833 A CN112287833 A CN 112287833A CN 202011182064 A CN202011182064 A CN 202011182064A CN 112287833 A CN112287833 A CN 112287833A
Authority
CN
China
Prior art keywords
robot
data
target
visual
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011182064.XA
Other languages
English (en)
Inventor
沈孝通
侯林杰
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202011182064.XA priority Critical patent/CN112287833A/zh
Priority to PCT/CN2020/136691 priority patent/WO2022088430A1/zh
Publication of CN112287833A publication Critical patent/CN112287833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种机器人的巡检清洁方法、装置、机器人和存储介质。该方法包括：采集机器人视野范围内的视觉数据；通过预训练神经网络对视觉数据进行识别，得到目标对象的对象位置和对象类型，预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的视觉样本数据进行训练得到；根据对象位置和对象类型控制机器人执行巡检清洁任务。由于机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过预训练神经网络主动识别视野范围内存在的目标对象，使得机器人仅需要聚焦工作空间内的目标对象，并基于目标对象的具体位置和具体类型执行巡检清洁任务，无需对整个工作空间进行全路径清洁，提高了机器人的清洁效率。

Description

机器人的巡检清洁方法、装置、机器人和存储介质
技术领域
本申请涉及机器人技术领域，特别是涉及一种机器人的巡检清洁方法、装置、机器人和存储介质。
背景技术
随着自动化技术和人工智能的迅速发展，机器人被广泛应用在各种场景。以清洁场景为例，清洁机器人可以通过无人驾驶技术完成简单重复的清洁任务，大大降低人力成本，实现清洁工作的自动化。
传统的机器人在进行巡检清洁时，一般按照预先规划的导航地图进行行驶，并在行驶过程中对地面进行全覆盖清洁。但是，传统的巡检清洁方式导致机器人的清洁效率较低。
发明内容
基于此，有必要针对传统的巡检清洁方式导致机器人的清洁效率较低的技术问题，提供一种机器人的巡检清洁方法、装置、机器人和存储介质。
第一方面，本申请实施例提供一种机器人的巡检清洁方法，包括：
采集机器人视野范围内的视觉数据；
通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到；
根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务。
在其中一个实施例中，可选的，所述预训练神经网络包括特征提取层、特征融合层以及对象识别层；
所述通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，包括：
通过所述特征提取层提取所述视觉数据中的多尺度特征数据；
通过所述特征融合层对所述多尺度特征数据进行特征融合，得到融合后的特征数据；
根据所述多尺度特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
在其中一个实施例中，可选的，所述特征提取层包括第一特征提取块和第二特征提取块；
所述通过所述特征提取层提取所述视觉数据中的多尺度特征数据，包括：
通过所述第一特征提取块提取所述视觉数据中的第一尺度特征数据，并通过所述第二特征提取块提取所述视觉数据中的第二尺度特征数据。
在其中一个实施例中，可选的，所述第一尺度特征数据为13*13尺度特征数据，所述第二尺度特征数据为26*26尺度特征数据。
在本实施例中，预训练神经网络可以对视觉数据中的多尺度特征数据进行特征融合，并基于融合后的特征数据和多尺度特征数据进行目标对象的识别，从而提高了机器人识别效果。同时，预训练神经网络中的特征提取层仅包括两个特征提取块，相比包括三个特征提取块的特征提取层来说，在能够满足机器人的识别效果的前提下，降低了特征提取层中特征提取块的数量，从而提高了机器人的识别速度。
在其中一个实施例中，可选的，当所述目标对象为垃圾和/或脏污时，所述根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务，包括：
根据所述对象类型选定目标收纳组件和目标清洁组件；
控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
在其中一个实施例中，可选的，当所述目标对象为障碍物时，所述根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务，包括：
根据所述对象类型，确定所述机器人是否能够越过所述目标对象；
若否，则根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
在其中一个实施例中，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在所述根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务之前，所述方法还包括：
获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
根据所述第一对应关系和第二对应关系，对所述对象位置进行转换。
在本实施例中，机器人通过机器人的图像坐标系和雷达坐标系之间的第一对应关系以及雷达坐标系与世界坐标系之间的第二对应关系对得到的对象位置进行转换，使得最终得到的目标对象的实际位置更准确，进而基于准确的对象位置控制机器人执行巡检清洁任务，提高了机器人的清洁精度和清洁效率。
第二方面，本申请实施例提供一种机器人的巡检清洁装置，包括：
采集模块，用于采集机器人视野范围内的视觉数据；
识别模块，用于通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到；
控制模块，用于根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务。
在其中一个实施例中，可选的，所述预训练神经网络包括特征提取层、特征融合层以及对象识别层；所述识别模块包括：特征提取单元、特征融合单元和识别单元；
特征提取单元，用于通过所述特征提取层提取所述视觉数据中的多个尺度的特征数据；
特征融合单元，用于通过所述特征融合层对所述多个尺度的特征数据进行特征融合，得到融合后的特征数据；
识别单元，用于根据所述多个尺度的特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
可选的，所述多个尺度的特征数据分别为13*13尺度的特征数据和26*26尺度的特征数据。
在其中一个实施例中，可选的，当所述目标对象为垃圾和/或脏污时，控制模块，具体用于根据所述对象类型选定目标收纳组件和目标清洁组件；控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
在一个实施例中，可选的，当所述目标对象为障碍物时，控制模块，具体用于根据所述对象类型，确定所述机器人是否能够越过所述目标对象；在确定所述机器人无法越过所述目标对象时，根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
在上述实施例的基础上，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，所述装置还包括：获取模块和转换模块；
获取模块，用于在所述控制模块根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务之前，获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
转换模块，用于根据所述第一对应关系和第二对应关系，对所述对象位置进行转换。
第三方面，本申请实施例提供一种机器人，所述机器人包括：一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行本申请实施例第一方面提供的机器人的巡检清洁方法的指令。
第四方面，本申请实施例提供一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本申请实施例第一方面提供的机器人的巡检清洁方法。
本申请实施例提供的机器人的巡检清洁方法、装置、机器人和存储介质，采集机器人视野范围内的视觉数据，通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，并根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过预训练神经网络主动识别视野范围内存在的目标对象，使得机器人仅需要聚焦工作空间内的目标对象，并基于目标对象的具体位置和具体类型执行巡检清洁任务，无需对整个工作空间进行全路径清洁，提高了机器人的清洁效率。
附图说明
图1为本申请实施例提供的一种机器人的结构示意图；
图2为本申请实施例提供的机器人的巡检清洁方法的一种流程示意图；
图3为本申请实施例提供的机器人的巡检清洁方法的另一种流程示意图；
图4为本申请实施例提供的机器人对视觉数据进行识别的一种原理示意图；
图5为本申请实施例提供的机器人的巡检清洁装置的一种结构示意图；
图6为本申请实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
本申请实施例提供的机器人的巡检清洁方法，可以适用于如图1所示的机器人。如图1所示，该机器人可以包括：传感器10、控制器11和执行组件12。其中，传感器10包括安装在机器人机身上的感知传感器和定位传感器，传感器10用于采集视野范围内的视觉数据，其可以是不同类型的摄像头、激光雷达、红外测距、超声波IMU(Inertial MeasurementUnit，惯性测量单元)、里程计等单个或多个传感器。控制器11可以包括芯片和控制电路，主要通过接收传感器10采集到的视觉数据，主动识别机器人视野范围内存在的目标对象(如垃圾以及障碍物等)，并基于目标对象来执行巡检清洁任务。执行组件12包括行走组件和清洁组件，用于接收控制器11的控制指令，按照所规划的行驶路径导航到目标对象所在的位置，并实施清洁操作。
为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，下述方法实施例的执行主体可以是机器人的巡检清洁装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述机器人的部分或者全部。下述方法实施例以执行主体是机器人为例进行说明。
图2为本申请实施例提供的机器人的巡检清洁方法的一种流程示意图。本实施例涉及的是机器人如何对工作空间进行巡检清洁的具体过程。如图2所示，该方法可以包括：
S201、采集机器人视野范围内的视觉数据。
具体的，为了实现清洁工作的自动化，可以通过机器人对待清洁区域进行巡检清洁。其中，待清洁区域是指机器人需要进行巡检清洁的区域，其可以与机器人所处的环境相对应。机器人可以通过自身的视野范围和待清洁区域的电子地图，生成用于对待清洁区域进行视野覆盖的视野路径。其中，电子地图包括但不限于栅格地图、拓扑地图和矢量地图。机器人按照该视野路径进行行驶，并在行驶过程中主动采集视野范围内的视觉数据，以及主动识别视觉数据中存在的目标对象，从而实现对待清洁区域的主动巡检。
机器人上设置有视觉传感器，使得机器人可以通过该视觉传感器对其视野范围内的区域进行数据采集，从而得到视觉传感器的视野范围内的视觉数据。当用于采集视觉数据的视觉传感器对应的传感器类型不同时，通过视觉传感器所采集的视觉数据的类型也是不相同的。其中，上述视觉数据可以为图像数据，也可以为视频数据，还可以是点云数据。举例说明，上述视觉传感器可以为摄像头。机器人可以通过摄像头连续对其视野范围内的区域进行拍摄，得到监控视频，将该监控视频作为待识别的视觉数据。机器人也可以通过摄像头直接对视野范围内的区域进行拍摄，得到拍摄图像，将该拍摄图像作为待识别的视觉数据。
S202、通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型。
其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到。
具体的，预训练神经网络可以是预先建立并且经过训练后配置在机器人中，以便识别视觉数据中的目标对象，并输出目标对象的对象位置和对象类型。上述预训练神经网络可以是基于YOLO、RetinaNet、SSD或者Faster-RCNN等网络建立的。
在得到视野范围内的视觉数据之后，机器人将视觉数据输入至预训练神经网络，通过预训练神经网络识别视觉数据中的目标对象，并输出目标对象的对象位置和对象类型。其中，目标对象可以为垃圾和/或障碍物。当目标对象为垃圾时，对象类型可以包括各种垃圾的类型，如塑料袋、餐巾纸、纸屑、果皮以及蔬菜叶等。当然，对象类型也可以包括基于垃圾分类标准对各种垃圾分类后的结果，如可回收垃圾、厨余垃圾、有害垃圾以及其它垃圾等。当目标对象为障碍物时，对象类型可以包括大尺寸障碍物、小尺寸障碍物、动态障碍物、静态障碍物以及半静态障碍物等。
上述预训练神经网络的训练数据可以是根据实际训练需求收集的视觉样本数据集，也可以是训练数据库中的视觉样本数据集。其中，视觉样本数据集包括需要进行识别的视觉样本数据，以及已标注样本对象位置和样本对象类型的视觉样本数据。在本实施例中，样本对象可以包括地面上的垃圾以及障碍物等，垃圾具体可以包括塑料袋、餐巾纸、纸屑以及果皮等。获取到用于训练的视觉样本数据集之后，将视觉样本数据作为预训练神经网络的输入，将视觉样本数据中存在的样本对象位置和样本对象类型作为预训练神经网络的期望输出，采用相应的损失函数对预训练神经网络进行训练，直至达到损失函数的收敛条件，从而得到上述预训练神经网络。
以预训练神经网络采用的基础网络为YOLOv3为例，首先，可以对所选择的视觉样本数据集进行聚类操作，从而得到不同长宽比和不同尺寸的参照框(anchor)。例如，以常见垃圾数据集为例，对垃圾数据集进行k-means聚类操作，以从垃圾数据集中学习到不同长宽比和不同尺寸的参照框。
以机器人采集的视觉数据为待检测图像为例，机器人可以将待检测图像输入至预训练神经网络。预训练神经网络可以通过darknet子网络提取待检测图像对应的特征图，并针对特征图上的每个网格，预测上述不同长宽比和不同尺寸的参照框的描述信息，其中，描述信息包括参照框的置信度、参照框的位置信息以及参照框的类别信息。接着，基于参照框的置信度和参照框的类别信息过滤掉概率较低的参照框，对剩下的参照框进行非最大抑制处理，得到最终的检测结果，该检测结果即为视觉数据中的目标对象的对象位置和对象类型。
S203、根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务。
其中，在确定视野范围内存在目标对象后，机器人便可以基于目标对象的对象位置和对象类型有针对性地执行巡检清洁任务。
作为一种可选的实施方式，当目标对象为垃圾和/或脏污时，上述S203可以包括：
S2031、根据所述对象类型选定目标收纳组件和目标清洁组件。
其中，当确定目标对象的对象类型后，可以针对对象类型分别选定目标收纳组件和目标清洁组件。机器人中可以设置有可回收垃圾收纳组件、厨余垃圾收纳组件、有害垃圾收纳组件以及其它垃圾收纳组件。这样，在得到目标对象的对象类型后，机器人便可以基于对象类型，从所设置的所有收纳组件中选定目标收纳组件。例如，当机器人得到的目标对象的对象类型是蔬菜叶时，机器人可以选择厨余垃圾收纳组件作为目标收纳组件。
同时，对于不同对象类型的目标对象，对地面的污染程度是不一致的。因此，在得到目标清洁对象的对象类型时，可以基于对象类型，从所设置的所有清洁组件中选定目标清洁组件。其中，机器人中可以设置有吸尘组件、干拖组件、湿拖组件、烘干组件以及吸水组件等。在得到目标清洁对象的对象类型时，可以基于对象类型，从所设置的所有清洁组件中选定目标清洁组件。例如，对于蔬菜叶和果皮等目标对象，可能会在地面上留下污渍，因此，在机器人将该类目标对象清扫到厨余垃圾收纳组件后，还需要使用湿拖组件进行擦拭，再使用烘干组件进行烘干，据此，机器人可以选择湿拖组件和烘干组件作为目标清洁组件。
S2032、控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
其中，在选定目标收纳组件和目标清洁组件之后，机器人可以基于目标对象的对象位置规划清洁路线，并控制机器人沿清洁路线进行行驶至对象位置，然后在该对象位置上将目标对象清扫到目标收纳组件中，并通过所选定的目标清洁组件基于相应的清洁策略对清扫后的区域进行清洁。
作为另一种可选的实施方式，当目标对象为障碍物时，上述S203可以包括：根据所述对象类型，确定所述机器人是否能够越过所述目标对象；若否，则根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
其中，目标对象的对象类型可以包括大尺寸障碍物以及小尺寸障碍物等。对于小尺寸障碍物来说，机器人具有的独特底盘结构，使得机器人可以越过小尺寸障碍物；对于大尺寸障碍物来说，由于障碍物的尺寸较大，机器人很难越过大尺寸障碍物继继续前行，导致机器人被困。因此，在机器人执行巡检清洁任务时，机器人需要根据识别出的目标对象的对象类型，确定机器人能否越过目标对象。即在识别出的目标对象为大尺寸障碍物时，机器人无法越过大尺寸障碍物进行前行，此时，机器人进入脱困模式，以避开大尺寸障碍物。为了能够继续执行巡检清洁任务，机器人从初始清洁路径中选取一个路径点作为目标导航点，并基于大尺寸障碍物的位置信息和目标导航点，生成脱困路径，并控制机器人按照脱困路径行驶至目标导航点。
本申请实施例提供的机器人的巡检清洁方法，采集机器人视野范围内的视觉数据，通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，并根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过预训练神经网络主动识别视野范围内存在的目标对象，使得机器人仅需要聚焦工作空间内的目标对象，并基于目标对象的具体位置和具体类型执行巡检清洁任务，无需对整个工作空间进行全路径清洁，大大提高了机器人的清洁效率。
在一个实施例中，还提供了一种通过预训练神经网络识别视野范围内的视觉数据的具体过程。在上述实施例的基础上，可选的，上述预训练神经网络可以包括特征提取层、特征融合层以及对象识别层。如图3所示，上述S202可以包括：
S301、通过所述特征提取层提取所述视觉数据中的多尺度特征数据。
具体的，机器人可以选择深度学习网络作为该特征提取层。该特征提取层具体可以是darknet网络或者其它网络结构等。机器人将采集的视觉数据输入预训练神经网络，通过预训练神经网络中的特征提取层提取视觉数据中的特征，得到多尺度特征数据。其中，每个尺度特征数据均包括尺度特征数据中的每个网格所对应的参照框的描述信息。该描述信息包括参照框的置信度、参照框的位置信息以及参照框的类别信息。上述参照框可以通过对预训练神经网络的训练数据进行聚类操作后得到。
为了提高预训练神经网络的识别速度，可以减少特征提取层中的特征提取块的数量。可选的，特征提取层中包括两个特征提取块，分别为第一特征提取块和第二特征提取块。可选的，上述S301的过程可以为：通过第一特征提取块提取视觉数据中的第一尺度特征数据，并通过第二特征提取块提取视觉数据中的第二尺度特征数据。其中，第一尺度特征数据和第二尺度特征数据可以从13*13尺度特征数据、26*26尺度特征数据以及52*52尺度特征数据中任意选择两种进行组合。
在实际应用中，为了进一步提高预训练神经网络的识别速度，可选的，上述第一尺度特征数据可以为13*13尺度特征数据，第二尺度特征数据可以为26*26尺度特征数据。
S302、通过所述特征融合层对所述多尺度特征数据进行特征融合，得到融合后的特征数据。
其中，为了提高预训练神经网络对小目标的识别能力，特征提取层将提取出的多尺度特征数据输入至特征融合层，通过特征融合层将多尺度特征数据进行特征融合。可选的，当通过特征提取层从视觉数据中提取出的特征数据为13*13尺度特征数据和26*26尺度特征数据时，机器人通过特征融合层将13*13尺度特征数据和26*26尺度特征数据进行特征融合，得到融合后的特征数据。
S303、根据所述多尺度特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
其中，特征提取层将提取出的多尺度特征数据输入至对象识别层，同时特征融合层将融合后的特征数据也输入至对象识别层，通过对象识别层对多尺度特征数据和融合后的特征数据进行处理，得到目标对象的对象位置和对象类型。具体的，对象识别层可以对多尺度特征数据和融合后的特征数据中的参照框进行坐标变换以及坐标缩放等操作，将多尺度特征数据和融合后的特征数据中的参照框还原到原始数据上，得到还原后的参照框。接着，对还原后的参照框进行非极大抑制处理，过滤掉冗余的参照框，输出过滤后的参照框的描述信息，从而得到目标对象的对象位置和对象类型。
以图4所示的预训练神经网络为例，介绍上述通过预训练神经网络对视觉数据的识别过程。具体的，机器人将采集的视野范围内的视觉数据输入至预训练神经网络中的特征提取层401，通过特征提取层401中的第一特征提取块4011提取视觉数据中的特征，得到13*13尺度特征数据，通过特征提取层中的第二特征提取块4012提取视觉数据中的特征，得到26*26尺度特征数据。接着，机器人将13*13尺度特征数据和26*26尺度特征数据输入至预训练神经网络中的特征融合层402，通过特征融合层402对13*13尺度特征数据和26*26尺度特征数据进行特征融合，得到融合后的特征数据。进一步地，机器人将13*13尺度特征数据、26*26尺度特征数据和融合后的特征数据输入至预训练神经网络中的对象识别层403，通过对象识别层403对13*13尺度特征数据、26*26尺度特征数据和融合后的特征数据进行坐标转换、坐标缩放以及非极大抑制处理，从而识别视觉数据中的目标对象，并输出目标对象的对象位置和对象类型。
在本实施例中，预训练神经网络可以对视觉数据中的多尺度特征数据进行特征融合，并基于融合后的特征数据和多尺度特征数据进行目标对象的识别，从而提高了机器人识别效果。同时，预训练神经网络中的特征提取层仅包括两个特征提取块，相比包括三个特征提取块的特征提取层来说，在能够满足机器人的识别效果的前提下，降低了特征提取层中特征提取块的数量，从而提高了机器人的识别速度。
在实际应用中，通常机器人通过摄像机来采集视野范围内的视觉数据。此时，机器人通过预训练神经网络识别出的目标对象的对象位置是以图像坐标系计算得到的。针对此情况，即在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在上述实施例的基础上，可选的，在上述S203之前，该方法还可以包括：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述对象位置进行转换。
具体的，可选的，上述获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系可以包括：分别获取所述机器人在像素坐标系和雷达坐标系下针对同一待采集对象采集的第一数据和第二数据；将所述第一数据和所述第二数据进行匹配，得到多组匹配的特征点；根据所述多组匹配的特征点，确定所述机器人的图像坐标系和雷达坐标系之间的第一对应关系。
其中，可以预先将待采集对象设置在一墙角上。机器人上设置有摄像机和激光雷达，机器人分别控制摄像机和激光雷达从不同角度对设置在墙角上的待采集对象进行数据采集，从而得到第一数据和第二数据。接着，分别检测第一数据和第二数据中的特征点，并将第一数据和第二数据中的特征点进行匹配，得到多组匹配的特征点。通常，需要确定出四组匹配的特征点甚至更多。再接着，通过多组匹配的特定点，建立相应的方程组，通过求解方程组即可得到机器人的图像坐标系和雷达坐标系之间的对应关系。
在本实施例中，机器人通过机器人的图像坐标系和雷达坐标系之间的第一对应关系以及雷达坐标系与世界坐标系之间的第二对应关系对得到的对象位置进行转换，使得最终得到的目标对象的实际位置更准确，进而基于准确的对象位置控制机器人执行巡检清洁任务，提高了机器人的清洁精度和清洁效率。
图5为本申请实施例提供的机器人的巡检清洁装置的一种结构示意图。如图5所示，该装置可以包括：采集模块50、识别模块51和控制模块52。
具体的，采集模块50用于采集机器人视野范围内的视觉数据；
识别模块51用于通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到；
控制模块52用于根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务。
本申请实施例提供的机器人的巡检清洁装置，采集机器人视野范围内的视觉数据，通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，并根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过预训练神经网络主动识别视野范围内存在的目标对象，使得机器人仅需要聚焦工作空间内的目标对象，并基于目标对象的具体位置和具体类型执行巡检清洁任务，无需对整个工作空间进行全路径清洁，大大提高了机器人的清洁效率。
在上述实施例的基础上，可选的，所述预训练神经网络包括特征提取层、特征融合层以及对象识别层；识别模块51包括：特征提取单元511、特征融合单元512和识别单元513；
具体的，特征提取单元511用于通过所述特征提取层提取所述视觉数据中的多尺度特征数据；
特征融合单元512用于通过所述特征融合层对所述多尺度特征数据进行特征融合，得到融合后的特征数据；
识别单元513用于根据所述多尺度特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
在上述实施例的基础上，可选的，所述特征提取层包括第一特征提取块和第二特征提取块；
特征提取单元511具体用于通过所述第一特征提取块提取所述视觉数据中的第一尺度特征数据，并通过所述第二特征提取块提取所述视觉数据中的第二尺度特征数据。
可选的，所述第一尺度特征数据为13*13尺度特征数据，所述第二尺度特征数据为26*26尺度特征数据。
在上述实施例的基础上，可选的，当所述目标对象为垃圾和/或脏污时，控制模块52具体用于根据所述对象类型选定目标收纳组件和目标清洁组件；控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
在上述实施例的基础上，可选的，当所述目标对象为障碍物时，控制模块52具体用于根据所述对象类型，确定所述机器人是否能够越过所述目标对象；在确定所述机器人无法越过所述目标对象时，根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
在上述实施例的基础上，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，所述装置还包括：获取模块53和转换模块54。
具体的，获取模块53用于在所述控制模块52根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务之前，获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
转换模块54用于根据所述对应关系，对所述对象位置进行转换。
在一个实施例中，提供了一种机器人，其结构示意图可以如图1所示。该机器人可以包括：一个或多个处理器、存储器；和一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行上述任意实施例所述的机器人的巡检清洁方法的指令。
具体的，上述一个或多个处理器执行所述程序时实现以下步骤：
采集机器人视野范围内的视觉数据；
通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到；
根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务。
在一个实施例中，所述预训练神经网络包括特征提取层、特征融合层以及对象识别层；上述一个或多个处理器执行所述程序时还实现以下步骤：通过所述特征提取层提取所述视觉数据中的多尺度特征数据；通过所述特征融合层对所述多尺度特征数据进行特征融合，得到融合后的特征数据；根据所述多尺度特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
在一个实施例中，所述特征提取层包括第一特征提取块和第二特征提取块；上述一个或多个处理器执行所述程序时还实现以下步骤：通过所述第一特征提取块提取所述视觉数据中的第一尺度特征数据，并通过所述第二特征提取块提取所述视觉数据中的第二尺度特征数据。
可选的，所述第一尺度特征数据为13*13尺度特征数据，所述第二尺度特征数据为26*26尺度特征数据。
在一个实施例中，当所述目标对象为垃圾和/或脏污时，上述一个或多个处理器执行所述程序时还实现以下步骤：根据所述对象类型选定目标收纳组件和目标清洁组件；控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
在一个实施例中，当所述目标对象为障碍物时，上述一个或多个处理器执行所述程序时还实现以下步骤：根据所述对象类型，确定所述机器人是否能够越过所述目标对象；若否，则根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
在一个实施例中，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，上述一个或多个处理器执行所述程序时还实现以下步骤：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述对象位置进行转换。
在一个实施例中，如图6所示，提供了一种包含计算机可执行指令601的非易失性计算机可读存储介质60，当所述计算机可执行指令被一个或多个处理器61执行时，使得所述处理器61执行以下步骤：
采集机器人视野范围内的视觉数据；
通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到；
根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务。
在一个实施例中，所述预训练神经网络包括特征提取层、特征融合层以及对象识别层；计算机可执行指令被处理器执行时还实现以下步骤：通过所述特征提取层提取所述视觉数据中的多尺度特征数据；通过所述特征融合层对所述多尺度特征数据进行特征融合，得到融合后的特征数据；根据所述多尺度特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
在一个实施例中，所述特征提取层包括第一特征提取块和第二特征提取块；计算机可执行指令被处理器执行时还实现以下步骤：通过所述第一特征提取块提取所述视觉数据中的第一尺度特征数据，并通过所述第二特征提取块提取所述视觉数据中的第二尺度特征数据。
可选的，所述第一尺度特征数据为13*13尺度特征数据，所述第二尺度特征数据为26*26尺度特征数据。
在一个实施例中，当所述目标对象为垃圾和/或脏污时，计算机可执行指令被处理器执行时还实现以下步骤：根据所述对象类型选定目标收纳组件和目标清洁组件；控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
在一个实施例中，当所述目标对象为障碍物时，计算机可执行指令被处理器执行时还实现以下步骤：根据所述对象类型，确定所述机器人是否能够越过所述目标对象；若否，则根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
在一个实施例中，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，计算机可执行指令被处理器执行时还实现以下步骤：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述对象位置进行转换。
上述实施例中提供的机器人的巡检清洁装置、机器人和存储介质可执行本申请任意实施例所提供的机器人的巡检清洁方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的机器人的巡检清洁方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人的巡检清洁方法，其特征在于，包括：
采集机器人视野范围内的视觉数据；
通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及已标注样本对象位置和样本对象类型的所述视觉样本数据进行训练得到；
根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务。
2.根据权利要求1所述的方法，其特征在于，所述预训练神经网络包括特征提取层、特征融合层以及对象识别层；
所述通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，包括：
通过所述特征提取层提取所述视觉数据中的多尺度特征数据；
通过所述特征融合层对所述多尺度特征数据进行特征融合，得到融合后的特征数据；
根据所述多尺度特征数据和所述融合后的特征数据，通过所述对象识别层确定目标对象的对象位置和对象类型。
3.根据权利要求2所述的方法，其特征在于，所述特征提取层包括第一特征提取块和第二特征提取块；
所述通过所述特征提取层提取所述视觉数据中的多尺度特征数据，包括：
通过所述第一特征提取块提取所述视觉数据中的第一尺度特征数据，并通过所述第二特征提取块提取所述视觉数据中的第二尺度特征数据。
4.根据权利要求3所述的方法，其特征在于，所述第一尺度特征数据为13*13尺度特征数据，所述第二尺度特征数据为26*26尺度特征数据。
5.根据权利要求1至4中任一项所述的方法，其特征在于，当所述目标对象为垃圾和/或脏污时，所述根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务，包括：
根据所述对象类型选定目标收纳组件和目标清洁组件；
控制所述机器人导航至所述对象位置，并控制所述机器人将所述目标对象清扫到所述目标收纳组件中，以及通过所述目标清洁组件对清扫后的区域进行清洁。
6.根据权利要求1至4中任一项所述的方法，其特征在于，当所述目标对象为障碍物时，所述根据所述目标对象的对象位置和对象类型控制所述机器人执行巡检清洁任务，包括：
根据所述对象类型，确定所述机器人是否能够越过所述目标对象；
若否，则根据所述对象位置和目标导航点，生成脱困路径，并控制所述机器人按照所述脱困路径行驶至所述目标导航点。
7.根据权利要求1所述的方法，其特征在于，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在所述根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务之前，所述方法还包括：
获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
根据所述第一对应关系和第二对应关系，对所述对象位置进行转换。
8.一种机器人的巡检清洁装置，其特征在于，包括：
采集模块，用于采集机器人视野范围内的视觉数据；
识别模块，用于通过预训练神经网络对所述视觉数据进行识别，得到目标对象的对象位置和对象类型，其中，所述预训练神经网络通过视觉样本数据以及所述视觉样本数据中的样本对象的位置和类型进行训练得到；
控制模块，用于根据所述对象位置和对象类型控制所述机器人执行巡检清洁任务。
9.一种机器人，所述机器人包括：一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行权利要求1至7中任意一项所述的机器人的巡检清洁方法的指令。
10.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至7中任意一项所述的机器人的巡检清洁方法。
CN202011182064.XA 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质 Pending CN112287833A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011182064.XA CN112287833A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质
PCT/CN2020/136691 WO2022088430A1 (zh) 2020-10-29 2020-12-16 机器人的巡检清洁方法、装置、机器人和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182064.XA CN112287833A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质

Publications (1)

Publication Number Publication Date
CN112287833A true CN112287833A (zh) 2021-01-29

Family

ID=74353172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182064.XA Pending CN112287833A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质

Country Status (1)

Country Link
CN (1) CN112287833A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949474A (zh) * 2021-02-26 2021-06-11 山东鹰格信息工程有限公司 机场fod监测方法、设备、存储介质及装置
CN113229748A (zh) * 2021-05-31 2021-08-10 云鲸智能(深圳)有限公司 一种清洁控制方法、装置、清洁机器人及计算机存储介质
CN113478485A (zh) * 2021-07-06 2021-10-08 上海商汤智能科技有限公司 机器人及其控制方法、装置、电子设备、存储介质
CN113723371A (zh) * 2021-11-01 2021-11-30 陕西欧卡电子智能科技有限公司 无人船清洁路线规划方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法
CN110543174A (zh) * 2019-09-10 2019-12-06 速感科技（北京）有限公司 可通行区域图的建立方法、处理方法、装置和可移动设备
CN111145239A (zh) * 2019-12-30 2020-05-12 南京航空航天大学 一种基于深度学习的飞机油箱多余物自动检测方法
CN111166247A (zh) * 2019-12-31 2020-05-19 深圳飞科机器人有限公司 垃圾分类处理方法及清洁机器人
CN111539355A (zh) * 2020-04-27 2020-08-14 东北电力大学 一种基于深层神经网络的光伏板异物检测系统及检测方法
CN111657798A (zh) * 2020-06-02 2020-09-15 深圳市杉川机器人有限公司 基于场景信息的清扫机器人控制方法、装置和清扫机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法
CN110543174A (zh) * 2019-09-10 2019-12-06 速感科技（北京）有限公司 可通行区域图的建立方法、处理方法、装置和可移动设备
CN111145239A (zh) * 2019-12-30 2020-05-12 南京航空航天大学 一种基于深度学习的飞机油箱多余物自动检测方法
CN111166247A (zh) * 2019-12-31 2020-05-19 深圳飞科机器人有限公司 垃圾分类处理方法及清洁机器人
CN111539355A (zh) * 2020-04-27 2020-08-14 东北电力大学 一种基于深层神经网络的光伏板异物检测系统及检测方法
CN111657798A (zh) * 2020-06-02 2020-09-15 深圳市杉川机器人有限公司 基于场景信息的清扫机器人控制方法、装置和清扫机器人

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李杨: "基于视频的场景人员统计分析", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2020, no. 3, 15 March 2020 (2020-03-15), pages 138 - 1215 *
王耀南 等: "移动作业机器人感知、规划与控制", 北京：国防工业出版社, pages: 31 *
罗建坤 等: "基于深度学习的包裹追踪检测计数系统", 《自动化与信息工程》 *
罗建坤 等: "基于深度学习的包裹追踪检测计数系统", 《自动化与信息工程》, vol. 40, no. 6, 31 December 2019 (2019-12-31), pages 1 - 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949474A (zh) * 2021-02-26 2021-06-11 山东鹰格信息工程有限公司 机场fod监测方法、设备、存储介质及装置
CN113229748A (zh) * 2021-05-31 2021-08-10 云鲸智能(深圳)有限公司 一种清洁控制方法、装置、清洁机器人及计算机存储介质
CN113478485A (zh) * 2021-07-06 2021-10-08 上海商汤智能科技有限公司 机器人及其控制方法、装置、电子设备、存储介质
CN113723371A (zh) * 2021-11-01 2021-11-30 陕西欧卡电子智能科技有限公司 无人船清洁路线规划方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN112287833A (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN112315383B (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN112287834A (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN111539280A (zh) 基于自动驾驶技术的路面清扫方法、装置和计算机设备
KR102629036B1 (ko) 로봇 및 그의 제어 방법
CN112056991A (zh) 机器人的主动清洁方法、装置、机器人和存储介质
CN112487861A (zh) 车道线识别方法、装置、计算设备及计算机存储介质
CN110610130A (zh) 一种多传感器信息融合的输电线路机器人导航方法及系统
CN110866428A (zh) 目标跟踪方法、装置、电子设备及存储介质
WO2022088430A1 (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
Muhammad et al. Visual object detection based lidar point cloud classification
Chandra et al. Garbage detection and path-planning in autonomous robots
Othman et al. Comparison on cloud image classification for thrash collecting LEGO mindstorms EV3 robot
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템
Jain et al. A review on obstacle avoidance techniques for self-driving vehicle
Ghosh et al. Computer vision based obstacle identification using real-time illumination sensor data
Arulmozhi et al. Comparison of YOLO and Faster R‐CNN on Garbage Detection
Castro et al. Document image analysis by a mobile robot for autonomous indoor navigation
Silva et al. Line-based deep learning method for tree branch detection from digital images
Van Eden et al. An overview of robot vision
Abdul-Khalil et al. A review on object detection for autonomous mobile robot
Anjum et al. Deep Clean: A Weakly Supervised Waste Localization System Using Deep Convolutional Neural Network
Febriansyah et al. Trash Detection for Ocean Cleanup Robot using Remotely Operated Vehicle (ROV)
Crnokić et al. Fusion of infrared sensors and camera for mobile robot navigation system-simulation scenario
CN113827152B (zh) 区域状态确定方法、装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129