CN112315383A - 机器人的巡检清洁方法、装置、机器人和存储介质 - Google Patents

机器人的巡检清洁方法、装置、机器人和存储介质 Download PDF

Info

Publication number
CN112315383A
CN112315383A CN202011186175.8A CN202011186175A CN112315383A CN 112315383 A CN112315383 A CN 112315383A CN 202011186175 A CN202011186175 A CN 202011186175A CN 112315383 A CN112315383 A CN 112315383A
Authority
CN
China
Prior art keywords
robot
target
dirt
visual
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011186175.8A
Other languages
English (en)
Other versions
CN112315383B (zh
Inventor
沈孝通
侯林杰
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202011186175.8A priority Critical patent/CN112315383B/zh
Priority to CN202211111535.7A priority patent/CN115439797A/zh
Priority to PCT/CN2020/136691 priority patent/WO2022088430A1/zh
Publication of CN112315383A publication Critical patent/CN112315383A/zh
Application granted granted Critical
Publication of CN112315383B publication Critical patent/CN112315383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/29—Floor-scrubbing machines characterised by means for taking-up dirty liquid
    • A47L11/30—Floor-scrubbing machines characterised by means for taking-up dirty liquid by suction
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4094—Accessories to be used in combination with conventional vacuum-cleaning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种机器人的巡检清洁方法、装置、机器人和存储介质。该方法包括：采集机器人视野范围内的视觉数据；通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型；对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。该方法使得机器人能够通过视野范围实现整个工作空间的视野覆盖，且能够主动识别视野范围内存在的目标脏污，并以最短路径导航至各个目标脏污位置进行清洁操作，实现了机器人的主动巡检清洁，提高了机器人的清洁效率。

Description

机器人的巡检清洁方法、装置、机器人和存储介质
技术领域
本申请涉及机器人技术领域，特别是涉及一种机器人的巡检清洁方法、装置、机器人和存储介质。
背景技术
随着自动化技术和人工智能的迅速发展，机器人被广泛应用在各种场景。以清洁场景为例，清洁机器人可以通过无人驾驶技术完成简单重复的清洁任务，大大降低人力成本，实现清洁工作的自动化。
传统的机器人在进行巡检清洁时，一般按照预先规划的导航地图进行行驶，并在行驶过程中对地面进行全覆盖清洁。但是，传统的巡检清洁方式导致机器人的清洁效率较低。
发明内容
基于此，有必要针对传统的巡检清洁方式导致机器人的清洁效率较低的技术问题，提供一种机器人的巡检清洁方法、装置、机器人和存储介质。
第一方面，本申请实施例提供一种机器人的巡检清洁方法，包括：
采集机器人视野范围内的视觉数据；
通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
在其中一个实施例中，可选的，所述脏污检测网络包括下采样层和反卷积层；
通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，包括：
通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；
通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
在其中一个实施例中，可选的，所述脏污检测网络的获取过程，包括：
通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；
将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
在其中一个实施例中，可选的，所述采集机器人视野范围内的视觉数据，包括：
控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
在其中一个实施例中，可选的，所述控制机器人进行旋转，包括：基于至少一个传感器的视野范围，控制机器人旋转。
在其中一个实施例中，可选的，所述采集机器人视野范围内的视觉数据，包括：
控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。
在本实施例中，通过控制机器人进行旋转，并在旋转过程中采集机器人视野范围内的视觉数据，或者通过控制机器人的第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据。通过该技术方案，极大地扩大了机器人的数据采集范围，使得机器人能够主动识别更大范围内的视觉数据，并对识别到的目标脏污进行统筹清洁，从而进一步提高了机器人的清洁效率。
在其中一个实施例中，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在对所述至少一个目标脏污位置进行最短路径规划之前，所述方法还包括：
获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
第二方面，本申请实施例提供一种机器人的巡检清洁装置，包括：
采集模块，用于采集机器人视野范围内的视觉数据；
检测模块，用于通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
路径规划模块，用于对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制模块，用于控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
在其中一个实施例中，可选的，所述脏污检测网络包括下采样层和反卷积层；
检测模块，具体用于通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
在其中一个实施例中，可选的，该装置还包括：网络训练模块；
网络训练模块，用于通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
在其中一个实施例中，可选的，采集模块，具体用于控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
在其中一个实施例中，可选的，采集模块具体用于基于至少一个传感器的视野范围，控制机器人旋转。
在其中一个实施例中，可选的，采集模块，具体用于控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。在其中一个实施例中，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，该装置还包括：获取模块和转换模块；
获取模块，用于在路径规划模块对所述至少一个目标脏污位置进行最短路径规划之前，获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
转换模块，用于根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
第三方面，本申请实施例提供一种机器人，所述机器人包括：一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行本申请实施例第一方面提供的机器人的巡检清洁方法的指令。
第四方面，本申请实施例提供一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本申请实施例第一方面提供的机器人的巡检清洁方法。
本申请实施例提供的机器人的巡检清洁方法、装置、机器人和存储介质，采集机器人视野范围内的视觉数据，通过预设的脏污检测网络对采集的视觉数据进行检测，得到至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型，对至少一个目标脏污位置进行最短路径规划，得到目标清洁路径，并控制机器人按照目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过已训练好的脏污检测网络主动识别视野范围内存在的目标脏污，使得机器人仅需要聚焦工作空间内的目标脏污，并基于目标脏污的具体位置和具体类型有针对性地执行巡检清洁任务，无需对整个工作空间进行全路径清洁，提高了机器人的清洁效率。同时，在检测到至少一个目标脏污位置时，机器人还可以对至少一个目标脏污位置进行最短路径规划，使得机器人能够以最短路径导航至各个目标脏污位置，进一步提高了机器人的清洁效率。
附图说明
图1为本申请实施例提供的一种机器人的结构示意图；
图2为本申请实施例提供的机器人的巡检清洁方法的一种流程示意图；
图3为本申请实施例提供的一种脏污检测网络的结构示意图；
图4为本申请实施例提供的脏污检测网络的训练方法的一种流程示意图；
图5为本申请实施例提供的机器人的巡检清洁装置的一种结构示意图；
图6为本申请实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
本申请实施例提供的机器人的巡检清洁方法，可以适用于如图1所示的机器人。如图1所示，该机器人可以包括：传感器10、控制器11和执行组件12。其中，传感器10包括安装在机器人机身上的感知传感器和定位传感器，传感器10用于采集视野范围内的视觉数据，其可以是不同类型的摄像头、激光雷达、红外测距、超声波IMU(Inertial MeasurementUnit，惯性测量单元)、里程计等单个或多个传感器。控制器11可以包括芯片和控制电路，主要通过接收传感器10采集到的视觉数据，主动识别机器人视野范围内存在的目标脏污，并基于目标脏污的具体位置和具体类型来执行巡检清洁任务。执行组件12包括行走组件和清洁组件，用于接收控制器11的控制指令，按照所规划的行驶路径导航到目标脏污所在的位置，并实施清洁操作。
为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，下述方法实施例的执行主体可以是机器人的巡检清洁装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述机器人的部分或者全部。下述方法实施例以执行主体是机器人为例进行说明。
图2为本申请实施例提供的机器人的巡检清洁方法的一种流程示意图。本实施例涉及的是机器人如何对工作空间进行巡检清洁的具体过程。如图2所示，该方法可以包括：
S201、采集机器人视野范围内的视觉数据。
具体的，为了实现清洁工作的自动化，可以通过机器人对待清洁区域进行巡检清洁。其中，待清洁区域是指需要机器人巡检清洁的区域，其可以与机器人所处的环境相对应。机器人可以通过自身的视野范围和待清洁区域的电子地图，生成用于对待清洁区域进行视野覆盖的视野路径。其中，电子地图包括但不限于栅格地图、拓扑地图和矢量地图。机器人按照该视野路径进行行驶，并在行驶过程中主动采集视野范围内的视觉数据，以及主动识别并清理视觉数据中存在的目标脏污，从而实现对待清洁区域的主动巡检。
机器人上设置有视觉传感器，使得机器人可以通过该视觉传感器对其视野范围内的区域进行数据采集，从而得到视觉传感器的视野范围内的视觉数据。当用于采集视觉数据的视觉传感器对应的传感器类型不同时，通过视觉传感器所采集的视觉数据的类型也是不相同的。其中，上述视觉数据可以为图像数据，也可以为视频数据，还可以是点云数据。举例说明，上述视觉传感器可以为摄像头。机器人可以通过摄像头连续对其视野范围内的区域进行拍摄，得到监控视频，将该监控视频作为待识别的视觉数据。机器人也可以通过摄像头直接对视野范围内的区域进行拍摄，得到拍摄图像，将该拍摄图像作为待识别的视觉数据。
S202、通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据。
具体的，上述脏污检测网络为深度学习模型，其可以是预先建立并且经过视觉语义分割数据集和脏污数据集进行训练后配置在机器人中，以便检测视觉数据中存在的目标脏污。其中，上述视觉语义分割数据集可以为Cityscapes数据集；上述样本标注数据是指已标注样本脏污位置和样本脏污类型的原始样本数据。上述脏污检测网络可以是基于FChardnet、U-Net、V-Net以及PSPNet等网络建立的。
在得到视野范围内的视觉数据之后，机器人将视觉数据输入至已训练好的脏污检测网络中，通过脏污检测网络检测视觉数据中存在的目标脏污，并输出目标脏污位置和目标脏污类型。其中，目标脏污类型可以包括液体脏污和固体脏污。可选的，机器人可以通过脏污检测网络提取该视觉数据中的脏污特征，根据脏污特征，确定目标脏污类型。其中，脏污特征可以包括脏污颗粒大小以及脏污透明度(脏污透明度是指脏污的透光性能)。当脏污特征满足预设条件时，确定目标脏污类型为液体脏污；反之，确定目标脏污类型为固体脏污。上述预设条件包括：脏污颗粒大于预设颗粒大小，以及脏污透明度大于预设透明度。
可选的，上述脏污检测网络可以包括下采样层和反卷积层。针对此情况，在上述实施例的基础上，可选的，上述S202可以包括：通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型。
其中，上述脏污检测网络的网络结构可以如图3所示，从图3中可以看出，脏污检测网络包括N个下采样层和N个上采样层。图3中的输入层用于输入视觉数据，输出层用于输出视觉数据中的目标脏污位置和目标脏污类型。首先，机器人将采集到的视野范围内的视觉数据输入至输入层中，通过N个下采样层对视觉数据进行层级化的下采样操作，以提取视觉数据中的脏污特征，得到不同分辨率的特征图。接着，通过N个反卷积层对不同分辨率的特征图进行层级化的反卷积操作，直至最后一个反卷积层处理完毕为止，得到视觉数据中的目标脏污位置和目标脏污类型。
在实际应用中，为了更好地将脏污检测网络的注意力集中到脏污区域。可选的，该脏污检测网络还可以包括注意力门限块。上述通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作的过程可以为：通过注意力门限块对多分辨率的中间特征图逐层进行增强和抑制，并且进行反卷积操作。
需要说明的是，图3仅以脏污检测网络中包括的下采样层和反卷积层的个数N为4为例示出，本实施例并未具体限定脏污检测网络中包括的下采样层和反卷积层的具体个数，可以根据实际应用需求，对脏污检测网络中包括的下采样层和反卷积层的个数N进行相应设置。
通过反卷积层来实现对多分辨率的中间特征图的上采样操作，仅需要将中间特征图与反卷积层中的卷积核进行反卷积操作即可，相比使用双线性插值的上采样层来说，大大缩短了脏污检测的时间，提高了脏污检测的效率。
S203、对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径。
具体的，目标清洁路径是指机器人到达各个目标脏污位置的所有清洁路径中距离最短的清洁路径。在检测到至少一个目标脏污位置时，机器人可以根据至少一个目标脏污位置、待清洁区域的历史障碍物地图以及待清洁区域的当前障碍物地图，通过最短路径规划算法，生成到达各个目标脏污位置的目标清洁路径。其中，最短路径规划算法可以为Dijkstra算法、Floyd算法以及蚁群算法等。
S204、控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。
具体的，在目标清洁路径规划完毕之后，机器人便可以按照目标清洁路径依次导航至对应的目标脏污位置，并基于与目标脏污位置对应的目标脏污类型有针对性地对目标脏污位置进行清洁。
可选的，上述S204的过程可以为：根据所述目标脏污类型，生成目标清洁策略；控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及采用所述目标清洁策略对所述目标脏污位置进行清洁。
其中，机器人可以根据得到的目标脏污类型，生成清洁时所采用的目标清洁策略。当目标脏污类型为液体脏污时，由于是液体，因此可以先将液体吸干，再用干拖进行擦拭，据此，机器人生成的目标清洁策略可以为先使用吸水组件对液体进行吸干，再使用干拖组件对地面进行擦拭。当目标脏污类型为固体脏污时，由于是固体，因此可以将固体清扫，再用湿拖进行擦拭，据此，机器人生成的目标清洁策略可以为先使用吸尘组件对固体进行清扫，再使用湿拖组件对地面进行擦拭，进而使用烘干组件对地面进行烘干。当然，在生成目标清洁策略的过程中，还可以结合地面的材质。例如，当地面的材质为地板及地板砖时，可以使用吸尘组件进行吸尘，吸尘结束后再使用拖地组件进行擦地；当地面的材质为地毯上时，可以使用吸尘组件仅进行吸尘。
在得到目标清洁策略之后，机器人按照目标清洁路径依次导航至目标脏污位置，并采用生成的目标清洁策略对各个目标脏污位置进行清洁。在对最后一个目标脏污位置清洁完毕之后，机器人可以控制自身进行旋转，并在旋转过程中采集视觉范围内的视觉数据，以进一步识别下一步需要清洁的目标脏污，即反复执行上述S201-S204的过程，从而完成对整个工作空间的巡检清洁。
本申请实施例提供的机器人的巡检清洁方法，采集机器人视野范围内的视觉数据，通过预设的脏污检测网络对采集的视觉数据进行检测，得到至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型，对至少一个目标脏污位置进行最短路径规划，得到目标清洁路径，并控制机器人按照目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过已训练好的脏污检测网络主动识别视野范围内存在的目标脏污，使得机器人仅需要聚焦工作空间内的目标脏污，并基于目标脏污的具体位置和具体类型有针对性地执行巡检清洁任务，无需对整个工作空间进行全路径清洁，提高了机器人的清洁效率。同时，在检测到至少一个目标脏污位置时，机器人还可以对至少一个目标脏污位置进行最短路径规划，使得机器人能够以最短路径导航至各个目标脏污位置，进一步提高了机器人的清洁效率。
在一个实施例中，还提供了一种脏污检测网络的获取过程，即如何训练脏污检测网络。在上述实施例的基础上，可选的，如图4所示，该脏污检测网络的训练过程可以包括：
S401、通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络。
其中，虽然脏污识别平行数据(即脏污数据集)能够提高脏污检测网络的检测性能，但是，由于现阶段脏污识别平行数据较为匮乏，导致脏污检测网络的训练非常耗时耗力，且检测性能仍达不到期望要求。然而，视觉语义分割数据集较多，因此，可以通过样本数量较多的视觉语义分割数据集对脏污检测网络进行预训练，得到在样本数量较多的视觉语义分割数据集上训练的初始脏污检测网络。可选的，视觉语义分割数据集可以为Cityscapes数据集。通过这种预训练方式，可以避免网络训练早期的长时间缓慢学习阶段，从而极大地削减了网络训练时间。同时，也可以避免大量繁琐的超参数调优。
S402、将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
其中，在采用视觉语义分割数据集对脏污检测网络进行预训练，得到初始脏污检测网络之后，便可以继续使用收集的脏污数据集对初始脏污检测网络进行微调训练。即将脏污数据集中的原始样本数据作为初始脏污检测网络的输入，将脏污数据集中的样本标注数据作为初始脏污检测网络的期望输出，采用预设的损失函数对初始脏污检测网络的参数进行训练调整，直至达到损失函数的收敛条件，从而得到训练好的脏污检测网络。可选的，该损失函数可以为自举交叉熵损失函数。
为了使网络训练过程中采用的脏污数据集中的数据更多，计算机设备需要对脏污数据集进行数据扩充。为此，在上述实施例的基础上，可选的，在采用自举交叉熵损失函数继续对初始脏污检测网络进行训练之前，该方法还包括：对脏污数据集进行数据增强处理。其中，对脏污数据集进行数据增强处理的方式包括以下至少之一：随机裁剪、水平翻转以及颜色抖动。
其中，可以采用水平翻转镜像对脏污数据集进行数据扩充；也可以对脏污数据集进行裁剪，以实现对图像分割数据集的数据扩充，即随机选择一个位置作为裁剪中心对每个脏污数据进行裁剪；还可以对每个脏污数据进行颜色抖动，以实现脏污数据集的数据扩充。
在本实施例中，在对脏污检测网络进行训练的过程中，可以采用样本数量较多的视觉语义分割数据集对脏污检测网络进行预训练，再通过脏污数据集对预训练后得到的初始脏污检测网络进行微调训练。通过这种预训练方式，可以避免网络训练早期的长时间缓慢学习阶段，从而极大地削减了网络训练时间。同时，也可以避免大量繁琐的超参数调优。也就是说，本申请实施例所采用技术方案，缩短了脏污检测网络的训练时间，并提高了脏污检测网络的精度。
在实际应用中，为了扩大机器人的数据采集范围，以提高机器人主动巡检的效率，在上述实施例的基础上，可选的，上述S201的过程可以为：控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。可选的，控制机器人进行旋转的方式可以为：基于至少一个传感器的视野范围，控制机器人旋转。
其中，在基于机器人的视野范围和待清洁区域的电子地图，生成用于对待清洁区域进行视野覆盖的视野路径之后，机器人按照所规划的视野路径对待清洁区域进行巡检清洁。为了扩大机器人的数据采集范围，在机器人开始行进之前，可以基于至少一个传感器的视野范围控制机器人进行原地旋转，并在旋转过程中采集机器人视野范围内的视觉数据，这样，随着机器人的旋转，机器人的视野方向不断调整，使得机器人在当前位置便能够采集到更大范围内的视觉数据。当然，也可以在机器人行进过程中基于至少一个传感器的视野范围控制机器人进行旋转，并在旋转过程中不断采集机器人视野范围内的视觉数据。实际使用时，可以对机器人的旋转时机进行设置，本实施例对此不做限定。
为了进一步扩大机器人的数据采集范围，可选的，上述控制机器人进行旋转的过程可以为：控制机器人旋转一周。即在机器人开始行进之前，控制机器人原地旋转一周，或者在机器人行进过程中控制机器人旋转一周，并在旋转过程中采集机器人视野范围内的视觉数据，使得机器人能够对自身360度范围内的视觉数据进行采集，极大地扩大了机器人的数据采集范围，使得机器人能够主动识别更大范围内的视觉数据，并对识别到的目标脏污进行统筹清洁，从而进一步提高了机器人的清洁效率。
在实际应用中，可以通过视觉传感器来采集机器人工作空间内的视觉数据。可选的，机器人上安装有第一视觉传感器和第二视觉传感器。其中，第一视觉传感器为机器人的前视传感器，且视野角度的中轴线与水平线平行；所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。针对此情况，在上述实施例的基础上，可选的，上述S201的过程可以为：控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据。
其中，由于第一视觉传感器的视线是平视的，因此，其可以获得比较大的感知范围，用于感知待清洁区域内较远处的环境信息。由于第二视觉传感器的视线是下视的，能够直接对准地面，因此，第二视觉传感器能够更加清晰地感知近处地面的环境信息，可以有效弥补第一视觉传感器的视野盲区。针对此情况，在机器人进行巡检清洁过程中，可以控制第一视觉传感器和第二视觉传感器采集各自视野范围内的视觉数据，使得机器人不仅可以采集较远视野范围内的数据，也可以通过第二视觉传感器采集第一视觉传感器视野盲区内的数据，极大地扩大了机器人的数据采集范围。
进一步的，还可以控制第一视觉传感器和第二传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据，这样，随着第一视觉传感器和第二视觉传感器的旋转，机器人的视野方向不断调整，使得机器人能够采集更大范围内的视觉数据，进一步扩大了机器人的数据采集范围。在实际应用中，可以根据实际需求，控制第一视觉传感器和第二视觉传感器的旋转角度。可选的，该旋转角度可以为360度。
在本实施例中，通过控制机器人进行旋转，并在旋转过程中采集机器人视野范围内的视觉数据，或者通过控制机器人的第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据。通过该技术方案，极大地扩大了机器人的数据采集范围，使得机器人能够主动识别更大范围内的视觉数据，并对识别到的目标脏污进行统筹清洁，从而进一步提高了机器人的清洁效率。
在实际应用中，通常机器人通过摄像机来采集视野范围内的视觉数据。此时，机器人通过训练好的脏污检测网络检测出的目标脏污位置是以图像坐标系计算得到的。针对此情况，即在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在上述实施例的基础上，可选的，在上述S203之前，该方法还可以包括：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
具体的，在获取到机器人的图像坐标系和雷达坐标系之间的第一对应关系以及雷达坐标系与世界坐标系之间的第二对应关系之后，机器人根据第一对应关系对目标脏污位置进行投影变换，再基于第二对应关系对投影变换后的脏污位置进行转换，从而得到目标脏污在世界坐标系下的实际位置。可选的，上述获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系可以包括：分别获取所述机器人在图像坐标系和雷达坐标系下针对同一待采集对象采集的第一数据和第二数据；将所述第一数据和所述第二数据进行匹配，得到多组匹配的特征点；根据所述多组匹配的特征点，确定所述机器人的图像坐标系和雷达坐标系之间的第一对应关系。
其中，可以预先将待采集对象设置在一墙角上。机器人上设置有摄像机和激光雷达，机器人分别控制摄像机和激光雷达从不同角度对设置在墙角上的待采集对象进行数据采集，从而得到第一数据和第二数据。接着，分别检测第一数据和第二数据中的特征点，并将第一数据和第二数据中的特征点进行匹配，得到多组匹配的特征点。通常，需要确定出四组匹配的特征点甚至更多。再接着，通过多组匹配的特定点，建立相应的方程组，通过求解方程组即可得到机器人的图像坐标系和雷达坐标系之间的对应关系。
在本实施例中，机器人通过机器人的图像坐标系和雷达坐标系之间的第一对应关系以及雷达坐标系和世界坐标系之间的第二对应关系对目标脏污位置进行转换，使得最终得到的目标脏污的实际位置更准确，进而基于准确的脏污位置控制机器人执行巡检清洁任务，进一步提高了机器人的清洁精度和清洁效率。
图5为本申请实施例提供的机器人的巡检清洁装置的一种结构示意图。如图5所示，该装置可以包括：采集模块50、检测模块51、路径规划模块52和控制模块53。
具体的，采集模块50用于采集机器人视野范围内的视觉数据；
检测模块51用于通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
路径规划模块52用于对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制模块53用于控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
本申请实施例提供的机器人的巡检清洁装置，采集机器人视野范围内的视觉数据，通过预设的脏污检测网络对采集的视觉数据进行检测，得到至少一个目标脏污位置和至少一个目标脏污位置对应的目标脏污类型，对至少一个目标脏污位置进行最短路径规划，得到目标清洁路径，并控制机器人按照目标清洁路径依次导航至对应的目标脏污位置，以及基于对应的目标脏污类型执行巡检清洁任务。在巡检清洁过程中，机器人通过自身的视野范围即可实现整个工作空间的视野覆盖，并且机器人能够通过已训练好的脏污检测网络主动识别视野范围内存在的目标脏污，使得机器人仅需要聚焦工作空间内的目标脏污，并基于目标脏污的具体位置和具体类型有针对性地执行巡检清洁任务，无需对整个工作空间进行全路径清洁，大大提高了机器人的清洁效率。同时，在检测到至少一个目标脏污位置时，机器人还可以对至少一个目标脏污位置进行最短路径规划，使得机器人能够以最短路径导航至各个目标脏污位置，进一步提高了机器人的清洁效率。
在上述实施例的基础上，可选的，所述脏污检测网络包括下采样层和反卷积层；
具体的，检测模块51具体用于通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
在上述实施例的基础上，可选的，该装置还包括：网络训练模块54；
具体的，网络训练模块54用于通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
在上述实施例的基础上，可选的，采集模块50具体用于控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
在上述实施例的基础上，可选的，采集模块50具体用于基于至少一个传感器的视野范围，控制机器人旋转。
在上述实施例的基础上，可选的，采集模块50具体用于控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。
在上述实施例的基础上，可选的，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，该装置还包括：获取模块55和转换模块56；
具体的，获取模块55用于在路径规划模块52对至少一个目标脏污位置进行最短路径规划之前，获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
转换模块56，用于根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
在一个实施例中，提供了一种机器人，其结构示意图可以如图1所示。该机器人可以包括：一个或多个处理器、存储器；和一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行上述任意实施例所述的机器人的巡检清洁方法的指令。
具体的，上述一个或多个处理器执行所述程序时实现以下步骤：
采集机器人视野范围内的视觉数据；
通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
在一个实施例中，所述脏污检测网络包括下采样层和反卷积层；上述一个或多个处理器执行所述程序时还实现以下步骤：通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：基于至少一个传感器的视野范围，控制机器人旋转。
在一个实施例中，上述一个或多个处理器执行所述程序时还实现以下步骤：控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。在一个实施例中，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，上述一个或多个处理器执行所述程序时还实现以下步骤：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
在一个实施例中，如图6所示，提供了一种包含计算机可执行指令601的非易失性计算机可读存储介质60，当所述计算机可执行指令被一个或多个处理器61执行时，使得所述处理器61执行以下步骤：
采集机器人视野范围内的视觉数据；
通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
在一个实施例中，所述脏污检测网络包括下采样层和反卷积层；计算机可执行指令被处理器执行时还实现以下步骤：通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：基于至少一个传感器的视野范围，控制机器人旋转。
在一个实施例中，计算机可执行指令被处理器执行时还实现以下步骤：控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。在一个实施例中，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，计算机可执行指令被处理器执行时还实现以下步骤：获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
上述实施例中提供的机器人的巡检清洁装置、机器人和存储介质可执行本申请任意实施例所提供的机器人的巡检清洁方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的机器人的巡检清洁方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人的巡检清洁方法，其特征在于，包括：
采集机器人视野范围内的视觉数据；
通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
2.根据权利要求1所述的方法，其特征在于，所述脏污检测网络包括下采样层和反卷积层；
通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，包括：
通过所述下采样层对所述视觉数据进行层级化的下采样操作，得到多分辨率的中间特征图；
通过所述反卷积层对所述多分辨率的中间特征图进行层级化的反卷积操作，得到所述视觉数据中的至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型。
3.根据权利要求1所述的方法，其特征在于，所述脏污检测网络的获取过程，包括：
通过所述视觉语义分割数据集对所述脏污检测网络进行预训练，得到初始脏污检测网络；
将所述原始样本数据作为所述初始脏污检测网络的输入，将所述样本标注数据作为所述初始脏污检测网络的期望输出，采用预设的损失函数继续对所述初始脏污检测网络进行训练。
4.根据权利要求1所述的方法，其特征在于，所述采集机器人视野范围内的视觉数据，包括：
控制机器人进行旋转，并在旋转过程中采集所述机器人视野范围内的视觉数据。
5.根据权利要求4所述的方法，其特征在于，所述控制机器人进行旋转，包括：基于至少一个传感器的视野范围，控制机器人旋转。
6.根据权利要求1所述的方法，其特征在于，所述采集机器人视野范围内的视觉数据，包括：
控制第一视觉传感器和第二视觉传感器进行旋转，并在旋转过程中采集各自视野范围内的视觉数据；其中，所述第一视觉传感器为所述机器人的前视传感器，且视野角度的中轴线与水平线平行，所述第二视觉传感器为所述机器人的下视传感器，且视野角度的中轴线位于水平线下方，与水平线相交。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述视觉数据是以所述机器人的图像坐标系为基准所采集的情况下，在对所述至少一个目标脏污位置进行最短路径规划之前，所述方法还包括：
获取所述机器人的图像坐标系和雷达坐标系之间的第一对应关系以及所述雷达坐标系与世界坐标系之间的第二对应关系；
根据所述第一对应关系和第二对应关系，对所述至少一个目标脏污位置进行转换。
8.一种机器人的巡检清洁装置，其特征在于，包括：
采集模块，用于采集机器人视野范围内的视觉数据；
检测模块，用于通过预设的脏污检测网络对所述视觉数据进行检测，得到至少一个目标脏污位置和所述至少一个目标脏污位置对应的目标脏污类型，其中，所述脏污检测网络通过视觉语义分割数据集和脏污数据集进行训练得到，所述脏污数据集包括原始样本数据以及与所述原始样本数据对应的样本标注数据；
路径规划模块，用于对所述至少一个目标脏污位置进行最短路径规划，得到目标清洁路径；
控制模块，用于控制所述机器人按照所述目标清洁路径依次导航至对应的目标脏污位置，以及基于所述目标脏污类型执行巡检清洁任务。
9.一种机器人，所述机器人包括：一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行权利要求1至7中任意一项所述的机器人的巡检清洁方法的指令。
10.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至7中任意一项所述的机器人的巡检清洁方法。
CN202011186175.8A 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质 Active CN112315383B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011186175.8A CN112315383B (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质
CN202211111535.7A CN115439797A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质
PCT/CN2020/136691 WO2022088430A1 (zh) 2020-10-29 2020-12-16 机器人的巡检清洁方法、装置、机器人和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186175.8A CN112315383B (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211111535.7A Division CN115439797A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质

Publications (2)

Publication Number Publication Date
CN112315383A true CN112315383A (zh) 2021-02-05
CN112315383B CN112315383B (zh) 2022-08-23

Family

ID=74296319

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211111535.7A Pending CN115439797A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质
CN202011186175.8A Active CN112315383B (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211111535.7A Pending CN115439797A (zh) 2020-10-29 2020-10-29 机器人的巡检清洁方法、装置、机器人和存储介质

Country Status (1)

Country Link
CN (2) CN115439797A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229750A (zh) * 2021-04-06 2021-08-10 深圳市无限动力发展有限公司 扫地机的清扫消毒路径控制方法、装置、设备及介质
CN114253276A (zh) * 2022-01-14 2022-03-29 湖南九九智能环保股份有限公司 一种智能化集中收尘方法和装置
CN114794993A (zh) * 2022-06-28 2022-07-29 山西嘉世达机器人技术有限公司 清洁机的控制方法、装置、清洁机、控制设备及存储介质
CN114931337A (zh) * 2022-01-23 2022-08-23 深圳银星智能集团股份有限公司 清理方法及污物清理设备
CN114983276A (zh) * 2022-06-17 2022-09-02 苏州大学 一种杀菌除虫扫地机器人
CN115016570A (zh) * 2022-06-30 2022-09-06 浪潮(山东)计算机科技有限公司 一种温度控制方法及相关设备
CN115299814A (zh) * 2022-07-19 2022-11-08 广州大学 基于超声波清洁的智能清洁机器人控制系统及控制方法
CN116311095A (zh) * 2023-03-16 2023-06-23 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质
WO2023138365A1 (zh) * 2022-01-24 2023-07-27 追觅创新科技(苏州)有限公司 清洁设备的控制方法、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117000692A (zh) * 2023-10-07 2023-11-07 深圳市世纪阳光照明有限公司 基于智能控制的太阳能路灯清洁方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530320A (zh) * 2016-09-30 2017-03-22 深圳大学 一种端到端的图像分割处理方法及系统
CN108932510A (zh) * 2018-08-20 2018-12-04 贵州宜行智通科技有限公司 一种垃圾检测方法及装置
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110924340A (zh) * 2019-11-25 2020-03-27 武汉思睿博特自动化系统有限公司 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111543902A (zh) * 2020-06-08 2020-08-18 深圳市杉川机器人有限公司 地面清洁方法、装置、智能清洁设备和存储介质
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530320A (zh) * 2016-09-30 2017-03-22 深圳大学 一种端到端的图像分割处理方法及系统
CN108932510A (zh) * 2018-08-20 2018-12-04 贵州宜行智通科技有限公司 一种垃圾检测方法及装置
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110924340A (zh) * 2019-11-25 2020-03-27 武汉思睿博特自动化系统有限公司 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN111543902A (zh) * 2020-06-08 2020-08-18 深圳市杉川机器人有限公司 地面清洁方法、装置、智能清洁设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229750A (zh) * 2021-04-06 2021-08-10 深圳市无限动力发展有限公司 扫地机的清扫消毒路径控制方法、装置、设备及介质
CN114253276A (zh) * 2022-01-14 2022-03-29 湖南九九智能环保股份有限公司 一种智能化集中收尘方法和装置
CN114253276B (zh) * 2022-01-14 2023-03-28 湖南九九智能环保股份有限公司 一种智能化集中收尘方法和装置
CN114931337A (zh) * 2022-01-23 2022-08-23 深圳银星智能集团股份有限公司 清理方法及污物清理设备
WO2023138365A1 (zh) * 2022-01-24 2023-07-27 追觅创新科技(苏州)有限公司 清洁设备的控制方法、设备及存储介质
CN114983276A (zh) * 2022-06-17 2022-09-02 苏州大学 一种杀菌除虫扫地机器人
CN114794993A (zh) * 2022-06-28 2022-07-29 山西嘉世达机器人技术有限公司 清洁机的控制方法、装置、清洁机、控制设备及存储介质
CN115016570A (zh) * 2022-06-30 2022-09-06 浪潮(山东)计算机科技有限公司 一种温度控制方法及相关设备
CN115299814A (zh) * 2022-07-19 2022-11-08 广州大学 基于超声波清洁的智能清洁机器人控制系统及控制方法
CN116311095A (zh) * 2023-03-16 2023-06-23 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质
CN116311095B (zh) * 2023-03-16 2024-01-02 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115439797A (zh) 2022-12-06
CN112315383B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN112315383B (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN112287834A (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
JP6018231B2 (ja) 映像ソース及び画像ソースにおける静止要素を検出するための方法、システム、撮像装置、可動装置、及びプログラム製品
CN111539280B (zh) 基于自动驾驶技术的路面清扫方法、装置和计算机设备
US20190080463A1 (en) Real-time height mapping
CN112287833A (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN111609852A (zh) 语义地图构建方法、扫地机器人及电子设备
CN111679661A (zh) 基于深度相机的语义地图构建方法及扫地机器人
CN112056991A (zh) 机器人的主动清洁方法、装置、机器人和存储介质
CN111679664A (zh) 基于深度相机的三维地图构建方法及扫地机器人
Liu et al. An enhanced lidar inertial localization and mapping system for unmanned ground vehicles
CN110989638A (zh) 一种基于自主航行技术的水下建筑物缺陷检测方法
CN113947623A (zh) 一种粗糙度检测方法、slam定位方法及施工方法
WO2022088430A1 (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN112748721A (zh) 视觉机器人及其清洁控制方法、系统和芯片
Lim et al. MSDPN: Monocular depth prediction with partial laser observation using multi-stage neural networks
CN110595457B (zh) 伪激光数据生成方法、地图构建方法、导航方法及系统
CN108363387A (zh) 传感器控制方法及装置
Roh et al. Rapid SLAM using simple map representation in indoor environment
Brahmanage et al. Building 2D Maps with Integrated 3D and Visual Information using Kinect Sensor
Xie et al. Lidar-IMU fusion for 2.5 D mapping
WO2022054531A1 (ja) 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
JP2022047499A (ja) 車両制御装置、車両制御方法、車両制御プログラム
JP2022075247A (ja) 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム
Ali et al. Online Mapping-Based Navigation System for Wheeled Mobile Robot in Road Following and Roundabout

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant