CN111275112A - 机器人控制方法、机器人和可读存储介质 - Google Patents

机器人控制方法、机器人和可读存储介质 Download PDF

Info

Publication number
CN111275112A
CN111275112A CN202010065790.7A CN202010065790A CN111275112A CN 111275112 A CN111275112 A CN 111275112A CN 202010065790 A CN202010065790 A CN 202010065790A CN 111275112 A CN111275112 A CN 111275112A
Authority
CN
China
Prior art keywords
robot
image
control method
area
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010065790.7A
Other languages
English (en)
Inventor
洪汉
沈孝通
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202010065790.7A priority Critical patent/CN111275112A/zh
Publication of CN111275112A publication Critical patent/CN111275112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种机器人控制方法、机器人和可读存储介质。机器人控制方法包括：获取机器人采集的环境图像；利用训练好的卷积网络模型对环境图像进行区域划分获取图像区域；和根据划分的图像区域确定机器人的工作模式。本申请实施方式的机器人和机器人控制方法中，机器人通过卷积神经网络提取机器人采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人可以根据划分的图像区域确定机器人的工作模式以使机器人能够灵活地对不同区域的执行不同的任务。

Description

机器人控制方法、机器人和可读存储介质
技术领域
本申请涉及机器人智能控制技术领域，更具体而言，涉及一种机器人控制方法、机器人和可读存储介质。
背景技术
相关技术中，机器人在清洗或执行其他任务时，针对不同的任务场景，通常会采用固定的控制策略。比如，在地毯或者水泥路面时，会以相同的速度通行，执行相同的清洗方案。固定的控制策略，实现起来比较简单。但是，不具有柔性，会对机器人的工作效率有一定限制。同时，也无法满足一些定制化的需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提供一种用于指导机器人执行任务的机器人控制方法，能够实现对环境区域的识别，并根据不同区域采用不同的工作模式，以使机器人能够灵活地对不同区域来执行不同的任务。
本发明的另一个目的在于提供一种可根据不同区域的执行不同的任务的机器人和可读存储介质。
为达到上述目的，本申请实施方式提供一种机器人控制方法，机器人控制方法包括：获取所述机器人采集的环境图像；利用训练好的卷积网络模型对所述环境图像进行区域划分获取图像区域；和根据划分的所述图像区域确定所述机器人的工作模式。
本申请实施方式的机器人控制方法中，机器人通过卷积神经网络提取机器人采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人可以根据划分的图像区域确定机器人的工作模式以使机器人能够灵活地对不同区域的执行不同的任务。
在某些实施方式中，所述机器人控制方法包括：构建卷积网络模型；获取由所述机器人采集且根据图像区域类型分割标注好的训练图像；和利用所述训练图像对构建好的卷积网络模型进行训练以得到所述训练好的卷积网络模型。由机器人采集的图像作为训练图像，然后对训练图像中不同类型的区域进行标注以作为训练样本，将训练样本输入以训练卷积神经网络模型从而使得神经网络模型可以优化模型的参数。
在某些实施方式中，所述利用训练好的卷积网络模型对所述环境图像进行区域划分的步骤包括：利用多个卷积层提取所述环境图像的图像特征；根据提取的所述图像特征对图像像素进行分类；和根据所述图像像素的分类划分所述图像区域。卷积网络模型通过多个卷积层对图像特征进行提取，实现对图像像素进行分类，可以将每一像素归类为指定的地面类型或者背景，进而实现图像区域的划分。
在某些实施方式中，所述图像区域包括可行驶区域和背景区域，所述机器人控制方法包括：控制所述机器人在所述可行驶区域内工作。通过对可行驶区域的识别，保证机器人行驶的安全性和可靠性。
在某些实施方式中，所述可行驶区域包括多种地面类型区域，所述工作模式包括多种清洁模式，所述根据划分的所述图像区域确定所述机器人的工作模式的步骤包括：根据划分的地面类型区域确定所述机器人的清洁模式；和/或控制所述机器人以确定的所述清洁模式清洁相应的地面类型区域。机器人结合各个地面类型的特点，再根据分割结果制定相应的清洗方案，并以不同的清洗参数工作，满足一些定制化的需求。
在某些实施方式中，所述卷积网络模型采用残差学习模块以及空间金字塔池化模块进行图像特征提取。通过引入残差学习模块和空间金字塔池化模块，极大地提高了图像区域划分的精度，能够满足地面图像的精细分割。
在某些实施方式中，所述空间金字塔池化模块以不同采样率的空洞卷积并行采样以提取图像特征。空间金字塔池化模块包含不同采样率的空洞卷积，增强模型识别不同尺寸的同一物体的能力。
本申请实施方式提供一种机器人，机器人包括获取模块、划分模块和确定模块，所述获取模块用于获取所述机器人采集的环境图像；所述划分模块用于利用训练好的卷积网络模型对所述环境图像进行区域划分获取图像区域；和所述确定模块用于根据划分的所述图像区域确定所述机器人的工作模式。
本申请实施方式的机器人通过卷积神经网络提取机器人采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人可以根据划分的图像区域确定机器人的工作模式以使机器人能够灵活地对不同区域的执行不同的任务。
在某些实施方式中，所述机器人包括模型构建模块、样本获取模块和训练模块，模型构建模块用于构建卷积网络模型；所述样本获取模块获取由所述机器人采集且根据图像区域类型分割标注好的训练图像；和所述训练模块利用所述训练图像对构建好的卷积网络模型进行训练以得到所述训练好的卷积网络模型。由机器人采集的图像作为训练图像，然后对训练图像中不同类型的区域进行标注以作为训练样本，将训练样本输入以训练卷积神经网络模型从而使得神经网络模型可以优化模型的参数。
在某些实施方式中，所述划分模块包括特征提取单元、像素分类单元和区域划分单元，所述特征提取单元用于利用多个卷积层提取所述环境图像的图像特征；所述像素分类单元用于根据提取的所述图像特征对图像像素进行分类；和所述区域划分单元用于根据所述图像像素的分类划分所述图像区域。卷积网络模型通过多个卷积层对图像特征进行提取，实现对图像像素进行分类，可以将每一像素归类为指定的地面类型或者背景，进而实现图像区域的划分。
在某些实施方式中，所述图像区域包括可行驶区域和背景区域，所述机器人包括控制模块，所述控制模块用于控制所述机器人在所述可行驶区域内工作。通过对可行驶区域的识别，保证机器人行驶的安全性和可靠性。
在某些实施方式中，所述可行驶区域包括多种地面类型区域，所述工作模式包括多种清洁模式，所述确定模块用于根据划分的地面类型区域确定所述机器人的清洁模式；和/或所述控制模块用于控制所述机器人以确定的所述清洁模式清洁相应的地面类型区域。机器人结合各个地面类型的特点，再根据分割结果制定相应的清洗方案，并以不同的清洗参数工作，满足一些定制化的需求。
本申请实施方式提供一种机器人，机器人包括处理器、可读存储介质及存储在所述可读存储介质上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时，使得所述处理器执行上述任一实施方式所述的控制方法。
本申请实施方式的机器人通过处理器执行计算机可执行指令，利用卷积神经网络提取机器人采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人可以根据划分的图像区域确定机器人的工作模式以使机器人能够灵活地对不同区域的执行不同的任务。
本申请实施方式提供一种非易失性计算机可读存储介质，计算机可读存储介质包括计算机可执行指令，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行上述实施方式的机器人控制方法。
本申请实施方式的可读存储介质中，通过处理器执行计算机可执行指令，机器人可以通过卷积神经网络提取机器人采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人可以根据划分的图像区域确定机器人的工作模式以使机器人能够灵活地对不同区域的执行不同的任务。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的机器人的模块示意图。
图2是本申请实施方式的机器人控制方法的流程示意图。
图3是本申请实施方式的机器人控制方法的另一流程示意图。
图4是本申请实施方式的机器人的另一模块示意图。
图5是本申请实施方式的机器人控制方法的又一流程示意图。
图6是本申请实施方式的卷积网络模型的示意图。
图7是本申请实施方式的残差学习模块的示意图。
图8是本申请实施方式的机器人控制方法的再一流程示意图。
图9是本申请实施方式的机器人应用场景示意图。
图10是本申请实施方式的机器人的又一模块示意图。
图11是本申请实施方式的机器人的再一模块示意图。
主要元件符号说明：
机器人10、获取模块11、划分模块12、特征提取单元122、像素分类单元124、区域划分单元126、确定模块13、图像传感器14、模型构建模块15、样本获取模块16、训练模块17、控制模块18、处理器19、可读存储介质20、计算机可执行指令22、终端设备30、服务器40。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请参阅图1和图2，本申请实施方式的机器人10控制方法用于控制机器人10执行任务。机器人10包括但不限于清洁机器人10、运输机器人10、巡逻机器人10等可移动机器人10。
在某些实施方式中，机器人10控制方法包括：
步骤S1，获取机器人10采集的环境图像；
步骤S2，利用训练好的卷积网络模型对环境图像进行区域划分获取图像区域；和
步骤S3，根据划分的图像区域确定机器人10的工作模式。
具体地，对于机器人10来说，机器人10可以包括获取模块11、划分模块12和确定模块13，步骤S1可以由获取模块11实现，步骤S2可以由划分模块12实现，步骤S3可以由确定模块13实现。也即是说，获取模块11可以用于获取机器人10采集的环境图像；划分模块12可以用于利用训练好的卷积网络模型对环境图像进行区域划分获取图像区域；和确定模块13可以用于根据划分的图像区域确定机器人10的工作模式。
本申请实施方式的机器人10和机器人10控制方法中，机器人10通过卷积神经网络提取机器人10采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人10可以根据划分的图像区域确定机器人10的工作模式以使机器人10能够灵活地对不同区域的执行不同的任务。
在某些实施方式中，机器人10可以包括图像传感器14，机器人10通过图像传感器14采集环境图像。图像传感器14可以是深度图像传感器14、灰度图像传感器14或者彩色图像传感器14等。相应地，环境图像可以是深度图像、灰度图像或彩色图像等。
如此，机器人10可以通过图像传感器14实时采集环境图像，从而实现对工作区域的识别，并指导机器人10执行相应的任务。
请参阅图3和图4，在某些实施方式中，机器人10控制方法包括：
步骤S01，构建卷积网络模型；
步骤S02，获取由机器人10采集且根据图像区域类型分割标注好的训练图像；和
步骤S03，利用训练图像对构建好的卷积网络模型进行训练以得到训练好的卷积网络模型。
相应地，机器人10可以包括模型构建模块15、样本获取模块16和训练模块17，步骤S01可以由模型构建模块15实现，步骤S02可以由样本获取模块16实现，步骤S03可以由训练模块17实现。也即是说，模型构建模块15可以用于构建卷积网络模型；样本获取模块16可以用于获取由机器人10采集且根据图像区域类型分割标注好的训练图像；和训练模块17可以用于利用训练图像对构建好的卷积网络模型进行训练以得到训练好的卷积网络模型。
如此，由机器人10采集的图像作为训练图像，然后对训练图像中不同类型的区域进行标注以作为训练样本，将训练样本输入以训练卷积神经网络模型从而使得神经网络模型可以优化模型的参数。
可以理解，卷积网络模型中各个卷积层的参数、卷积层的层次分布以及模型的深度等可以决定模型的识别精度，用户可以根据需要设计相应的卷积网络模型，从而步骤S01可以由机器人10根据用户输入构建卷积网络模型。
在步骤S2中，训练图像由机器人10通过图像传感器14采集可以保证图像的质量相近，从而将训练图像作为样本训练卷积网络模型时可以较好地训练出适用于机器人10的卷积网络模型。另外，机器人10采集图像后可以根据图像中目标对象的类别进行标注从而得到具有相应标注的训练图像。
在某些实施方式中，对训练图像进行标注时，对于图像中的各个像素，根据图像像素所属类别分配不同的标签颜色以及类别号(class ID)。
具体地，像素分类类别、类别号以及相应像素值呈对应关系，机器人10可以根据像素分类类别、类别号以及相应像素值的对应关系对图像中的像素进行分割标注。当然，还可以是有用户主动对训练图像进行分割标注，从而保证训练图像分割标注的准确性。
需要说明的是，训练好的卷积神经网络模型可以是由机器人10单独训练得到。当然，训练好的神经网络模型还可以是由外部计算机设备训练得到，然后将训练好的卷积神经网络应用到机器人10，从而机器人10可以通过训练好的卷积网络模型划分图像区域。或者训练好的神经网络模型还可以是机器人10和外部计算机设备共同训练得到，在此不做具体限定。
请参阅图5，在某些实施方式中，步骤S2包括：
步骤S22，利用多个卷积层提取环境图像的图像特征；
步骤S24，根据提取的图像特征对图像像素进行分类；和
步骤S26，根据图像像素的分类划分图像区域。
具体地，划分模块12可以包括特征提取单元122、像素分类单元124和区域划分单元126，步骤S22可以由特征提取单元122实现，步骤S24可以由像素分类单元124实现，步骤S26可以由区域划分单元126实现。也即是说，特征提取单元122可以用于利用多个卷积层提取环境图像的图像特征；像素分类单元124可以用于根据提取的图像特征对图像像素进行分类；和区域划分单元126可以用于根据图像像素的分类划分图像区域。
如此，卷积网络模型通过多个卷积层对图像特征进行提取，实现对图像像素进行分类，可以将每一像素归类为指定的地面类型或者背景，进而实现图像区域的划分。
请参阅图6和图7，在某些实施方式中，卷积网络模型采用残差学习(ResidualNetwork，ResNet)模块以及空间金字塔池化(Atrous Spacial Pyramid Pooling，ASPP)模块进行图像特征提取。
如此，通过引入残差学习模块和空间金字塔池化模块，极大地提高了图像区域划分的精度，能够满足地面图像的精细分割。
具体地，对于深度学习，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当网络层数更深时理论上可以取得更好的结果。但是，进一步增加层数，学习计算过程中出现梯度消失，学习率下降甚至停滞等情况，可能会使得深度网络准确度出现饱和，甚至出现下降。
本申请的卷积网络模型采用残差学习模块进行图像特征提取，残差学习模块引入了恒等短路连接(Identity shortcut connection)。对于一个浅层网络，通过向上堆积新层来建立深层网络，一个极端情况是这些增加的层什么也不学习，仅仅复制浅层网络的特征。在这种情况下，深层网络应该至少和浅层网络性能一样，也不应该出现退化现象。在图6所示的例子中，Block1、Block2、Block3和Block4表示残差网络中的各个模块。如图7所示为残差学习模块的一个残差块，对于一个堆积层结构，当输入为x时，其学习到的特征记为H(x)，通过恒等短路连接(shortcut connection)，将输入连接到残差块最后一层激活函数的输出，进而转换为学习一个残差函数F(x)＝H(x)-x，只要F(x)＝0，构成了恒等映射H(x)＝x，可以较好地拟合残差。如此，使用恒等短路连接——残差学习模块，可以增加网络的层数，提取更多的图像特征，从而提高学习精度。
请再次参阅图6，在某些实施方式中，空间金字塔池化模块以不同采样率的空洞卷积并行采样以提取图像特征。
其中，在进行像素分类之前，卷积神经网络采用空间金字塔池化模块以不同采样率的空洞卷积提取图像特征，在单独的分支中进一步处理，并融合以生成最终结果，实现了从多个尺度(比例)进一步提取图像特征。
进一步地，在某些实施方式中，空间金字塔池化模块包含不同采样率的空洞卷积，加入了全局池化层和1*1卷积层。
例如，在图6所示的实施例中，(a)中3*3的卷积层，分别采用了6、12及18共3种采样率的空洞卷积提取图像特征，并且加入了1*1的卷积层。另外，空间金字塔池化模块还加入了(b)中的全局池化层，对整个图像进行池化。空间金字塔池化模块将(a)与(b)的结果进行融合，提取了更多的图像特征信息，从而增强模型识别不同尺寸的同一物体的能力。
在某些实施方式中，图像区域包括可行驶区域和背景区域，机器人10控制方法包括：控制机器人10在可行驶区域内工作。
具体地，机器人10可以包括控制模块18，控制模块18可以用于控制机器人10在可行驶区域内工作。
如此，机器人10通过对可行驶区域的识别，保证机器人10行驶的安全性和可靠性。在一些例子中，可行驶区域可以是水泥路面、地板、毛石、瓷砖、地坪、地毯等。
在某些实施方式中，图像区域还可以包括不可行驶区域、地面标识区域及其他不做分割的类型区域。
其中，不可行驶区域可以包括地面上的障碍物以及沟道等机器人10无法通过的区域。地面标识区域可以包括盲道、地灯、地插及路标等。不做分割的类型区域可以是非底面类型的背景区域。
在某些实施方式中，机器人10可以是清洁机器人10，可行驶区域包括多种地面类型区域，工作模式包括多种清洁模式。
如此，机器人10可以根据卷积网络模型划分多种地面类型区域，再根据分割结果制定相应的清洗方案。
在某些实施方式中，多种地面类型区域包括水泥路面区域、地板区域、毛石区域、瓷砖区域、地坪区域和地毯区域等。多种清洁模式包括拖地模式、吸尘模式、清洗模式等。
进一步地，请参阅图8，在某些实施方式中，步骤S3包括：
步骤S32，根据划分的地面类型区域确定机器人10的清洁模式；和/或
步骤S34，控制机器人10以确定的清洁模式清洁相应的地面类型区域。
具体地，步骤S32可以由确定模块13实现，步骤S34可以由控制模块18实现。也即是说，确定模块13可以用于根据划分的地面类型区域确定机器人10的清洁模式；和/或控制模块18可以用于控制机器人10以确定的清洁模式清洁相应的地面类型区域。
如此，机器人10结合各个地面类型的特点，再根据分割结果制定相应的清洗方案，并以不同的清洗参数工作，满足一些定制化的需求。
在一个例子中，对于地毯区域而言，机器人10可以采用吸尘模式进行清洁作业；对于毛石区域和水泥地面区域而言，机器人10可以采用清洗模式进行清洁作业；对于瓷砖区域而言，机器人10可以采用拖地模式进行清洁作业。当然，在其他例子中，机器人10还可以采用多种清洁模式结合的方式进行清洁作业。
在某些实施方式中，步骤S32包括，根据划分的地面类型区域确定机器人10的行驶速度或重复作业需求。
可以理解，不同地面的以及不同清洁模式下的清洁需求存在差异，如此，可以通过控制机器人10的行驶速度以及重复作业来实现对不同区域实现精细清洁，保证提高机器人10的运行效率，满足一些特定化的需求。例如，在地毯或者水泥路面时，适配不相同的速度通行，以及对某个类别区域(地板、毛石、瓷砖等)的重复性作业。
请参阅图9，在某些实施方式中，机器人10可以通过有线和/或无线的方式与终端设备30和/或服务器40通信连接，从而机器人10将作业信息及状态信息上传至终端设备30和/或服务器40，以便用户了解机器人10的工作状态。进一步地，用户可以通过终端设备30和/或服务器40远程控制机器人10进行作业。其中，无线网络通信连接包括但不限于WiFi、蓝牙(Bluetooth)、紫蜂(Zigbee)、窄带物联网(Narrow Band Internet of Things,NB-Iot)等无线通信方式。
在某些实施方式中，终端设备30可以是手机、平板电脑、个人计算机、智能手环、智能手表或其他可穿戴设备等，在此不做具体限定。在图9所示的实施例中，终端设备30是手机。服务器40可以是后台服务器或云服务器等。进一步地，服务器40除了可以实现与机器人10和/或终端设备30之间的通信交流外，还可以具有相应的计算处理能力，机器人10可以将部分需要处理的数据传输至服务器40，由服务器40处理后将处理结果发送给机器人10，从而可以减轻机器人10的计算负荷。
请参阅图10，本申请实施方式提供的机器人10包括处理器19、可读存储介质20及存储在可读存储介质20上并可在处理器19上运行的计算机可执行指令22，计算机可执行指令22被处理器19执行时，使得处理器19执行上述任一实施方式的控制方法。
在一个例子中，计算机可执行指令22被处理器19执行时，使得处理器19执行以下步骤：
步骤S1，获取机器人10采集的环境图像；
步骤S2，利用训练好的卷积网络模型对环境图像进行区域划分获取图像区域；和
步骤S3，根据划分的图像区域确定机器人10的工作模式。
本申请实施方式的机器人10通过处理器19执行计算机可执行指令22，利用卷积神经网络提取机器人10采集的环境图像中的图像特征，能够实现对图像区域进行精确的划分，从而机器人10可以根据划分的图像区域确定机器人10的工作模式以使机器人10能够灵活地对不同区域的执行不同的任务。
本申请实施方式还提供了一种非易失性计算机可读存储介质20，可读存储介质20包括计算机可执行指令22，当计算机可执行指令22被一个或多个处理器19执行时，使得处理器19执行上述任一实施方式的机器人10控制方法。
请参阅图11，一个或多个处理器19可以通过总线耦合至可读存储介质20，可读存储介质20存储有计算机可执行指令22，通过处理器19处理上述指令以执行本申请实施方式的机器人10控制方法，能够实现机器人10安全执行清洁任务。机器人10还可以通过通信模块连接至网络以实现与服务器40和/或终端设备30的通信连接，以及通过输入/输出接口连接至输入/输出装置，采集环境信息或输出控制状态信号。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”或“一个例子”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种机器人控制方法，其特征在于，包括：
获取所述机器人采集的环境图像；
利用训练好的卷积网络模型对所述环境图像进行区域划分获取图像区域；和
根据划分的所述图像区域确定所述机器人的工作模式。
2.根据权利要求1所述的机器人控制方法，其特征在于，所述机器人控制方法包括：
构建卷积网络模型；
获取由所述机器人采集且根据图像区域类型分割标注好的训练图像；和
利用所述训练图像对构建好的卷积网络模型进行训练以得到所述训练好的卷积网络模型。
3.根据权利要求1所述的机器人控制方法，其特征在于，所述利用训练好的卷积网络模型对所述环境图像进行区域划分的步骤包括：
利用多个卷积层提取所述环境图像的图像特征；
根据提取的所述图像特征对图像像素进行分类；和
根据所述图像像素的分类划分所述图像区域。
4.根据权利要求1所述的机器人控制方法，其特征在于，所述图像区域包括可行驶区域和背景区域，所述机器人控制方法包括：
控制所述机器人在所述可行驶区域内工作。
5.根据权利要求4所述的机器人控制方法，其特征在于，所述可行驶区域包括多种地面类型区域，所述工作模式包括多种清洁模式，所述根据划分的所述图像区域确定所述机器人的工作模式的步骤包括：
根据划分的地面类型区域确定所述机器人的清洁模式；和/或
控制所述机器人以确定的所述清洁模式清洁相应的地面类型区域。
6.根据权利要求3所述的机器人控制方法，其特征在于，所述卷积网络模型采用残差学习模块以及空间金字塔池化模块进行图像特征提取。
7.根据权利要求6所述的机器人控制方法，其特征在于，所述空间金字塔池化模块以不同采样率的空洞卷积并行采样以提取图像特征。
8.一种机器人，其特征在于，包括：
获取模块，所述获取模块用于获取所述机器人采集的环境图像；
划分模块，所述划分模块用于利用训练好的卷积网络模型对所述环境图像进行区域划分获取图像区域；和
确定模块，所述确定模块用于根据划分的所述图像区域确定所述机器人的工作模式。
9.一种机器人，其特征在于，包括处理器、可读存储介质及存储在所述可读存储介质上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时，使得所述处理器执行权利要求1-7任一项所述的控制方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述可读存储介质包括计算机可执行指令，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1-7任一项所述的机器人控制方法。
CN202010065790.7A 2020-01-20 2020-01-20 机器人控制方法、机器人和可读存储介质 Pending CN111275112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010065790.7A CN111275112A (zh) 2020-01-20 2020-01-20 机器人控制方法、机器人和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065790.7A CN111275112A (zh) 2020-01-20 2020-01-20 机器人控制方法、机器人和可读存储介质

Publications (1)

Publication Number Publication Date
CN111275112A true CN111275112A (zh) 2020-06-12

Family

ID=70999006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065790.7A Pending CN111275112A (zh) 2020-01-20 2020-01-20 机器人控制方法、机器人和可读存储介质

Country Status (1)

Country Link
CN (1) CN111275112A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417944A (zh) * 2020-08-31 2021-02-26 深圳市银星智能科技股份有限公司 一种机器人控制方法及电子设备
CN112711271A (zh) * 2020-12-16 2021-04-27 中山大学 基于深度强化学习的自主导航无人机功率优化方法
CN113012149A (zh) * 2021-04-14 2021-06-22 北京铁道工程机电技术研究所股份有限公司 一种智能清洗机器人路径规划方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843242A (zh) * 2017-03-21 2017-06-13 天津海运职业学院 一种水下船体清洁的群体机器人系统
CN107918776A (zh) * 2017-11-01 2018-04-17 中国科学院深圳先进技术研究院 一种基于机器视觉的用地规划方法、系统及电子设备
CN108514381A (zh) * 2018-03-14 2018-09-11 深圳市沃特沃德股份有限公司 扫地方法、装置和扫地机器人
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN109998421A (zh) * 2018-01-05 2019-07-12 艾罗伯特公司 移动清洁机器人组合及持久性制图
CN110084817A (zh) * 2019-03-21 2019-08-02 西安电子科技大学 基于深度学习的数字高程模型生产方法
CN110110775A (zh) * 2019-04-28 2019-08-09 北京理工大学 一种基于超连接网络的匹配代价计算方法
CN110393482A (zh) * 2019-09-03 2019-11-01 深圳飞科机器人有限公司 地图处理方法以及清洁机器人
CN110622085A (zh) * 2019-08-14 2019-12-27 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843242A (zh) * 2017-03-21 2017-06-13 天津海运职业学院 一种水下船体清洁的群体机器人系统
CN107918776A (zh) * 2017-11-01 2018-04-17 中国科学院深圳先进技术研究院 一种基于机器视觉的用地规划方法、系统及电子设备
CN109998421A (zh) * 2018-01-05 2019-07-12 艾罗伯特公司 移动清洁机器人组合及持久性制图
CN108514381A (zh) * 2018-03-14 2018-09-11 深圳市沃特沃德股份有限公司 扫地方法、装置和扫地机器人
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN110084817A (zh) * 2019-03-21 2019-08-02 西安电子科技大学 基于深度学习的数字高程模型生产方法
CN110110775A (zh) * 2019-04-28 2019-08-09 北京理工大学 一种基于超连接网络的匹配代价计算方法
CN110622085A (zh) * 2019-08-14 2019-12-27 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制系统
CN110393482A (zh) * 2019-09-03 2019-11-01 深圳飞科机器人有限公司 地图处理方法以及清洁机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417944A (zh) * 2020-08-31 2021-02-26 深圳市银星智能科技股份有限公司 一种机器人控制方法及电子设备
CN112417944B (zh) * 2020-08-31 2024-04-16 深圳银星智能集团股份有限公司 一种机器人控制方法及电子设备
CN112711271A (zh) * 2020-12-16 2021-04-27 中山大学 基于深度强化学习的自主导航无人机功率优化方法
CN113012149A (zh) * 2021-04-14 2021-06-22 北京铁道工程机电技术研究所股份有限公司 一种智能清洗机器人路径规划方法及系统
CN113012149B (zh) * 2021-04-14 2024-03-15 北京铁道工程机电技术研究所股份有限公司 一种智能清洗机器人路径规划方法及系统

Similar Documents

Publication Publication Date Title
CN110139794B (zh) 用于停放车辆的系统、方法及非暂时计算机可读存储介质
CN111275112A (zh) 机器人控制方法、机器人和可读存储介质
CN107977706B (zh) 模块化分布式人工神经网络
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
ES2654157T3 (es) Método para apoyar el guiado de un vehículo sobre terreno
Ciarfuglia et al. Evaluation of non-geometric methods for visual odometry
KR102539942B1 (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
Shinzato et al. Fast visual road recognition and horizon detection using multiple artificial neural networks
CN111491131B (zh) 由每个对象检测器检测的对象检测信息的集成方法及装置
CN104331873A (zh) 一种从单幅图像检测道路的方法
CN102076531A (zh) 车辆畅通路径检测
Sales et al. Adaptive finite state machine based visual autonomous navigation system
CN111856963A (zh) 一种基于车载环视系统的泊车仿真方法及装置
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
CN114815810A (zh) 无人机协同的水上清洁机器人路径规划方法及设备
CN112926461A (zh) 神经网络训练、行驶控制方法及装置
CN113723170A (zh) 危险检测整合架构系统和方法
CN103688139A (zh) 用于便携式终端设备的进行行人脚步识别的方法和装置
KR20210087496A (ko) 객체 속성 검출, 신경망 훈련 및 지능형 주행 방법, 장치
CN114998570B (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置
Saleh et al. Navigational path detection for the visually impaired using fully convolutional networks
EP4113377A1 (en) Use of dbscan for lane detection
CN115984634A (zh) 图像检测方法、装置、设备、存储介质和程序产品
CN116700228A (zh) 机器人路径规划方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication