CN112450807A - 扫地机器人障碍物移除操控方法、装置及系统 - Google Patents

扫地机器人障碍物移除操控方法、装置及系统 Download PDF

Info

Publication number
CN112450807A
CN112450807A CN202011230598.5A CN202011230598A CN112450807A CN 112450807 A CN112450807 A CN 112450807A CN 202011230598 A CN202011230598 A CN 202011230598A CN 112450807 A CN112450807 A CN 112450807A
Authority
CN
China
Prior art keywords
image
obstacle
image data
sweeping robot
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011230598.5A
Other languages
English (en)
Inventor
张伟伟
刘坤
王丹
周翔
曹建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Intelligent Terminal Co ltd
Original Assignee
Suning Intelligent Terminal Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Intelligent Terminal Co ltd filed Critical Suning Intelligent Terminal Co ltd
Priority to CN202011230598.5A priority Critical patent/CN112450807A/zh
Publication of CN112450807A publication Critical patent/CN112450807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种扫地机器人障碍物移除操控方法、装置及系统，属于智能家居技术领域。所述方法包括：利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像；利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；根据所述障碍物识别结果触发相应障碍物移除指令。本发明能够避免扫地机器人因吸入小型障碍物导致扫地机器人无法运转甚至损坏问题，提高了扫地机器人的清扫效率，提升了用户体验。

Description

扫地机器人障碍物移除操控方法、装置及系统
技术领域
本发明涉及智能家居技术领域，特别涉及一种扫地机器人障碍物移除操控方法、装置及系统。
背景技术
现阶段扫地机器人普遍存在不能识别或者绕开小型障碍物(比如：袜子、弹珠、牙刷等体型大小的障碍物)，且会将小障碍物吸入，吸入小障碍物后机器人无法正常运转。现在市场上存在的扫地机器人主要分为两类：一、激光导航扫地机器人；二、视觉导航扫地机器人。激光导航扫地机器人其激光无法扫描到高度小于雷达高度的物体，也就无法避开或者绕开小型障碍物，不能解决这个问题，视觉扫地机器人主要以单目扫地机器人为主，其整体效果还不如激光导航扫地机，更是无法发现小型障碍物，即使发现根据现有模式也容易将小型障碍物吸入影响机器人的正常运转。
发明内容
为了解决现有技术的问题，本发明实施例提供的扫地机器人障碍物移除操控方法、装置及系统，能够避免扫地机器人因吸入小型障碍物导致扫地机器人无法运转甚至损坏问题，提高了扫地机器人的清扫效率，提升了用户体验。所述技术方案如下：
一方面，提供了一种扫地机器人障碍物移除操控方法，所述方法包括：
利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像；
利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；
根据所述障碍物识别结果触发相应障碍物移除指令。
优选地，利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，包括：
利用AI双目摄像头获取所述待分类障碍物的视频扫描数据，并将所述视频扫描数据转化为图像数据；
对所述图像数据进行包括图像合成、图像检测、图像分类、图像分割、特征提取的所述图像预处理。
优选地，对所述图像数据进行包括图像合成、图像检测、图像分类、所述图像分割、所述特征提取的所述图像预处理，包括：
根据图像知识库对所述图像数据进行图像合成、图像检测、图像分类、图像分割、特征提取，同时完成与所述图像知识库的交互，持续修正并补充所述图像知识库的内容。
优选地，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，包括：
将所述待识别图像输入预设卷积神经网络模型，输出符合预定移除条件的障碍物识别结果。
优选地，所述预设卷积神经网络模型是通过反复训练得到的，所述预设卷积神经网络模型采用预设CNN网络，所述CNN网络的层级结构包括：输入层、卷积层、池化层、flatten层、全连接层以及输出层，所述卷积层包括ZeroPadding函数、卷积函数和激活函数，所述激活函数作为所述卷积函数的参数使用，所述池化层对所述卷积层的输出进行局部采样操作，所述flatten层进行多维输入一维化操作，所述全连接层有多个。
优选地，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
所述扫地机器人根据所述障碍物移除指令执行障碍物移除操作。
优选地，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
将所述障碍物识别结果反馈补充所述图像知识库，并转化为待训练样本数据。
另一方面，提供了一种扫地机器人障碍物移除操控装置，包括：
待识别图像获取模块，用于：利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像；
识别计算模块，用于：利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；
障碍物移除触发模块，用于：根据所述障碍物识别结果触发相应障碍物移除指令。
优选地，利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，包括：
利用AI双目摄像头获取所述待分类障碍物的视频扫描数据，并将所述视频扫描数据转化为图像数据；
对所述图像数据进行包括图像合成、图像检测、图像分类、图像分割、特征提取的所述图像预处理。
优选地，对所述图像数据进行包括图像合成、图像检测、图像分类、所述图像分割、所述特征提取的所述图像预处理，包括：
根据图像知识库对所述图像数据进行图像合成、图像检测、图像分类、图像分割、特征提取，同时完成与所述图像知识库的交互，持续修正并补充所述图像知识库的内容。
优选地，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，包括：
将所述待识别图像输入预设卷积神经网络模型，输出符合预定移除条件的障碍物识别结果。
优选地，所述预设卷积神经网络模型是通过反复训练得到的，所述预设卷积神经网络模型采用预设CNN网络，所述CNN网络的层级结构包括：输入层、卷积层、池化层、flatten层、全连接层以及输出层，所述卷积层包括ZeroPadding函数、卷积函数和激活函数，所述激活函数作为所述卷积函数的参数使用，所述池化层对所述卷积层的输出进行局部采样操作，所述flatten层进行多维输入一维化操作，所述全连接层有多个。
优选地，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
所述扫地机器人根据所述障碍物移除指令执行障碍物移除操作。
优选地，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
将所述障碍物识别结果反馈补充所述图像知识库，并转化为待训练样本数据。
又一方面，提供了一种扫地机器人障碍物移除操控系统，包括AI双目摄像头、AI平台和障碍物移除装置，所述AI双目摄像头采集待分类障碍物的图像数据；所述AI平台对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；根据所述障碍物识别结果触发相应障碍物移除指令，所述障碍物移除装置根据所述障碍物移除指令执行相应障碍物移除操作。
优选地，所述扫地机器人障碍物移除操控系统包括扫地机器人、所述AI平台、云平台和手机APP，所述扫地机器人包括所述AI双目摄像头和所述障碍物移除装置，所述云平台包括推送平台和智能家居管理平台，所述AI双目摄像头采集待分类障碍物的图像数据，并发送至所述AI平台；所述AI平台对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，并将所述障碍物识别结果发送至所述智能家居管理平台，所述智能家居管理平台将符合用户习惯的所述障碍物识别结果通过所述推送平台推送至所述手机APP。
优选地，利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，包括：
利用AI双目摄像头获取所述待分类障碍物的视频扫描数据，并将所述视频扫描数据转化为图像数据；
对所述图像数据进行包括图像合成、图像检测、图像分类、图像分割、特征提取的所述图像预处理。
优选地，对所述图像数据进行包括图像合成、图像检测、图像分类、所述图像分割、所述特征提取的所述图像预处理，包括：
根据图像知识库对所述图像数据进行图像合成、图像检测、图像分类、图像分割、特征提取，同时完成与所述图像知识库的交互，持续修正并补充所述图像知识库的内容。
优选地，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，包括：
将所述待识别图像输入预设卷积神经网络模型，输出符合预定移除条件的障碍物识别结果。
优选地，所述预设卷积神经网络模型是通过反复训练得到的，所述预设卷积神经网络模型采用预设CNN网络，所述CNN网络的层级结构包括：输入层、卷积层、池化层、flatten层、全连接层以及输出层，所述卷积层包括ZeroPadding函数、卷积函数和激活函数，所述激活函数作为所述卷积函数的参数使用，所述池化层对所述卷积层的输出进行局部采样操作，所述flatten层进行多维输入一维化操作，所述全连接层有多个。
优选地，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
所述扫地机器人根据所述障碍物移除指令执行障碍物移除操作。
优选地，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
将所述障碍物识别结果反馈补充所述图像知识库，并转化为待训练样本数据。
本发明实施例提供的技术方案带来的有益效果是：
通过对采集的障碍物进行AI识别分类，并根据障碍物识别结果触发小型障碍物的移除指令，在扫地机器人正常清扫、能够实现避开不可拨走障碍物的同时，实现小型障碍物(可拨走障碍物)的移除工作，在吸入前将小型障碍物识别出来并移走，以使扫地机能在该情况下不需要人力干预而能继续清扫，避免扫地机器人因吸入小型障碍物导致扫地机器人无法运转甚至损坏问题，提高了扫地机器人的清扫效率，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的扫地机器人障碍物移除操控方法流程图；
图2是图1中101步骤的子步骤流程图；
图3是图像处理过程示例；
图4是预设卷积神经网络模型工作分工示意图；
图5是本发明实施例提供的扫地机器人障碍物移除操控装置结构示意图；
图6是本发明优选实施例提供的扫地机器人障碍物移除操控系统结构示意图；
图7是系统架构图；
图8是业务数据层结构示意图；
图9是业务流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在本发明的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
基于现有技术背景，发明人构思将摄像头扫描的障碍物进行分类，将障碍物分为：可拨走障碍物(即小型障碍物)和不可拨走障碍物，在进行清扫时避开不可拨走障碍物，并移除可拨走障碍物，从而防止吸入小型障碍物影响清扫效率。具体地，可拨走障碍物：是指扫地机可以将其拨走却影响扫地机正常清扫的，比如袜子弹珠等，目前阶段的扫地机会将其吸入扫地机，在吸入后扫地机却导致主刷无法正常运转而出现故障，无法继续完成清扫。不可拨走障碍物是指：障碍物本身体积较大、质量较重，扫地机在清扫是必须采取避开该物体，比如：餐桌、椅子、衣柜等，这些物体所在的区域或部分区域扫地机是无法进行清扫的，也是不需要进行清扫。
由此，本发明实施例提供一种扫地机器人障碍物移除操控方法、装置及系统，通过对采集的障碍物进行AI识别分类，并根据障碍物识别结果触发小型障碍物的移除指令，在扫地机器人正常清扫、能够实现避开不可拨走障碍物的同时，实现小型障碍物(可拨走障碍物)的移除工作，避免扫地机器人因吸入小型障碍物导致扫地机器人无法运转甚至损坏问题，提高了扫地机器人的清扫效率，提升了用户体验。该扫地机器人障碍物移除操控方案适用于涉及智能清扫的多种智能家居应用场景。
下面结合具体实施例及附图，对本发明实施例提供的扫地机器人障碍物移除操控方法、装置及系统详细说明。
图1是本发明实施例提供的扫地机器人障碍物移除操控方法流程图。图2是图1中101步骤的子步骤流程图。图3是图像处理过程示例。如图1和图2所示，本发明实施例提供的扫地机器人障碍物移除操控方法，包括以下步骤：
101、利用双目摄像头采集待分类障碍物的图像数据，并对图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像。
优选地，上述101步骤包括以下子步骤：
1011、利用AI双目摄像头获取待分类障碍物的视频扫描数据，并将视频扫描数据转化为图像数据。这里的AI摄像头可以采用AI双目摄像头。将视频扫描数据转化为图像(如图片)数据的过程，可以采用现有技术中任何可能的转换方式，本发明实施例不对其特别限定。
1012、对图像数据进行包括图像合成、图像检测、图像分类、图像分割、特征提取的图像预处理。优选地，根据图像知识库对图像数据进行图像检测、图像分类、图像分割、特征提取，同时完成与图像知识库的交互，持续修正并补充图像知识库的内容。这里通过双目摄像头采集图像进行图像合并或拼接等操作的图像合成过程，可以采用现有技术中任何可能的方式实现，本发明实施例不对其特别限定。
示例性地，建立障碍物类型分类的图像知识库，可以对tensor flow进行二次改造，搜集足够多的训练样本输入，该样本要每个障碍物垃圾要达到百万级别，总和要达到上亿级别，形成足够大的图像知识库。如图3所示，在完成图像知识库的初步建立后，对图像数据进行图像检测、图像分类、图像分割、特征提取等图像预处理，这一过程也会同知识库反复交互，修正并补充图像知识库内容，持续丰富和优化图像知识库。
值得注意的是，步骤101的过程，除了上述步骤所述的方式之外，在不脱离本发明构思的情况下，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
102、利用预设人工智能算法对待识别图像进行计算，获取符合预定移除条件的障碍物识别结果。
优选地，将待识别图像输入预设卷积神经网络模型，输出符合预定移除条件的障碍物识别结果，通过预设卷积神经网络模型输出障碍物的图像识别结果，对结果进行解释，对于识别不满意的图片，也会反馈给图像知识库做进一步训练和优化。这里，预定移除条件是指预定义的满足小型障碍物的条件，障碍物具体是何种小型障碍物，可以在模型训练时根据实际需要进行相应定义和标识，不限于袜子、弹珠、牙刷等此类体型大小的障碍物。进一步优选地，预设卷积神经网络模型是通过反复训练得到的，预设卷积神经网络模型采用预设CNN网络，CNN网络的层级结构包括：输入层、卷积层、池化层、flatten层、全连接层以及输出层，卷积层包括ZeroPadding函数、卷积函数和激活函数，激活函数作为所述卷积函数的参数使用，池化层对卷积层的输出进行局部采样操作，flatten层进行多维输入一维化操作，全连接层有多个。
示例性地，如图4所示，采用ConVent卷积神经网络，ConVent对数据的训练是个反复的过程，直到达到99％图像准确识别率，卷积神经网络的层级结构包括：输入层；卷积层；池化层；flatten层；全连接层；输出层，每一层的具体分工，其中卷积层、激活层、池化层的建立是可以有多个的，每个处理和完成的任务不同，直到能够达到物体识别的实际应用标准。
其中卷积层可有zeropadding函数、卷积函数和激活函数。激活函数一般是作为卷积函数的参数使用。其中卷积层可有多个循环，即：zeropadding函数、卷积函数、激活函数、zeropadding函数、卷积函数、激活函数……zeropadding函数、卷积函数、激活函数。
池化层是对卷积层的输出区域取最大值或者平均值，也是局部采样过程。
卷积层和池化层也可以有多个循环，即：卷积层、池化层、卷积层、池化层……卷积层、池化层。
在另一实施例中，激活函数可以作为激活层存在，此时循环为卷积层、激活层、池化层、卷积层、激活层、池化层……卷积层、激活层、池化层。
flatten层是卷积层和全连接层之间的过渡层，起作用在于多维输入一维化。如果没有全连接层，一般就不会需要flatten层。
全连接层在有些场景中不是必须的，当然也可以有多个全连接层。
值得注意的是，步骤102的过程，除了上述步骤所述的方式之外，在不脱离本发明构思的情况下，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
103、根据障碍物识别结果触发相应障碍物移除指令。
优选地，扫地机器人根据障碍物移除指令执行障碍物移除操作。
另外优选地，上述103步骤还包括：
将障碍物识别结果反馈补充图像知识库，并转化为待训练样本数据。示例性地，在完成对众多数据的反复训练后，将训练成功的数据存入图像知识库。
值得注意的是，步骤103的过程，除了上述步骤所述的方式之外，在不脱离本发明构思的情况下，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
图5是本发明实施例提供的扫地机器人障碍物移除操控装置结构示意图，如图5所示，本发明实施例提供的扫地机器人障碍物移除操控装置包括待识别图像获取模块21、识别计算模块22和障碍物移除触发模块23。具体地，待识别图像获取模块21，用于：利用双目摄像头采集待分类障碍物的图像数据，并对图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像；识别计算模块22，用于：利用预设人工智能算法对待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；障碍物移除触发模块23，用于：根据障碍物识别结果触发相应障碍物移除指令。
本发明实施例还提供了一种扫地机器人障碍物移除操控系统，包括AI双目摄像头、AI平台和障碍物移除装置，AI双目摄像头采集待分类障碍物的图像数据；AI平台对图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像，利用预设人工智能算法对待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；根据障碍物识别结果触发相应障碍物移除指令，障碍物移除装置根据障碍物移除指令执行相应障碍物移除操作。
示例性地，扫地机器人障碍物移除操控过程实施为：
一、带AI摄像头和障碍物移除装置的扫地机器人，此AI摄像头在运动过程录制视频扫描数据，将数据实时传给AI平台；
二、AI平台对摄像头传输的视频进行分析，达到识别障碍物类型，并上报到服务器，然后进行障碍物分析，最后把障碍物类型返回给扫地机器人，扫地机器人的障碍物移除装置对小障碍物在清扫到时移除。
图6是本发明优选实施例提供的扫地机器人障碍物移除操控系统结构示意图。图7是系统架构图。图8是业务数据层结构示意图。图9是业务流程示意图。如图6至图9所示，该扫地机器人障碍物移除操控系统包括扫地机器人、AI平台、云平台和手机APP，扫地机器人包括AI双目摄像头和障碍物移除装置，云平台包括推送平台和智能家居管理平台，AI双目摄像头采集待分类障碍物的图像数据，并发送至AI平台；AI平台对图像数据进行至少包括图像分割和特征处理的图像预处理，获取待识别图像，利用预设人工智能算法对待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，并将障碍物识别结果发送至智能家居管理平台，智能家居管理平台将符合用户习惯的障碍物识别结果通过推送平台推送至手机APP。
具体主执行方案实施为：使用视觉扫地机利用AI先区分判断障碍物类型，对大的障碍物要进行避开；对小型障碍物使用移除拨片，对其移除。大致要完成以下几方面操作：
一、使用带物体识别的AI摄像头实时将摄像头所扫描到的所有垃圾进行识别，然后将这些物体上报AI平台；
二、AI平台根据AI摄像头的视频图像和数据分析用户家里的障碍物进行分类；
三、AI平台将分析的视频内容、数据及生成的物体方案发给云平台，云平台将视频内容和数据转换成结构化数据进行存储；
四、云平台将物体将障碍物分类结果返回给扫地机；
五、如果是小型障碍物，扫地机根据一定算法将在适当的时候把障碍物移除；
六、在执行方案过程中该系统会不断进行训练，反复增加小型障碍物的基础库，以达到最优的效果；
七、将障碍物分类结果发送至智能家居管理平台，智能家居管理平台与用户手机APP确定是否符合用户习惯，最终将符合用户习惯的障碍物分类结果通过推送APP推送至手机APP。
在用户实际使用时，在用户视频输入后，将视频转换成图片，然后对图片进行图片预处理、特征处理和提取后，对图片进行三维建模，最后对用户图片进行对比，如果对比成功则进行下一步将图片数据发给云平台，如果对比失败，会将该内容作为训练数据进行训练以不断增加训练样本，不断丰富图片数据库，至此图片分析识别流程基本结束。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
综上所述，本发明实施例提供的扫地机器人障碍物移除操控方法、装置及系统，相比现有技术具有以下有益效果：
通过对采集的障碍物进行AI识别分类，并根据障碍物识别结果触发小型障碍物的移除指令，在扫地机器人正常清扫、能够实现避开不可拨走障碍物的同时，实现小型障碍物(可拨走障碍物)的移除工作，在吸入前将小型障碍物识别出来并移走，以使扫地机能在该情况下不需要人力干预而能继续清扫，避免扫地机器人因吸入小型障碍物导致扫地机器人无法运转甚至损坏问题，提高了扫地机器人的清扫效率，提升了用户体验。
需要说明的是：上述实施例提供的扫地机器人障碍物移除操控装置、系统在扫地机器人障碍物移除操控业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置或系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的扫地机器人障碍物移除操控装置、系统与扫地机器人障碍物移除操控方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种扫地机器人障碍物移除操控方法，其特征在于，所述方法包括：
利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像；
利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；
根据所述障碍物识别结果触发相应障碍物移除指令。
2.根据权利要求1所述的方法，其特征在于，利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，包括：
利用AI双目摄像头获取所述待分类障碍物的视频扫描数据，并将所述视频扫描数据转化为图像数据；
对所述图像数据进行包括图像合成、图像检测、图像分类、图像分割、特征提取的所述图像预处理。
3.根据权利要求2所述的方法，其特征在于，对所述图像数据进行包括图像合成、图像检测、图像分类、所述图像分割、所述特征提取的所述图像预处理，包括：
根据图像知识库对所述图像数据进行图像合成、图像检测、图像分类、图像分割、特征提取，同时完成与所述图像知识库的交互，持续修正并补充所述图像知识库的内容。
4.根据权利要求1所述的方法，其特征在于，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，包括：
将所述待识别图像输入预设卷积神经网络模型，输出符合预定移除条件的障碍物识别结果。
5.根据权利要求4所述的方法，其特征在于，所述预设卷积神经网络模型是通过反复训练得到的，所述预设卷积神经网络模型采用预设CNN网络，所述CNN网络的层级结构包括：输入层、卷积层、池化层、flatten层、全连接层以及输出层，所述卷积层包括ZeroPadding函数、卷积函数和激活函数，所述激活函数作为所述卷积函数的参数使用，所述池化层对所述卷积层的输出进行局部采样操作，所述flatten层进行多维输入一维化操作，所述全连接层有多个。
6.根据权利要求1至5任一项所述的方法，其特征在于，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
所述扫地机器人根据所述障碍物移除指令执行障碍物移除操作。
7.根据权利要求6所述的方法，其特征在于，根据所述障碍物识别结果触发相应障碍物移除指令，包括：
将所述障碍物识别结果反馈补充所述图像知识库，并转化为待训练样本数据。
8.一种扫地机器人障碍物移除操控装置，其特征在于，包括：
待识别图像获取模块，用于：利用双目摄像头采集待分类障碍物的图像数据，并对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像；
识别计算模块，用于：利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；
障碍物移除触发模块，用于：根据所述障碍物识别结果触发相应障碍物移除指令。
9.一种扫地机器人障碍物移除操控系统，其特征在于，包括AI双目摄像头、AI平台和障碍物移除装置，所述AI双目摄像头采集待分类障碍物的图像数据；所述AI平台对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果；根据所述障碍物识别结果触发相应障碍物移除指令，所述障碍物移除装置根据所述障碍物移除指令执行相应障碍物移除操作。
10.根据权利要求9所述的扫地机器人障碍物移除操控系统，其特征在于，包括扫地机器人、所述AI平台、云平台和手机APP，所述扫地机器人包括所述AI双目摄像头和所述障碍物移除装置，所述云平台包括推送平台和智能家居管理平台，所述AI双目摄像头采集待分类障碍物的图像数据，并发送至所述AI平台；所述AI平台对所述图像数据进行至少包括图像合成、图像分割和特征处理的图像预处理，获取待识别图像，利用预设人工智能算法对所述待识别图像进行计算，获取符合预定移除条件的障碍物识别结果，并将所述障碍物识别结果发送至所述智能家居管理平台，所述智能家居管理平台将符合用户习惯的所述障碍物识别结果通过所述推送平台推送至所述手机APP。
CN202011230598.5A 2020-11-06 2020-11-06 扫地机器人障碍物移除操控方法、装置及系统 Pending CN112450807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011230598.5A CN112450807A (zh) 2020-11-06 2020-11-06 扫地机器人障碍物移除操控方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011230598.5A CN112450807A (zh) 2020-11-06 2020-11-06 扫地机器人障碍物移除操控方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112450807A true CN112450807A (zh) 2021-03-09

Family

ID=74825456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011230598.5A Pending CN112450807A (zh) 2020-11-06 2020-11-06 扫地机器人障碍物移除操控方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112450807A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744292A (zh) * 2021-09-16 2021-12-03 安徽世绿环保科技有限公司 一种垃圾分类站垃圾投放扫描系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102283616A (zh) * 2010-10-22 2011-12-21 青岛科技大学 基于机器视觉的家庭智能清理系统
JP2017131973A (ja) * 2016-01-25 2017-08-03 キヤノン株式会社 ロボット軌道生成方法、およびロボット軌道生成装置
CN107544495A (zh) * 2017-08-17 2018-01-05 北京小米移动软件有限公司 清扫方法及装置
CN109213137A (zh) * 2017-07-05 2019-01-15 广东宝乐机器人股份有限公司 扫地机器人、扫地机器人系统及其工作方法
CN109998429A (zh) * 2018-01-05 2019-07-12 艾罗伯特公司 用于情境感知的移动清洁机器人人工智能

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102283616A (zh) * 2010-10-22 2011-12-21 青岛科技大学 基于机器视觉的家庭智能清理系统
JP2017131973A (ja) * 2016-01-25 2017-08-03 キヤノン株式会社 ロボット軌道生成方法、およびロボット軌道生成装置
CN109213137A (zh) * 2017-07-05 2019-01-15 广东宝乐机器人股份有限公司 扫地机器人、扫地机器人系统及其工作方法
CN107544495A (zh) * 2017-08-17 2018-01-05 北京小米移动软件有限公司 清扫方法及装置
CN109998429A (zh) * 2018-01-05 2019-07-12 艾罗伯特公司 用于情境感知的移动清洁机器人人工智能

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744292A (zh) * 2021-09-16 2021-12-03 安徽世绿环保科技有限公司 一种垃圾分类站垃圾投放扫描系统

Similar Documents

Publication Publication Date Title
Nguyen et al. Detecting object affordances with convolutional neural networks
CN111568314B (zh) 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN110751185A (zh) 目标检测模型的训练方法和装置
EP1934941A2 (en) Bi-directional tracking using trajectory segment analysis
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN110532883A (zh) 应用离线跟踪算法对在线跟踪算法进行改进
CN111428660B (zh) 视频剪辑方法和装置、存储介质及电子装置
CN112149573A (zh) 一种基于深度学习的垃圾分类与拾取机器人
CN109753884A (zh) 一种基于关键帧提取的视频行为识别方法
CN111281274A (zh) 一种视觉扫地方法及系统
WO2021063476A1 (en) Method for training a generative adversarial network, modified image generation module and system for detecting features in an image
CN110688938A (zh) 一种集成注意力机制的行人重识别方法
CN109343701A (zh) 一种基于动态手势识别的智能人机交互方法
CN111950391A (zh) 果树芽体的识别方法及装置
CN109409209A (zh) 一种人体行为识别方法与装置
CN112450807A (zh) 扫地机器人障碍物移除操控方法、装置及系统
CN110084885A (zh) 一种点云和图像优化方法、装置、设备和存储介质
CN113837144B (zh) 一种冰箱的智能化图像数据采集处理方法
CN116416518A (zh) 智能避开障碍的方法及装置
CN113392867A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN115644739B (zh) 基于物联网的商用清洁机器人控制方法及系统
CN111860225A (zh) 一种图像处理的方法、装置、电子设备及存储介质
CN111479128A (zh) 一种利用互联网进行农业种植技术推广的系统及方法
CN113657315B (zh) 人脸图像的质量筛选方法、装置、设备及存储介质
CN112183333B (zh) 基于微表情的人屏互动方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309