CN110924340A - 一种用于智能捡垃圾的移动机器人系统与实现方法 - Google Patents
一种用于智能捡垃圾的移动机器人系统与实现方法 Download PDFInfo
- Publication number
- CN110924340A CN110924340A CN201911164933.3A CN201911164933A CN110924340A CN 110924340 A CN110924340 A CN 110924340A CN 201911164933 A CN201911164933 A CN 201911164933A CN 110924340 A CN110924340 A CN 110924340A
- Authority
- CN
- China
- Prior art keywords
- garbage
- mobile robot
- suspected
- module
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
- E01H1/00—Removing undesirable matter from roads or like surfaces, with or without moistening of the surface
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于智能捡垃圾的移动机器人系统与实现方法。系统主要由移动平台、多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块、传感器模块、控制模块以及电源模块组成。移动平台上的深度相机识别场景中的疑似垃圾，主动引导移动平台靠近疑似垃圾。机械臂末端上的深度相机对疑似垃圾进行进一步搜寻、识别、定位与分类，然后控制模块打开对应种类的垃圾桶桶盖，控制机械臂完成垃圾抓取和投放任务。移动机器人巡检时，语音模块可以提示行人主动投放垃圾，行人将垃圾置于任意一个深度相机前，经系统识别后打开对应垃圾桶桶盖，允许行人投放垃圾。本发明涉及视觉检测、机械臂控制等技术，可用于大场景下的垃圾搜寻、抓取、分类、投放和搬运。
Description
【技术领域】
本发明涉及移动机器人技术与机械臂抓取技术的融合交叉技术领域，特别是涉及一种用于智能捡垃圾的移动机器人系统与实现方法。
【背景技术】
目前，对于城市垃圾的回收，大都只是停留在对垃圾的定点回收与分类上，这种回收方法需要依赖市民自觉的环保意识，是一种被动式的垃圾回收机制。而城市中的广场、街道、居民小区、商业通道等地方，往往有大量生活垃圾被有意或无意扔在地面上，需要依靠大量人力去清理，效率低，而且成本高。智能捡垃圾的移动机器人是一种主动式的垃圾智能回收系统，但在机器人执行垃圾抓取与回收任务中，由于大场景动态环境的复杂性和垃圾目标的随机性，垃圾目标及其种类识别还面临很大挑战，垃圾识别与定位精度，有待进一步提高，以增强智能捡垃圾的移动机器人对环境的适应性。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明要解决的技术问题是在机器人执行垃圾抓取与回收任务中，由于大场景动态环境的复杂性和垃圾目标的随机性，垃圾目标及其种类识别还面临很大挑战，垃圾识别与定位精度，有待进一步提高，以增强智能捡垃圾的移动机器人对环境的适应性。
本发明进一步要解决的技术问题是现有技术中对于存在识别准确度不高的情况，缺少一种回溯机制，即错识别的问题发生了，却很难定位到原因。
本发明采用如下技术方案：
第一方面，本发明提供了一种用于智能捡垃圾的移动机器人系统，系统包括移动平台，所述移动平台上设置有多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块、传感器模块、控制模块和电源模块，其中，所述控制模块与所述多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块和传感器模块相连，所述电源模块给所述移动平移台、所述垃圾存放装置、语音模块、所述控制模块、所述多自由度机械臂、视觉检测模块和传感器模块供电，具体的：
控制模块通过视觉检测模块识别场景中的疑似垃圾，并根据所述传感器模块实现所述移动平台的路径规划和靠近所述疑似垃圾的操作；在控制模块通过视觉检测模块完成对所述疑似垃圾的识别、分类和定位后，打开对应种类的垃圾桶桶盖，控制机械臂完成垃圾抓取和投放任务；
其中，移动机器人巡检时，语音模块用于提示行人主动投放垃圾，行人将垃圾置于视觉检测模块前，经视觉检测模块识别后，由控制模块打开对应垃圾桶桶盖，允许行人投放垃圾到相应垃圾存放装置中。
优选的，还包括校验模组，所述校验模组包括一个或者多个校验储物槽和相应的槽盖，所述一个或者多个校验储物槽的槽盖与按照垃圾类型分类的所述垃圾桶桶盖都归属所述控制模块驱动，具体的：
控制模块通过视觉检测模块完成对所述疑似垃圾的识别、分类和定位后，若识别和分类结果中包含至少两个疑似结果时，控制模块控制当前处于空闲状态的校验储物槽的槽盖打开，并控制机械臂将该垃圾投入打开槽盖的校验储物槽；
其中，所述控制模块还用于在本地存储中将该疑似垃圾的识别和分类过程，以及投入该疑似垃圾的校验储物槽的标识信息记录到日志中，用于后续工作人员对此疑似垃圾的识别和分类过程进行回溯和改进。
优选的，所述视觉检测模块通过深度相机A和深度相机B联合，深度相机A水平放置并固定在移动平台前端的正中央，深度相机B安装在所述多自由度机械臂末端上；
其中，所述深度相机A用于识别场景中的疑似垃圾；所述深度相机B用于完成对所述疑似垃圾的识别、分类和定位；
所述传感器模块包括惯性传感器、轮式编码器、GPS和北斗系统中的一种或者多种。
优选的，所述的垃圾存放装置包含多套用于存储不同垃圾类型的子垃圾存放装置，分布安装在移动平台上，每套子垃圾存放装置均包括垃圾桶、对应桶盖、电机驱动板、直流电机和传动连接杆；
其中，所述电机驱动板串接在控制模块和直流电机之间，用于向所述直流电机发送来自控制模块的驱动指令；所述驱动电机通过所述连接杆与所述桶盖相连，用于驱动所述连接杆实现所述桶盖的闭合和打开。
第二方面，本发明还提供了一种用于智能捡垃圾的移动机器人实现方法，智能捡垃圾的移动机器人在建立好的地图上自主运动，搜寻场景中的垃圾，方法包括：
智能捡垃圾的移动机器人融合深度相机A、惯性传感器和轮式编码器，以及GPS或北斗系统数据进行位姿估计；
在建立好的地图上，智能捡垃圾的移动机器人按照设定好的路径运动，并进行动态避障；
深度相机A搜寻场景中的疑似垃圾，初步定位疑似垃圾，主动引导移动平台靠近疑似垃圾；
智能捡垃圾的移动机器人运行到有疑似垃圾的附近区域后，机械臂末端上的深度相机B随着机械臂的运动，进一步主动搜寻疑似垃圾，进行垃圾识别、分类和精确定位，引导机械臂抓取垃圾，并投放到对应种类的垃圾桶中。
优选的，智能捡垃圾的移动机器人还包括一个或者多个校验储物槽，所述一个或者多个校验储物槽的槽盖与按照垃圾类型分类的所述垃圾桶桶盖都归属所述智能捡垃圾的移动机器人控制，具体的：
智能捡垃圾的移动机器人通过深度相机B完成对所述疑似垃圾的识别、分类和定位后，若识别和分类结果中包含至少两个疑似结果时，控制当前处于空闲状态的校验储物槽的槽盖打开，并控制机械臂将该垃圾投入打开槽盖的校验储物槽；
其中，智能捡垃圾的移动机器人在本地存储中将该疑似垃圾的识别和分类过程，以及投入该疑似垃圾的校验储物槽的标识信息记录到日志中，用于后续工作人员对此疑似垃圾的识别和分类过程进行回溯和改进。
优选的，智能捡垃圾的移动机器人巡检时，深度相机A如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，行人将垃圾置于深度相机A或者深度相机B前，经系统识别后，智能捡垃圾的移动机器人打开对应垃圾桶桶盖，允许行人投放垃圾。
优选的，智能捡垃圾的移动机器人采用并行卷积神经网络，通过反向对抗学习，协同训练提高并行卷积神经网络对垃圾特征的学习能力，并加入注意力模型，精确调整并行卷积神经网络学习到的垃圾特征表达，使得网络模型更关注对分割有利的垃圾特征。
优选的，所述并行卷积神经网络具体为D-PCN，所述D-PCN中包含至少一个判别器网络，使用反向对抗学习，协同训练提高并行卷积神经网络的垃圾特征提取性能，进而提高垃圾图像识别的精度；通过并行的两个卷积神经网络在判别器网络的监督下学习不同的垃圾特征表达，然后将来自于不同网络的垃圾特征进行融合，得到更加具有判别性的垃圾特征表达，最后经过分类网络输出最终结果。
优选的，注意力模型同时接收2个不同尺度的垃圾特征图，采用多尺度特征融合策略将每个尺度的不同位置的特征进行上采样，使得其尺寸大小一致，然后采用多扩张卷积策略，针对不同尺度特征，使用不同扩张系数的扩张卷积提取垃圾物体的不同特征，提高对垃圾物体的特征表达能力，再通过跨通道合并进行特征融合，输入给坐标注意力分支和校准分支，最后将这两个支路合并后的结果作为最后的掩膜预测，提高垃圾物体实例分割与目标关键点检测的精度。
第三方面，本发明还提供了一种用于智能捡垃圾的移动机器人装置，用于实现第一方面所述的用于智能捡垃圾的移动机器人实现方法，所述装置包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行第一方面所述的用于智能捡垃圾的移动机器人实现方法。
第四方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的用于智能捡垃圾的移动机器人实现方法。
在本发明中智能捡垃圾的移动机器人巡检时，视觉检测模块如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，提高了智能捡垃圾的移动机器人系统的实用性和适应性。
在本发明的优选方案中，视觉检测模块通过深度相机A和深度相机B联合、主动对场景中的垃圾进行识别、定位与分类，其中移动平台上的深度相机A识别场景中的疑似垃圾，主动引导移动平台靠近疑似垃圾。机械臂末端上的深度相机B对疑似垃圾进行进一步主动搜寻、识别、定位与分类，提高了垃圾识别、定位与分类的精度。
在本发明的优选方案中，在视觉检测模块中采用协同训练和反向对抗学习方法，使用两个结构相同的并行卷积神经网络框架，进行垃圾特征提取和融合，从而实现不同层级的特征学习，得到更加丰富的特征表达，以解决单个网络难以充分提取垃圾判别性特征的问题。
在本发明的优选方案中，将注意力模型引入到并行卷积神经网络进行垃圾场景图像分割，同时接收2个不同尺度的垃圾特征图，采用多扩张卷积策略，针对不同尺度特征，使用不同扩张系数的扩张卷积提取垃圾物体的不同特征，提高了对垃圾物体的特征表达能力；并将坐标注意力分支(垃圾位置注意力支路)和校准分支合并后的结果作为最后的掩膜预测，提高了垃圾物体实例分割与目标关键点检测的精度。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种用于智能捡垃圾的移动机器人系统的架构示意图；
图2是本发明实施例提供的一种用于智能捡垃圾的移动机器人实现方法流程图；
图3为本发明实施例提供的一种基于注意力模型的并行卷积神经网络实例分割框架图；
图4为本发明实施例提供的一种地面垃圾物体分割示意图；
图5为本发明实施例提供的一种D-PCN结构框图；
图6为本发明实施例提供的一种D-PCN训练策略的结构框图；
图7为本发明实施例提供的一种注意力模型结构框图；
图8是本发明实施例提供的一种用于智能捡垃圾的移动机器人装置结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例提供了一种用于智能捡垃圾的移动机器人系统，如图1所示，系统包括移动平台，所述移动平台上设置有多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块、传感器模块、控制模块和电源模块，其中，所述控制模块与所述多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块和传感器模块相连，所述电源模块给所述移动平移台、所述垃圾存放装置、语音模块、所述控制模块、所述多自由度机械臂、视觉检测模块和传感器模块供电，具体的：
控制模块通过视觉检测模块识别场景中的疑似垃圾，并根据所述传感器模块实现所述移动平台的路径规划和靠近所述疑似垃圾的操作；在控制模块通过视觉检测模块完成对所述疑似垃圾的识别、分类和定位后，打开对应种类的垃圾桶桶盖，控制机械臂完成垃圾抓取和投放任务；
其中，移动机器人巡检时，语音模块用于提示行人主动投放垃圾，行人将垃圾置于视觉检测模块前，经视觉检测模块识别后，由控制模块打开对应垃圾桶桶盖，允许行人投放垃圾到相应垃圾存放装置中。
在本发明实施例中智能捡垃圾的移动机器人巡检时，视觉检测模块如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，提高了智能捡垃圾的移动机器人系统的实用性和适应性。
相比较现有技术中采用定点设置智能垃圾桶的方式，本发明实施例所提出的方案能够更灵活的应对各种场景，并且，能够充分利用用户的主动投放垃圾的能动性，从而简化疑似垃圾识别难度。进一步的，用户主动拿到智能捡垃圾的移动机器人系统跟前的垃圾，可以进一步作为大数据学习的依据，从而提高后续自主拾取垃圾时的甄别准确度。
需要强调的是，在本发明实施例中，相应的垃圾存放装置和关联的桶盖翻盖相关机械结构并非是本发明的改进点，因此不在本发明各实施例中展开阐述，而相应的结构也可以借鉴现有的已有技术实现。
结合本发明实施例，还考虑到并非每一疑似垃圾的识别和分类都是准确的，尤其是在实际运行过程中，多以概率和评分作为分类的依据，此时，对于概率和/或评分不能达到准确界定一种垃圾时，就需要为本发明提出的智能捡垃圾的移动机器人增设一套回溯机制。具体的，还包括校验模组，所述校验模组包括一个或者多个校验储物槽和相应的槽盖，所述一个或者多个校验储物槽的槽盖与按照垃圾类型分类的所述垃圾桶桶盖都归属所述控制模块驱动，具体的：
控制模块通过视觉检测模块完成对所述疑似垃圾的识别、分类和定位后，若识别和分类结果中包含至少两个疑似结果时，控制模块控制当前处于空闲状态的校验储物槽的槽盖打开，并控制机械臂将该垃圾投入打开槽盖的校验储物槽；
其中，所述控制模块还用于在本地存储中将该疑似垃圾的识别和分类过程，以及投入该疑似垃圾的校验储物槽的标识信息记录到日志中，用于后续工作人员对此疑似垃圾的识别和分类过程进行回溯和改进。
结合本发明实施例，还提出了一种优选的实现方案，所述视觉检测模块通过深度相机A和深度相机B联合，深度相机A水平放置并固定在移动平台前端的正中央，深度相机B安装在所述多自由度机械臂末端上；
所述传感器模块包括惯性传感器、轮式编码器、GPS和北斗系统中的一种或者多种。
在本发明实施例的上述优选方案中，视觉检测模块通过深度相机A和深度相机B联合、主动对场景中的垃圾进行识别、定位与分类，其中移动平台上的深度相机A识别场景中的疑似垃圾，主动引导移动平台靠近疑似垃圾。机械臂末端上的深度相机B对疑似垃圾进行进一步主动搜寻、识别、定位与分类，提高了垃圾识别、定位与分类的精度。其中，所述搜寻可以是通过云平台提供的大数据分析服务来完成，并为相应识别过程提供参数支持。
在本发明实施例中，为了进一步支撑垃圾分类存放的操作，存在一种简单可操作的方式，所述的垃圾存放装置包含多套用于存储不同垃圾类型的子垃圾存放装置，分布安装在移动平台上，每套子垃圾存放装置均包括垃圾桶、对应桶盖、电机驱动板、直流电机和传动连接杆；
其中，所述电机驱动板串接在控制模块和直流电机之间，用于向所述直流电机发送来自控制模块的驱动指令；所述驱动电机通过所述连接杆与所述桶盖相连，用于驱动所述连接杆实现所述桶盖的闭合和打开。
实施例2：
在本发明实施例中，仍然依据图1所示的架构图，将控制模块所属的微处理器中的计算资源进行了功能性的划分，具体的，智能捡垃圾移动机器人系统的控制模块包括路径规划单元、运动控制单元和语音控制单元，所述路径规划单元用于实现所述移动平台的路径规划以及所述多自由度机械臂的路径规划的实时计算，所述运动控制单元用于实现所述移动平台、多自由度机械臂的实时控制以及垃圾桶桶盖的开闭控制，所述语音控制单元用于向语音模块发出语音播报控制指令。在本发明实施例中，之所以进行功能模块的划分，是为了能够更清楚的阐述本发明的相应改进点，而作为本领域技术人员而言，可知悉在具体实现过程中，相应的过程模块可以由具体的一个或者多个处理器在执行相应方法过程的程序代码实现，因此，在相应方法过程描述清楚的情况下，将不再对各功能模块的具体连接做过多的阐述，因为程序、线程之间通过信令完成互通是本领域已知的技术。
运动控制单元对移动平台、垃圾桶桶盖、多自由度机械臂进行实时控制。运动控制单元与移动平台的电机驱动器连接，控制接口方式为IO口，速度控制脉冲信号与编码器信号均通过IO口进行通信。运动控制单元与每个垃圾桶内部的电机驱动控制板连接，通信接口方式为CAN，根据视觉检测模块获得的垃圾类别信息，驱动垃圾桶内部电机，实现垃圾桶桶盖的自动开闭。运动控制单元与多自由度机械臂内部各个关节的驱动控制板连接，通信接口方式为CANopen。
路径规划单元用于实现移动平台的路径规划以及多自由度机械臂的路径规划的实时计算。路径规划单元与移动平台的通信方式为UART或EtherCAT或CAN或RS485，与机械臂的通信方式为EtherCAT或CAN或RS485，采用机器人操作系统ROS的rosserial通信协议。首先提前设置好路径规划单元和运动控制单元之间需要通信的topic消息，完成初始化的工作。在实际通信的过程中，路径控制单元与运动控制单元进行topic消息的双向发送和接收。
移动平台的路径规划单元包括基于位姿估计的三维稠密建图和移动平台的路径规划两部分。针对移动机器人在大场景动态环境中自主定位与建图的鲁棒性问题，采用深度相机、IMU与轮式编码器、GPS或者北斗系统融合的紧耦合非线性优化方法进行位姿估计，增强移动机器人位姿估计的鲁棒性。在获得鲁棒位姿估计的基础上，引入最新关键帧，当机器人位姿发生变化时，通过对关键帧图像进行物体分割，检测人体、宠物等潜在的动态物体，将与其对应的三维点云从深度相机的点云中滤除，仅留下对应于静态场景的点云数据，结合位姿估计器得到的可靠位姿，将过滤后的三维点云数据投影到三维体素地图上，构建全局稳定、高精度的三维体素场景地图。移动平台的路径规划是在视觉鲁棒位姿估计和稠密场景地图的基础上，利用基于深度学习的图像分割算法，在线识别环境中潜在的动态物体，进行灵活避障，实时调整运动轨迹，在无标记物(二维码、激光板等)场合下，实现移动机器人的自主导航。为了防止机器人与墙壁等静态障碍物发生碰撞，将该三维稠密地图中的静态障碍物进行圆弧膨胀处理，从而使规划出的全局路径与静态障碍物之间有一段安全距离，防止移动机器人与障碍物碰撞。
多自由度机械臂的路径规划单元采用RRT(Rapidly-exploring Random Trees)规划算法。在获得高精度场景物体空间位姿的基础上，首先针对场景垃圾物体空间位姿实时规划机械臂的运动路径，生成从机械臂的起始点到目标点的一系列中间过程路径点，并进行路径点之间的插补计算，实现轨迹生成。然后，将生成的路径点坐标位姿进行优化，考虑机械臂动力学限制，约束最大加速度、最大速度、最大角加速度、最大角速度，对路径进行时间参数化，得到机械臂的轨迹，通过在线轨迹生成算法同步机械臂各轴的关节值，确定机械臂的同步轨迹。在对每个关节电机进行轨迹跟踪的前提下，选取与当前状态最接近的轨迹点，作为期望位置，并使用该轨迹点的速度进行带有速度前馈的位置闭环控制，使机械臂可以快速准确按既定轨迹运行，实时控制机械臂的运动，进而完成场景目标垃圾物体的智能抓取。
本发明实施例中，移动平台按照负载与灵活运动的要求，设计移动平台的尺寸和4个轮子的选型，移动平台的长度为1000～1200mm，宽度为600～800mm，高为300～500mm，轮子选用4个轮径为200～400mm的橡胶轮。移动平台具有较大的负载能力，可以承载整套机械装置并符合机器人系统灵活运动的要求。
在本发明实施例中，多自由度机械臂根据预期的空间姿态和灵活程度来设计每个关节及其连接机构。机械臂由底座、7个关节电机(1-7)、6根连杆(1-6)和夹爪组成，其中，底座固定在移动平台上部中央，夹爪固定在第7关节末端，每个关节节节相连，并分别与前一关节垂直固定，通过控制内部的驱动电机进行转动。第一关节电机到第六关节电机分别通过连杆(1-6)与后续邻近的关节电机相连。在机械臂末端上固定安装一个深度相机B。在不包含夹爪时，机械臂总长度为1.0m～1.5m，总重量为15～40kg。
在本发明实施例中，智能捡垃圾移动机器人巡检时，视觉检测模块的深度相机A如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，行人将垃圾置于任意一个深度相机前，经系统识别后，控制模块打开对应垃圾桶桶盖，允许行人投放垃圾。
实施例3：
本发明实施例提供了一种用于智能捡垃圾的移动机器人实现方法，所述方法可以用于实现如实施例1中所述能捡垃圾的移动机器人完成相应功能，因此，如果在有必要的情况下，本发明实施例的相应装置结构之间的关联关系可以借鉴实施例1中所阐述的实现，但是具体可用于本发明实施例方法的结构不限于实施例1中所阐述的内容。在本发明实施例中给予了一种具体场景，其中，智能捡垃圾的移动机器人在建立好的地图上自主运动，搜寻场景中的垃圾，如图2所示，方法包括：
在步骤201中，智能捡垃圾的移动机器人融合深度相机A、惯性传感器和轮式编码器，以及GPS或北斗系统数据进行位姿估计。
在本发明实施例中，提出了一种结合相机和各传感器实现位姿估计的方法，优选的，对于深度相机A所能拍摄到场景信息，进行标定对象选定，则在具体操作过程中，优选的是先通过GPS或北斗系统数据进行位置的确定，进一步的通过深度相机A获取该位置的周边图像信息，并根据图像信息中的标定对象完成智能捡垃圾的移动机器人的定位；进一步的，再通过惯性传感器和轮式编码器完成所述位姿的估计，即所述智能捡垃圾的移动机器人的运动跟踪。
在步骤202中，在建立好的地图上，智能捡垃圾的移动机器人按照设定好的路径运动，并进行动态避障。
其中，所述设定好的路径运动，包括根据大数据分析出的，指定时段会产生的人流拥塞区域、垃圾量激增区域，并且根据所述人流拥塞区域调整行径路线，使得在发生人流拥塞区域中的智能捡垃圾的移动机器人能够临时的处于固定位置状态，而对于垃圾量激增区域能够在相应时段派驻多个智能捡垃圾的移动机器人进行垃圾的消化(包括自主拾取和行人的主动投递)。
因此，在具体实现过程中还存在一种优选的实现方案，即每一个智能捡垃圾的移动机器人存在自身的充电位置，而相应的充电位置会交互各自充电后出发的智能捡垃圾的移动机器人的位置信息，使得用户在智能捡垃圾的移动机器人处于运动状态时，能够根据相应充电点位标识的位置和距离信息，找到运动中的智能捡垃圾的移动机器人。
在步骤203中，深度相机A搜寻场景中的疑似垃圾，初步定位疑似垃圾，主动引导移动平台靠近疑似垃圾。
在本发明实施例方式中，深度相机A和深度相机B给与不同的功能定位，深度相机A通常设置在智能捡垃圾的移动机器人的移动平台上，即相对于智能捡垃圾的移动机器人来说比较固定和稳定的位置，而所述深度相机B通常是机械臂上，从而能够通过深度相机B获取的图片信息，完成深度相机A发现的疑似垃圾的识别和分类。
这样操作的优势在于，深度相机A和深度相机B都不是严格需要高配，并且，能够保证不同的疑似垃圾可以被同步，且分级的方式进行分析，提高了综合处理效率。
在步骤204中，智能捡垃圾的移动机器人运行到有疑似垃圾的附近区域后，机械臂末端上的深度相机B随着机械臂的运动，进一步主动搜寻疑似垃圾，进行垃圾识别、分类和精确定位，引导机械臂抓取垃圾，并投放到对应种类的垃圾桶中。
在本发明实施例中智能捡垃圾的移动机器人巡检时，视觉检测模块如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，提高了智能捡垃圾的移动机器人系统的实用性和适应性。
相比较现有技术中采用定点设置智能垃圾桶的方式，本发明实施例所提出的方案能够更灵活的应对各种场景，并且，能够充分利用用户的主动投放垃圾的能动性，从而简化疑似垃圾识别难度。进一步的，用户主动拿到智能捡垃圾的移动机器人系统跟前的垃圾，可以进一步作为大数据学习的依据，从而提高后续自主拾取垃圾时的甄别准确度。
结合本发明实施例，还考虑到并非每一疑似垃圾的识别和分类都是准确的，尤其是在实际运行过程中，多以概率和评分作为分类的依据，此时，对于概率和/或评分不能达到准确界定一种垃圾时，就需要为本发明提出的智能捡垃圾的移动机器人增设一套回溯机制。具体的，智能捡垃圾的移动机器人还包括一个或者多个校验储物槽，所述一个或者多个校验储物槽的槽盖与按照垃圾类型分类的所述垃圾桶桶盖都归属所述智能捡垃圾的移动机器人控制，具体的：
智能捡垃圾的移动机器人通过深度相机B完成对所述疑似垃圾的识别、分类和定位后，若识别和分类结果中包含至少两个疑似结果时，控制当前处于空闲状态的校验储物槽的槽盖打开，并控制机械臂将该垃圾投入打开槽盖的校验储物槽；
其中，智能捡垃圾的移动机器人在本地存储中将该疑似垃圾的识别和分类过程，以及投入该疑似垃圾的校验储物槽的标识信息记录到日志中，用于后续工作人员对此疑似垃圾的识别和分类过程进行回溯和改进。
结合本发明实施例，为了进一步提高其智能便捷性，也为了增强其在社会环境中的存在感，优选的，智能捡垃圾的移动机器人巡检时，深度相机A如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，行人将垃圾置于深度相机A或者深度相机B前，经系统识别后，智能捡垃圾的移动机器人打开对应垃圾桶桶盖，允许行人投放垃圾。
智能捡垃圾的移动机器人采用并行卷积神经网络，通过反向对抗学习，协同训练提高并行卷积神经网络对垃圾特征的学习能力，并加入注意力模型，精确调整并行卷积神经网络学习到的垃圾特征表达，使得网络模型更关注对分割有利的垃圾特征，提高实例分割、垃圾目标关键点检测的精度，便于机械臂抓取垃圾。
所述并行卷积神经网络具体为D-PCN(英文全称为：Parallel ConvolutionalNetwork via a Discriminator)，所述D-PCN中包含至少一个判别器网络，使用反向对抗学习，协同训练提高并行卷积神经网络的垃圾特征提取性能，进而提高垃圾图像识别的精度；通过并行的两个卷积神经网络在判别器网络的监督下学习不同的垃圾特征表达，然后将来自于不同网络的垃圾特征进行融合，得到更加具有判别性的垃圾特征表达，最后经过分类网络输出最终结果。
在本发明的优选方案中，在视觉检测模块中采用协同训练和反向对抗学习方法，使用两个结构相同的并行卷积神经网络框架，进行垃圾特征提取和融合，从而实现不同层级的特征学习，得到更加丰富的特征表达，以解决单个网络难以充分提取垃圾判别性特征的问题。
注意力模型同时接收2个不同尺度的垃圾特征图，采用多尺度特征融合策略将每个尺度的不同位置的特征进行上采样，使得其尺寸大小一致，然后采用多扩张卷积策略，针对不同尺度特征，使用不同扩张系数的扩张卷积提取垃圾物体的不同特征，提高对垃圾物体的特征表达能力，再通过跨通道合并进行特征融合，输入给坐标注意力分支(垃圾位置注意力支路)和校准分支，最后将这两个支路合并后的结果作为最后的掩膜预测，提高垃圾物体实例分割与目标关键点检测的精度。
在本发明的优选方案中，将注意力模型引入到并行卷积神经网络进行垃圾场景图像分割，同时接收2个不同尺度的垃圾特征图，采用多扩张卷积策略，针对不同尺度特征，使用不同扩张系数的扩张卷积提取垃圾物体的不同特征，提高了对垃圾物体的特征表达能力；并将坐标注意力分支(垃圾位置注意力支路)和校准分支合并后的结果作为最后的掩膜预测，提高了垃圾物体实例分割与目标关键点检测的精度。
实施例4：
本发明实施例是对实施例2中所涉及的算法的具体展开实例描述，其中，视觉检测模块的全卷积实例分割框架(Fully Convolutional Instance Segmentation，简称为：FCIS)，整体结构如图3所示。采用并行卷积神经网络，通过反向对抗学习，协同训练提高并行卷积神经网络对垃圾特征的学习能力，进行特征提取和融合，从而实现不同层级的特征学习，得到更加丰富的特征表达，以解决单个网络难以充分提取判别性特征的问题。同时，将注意力模型引入到分割网络中，精确调整并行卷积神经网络学习到的垃圾特征表达，使得网络模型更关注对分割有利的垃圾特征，提高实例分割、垃圾目标关键点检测的精度，便于机械臂抓取垃圾。
进一步地，所述的全卷积实例分割框架FCIS，使用并行卷积神经网络D-PCN，增强卷积神经网络的特征提取性能。D-PCN中的并行网络在判别器网络的指导下，通过反向对抗学习，协同训练提高并行卷积神经网络的垃圾特征提取性能，使得框架中的两个并行网络分别提取关注点不同的特征，可以学习到不同的特征，两个子网络融合后的特征更加具有判别性，从而提高了网络的整体性能。
例如图3中的内得分图和外得分图，融合后可获得更加丰富的特征，再通过注意力模型对融合后的特征进行调整，从而提高垃圾图像分割与识别的精度。图4是对地面实际摆放的塑料瓶进行检测与实例分割后的效果。捡垃圾移动机器人最初不太能分清楚要将哪种物品归为垃圾，通过网络将RBG图像映射到实例分割图，便能够有效获得此信息。
具体地，D-PCN网络结构中，有2个并行的卷积神经网络，一个判别器，以及一个分类网络，整体结构如图5所示。卷积神经网络可以是任意CNN模型，例如VGG，ResNet或者DenseNet等。例如，以ResNet-20为子网络模型时，每一个ResNet-20子网络分成特征提取器和分类器两个部分。不同子网络特征提取器得到的特征将进行融合，然后输入到分类网络得到最终分类结果。分类网络的结构和子网络的分类器保持一致，特征融合方法采用的是通道合并，所以分类网络中对应网络层的通道数都变为2倍。
进一步地，D-PCN网络架构中的判别器仅包含数层卷积层、批量归一化层以及使用Leaky ReLU激活函数。D-PCN在训练过程中，判别器会接收某一个子网络的具有高度判别性的特征，从而指导另一个子网络学习到与之不同但同时具有判别性的特征，从而使得子网络可以学习到不同的特征表达。
D-PCN采用三阶段训练策略，该训练方法如图6所示。
Step1：固定判别器的参数，将判别器的误差加到某一个子网络的误差项中，以扩大不同子网络参数分布间的距离。在本训练阶段，仅有两个子网络的参数得到更新。
对于子网络1，其误差函数定义为：
同时子网络2的误差函数定义为：
公式(1)和(2)中的
和
分别指代子网络1和2的交叉熵分类误差。D指代判别器，E指代子网络的特征提取器。
是判别器接受子网络2特征提取器得到的特征作为输入产生的误差，采用二范数形式，并求平均，在本阶段的训练中，该误差仅仅用来差异化子网络间的参数分布。λ是权重系数，用来控制来自判别器的误差在子网络误差中的比例。经过一定数量的训练轮数后，此阶段训练停止。
Step2：将除去额外分类网络之外的所有模块都参与联合训练。
子网络1的误差函数定义为：
子网络2的误差函数定义为：
判别器的误差函数定义为：
在本阶段的训练中，判别器通过
和
使得驱使子网络1和子网络2学习到的特征产生差异化，同时
和
确保子网络的特征具有高度判别性，结合这两种误差函数，每个子网络朝着特征具有更高的判别性以及学习被其它子网络忽略的信息这一方向不断进行参数更新。在某种程度上，
和
可以看作是子网络的一种正则化项。
Step3：将子网络的分类器以及判别器移去，并固定特征提取器的参数，不同子网络特征提取器的特征经过融合后作为额外分类网络的输入，然后进行分类网络的单独训练，完成整个网络的训练。
实施例5：
在本发明实施例中，将注意力模型引入到并行卷积神经网络进行垃圾场景图像分割，同时接收2个不同尺度的垃圾特征图，采用多尺度特征融合策略将每个尺度的不同位置的特征进行上采样，使得其尺寸大小一致，然后采用多扩张卷积策略，针对不同尺度特征，使用不同扩张系数的扩张卷积提取垃圾物体的不同特征，提高对垃圾物体的特征表达能力，再通过跨通道合并进行特征融合，之后输入给坐标注意力分支(垃圾位置注意力支路)和校准分支，最后将这两个支路合并后的结果作为最后的掩膜预测。
如图7所示，本发明实施例的注意力模型针对来自不同尺度的特征进行不同的处理，使用多尺度特征融合策略，并增加了多扩张卷积处理，以及坐标注意力分支(垃圾位置注意力支路)和校准分支，提高了垃圾物体实例分割与目标关键点检测的精度。
具体地，多尺度特征融合策略先将每个分支尺度网络的不同位置的特征进行上采样，使得其尺寸大小一致。为了减少显存消耗，选取经过两层池化层后的中间某一层的特征的尺寸大小作为统一上采样的目标尺寸。通过这种特征融合方式，可以使得注意力模型获得具有更多上下文全局信息的特征，增加最后的预测性能。
进一步地，注意力模型中采用了多扩张卷积策略，针对不同尺度支路特征使用不同扩张系数的扩张卷积提取不同的特征。经过处理后，注意力模型可以从大尺度支路学习到空间跨度大的目标区域信息，从小尺度支路学习到空间跨度小的目标区域信息。经过扩张卷积处理后，不同支路的特征会经过一层全局均值池化层适当减小尺寸，然后小尺度支路的特征会通过双线性插值上采样到和大尺度支路特征相同的尺寸，最后通过跨通道合并进行特征融合，从而得到含有更多上下文信息的特征表达。
进一步地，注意力模型中设计了两个并行的小网络支路，在得到了融合的特征后，经由这两个并行小网络支路分别输出对主网络预测的两种调整信息。其中一个支路为坐标注意力分支(垃圾位置注意力支路)，产生对掩模预测的跨通道(所有通道共用)调整权值矩阵，其仅含有几层卷积层，最后输出使用softmax处理。另一条支路为校准分支，用于防止在某些特定的情况下，由于缺乏对上下文信息的发掘而引起的分类错误。和坐标注意力分支类似，校准分支也仅含有几层卷积层，不同的是其输出调整量的尺寸通道数和主网络上掩模预测的尺寸通道数保持一致，输出使用sigmoid函数，并且由于上下文信息在不同尺度下并未发生改变，所以校准分支的输出是应用于所有尺度的网络支路。
经过注意力模型调整后网络的最后输出为：
其中，输入的尺度数量为n，
表示元素乘法，尺度s支路在主网络对应的掩模预测设为Ps，其尺寸为W x H，0≤i≤W·H-1，
反映了位于尺度s下对应特征图的空间位置i的像素的重要程度，wri,c表示校准分支输出调整量的通道c位置i处的预测值，
是注意力模型的坐标注意力分支在尺度s位置i处的值，经过注意力模块调整后的掩模预测设为
意为尺度s支路掩模预测图中通道c坐标i处的预测值。
最后将2个支路合并后的结果作为最后的掩膜预测，即最后的输出为：
在本发明的实施例中，在公开的基准数据集PASCAL VOC 2012上进行实验，如表1所示，验证了在本发明的注意力模型的有效性，提高了网络的分割精度。
具体地，PASCAL VOC 2012数据集包含有20类物体，由于原始的PASCAL VOC 2012数据集仅含有少量标注过的图片，Hariharan对原始数据集中大量未标注图片做了标注，从而使得训练数据集包含10582张图片。实验是在1449张验证集图片上进行测试，在所有的训练过程中，仅使用2个尺度输入，即使用原始大小和0.5倍缩放的多尺度支路。对于多扩张卷积策略，分别设置扩张系数为2和12的扩张卷积。在训练的过程中，采用poly learningrate策略来调整学习率，即学习率会在设定值的基础上乘以
其中power设置为0.9。将最后主网络中最后输出掩模预测的几层卷积层称之为解码器，主网络在解码器之前的部分称之为编码器，训练时解码器的学习率设置为编码器的10倍。
表1.不同方法的分割精度对比表
| 方法 | mIoU(％) |
| 基准方法(DeepLab-LargeFOV) | 61.40 |
| 多路卷积网络，最大池化融合 | 63.88 |
| 多路卷积网络，均值池化融合 | 64.07 |
| Attention-to-scale | 64.74 |
| 本发明的注意力模型 | 67.98 |
表1中的所有方法的基础卷积神经网络皆为VGG16网络。表中的多路卷积网络指的是指多尺度语义分割方法，即将Attention-to-scale中的注意力模型去掉，然后在多尺度支路特征融合前分别进行相应的池化操作。经实验验证，本发明实施例的注意力模型提高了分割精度。
在另一个公开的基准数据集ADE20k上进行实验，也得到了类似的结果，验证了本发明实施例的注意力模型提高了分割精度。
实施例6：
如图8所示，是本发明实施例的基于人体状态的内容推荐装置的架构示意图。本实施例的基于人体状态的内容推荐装置包括一个或多个处理器21以及存储器22。其中，图8中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器22作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如实施例1中的用于智能捡垃圾的移动机器人实现方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令，从而执行用于智能捡垃圾的移动机器人实现方法。
存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的用于智能捡垃圾的移动机器人实现方法，例如，执行以上描述的图2所示的各个步骤。
值得说明的是，上述装置和系统内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于智能捡垃圾的移动机器人系统，其特征在于，系统包括移动平台，所述移动平台上设置有多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块、传感器模块、控制模块和电源模块，其中，所述控制模块与所述多自由度机械臂、垃圾存放装置、语音模块、视觉检测模块和传感器模块相连，所述电源模块给所述移动平移台、所述垃圾存放装置、语音模块、所述控制模块、所述多自由度机械臂、视觉检测模块和传感器模块供电，具体的：
控制模块通过视觉检测模块识别场景中的疑似垃圾，并根据所述传感器模块实现所述移动平台的路径规划和靠近所述疑似垃圾的操作；在控制模块通过视觉检测模块完成对所述疑似垃圾的识别、分类和定位后，打开对应种类的垃圾桶桶盖，控制机械臂完成垃圾抓取和投放任务；
其中，移动机器人巡检时，语音模块用于提示行人主动投放垃圾，行人将垃圾置于视觉检测模块前，经视觉检测模块识别后，由控制模块打开对应垃圾桶桶盖，允许行人投放垃圾到相应垃圾存放装置中。
2.根据权利要求1所述的用于智能捡垃圾的移动机器人系统，其特征在于，还包括校验模组，所述校验模组包括一个或者多个校验储物槽和相应的槽盖，所述一个或者多个校验储物槽的槽盖与按照垃圾类型分类的所述垃圾桶桶盖都归属所述控制模块驱动，具体的：
控制模块通过视觉检测模块完成对所述疑似垃圾的识别、分类和定位后，若识别和分类结果中包含至少两个疑似结果时，控制模块控制当前处于空闲状态的校验储物槽的槽盖打开，并控制机械臂将该垃圾投入打开槽盖的校验储物槽；
其中，所述控制模块还用于在本地存储中将该疑似垃圾的识别和分类过程，以及投入该疑似垃圾的校验储物槽的标识信息记录到日志中，用于后续工作人员对此疑似垃圾的识别和分类过程进行回溯和改进。
3.根据权利要求1所述的用于智能捡垃圾的移动机器人系统，其特征在于，所述视觉检测模块通过深度相机A和深度相机B联合，深度相机A水平放置并固定在移动平台前端的正中央，深度相机B安装在所述多自由度机械臂末端上；
其中，所述深度相机A用于识别场景中的疑似垃圾；所述深度相机B用于完成对所述疑似垃圾的识别、分类和定位；
所述传感器模块包括惯性传感器、轮式编码器、GPS和北斗系统中的一种或者多种。
4.根据权利要求1-3任一所述的用于智能捡垃圾的移动机器人系统，其特征在于，所述的垃圾存放装置包含多套用于存储不同垃圾类型的子垃圾存放装置，分布安装在移动平台上，每套子垃圾存放装置均包括垃圾桶、对应桶盖、电机驱动板、直流电机和传动连接杆；
其中，所述电机驱动板串接在控制模块和直流电机之间，用于向所述直流电机发送来自控制模块的驱动指令；所述驱动电机通过所述连接杆与所述桶盖相连，用于驱动所述连接杆实现所述桶盖的闭合和打开。
5.一种用于智能捡垃圾的移动机器人实现方法，其特征在于，智能捡垃圾的移动机器人在建立好的地图上自主运动，搜寻场景中的垃圾，方法包括：
智能捡垃圾的移动机器人融合深度相机A、惯性传感器和轮式编码器，以及GPS或北斗系统数据进行位姿估计；
在建立好的地图上，智能捡垃圾的移动机器人按照设定好的路径运动，并进行动态避障；
深度相机A搜寻场景中的疑似垃圾，初步定位疑似垃圾，主动引导移动平台靠近疑似垃圾；
智能捡垃圾的移动机器人运行到有疑似垃圾的附近区域后，机械臂末端上的深度相机B随着机械臂的运动，进一步主动搜寻疑似垃圾，进行垃圾识别、分类和精确定位，引导机械臂抓取垃圾，并投放到对应种类的垃圾桶中。
6.根据权利要求5所述的用于智能捡垃圾的移动机器人实现方法，其特征在于，智能捡垃圾的移动机器人还包括一个或者多个校验储物槽，所述一个或者多个校验储物槽的槽盖与按照垃圾类型分类的所述垃圾桶桶盖都归属所述智能捡垃圾的移动机器人控制，具体的：
智能捡垃圾的移动机器人通过深度相机B完成对所述疑似垃圾的识别、分类和定位后，若识别和分类结果中包含至少两个疑似结果时，控制当前处于空闲状态的校验储物槽的槽盖打开，并控制机械臂将该垃圾投入打开槽盖的校验储物槽；
其中，智能捡垃圾的移动机器人在本地存储中将该疑似垃圾的识别和分类过程，以及投入该疑似垃圾的校验储物槽的标识信息记录到日志中，用于后续工作人员对此疑似垃圾的识别和分类过程进行回溯和改进。
7.根据权利要求5或6所述的用于智能捡垃圾的移动机器人实现方法，其特征在于，智能捡垃圾的移动机器人巡检时，深度相机A如搜寻到场景中有较多行人时，控制模块主动向语音模块发出语音播报控制指令，启动语音模块播报语音信息，提示行人主动投放垃圾，行人将垃圾置于深度相机A或者深度相机B前，经系统识别后，智能捡垃圾的移动机器人打开对应垃圾桶桶盖，允许行人投放垃圾。
8.根据权利要求5或6所述的用于智能捡垃圾的移动机器人实现方法，其特征在于，智能捡垃圾的移动机器人采用并行卷积神经网络，通过反向对抗学习，协同训练提高并行卷积神经网络对垃圾特征的学习能力，并加入注意力模型，精确调整并行卷积神经网络学习到的垃圾特征表达，使得网络模型更关注对分割有利的垃圾特征。
9.根据权利要求8所述的用于智能捡垃圾的移动机器人实现方法，其特征在于，所述并行卷积神经网络具体为D-PCN，所述D-PCN中包含至少一个判别器网络，使用反向对抗学习，协同训练提高并行卷积神经网络的垃圾特征提取性能，进而提高垃圾图像识别的精度；通过并行的两个卷积神经网络在判别器网络的监督下学习不同的垃圾特征表达，然后将来自于不同网络的垃圾特征进行融合，得到更加具有判别性的垃圾特征表达，最后经过分类网络输出最终结果。
10.根据权利要求8所述的用于智能捡垃圾的移动机器人实现方法，其特征在于，注意力模型同时接收2个不同尺度的垃圾特征图，采用多尺度特征融合策略将每个尺度的不同位置的特征进行上采样，使得其尺寸大小一致，然后采用多扩张卷积策略，针对不同尺度特征，使用不同扩张系数的扩张卷积提取垃圾物体的不同特征，提高对垃圾物体的特征表达能力，再通过跨通道合并进行特征融合，输入给坐标注意力分支和校准分支，最后将这两个支路合并后的结果作为最后的掩膜预测，提高垃圾物体实例分割与目标关键点检测的精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911164933.3A CN110924340B (zh) | 2019-11-25 | 2019-11-25 | 一种用于智能捡垃圾的移动机器人系统与实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911164933.3A CN110924340B (zh) | 2019-11-25 | 2019-11-25 | 一种用于智能捡垃圾的移动机器人系统与实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110924340A true CN110924340A (zh) | 2020-03-27 |
| CN110924340B CN110924340B (zh) | 2021-03-05 |
Family
ID=69851727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911164933.3A Active CN110924340B (zh) | 2019-11-25 | 2019-11-25 | 一种用于智能捡垃圾的移动机器人系统与实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110924340B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111469131A (zh) * | 2020-05-10 | 2020-07-31 | 上海大学 | 一种装配机械臂的无人艇水面垃圾清理控制系统及方法 |
| CN111823212A (zh) * | 2020-07-20 | 2020-10-27 | 武汉工程大学 | 一种垃圾瓶清捡机器人及控制方法 |
| CN112056991A (zh) * | 2020-09-08 | 2020-12-11 | 上海高仙自动化科技发展有限公司 | 机器人的主动清洁方法、装置、机器人和存储介质 |
| CN112241679A (zh) * | 2020-09-14 | 2021-01-19 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112315383A (zh) * | 2020-10-29 | 2021-02-05 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
| CN112589766A (zh) * | 2020-12-02 | 2021-04-02 | 浙江博城机器人科技有限公司 | 马路自主巡逻垃圾识别分拣机器人 |
| CN113192058A (zh) * | 2021-05-21 | 2021-07-30 | 中国矿业大学(北京) | 一种基于计算机视觉的砖垛智能装车系统及其装车方法 |
| CN113892848A (zh) * | 2021-10-08 | 2022-01-07 | 上海景吾智能科技有限公司 | 可翻转物体的翻转跟随轨迹规划方法、装置及系统 |
| CN113911586A (zh) * | 2021-12-09 | 2022-01-11 | 四川大学 | 智能垃圾分拣系统及分拣方法 |
| CN114239676A (zh) * | 2021-11-08 | 2022-03-25 | 苏州纳故环保科技有限公司 | 一种基于改进的ResNet网络的图像分类方法 |
| WO2022088430A1 (zh) * | 2020-10-29 | 2022-05-05 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
| CN116872233A (zh) * | 2023-09-07 | 2023-10-13 | 泉州师范学院 | 校园巡检机器人及其控制方法 |
| CN116901106A (zh) * | 2023-09-07 | 2023-10-20 | 深圳市旭日环境科技有限公司 | 基于固液混合的垃圾残渣回收转运系统 |
| CN117921622A (zh) * | 2024-03-25 | 2024-04-26 | 宁波昂霖智能装备有限公司 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105772407A (zh) * | 2016-01-26 | 2016-07-20 | 耿春茂 | 一种基于图像识别技术的垃圾分类机器人 |
| US9403278B1 (en) * | 2015-03-19 | 2016-08-02 | Waterloo Controls Inc. | Systems and methods for detecting and picking up a waste receptacle |
| CN108376241A (zh) * | 2018-01-26 | 2018-08-07 | 深圳市易成自动驾驶技术有限公司 | 垃圾拾取方法、垃圾拾取车及计算机可读存储介质 |
| CN108584231A (zh) * | 2018-05-07 | 2018-09-28 | 北京三辰环卫机械有限公司 | 基于移动垃圾桶的迎宾方法、移动垃圾桶 |
| CN108648197A (zh) * | 2018-04-12 | 2018-10-12 | 天津大学 | 一种基于图像背景掩膜的目标候选区域提取方法 |
| CN108824278A (zh) * | 2018-06-13 | 2018-11-16 | 福建捷联电子有限公司 | 一种智能环保机器人 |
| CN109079743A (zh) * | 2018-09-17 | 2018-12-25 | 张石磊 | 一种自动捡垃圾机器人 |
| CN109249402A (zh) * | 2018-10-15 | 2019-01-22 | 深圳蓝胖子机器人有限公司 | 机器人、机器人自动回收垃圾方法、装置和存储介质 |
| US20190065817A1 (en) * | 2017-08-29 | 2019-02-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
| CN109767446A (zh) * | 2018-12-28 | 2019-05-17 | 北京市商汤科技开发有限公司 | 一种实例分割方法及装置、电子设备、存储介质 |
| CN109858331A (zh) * | 2018-12-17 | 2019-06-07 | 安徽酷哇机器人有限公司 | 自动驾驶清洁车垃圾识别清理方法 |
| CN110040396A (zh) * | 2019-05-17 | 2019-07-23 | 海南树印网络科技有限公司 | 基于大数据、机器学习的智能垃圾桶自主决策系统与方法 |
| CN110059656A (zh) * | 2019-04-25 | 2019-07-26 | 山东师范大学 | 基于卷积对抗生成神经网络的白细胞分类方法及系统 |
| CN110110752A (zh) * | 2019-04-01 | 2019-08-09 | 深圳市女娲机器人科技有限公司 | 一种垃圾识别和分类方法、装置及终端设备 |
| CN110116415A (zh) * | 2019-06-12 | 2019-08-13 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
| CN110188767A (zh) * | 2019-05-08 | 2019-08-30 | 浙江大学 | 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 |
| JP2019195751A (ja) * | 2018-05-08 | 2019-11-14 | ウエノテックス株式会社 | 廃棄物選別システム、教師データ生成装置、教師データ生成システム、および教師データ生成プログラム |
-
2019
- 2019-11-25 CN CN201911164933.3A patent/CN110924340B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9403278B1 (en) * | 2015-03-19 | 2016-08-02 | Waterloo Controls Inc. | Systems and methods for detecting and picking up a waste receptacle |
| CN105772407A (zh) * | 2016-01-26 | 2016-07-20 | 耿春茂 | 一种基于图像识别技术的垃圾分类机器人 |
| US20190065817A1 (en) * | 2017-08-29 | 2019-02-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
| CN108376241A (zh) * | 2018-01-26 | 2018-08-07 | 深圳市易成自动驾驶技术有限公司 | 垃圾拾取方法、垃圾拾取车及计算机可读存储介质 |
| CN108648197A (zh) * | 2018-04-12 | 2018-10-12 | 天津大学 | 一种基于图像背景掩膜的目标候选区域提取方法 |
| CN108584231A (zh) * | 2018-05-07 | 2018-09-28 | 北京三辰环卫机械有限公司 | 基于移动垃圾桶的迎宾方法、移动垃圾桶 |
| JP2019195751A (ja) * | 2018-05-08 | 2019-11-14 | ウエノテックス株式会社 | 廃棄物選別システム、教師データ生成装置、教師データ生成システム、および教師データ生成プログラム |
| CN108824278A (zh) * | 2018-06-13 | 2018-11-16 | 福建捷联电子有限公司 | 一种智能环保机器人 |
| CN109079743A (zh) * | 2018-09-17 | 2018-12-25 | 张石磊 | 一种自动捡垃圾机器人 |
| CN109249402A (zh) * | 2018-10-15 | 2019-01-22 | 深圳蓝胖子机器人有限公司 | 机器人、机器人自动回收垃圾方法、装置和存储介质 |
| CN109858331A (zh) * | 2018-12-17 | 2019-06-07 | 安徽酷哇机器人有限公司 | 自动驾驶清洁车垃圾识别清理方法 |
| CN109767446A (zh) * | 2018-12-28 | 2019-05-17 | 北京市商汤科技开发有限公司 | 一种实例分割方法及装置、电子设备、存储介质 |
| CN110110752A (zh) * | 2019-04-01 | 2019-08-09 | 深圳市女娲机器人科技有限公司 | 一种垃圾识别和分类方法、装置及终端设备 |
| CN110059656A (zh) * | 2019-04-25 | 2019-07-26 | 山东师范大学 | 基于卷积对抗生成神经网络的白细胞分类方法及系统 |
| CN110188767A (zh) * | 2019-05-08 | 2019-08-30 | 浙江大学 | 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 |
| CN110040396A (zh) * | 2019-05-17 | 2019-07-23 | 海南树印网络科技有限公司 | 基于大数据、机器学习的智能垃圾桶自主决策系统与方法 |
| CN110116415A (zh) * | 2019-06-12 | 2019-08-13 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111469131A (zh) * | 2020-05-10 | 2020-07-31 | 上海大学 | 一种装配机械臂的无人艇水面垃圾清理控制系统及方法 |
| CN111823212A (zh) * | 2020-07-20 | 2020-10-27 | 武汉工程大学 | 一种垃圾瓶清捡机器人及控制方法 |
| CN112056991A (zh) * | 2020-09-08 | 2020-12-11 | 上海高仙自动化科技发展有限公司 | 机器人的主动清洁方法、装置、机器人和存储介质 |
| CN112241679A (zh) * | 2020-09-14 | 2021-01-19 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112241679B (zh) * | 2020-09-14 | 2024-02-20 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| WO2022088430A1 (zh) * | 2020-10-29 | 2022-05-05 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
| CN112315383A (zh) * | 2020-10-29 | 2021-02-05 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
| CN112589766A (zh) * | 2020-12-02 | 2021-04-02 | 浙江博城机器人科技有限公司 | 马路自主巡逻垃圾识别分拣机器人 |
| CN113192058A (zh) * | 2021-05-21 | 2021-07-30 | 中国矿业大学(北京) | 一种基于计算机视觉的砖垛智能装车系统及其装车方法 |
| CN113892848B (zh) * | 2021-10-08 | 2022-10-14 | 杭州景吾智能科技有限公司 | 可翻转物体的翻转跟随轨迹规划方法、装置及系统 |
| CN113892848A (zh) * | 2021-10-08 | 2022-01-07 | 上海景吾智能科技有限公司 | 可翻转物体的翻转跟随轨迹规划方法、装置及系统 |
| CN114239676A (zh) * | 2021-11-08 | 2022-03-25 | 苏州纳故环保科技有限公司 | 一种基于改进的ResNet网络的图像分类方法 |
| CN113911586B (zh) * | 2021-12-09 | 2022-03-18 | 四川大学 | 智能垃圾分拣系统及分拣方法 |
| CN113911586A (zh) * | 2021-12-09 | 2022-01-11 | 四川大学 | 智能垃圾分拣系统及分拣方法 |
| CN116872233A (zh) * | 2023-09-07 | 2023-10-13 | 泉州师范学院 | 校园巡检机器人及其控制方法 |
| CN116901106A (zh) * | 2023-09-07 | 2023-10-20 | 深圳市旭日环境科技有限公司 | 基于固液混合的垃圾残渣回收转运系统 |
| CN117921622A (zh) * | 2024-03-25 | 2024-04-26 | 宁波昂霖智能装备有限公司 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110924340B (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110924340B (zh) | 一种用于智能捡垃圾的移动机器人系统与实现方法 | |
| Furgale et al. | Toward automated driving in cities using close-to-market sensors: An overview of the v-charge project | |
| US11899748B2 (en) | System, method, and apparatus for a neural network model for a vehicle | |
| CN110930323B (zh) | 图像去反光的方法、装置 | |
| CN111080659A (zh) | 一种基于视觉信息的环境语义感知方法 | |
| CN109579856A (zh) | 高精度地图生成方法、装置、设备及计算机可读存储介质 | |
| CN114384920A (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| CN111360780A (zh) | 一种基于视觉语义slam的垃圾捡拾机器人 | |
| Wang et al. | End-to-end autonomous driving: An angle branched network approach | |
| CN114474061A (zh) | 基于云服务的机器人多传感器融合定位导航系统及方法 | |
| WO2021178513A1 (en) | Systems and methods for integrating radar data for improved object detection in autonomous vehicles | |
| WO2021218693A1 (zh) | 一种图像的处理方法、网络的训练方法以及相关设备 | |
| CN114454875A (zh) | 一种基于强化学习的城市道路自动泊车方法及系统 | |
| CN114355907A (zh) | 一种基于云端的智能化垃圾识别和清扫方法、系统 | |
| CN116830164A (zh) | LiDAR去相关对象检测系统与方法 | |
| CN114882457A (zh) | 一种模型的训练方法、车道线的检测方法及设备 | |
| Wang et al. | End-to-end self-driving approach independent of irrelevant roadside objects with auto-encoder | |
| Liu et al. | Dloam: Real-time and robust lidar slam system based on cnn in dynamic urban environments | |
| US11556126B2 (en) | Online agent predictions using semantic maps | |
| CN113167038B (zh) | 一种车辆通过道闸横杆的方法及装置 | |
| Xia et al. | CyberC3: A prototype cybernetic transportation system for urban applications | |
| Chen et al. | Motion planning for heterogeneous unmanned systems under partial observation from uav | |
| Hsu et al. | Motion planning of autonomous vehicle for illegal parked vehicles at no parking area | |
| Chen et al. | Towards bio-inspired place recognition over multiple spatial scales | |
| CN117612140B (zh) | 道路场景的识别方法、装置和存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |