CN113441411A - 一种基于增强现实的垃圾分拣设备 - Google Patents

Abstract

本发明公开了一种基于增强现实的垃圾分拣设备，该设备包括信息获取模块，标记模块，告警模块，实现了对有害垃圾的自动识别，并基于增强现实技术指导分拣员对有害垃圾进行分拣操作，保护分拣员不受有害垃圾影响，同时提高了垃圾分拣的准确性。

Description

一种基于增强现实的垃圾分拣设备

技术领域

本发明属于垃圾处理领域，尤其涉及一种基于驱动装置的垃圾自动分拣系统。

背景技术

在环保领域中，针对生活垃圾的有效处理和相关高价值废品的回收再利用，已逐步成为社会发展日益关注的焦点，其中针对垃圾的分类过程是生活垃圾处理的关键。在我国当前国情条件下，垃圾处理厂中垃圾分类处理多采用人工流水线分拣的方式进行，该方式存在环境恶劣、分拣效率低的弊端，不能满足环保资源回收利用的发展需要。同时在具体分拣操作中，分拣员需要凭借自身经验判断垃圾种类，有可能会被有害垃圾伤害影响，如何对有害垃圾进行识别和处理成为了行业发展中急需解决的问题。

发明内容

针对目前现有的垃圾分拣系统所存在的缺陷和不足，本发明提出一种基于增强现实的垃圾分拣设备，其够通过神经网络算法的模型区分垃圾种类，并且基于增强现实技术指导分拣员对有害垃圾进行分拣操作，保护分拣员不受有害垃圾影响，同时提高了垃圾分拣的准确性。

本发明为解决以上技术问题所采取的技术方案是：

基于增强现实的垃圾分拣设备，包括以下模块：

信息获取模块，其被配置为获取AR眼镜视场中垃圾的图像，从该图像中识别出垃圾的种类信息；

标记模块，其被配置为根据所述垃圾的种类信息，生成对应的标识信息；

告警模块，其被配置为向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息，使得分拣员基于提示信息对所述垃圾进行分拣操作。

进一步地，从该图像中识别出垃圾的种类信息包括，对所述获取AR眼镜视场中垃圾的图像进行预处理，所述预处理包括图像滤波降噪。

进一步地，垃圾的种类信息包括多个维度，包括名称，材质。

进一步地，向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：根据垃圾的种类信息确定分拣状态信息，并以确定的分拣状态信息作为该垃圾的操作提示信息。

进一步地，向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：对所述AR眼镜的视场中的多个物品分别标识出提示信息，以使所述分拣人员基于各垃圾的提示信息，对符合自己分拣任务的执行操作。

进一步地，向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：对所述AR眼镜的视场中与该AR眼镜的预置操作任务关联的垃圾标识出提示信息，以使所述分拣员对标识有提示信息的垃圾进行分拣。

进一步地，分拣员基于提示信息对所述垃圾进行分拣操作，包括：提示信息包括不同颜色的文字框，红色为危险标记，以使分拣员对标识有红色边框提示信息的垃圾不操作；黄色为待定标记，以使分拣员对标识有黄色边框提示信息的垃圾谨慎操作；绿色为安全标记，以使得分拣员对标识有绿色边框提示信息的垃圾直接操作。

进一步地，告警模块还包括穿戴手环和指环；当分拣员对标识有红色边框提示信息的垃圾进行分拣操作时，所述穿戴手环和指环同时发出震动提示。

进一步地，识别操作，采用的是卷积神经网络模型，该模型的输入为归一化的特征图；在通道模块中，对输入的特征图F(H，W，C)沿通道维度产生两个分支，分别是最大池化和全局平均池化，大小都为1×1×C，接着并行地进行共享卷积核的卷积将通道压缩，进行特征融合，然后通过1×1卷积恢复为1×1×C，最后将两个分支合并后激活得到Mc与特征图F相乘；在空间模块中，对输入的特征图F’(H，W，C)沿着高和宽的维度产生两个分支，分别是最大池化和全局平局池化，大小为H×W×1，将两张特征图拼接成H×W×2，对拼接后的特征图进行7×7的卷积操作，输出大小为H×W×1，对其激活后得到Ms与特征图F’(H，W，C)相乘；其中C，H，W分别代表通道数，高，宽；Mc，Ms为权重向量。

基于增强现实的垃圾分拣方法，包括以下步骤：

S1、获取AR眼镜视场中垃圾的图像，从该图像中识别出垃圾的种类信息；

S2、根据所述垃圾的种类信息，生成对应的标识信息，

S3、向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息，使得分拣员基于提示信息对所述垃圾进行分拣操作。

本发明的有益效果如下：

本发明既可以提高垃圾分类的准确性，垃圾分拣难度，其够通过神经网络算法的模型区分垃圾种类，并且基于增强现实技术指导分拣员对有害垃圾进行分拣操作，保护分拣员不受有害垃圾影响，同时提高了垃圾分拣的准确性，能够提高垃圾处理效率，改善单纯依赖人工分类分拣不安全等问题。

上述说明，仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述说明和其它目的、特征及优点能够更明显易懂，特举较佳实施例，详细说明如下。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明的基于增强现实的垃圾分拣方法流程图

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例1

基于增强现实的垃圾分拣设备，包括以下模块：

信息获取模块，其被配置为获取AR眼镜视场中垃圾的图像，从该图像中识别出垃圾的种类信息；

标记模块，其被配置为根据所述垃圾的种类信息，生成对应的标识信息；

告警模块，其被配置为向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息，使得分拣员基于提示信息对所述垃圾进行分拣操作。

进一步地，从该图像中识别出垃圾的种类信息包括，对所述获取AR眼镜视场中垃圾的图像进行预处理，所述预处理包括图像滤波降噪。

进一步地，垃圾的种类信息包括多个维度，包括名称，材质。

进一步地，向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：根据垃圾的种类信息确定分拣状态信息，并以确定的分拣状态信息作为该垃圾的操作提示信息。

进一步地，向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：对所述AR眼镜的视场中的多个物品分别标识出提示信息，以使所述分拣人员基于各垃圾的提示信息，对符合自己分拣任务的执行操作。

进一步地，向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：对所述AR眼镜的视场中与该AR眼镜的预置操作任务关联的垃圾标识出提示信息，以使所述分拣员对标识有提示信息的垃圾进行分拣。

进一步地，分拣员基于提示信息对所述垃圾进行分拣操作，包括：提示信息包括不同颜色的文字框，红色为危险标记，以使分拣员对标识有红色边框提示信息的垃圾不操作；黄色为待定标记，以使分拣员对标识有黄色边框提示信息的垃圾谨慎操作；绿色为安全标记，以使得分拣员对标识有绿色边框提示信息的垃圾直接操作。

进一步地，告警模块还包括穿戴手环和指环；当分拣员对标识有红色边框提示信息的垃圾进行分拣操作时，所述穿戴手环和指环同时发出震动提示。

进一步地，识别操作，采用的是卷积神经网络模型，该模型的输入为归一化的特征图；在通道模块中，对输入的特征图F(H，W，C)沿通道维度产生两个分支，分别是最大池化和全局平均池化，大小都为1×1×C，接着并行地进行共享卷积核的卷积将通道压缩，进行特征融合，然后通过1×1卷积恢复为1×1×C，最后将两个分支合并后激活得到Mc与特征图F相乘；在空间模块中，对输入的特征图F’(H，W，C)沿着高和宽的维度产生两个分支，分别是最大池化和全局平局池化，大小为H×W×1，将两张特征图拼接成H×W×2，对拼接后的特征图进行7×7的卷积操作，输出大小为H×W×1，对其激活后得到Ms与特征图F’(H，W，C)相乘；其中C，H，W分别代表通道数，高，宽；Mc，Ms为权重向量。

基于增强现实的垃圾分拣设备还包括磁性吸附装置，用于分拣铁质垃圾物品；

基于增强现实的垃圾分拣设备还包括数据分析模块，对周期内处理的危险垃圾进行统计，根据统计结果，评估区域内用户垃圾分类意识水平，具体评估方法为：

其中F表示得分，w₁，w₂分别表示危险类垃圾物品和疑似危险垃圾物品的权重，k表示垃圾材质种类，M，N表示垃圾物品数量，得分越高表示用户垃圾分类意识水平及分类操作落实越差。

实施例2

基于增强现实的垃圾分拣方法，包括以下步骤：

S1、获取AR眼镜视场中垃圾的图像，从该图像中识别出垃圾的种类信息；

S2、根据所述垃圾的种类信息，生成对应的标识信息，

S3、向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息，使得分拣员基于提示信息对所述垃圾进行分拣操作。

其中，识别操作，采用的是卷积神经网络模型，该模型的输入为归一化的特征图；在通道模块中，对输入的特征图F(H，W，C)沿通道维度产生两个分支，分别是最大池化和全局平均池化，大小都为1×1×C，接着并行地进行共享卷积核的卷积将通道压缩，进行特征融合，然后通过1×1卷积恢复为1×1×C，最后将两个分支合并后激活得到Mc与特征图F相乘；在空间模块中，对输入的特征图F’(H，W，C)沿着高和宽的维度产生两个分支，分别是最大池化和全局平局池化，大小为H×W×1，将两张特征图拼接成H×W×2，对拼接后的特征图进行7×7的卷积操作，输出大小为H×W×1，对其激活后得到Ms与特征图F’(H，W，C)相乘；其中C，H，W分别代表通道数，高，宽；Mc，Ms为权重向量。

其中，分拣员基于提示信息对所述垃圾进行分拣操作，包括：提示信息包括不同颜色的文字框，红色为危险标记，以使分拣员对标识有红色边框提示信息的垃圾不操作；黄色为待定标记，以使分拣员对标识有黄色边框提示信息的垃圾谨慎操作；绿色为安全标记，以使得分拣员对标识有绿色边框提示信息的垃圾直接操作。

例如，在分拣操作台中，根据图像采集模块获取AR眼镜视场中垃圾的图像，图像中包括了木筷子，铁容器，装有透明液体玻璃瓶，装有透明液体的塑料瓶四个垃圾，经过识别操作，为木筷子添加绿色边框和提示信息，标记为木质，筷子；为铁容器添加绿色边框和提示信息，标记为金属，杯子；为装有透明液体玻璃瓶添加红色边框和提示信息，棕色玻璃，液体未知，疑似为化学品；为装有透明液体的塑料瓶黄色边框和提示信息，塑料，瓶，液体未知，疑似为水；分拣员可以根据AR眼镜视场中垃圾的图像以及标记和提示信息选择分拣目标。

为了提高分拣效率，可为分拣员安排分拣垃圾类型，如张三分拣金属类物品，则AR眼镜中，仅对金属类物品进行标记，并根据物品形状添加标识信息以及操作提示信息；或者在AR眼镜中设置分拣垃圾类型。

本发明的优点在于：本发明既可以提高垃圾分类的准确性，垃圾分拣难度，其够通过神经网络算法的模型区分垃圾种类，并且基于增强现实技术指导分拣员对有害垃圾进行分拣操作，保护分拣员不受有害垃圾影响，同时提高了垃圾分拣的准确性，能够提高垃圾处理效率，改善单纯依赖人工分类分拣不安全等问题。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于增强现实的垃圾分拣设备，其特征在于，该设备包括以下模块：

信息获取模块，其被配置为获取AR眼镜视场中垃圾的图像，从该图像中识别出垃圾的种类信息；

标记模块，其被配置为根据所述垃圾的种类信息，生成对应的标识信息；

告警模块，其被配置为向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息，使得分拣员基于提示信息对所述垃圾进行分拣操作。

2.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，其中所述从该图像中识别出垃圾的种类信息包括，对所述获取AR眼镜视场中垃圾的图像进行预处理，所述预处理包括图像滤波降噪。

3.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，所述垃圾的种类信息包括多个维度，包括名称，材质。

4.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，所述向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：根据垃圾的种类信息确定分拣状态信息，并以确定的分拣状态信息作为该垃圾的操作提示信息。

5.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，所述向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：对所述AR眼镜的视场中的多个物品分别标识出提示信息，以使所述分拣人员基于各垃圾的提示信息，对符合自己分拣任务的执行操作。

6.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，所述向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息包括：对所述AR眼镜的视场中与该AR眼镜的预置操作任务关联的垃圾标识出提示信息，以使所述分拣员对标识有提示信息的垃圾进行分拣。

7.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，所述分拣员基于提示信息对所述垃圾进行分拣操作，包括：提示信息包括不同颜色的文字框，红色为危险标记，以使分拣员对标识有红色边框提示信息的垃圾不操作；黄色为待定标记，以使分拣员对标识有黄色边框提示信息的垃圾谨慎操作；绿色为安全标记，以使得分拣员对标识有绿色边框提示信息的垃圾直接操作。

8.根据权利要求7所述的基于增强现实的垃圾分拣系统，其特征在于，所述告警模块还包括穿戴手环和指环；当分拣员对标识有红色边框提示信息的垃圾进行分拣操作时，所述穿戴手环和指环同时发出震动提示。

9.根据权利要求1所述的基于增强现实的垃圾分拣系统，其特征在于，所述识别，采用的是卷积神经网络模型，该模型的输入为归一化的特征图；在通道模块中，对输入的特征图F(H，W，C)沿通道维度产生两个分支，分别是最大池化和全局平均池化，大小都为1×1×C，接着并行地进行共享卷积核的卷积将通道压缩，进行特征融合，然后通过1×1卷积恢复为1×1×C，最后将两个分支合并后激活得到Mc与特征图F相乘；在空间模块中，对输入的特征图F’(H，W，C)沿着高和宽的维度产生两个分支，分别是最大池化和全局平局池化，大小为H×W×1，将两张特征图拼接成H×W×2，对拼接后的特征图进行7×7的卷积操作，输出大小为H×W×1，对其激活后得到Ms与特征图F’(H，W，C)相乘；其中C，H，W分别代表通道数，高，宽；Mc，Ms为权重向量。

10.一种基于增强现实的垃圾分拣方法，其特征在于，该方法包括以下步骤：

S1、获取AR眼镜视场中垃圾的图像，从该图像中识别出垃圾的种类信息；

S2、根据所述垃圾的种类信息，生成对应的标识信息，

S3、向所述AR眼镜的视场中垃圾图像中添加所述标识信息以及操作提示信息，使得分拣员基于提示信息对所述垃圾进行分拣操作。

Images