CN117181763B - 基于机器视觉识别的再生资源回收检查系统 - Google Patents
基于机器视觉识别的再生资源回收检查系统 Download PDFInfo
- Publication number
- CN117181763B CN117181763B CN202311156325.4A CN202311156325A CN117181763B CN 117181763 B CN117181763 B CN 117181763B CN 202311156325 A CN202311156325 A CN 202311156325A CN 117181763 B CN117181763 B CN 117181763B
- Authority
- CN
- China
- Prior art keywords
- vibration
- recognition result
- recycle
- container
- recycled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 36
- 238000004064 recycling Methods 0.000 title claims abstract description 19
- 239000000463 material Substances 0.000 claims abstract description 69
- 230000005236 sound signal Effects 0.000 claims description 30
- 238000011084 recovery Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 239000010806 kitchen waste Substances 0.000 abstract description 4
- 239000010808 liquid waste Substances 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及基于机器视觉识别的再生资源回收检查系统，通过设置振动容器使得回收物在振动容器内振动，不仅可以把聚集在一起的回收物分离开来，以便于后续图像识别时更准确地提取轮廓，还通过振动时产生的声音来判断包装类回收物内部是否存在液体、厨余垃圾等不可回收物。本申请在将回收物分离后进行图像识别，并预先通过振动各类回收物来建立对应的频率范围，通过将图像识别结果和对应的频率范围进行对比，就可以判断其内部是否存在不可回收物。本申请可以高效快捷地对再生资源进行检查，解决了传统纯视觉方案中识别不准确以及无法进行内部检查的技术问题。
Description
技术领域
本发明涉及识别技术领域，具体是基于机器视觉识别的再生资源回收检查系统。
背景技术
再生资源，是指在社会生产和生活消费过程中产生的，已经失去原有全部或部分使用价值，经过回收、加工处理，能够使其重新获得使用价值的各种废弃物。
再生资源一般由回收站进行分类回收，但是在回收时，常常会在回收资源的容器中发现不可回收资源。从而导致后续的分类回收过程困难。因此，需要在回收时对回收物进行识别，以对投放回收物的人员进行监督。
但是现有技术中，由于回收容器内的环境复杂，在回收物进行图像识别时，很难将不同的再生资源图像进行分离提取，因此，识别效果较差。同时，一些常见的再生资源，如金属罐、塑料瓶等容器，内部如果存在其他不可回收物品，也难以通过图像识别进行检查。因此检查效果较差。
发明内容
有鉴于此，本发明的目的是提供基于机器视觉识别的再生资源回收检查系统，以解决现有技术中对回收物进行检查时，效果较差的问题。
为了实现上述目的，本发明采用了如下技术方案：
本发明的基于机器视觉识别的再生资源回收检查系统，包括：
控制模块，用于控制预先设置的振动容器开始振动，以使得振动容器内的回收物振动，并用于确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动；
采集模块，用于在振动容器开始振动时，采集处于振动状态的回收物产生的声音信号，以及在震动容器停止振动时，采集所述振动容器内的回收物图像，其中，所述声音信号为多种频率的混合信号；
识别模块，用于对所述回收物图像进行识别，得到每种回收物的识别结果；
提取模块，用于提取所述声音信号的多种频率成分；
检查模块，用于将所述每种回收物的识别结果对应的频率范围与所述多种频率成分进行对比，并在任意一种频率成分落入至其中一种回收物的识别结果对应的频率范围时，通过该种回收物的检查；在任一种回收物的识别结果对应的频率范围内没有落入任一种频率成分时，不通过该种回收物的检查，其中，识别结果对应的频率范围预先建立。
在本申请一实施例中，控制预先设置的振动容器开始振动，包括：
获取位于振动容器内的回收物的重量数据；
将所述重量数据与预设的重量阈值进行对比，并在所述重量数据大于或者等于所述预设的重量阈值时，产生振动启动信号，并将所述振动启动信号发送至振动设备，以使得所述振动设备驱动所述振动容器进行振动。
在本申请一实施例中，确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动，包括：
获取所述振动容器中处于振动状态的回收物的重量分布数据，其中，所述重量分布数据表征了回收物在振动容器内的分布状态；
确定所述重量分布数据在单位时间内的变化率，并在所述重量分布数据在单位时间内的变化率小于预设阈值时，产生振动停止信号，并将所述振动停止信号发送至振动设备，以使得所述振动设备停止振动。
在本申请一实施例中，确定所述重量分布数据在单位时间内的变化率，并在所述重量分布数据在单位时间内的变化率小于预设阈值时，产生振动停止信号，包括：
获取多个时间点对应的振动容器内多个区域的压力值F(i,t)，其中，所述多个区域预先从所述振动容器中划分；
确定第i个区域的压力值变化率ρ，所述压力值变化率为：
在每个区域的压力值变化率ρ均在单位时间内满足：ρ≤α时，产生振动停止信号，其中，α为预设阈值。
在本申请一实施例中，对所述回收物图像进行识别，得到每种回收物的识别结果，包括：
提取所述回收物图像的轮廓特征和文字特征，其中，所述文字特征为包装类回收物的；
将所述轮廓特征输入至预先建立的图像识别模型，得到图像识别结果；并将所述文字特征输入至预先建立的文字识别模型，得到文字识别结果；
在任意一个位置同时存在图像识别结果和文字识别结果时，将所述一个位置的图像识别结果和文字识别结果进行融合，得到回收物的识别结果；在任意一个位置只存在图像识别结果时，将所述图像识别结果作为回收物的识别结果。
在本申请一实施例中，将所述一个位置的图像识别结果和文字识别结果进行融合，得到回收物的识别结果，包括：
基于所述文字识别结果对预先建立的对应关系数据表进行查询，得到与所述文字识别结果关联的回收物类型信息，其中，所述对应关系数据表包含多种包装类回收物的文字与回收物类型信息的对应关系；
将与所述文字识别结果关联的回收物类型信息与图像识别结果进行对比，并在任意一个与所述文字识别结果关联的回收物类型信息与图像识别结果一致时，基于所述一个位置的图像识别结果和文字识别结果构建识别结果。
在本申请一实施例中，建立图像识别模型的方法包括：
获取包含回收物的样本图像；
提取所述样本图像中的轮廓特征，并对所述样本图像添加语义标签，得到训练数据；
基于所述训练数据对人工神经网络进行训练，得到图像识别模型。
在本申请一实施例中，建立所述频率范围的方法包括：
将多种回收物逐一放入振动容器中进行多次振动，并对每一种回收物在振动容器中进行多次振动时产生的声音进行采集，得到每一种回收物振动时的多个音频信号；
确定每一种回收物振动时的多个音频信号的频率fi；
基于多个音频信号的频率fi构建频率范围[(f-σ),(f+σ)]，其中，f为多个音频信号的频率fi的平均值，σ多个音频信号的频率fi的标准差。
在本申请一实施例中，还包括：
在震动容器停止振动时，采集所述振动容器内的回收物的实际重量数据H1；
基于所述每种回收物的识别结果对应的回收物的重量范围，对振动容器内的回收物的重量进行预测，得到预测重量数据H2，其中，识别结果对应的回收物的重量范围预先测量；
将所述实际重量数据与预测重量数据进行对比，并在|H1-H2|<β时，通过检查，否则不通过检查。
在本申请一实施例中，还包括：
在不通过检查时，发送提示信息至目标对象。
本发明的有益效果是：本发明的基于机器视觉识别的再生资源回收检查系统，通过设置振动容器使得回收物在振动容器内振动，不仅可以把聚集在一起的回收物分离开来，以便于后续图像识别时更准确地提取轮廓，还通过振动时产生的声音来判断包装类回收物内部是否存在液体、厨余垃圾等不可回收物。本申请在将回收物分离后进行图像识别，并预先通过振动各类回收物来建立对应的频率范围，通过将图像识别结果和对应的频率范围进行对比，就可以判断其内部是否存在不可回收物。本申请可以高效快捷地对再生资源进行检查，解决了传统纯视觉方案中识别不准确以及无法进行内部检查的技术问题。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本申请中的基于机器视觉识别的再生资源回收检查系统的应用场景图；
图2是本申请一实施例中示出的基于机器视觉识别的再生资源回收检查系统的结构图；
图3是本申请一实施例中示出的基于机器视觉识别的再生资源回收检查方法的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。
本申请中的基于机器视觉识别的再生资源回收检查系统，应用在计算机管理领域，执行对象可以为计算机、移动终端或者服务器。
图1为本申请中的基于机器视觉识别的再生资源回收检查系统的应用场景图，如图1所示，本申请中的检查系统至少包含振动容器110、振动设备120、图像采集设备130、音频采集设备140以及控制主机150；
振动设备120可以是电机和偏心轮结构，振动设备120受控制主机150控制，振动容器110内部设有多个分区，每个分区均设置压力传感器，压力传感器与控制主机150连接。控制主机150基于压力传感器产生的感应信号控制振动设备120。
在振动设备120对振动容器110进行振动，使得振动容器110内的回收物分离，并产生撞击声。音频采集设备140采集音频信号并回传至控制主机150。振动完毕后，图像采集设备130采集图像并回传至控制主机150。控制主机150基于音频信号和图像信号进行分析和检查。具体的分析检查过程如下文所述。
图2是本申请一实施例中示出的基于机器视觉识别的再生资源回收检查系统的结构图，如图2所示：本实施例的基于机器视觉识别的再生资源回收检查系统，包括：
控制模块210，用于控制预先设置的振动容器开始振动，以使得振动容器内的回收物振动，并用于确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动；
其中，检查开始时，将回收物倒入至振动容器中。振动容器底部的压力传感器随着产生信号，控制主机基于压力信号来启动振动设备，以带动振动容器以及振动容器内部的回收物进行振动。在振动一段时间后，振动容器底部的各个分区的压力数据趋于稳定后，说明内部的回收物分离后趋于稳定状态。此时便可以停止振动设备。
在本申请一实施例中，控制预先设置的振动容器开始振动，包括：
获取位于振动容器内的回收物的重量数据；
其中，重量数据可以是任何一个分区内的压力传感器采集的。
将所述重量数据与预设的重量阈值进行对比，并在所述重量数据大于或者等于所述预设的重量阈值时，产生振动启动信号，并将所述振动启动信号发送至振动设备，以使得所述振动设备驱动所述振动容器进行振动。
在振动容器内的回收物重量超过一定的数值时，由控制主机自动启动振动设备。从而使振动容器内部的回收物处于振动状态。
在本申请一实施例中，确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动，包括：
获取所述振动容器中处于振动状态的回收物的重量分布数据，其中，所述重量分布数据表征了回收物在振动容器内的分布状态；
确定所述重量分布数据在单位时间内的变化率，并在所述重量分布数据在单位时间内的变化率小于预设阈值时，产生振动停止信号，并将所述振动停止信号发送至振动设备，以使得所述振动设备停止振动。
其中，由于本申请中的振动容器包括多个区域，因此在经过充分振动后，振动容器内的回收物分离并尽量地均匀分布到多个区域。也有可能存在大体积回收物，分离后也无法使得振动容器内的回收物完全均匀。但是经过振动后，振动容器内的回收物的状态趋于稳定。
区域稳定的回收物使得每个区域的压力不会产生较大的变化，即所述重量分布数据在单位时间内的变化率小于预设阈值。此时，便可以停止振动。
具体地，确定所述重量分布数据在单位时间内的变化率，并在所述重量分布数据在单位时间内的变化率小于预设阈值时，产生振动停止信号，包括：
获取多个时间点对应的振动容器内多个区域的压力值F(i,t)，其中，所述多个区域预先从所述振动容器中划分；
确定第i个区域的压力值变化率ρ，所述压力值变化率为：
在每个区域的压力值变化率ρ均在单位时间内满足：ρ≤α时，产生振动停止信号，其中，α为预设阈值。
本申请通过采集每个区域的在多个时间点的压力数据，并通过计算相邻时间点的压力变化值来获取每一个区域的压力分布情况，然后除以前一个时间点对应的压力值，即可得到压力值变化率。如果在所有区域都满足在单位时间(如5S)内，所有的压力值变化率都满足小于或者等于预设阈值α。即可说明振动容器内部的回收物的振动状态趋于稳定。
采集模块220，用于在振动容器开始振动时，采集处于振动状态的回收物产生的声音信号，以及在震动容器停止振动时，采集所述振动容器内的回收物图像，其中，所述声音信号为多种频率的混合信号；
其中，声音信号通过预设的音频采集设备来进行采集。收回物图像则通过预先设置的摄像头进行采集。由于振动容器内部的回收物品种不同，因此振动时发出的声音频率也是不同的。例如，易拉罐和塑料罐在振动时发出的声调不同，对应地声音频率不同。而相同种类的回收物如果内部存在液体或者其他固定时振动发出的声调也是不同的，例如，易拉罐和内部装水的易拉罐振动时发出的声调不同，对应地声音频率不同。
识别模块230，用于对所述回收物图像进行识别，得到每种回收物的识别结果；
其中，本申请采用CNN卷积神经网络(Convolutional Neural Networks,CNN)来训练识别模型，进而对经过振动后的回收物图像进行识别。由于事先经过振动分离，使得图像中的回收物边缘轮廓更加容易提取。识别效果更佳。
此外，本申请还对包装类的回收物进行文字提取和识别，从而对识别结果进行融合，使得识别结果更加准确。
具体地，对所述回收物图像进行识别，得到每种回收物的识别结果，包括：
提取所述回收物图像的轮廓特征和文字特征，其中，所述文字特征为包装类回收物的；
其中，轮廓特征和文字特征并不是一一对应的，一些回收物表面并不会存在文字，这种情况仅利用其轮廓来进行识别。
将所述轮廓特征输入至预先建立的图像识别模型，得到图像识别结果；并将所述文字特征输入至预先建立的文字识别模型，得到文字识别结果；
其中，图像识别模型预先建立。文字识别模型为现有的OCR模型。
本申请基于如下过程建立图像识别模型：
获取包含回收物的样本图像，其中，样本图像中的回收物包括整体形态下的回收物、残破状态下的回收物(如半个酒瓶、捏扁的易拉罐等)，此外为了提高模型泛化能力，本申请还将样本图像进行裁切、翻转、部分涂抹等操作生成更多地衍生样本，此外还获取多个不包含回收物的负样本图像；
此外，样本图像为灰度图像，本申请在进行特征提取之前还将样本图像转换为灰度图像。
提取所述样本图像中的轮廓特征，并对所述样本图像添加语义标签，得到训练数据；
本申请采用Canny算子来提取轮廓特征，然后添加对应的标签，就可以建立训练数据。本申请中，建立包含多个训练数据的训练数据集。
基于所述训练数据对人工神经网络进行训练，得到图像识别模型。
最后基于训练数据集对人工神经网络进行训练，即可得到专门用于提取和识别回收物的图像识别模型。
本申请基于上述图像识别模型对回收物图像进行识别，并基于现有的OCR模型对回收物图像进行文字提取。
在任意一个位置同时存在图像识别结果和文字识别结果时，将所述一个位置的图像识别结果和文字识别结果进行融合，得到回收物的识别结果；在任意一个位置只存在图像识别结果时，将所述图像识别结果作为回收物的识别结果。
其中，由于图像识别结果和文字识别结果并不是一一对应的，因此还需要将图像识别结果和文字识别结果进行位置对比。在任意一个位置同时存在图像识别结果和文字识别结果时，则说明该位置上的回收物存在可以参考的文字信息。将图像识别的结果(如塑料瓶)与文字识别结果(如“XXX”品牌)，将二者融合之后，便可以该回收物为XXX厂商制造的塑料瓶。
由于不同的厂商制造的塑料瓶可能厚度不同，因此受到敲击时，产生的声音也有差别。因此如果检测出文字信息，那么后续进行音频检测时的结果会更加准确。
提取模块240，用于提取所述声音信号的多种频率成分；本申请中，采用音频频谱分析仪来提取声音信号的所有频率成分。
检查模块250，用于将所述每种回收物的识别结果对应的频率范围与所述多种频率成分进行对比，并在任意一种频率成分落入至其中一种回收物的识别结果对应的频率范围时，通过该种回收物的检查；在任一种回收物的识别结果对应的频率范围内没有落入任一种频率成分时，不通过该种回收物的检查，其中，识别结果对应的频率范围预先建立。
本申请预先建立各种再生资源在振动时的频率范围，从而对分离出的声音信号进行参考。从而根据各种回收物的视觉识别种类、实际声音频率和参考声音的频率范围判断该回收物内部是否存在异物。
具体地，在本申请一实施例中，将所述一个位置的图像识别结果和文字识别结果进行融合，得到回收物的识别结果，包括：
基于所述文字识别结果对预先建立的对应关系数据表进行查询，得到与所述文字识别结果关联的回收物类型信息，其中，所述对应关系数据表包含多种包装类回收物的文字与回收物类型信息的对应关系；
所述对应关系数据表中包含了每种回收物可能会出现的文字，具体地，本申请主要提取商标信息。例如易拉罐对应的文字信息包括：“A”品牌、“B”品牌、“C”品牌等，塑料瓶对应的文字信息包括：“D”品牌、“E”品牌、“F”品牌等。
将与所述文字识别结果关联的回收物类型信息与图像识别结果进行对比，并在任意一个与所述文字识别结果关联的回收物类型信息与图像识别结果一致时，基于所述一个位置的图像识别结果和文字识别结果构建识别结果。
如果提取出的文字信息与识别结果符合对应关系数据表中的对应关系，则说明识别结果和文字是可以用于融合判定回收物的具体类型。例如，构建的识别结果为：“A”品牌的塑料瓶。
如果没有文字信息，或者与所述文字识别结果关联的回收物类型信息与图像识别结果不一致时。以图像识别结果作为最后的识别结果。
本申请中，基于多种回收物建立频率范围，回收物的种类基于其形态和品牌来划分的。因此如果最后识别结果包含文字信息和图像识别结果，那么确定的频率范围就会更加精确。
如果最后的识别范围只包含图像识别结果，那么就只能识别其形态，确定频率范围时，对该图像识别结果(形态)对应的所有频率范围进行合并，得到一个较大的范围，进而进行检查。
在本申请一实施例中，通过以下方法建立频率范围：
将多种回收物逐一放入振动容器中进行多次振动，并对每一种回收物在振动容器中进行多次振动时产生的声音进行采集，得到每一种回收物振动时的多个音频信号；
确定每一种回收物振动时的多个音频信号的频率fi；
基于多个音频信号的频率fi构建频率范围[(f-σ),(f+σ)]，其中，f为多个音频信号的频率fi的平均值，σ多个音频信号的频率fi的标准差。
本申请将每种回收物放入振动容器中进行多次振动，并提取其音频的频率，然后通过计算平均值和标准差，利用平均值和标准差构建符合其分布规律的频率范围。从而使得频率范围能够更加准确地反映每种回收物在振动时的声音频率。
此外，同一种回收物还需要建立不同形态下的振动频率，以扩大其频率，使得频率范围能够涵盖回收物的不同形态，例如，捏扁的易拉罐、破损的酒瓶等。
在本申请一实施例中，还包括：
在震动容器停止振动时，采集所述振动容器内的回收物的实际重量数据H1；
基于所述每种回收物的识别结果对应的回收物的重量范围，对振动容器内的回收物的重量进行预测，得到预测重量数据H2，其中，识别结果对应的回收物的重量范围预先测量；
将所述实际重量数据与预测重量数据进行对比，并在|H1-H2|<β时，通过检查，否则不通过检查。
本实施例中，还利用称重来验证回收物的重量是否存在异常。每种回收物重量范围预先测量即可。不过由于在一些情况下，图像识别结果并不能涵盖全部的回收物，因此预测重量往往与实际相差较大，因此上述结果仅用于对一些极端情况进行验证。例如少数几个易拉罐的重量超过了一个较大重量阈值，则判定检查不通过。
在本申请一实施例中，还包括：
在不通过检查时，发送提示信息至目标对象。以提示相关人员对投放再生资源相关进一步处理。
本发明的基于机器视觉识别的再生资源回收检查系统，通过设置振动容器使得回收物在振动容器内振动，不仅可以把聚集在一起的回收物分离开来，以便于后续图像识别时更准确地提取轮廓，还通过振动时产生的声音来判断包装类回收物内部是否存在液体、厨余垃圾等不可回收物。本申请在将回收物分离后进行图像识别，并预先通过振动各类回收物来建立对应的频率范围，通过将图像识别结果和对应的频率范围进行对比，就可以判断其内部是否存在不可回收物。本申请可以高效快捷地对再生资源进行检查，解决了传统纯视觉方案中识别不准确以及无法进行内部检查的技术问题。
本申请还提供基于机器视觉识别的再生资源回收检查方法，包括步骤：
S310，控制预先设置的振动容器开始振动，以使得振动容器内的回收物振动，并用于确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动；
S320，在振动容器开始振动时，采集处于振动状态的回收物产生的声音信号，以及在震动容器停止振动时，采集所述振动容器内的回收物图像，其中，所述声音信号为多种频率的混合信号；
S330，对所述回收物图像进行识别，得到每种回收物的识别结果；
S340，提取所述声音信号的多种频率成分；
S350，将所述每种回收物的识别结果对应的频率范围与所述多种频率成分进行对比，并在任意一种频率成分落入至其中一种回收物的识别结果对应的频率范围时，通过该种回收物的检查；在任一种回收物的识别结果对应的频率范围内没有落入任一种频率成分时，不通过该种回收物的检查，其中，识别结果对应的频率范围预先建立。
本发明的基于机器视觉识别的再生资源回收检查方法，通过设置振动容器使得回收物在振动容器内振动，不仅可以把聚集在一起的回收物分离开来，以便于后续图像识别时更准确地提取轮廓，还通过振动时产生的声音来判断包装类回收物内部是否存在液体、厨余垃圾等不可回收物。本申请在将回收物分离后进行图像识别，并预先通过振动各类回收物来建立对应的频率范围，通过将图像识别结果和对应的频率范围进行对比，就可以判断其内部是否存在不可回收物。本申请可以高效快捷地对再生资源进行检查，解决了传统纯视觉方案中识别不准确以及无法进行内部检查的技术问题。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法，其中，所述方法即为本系统的执行逻辑。
本实施例还提供一种电子终端，包括：处理器及存储器；
存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (5)
1.基于机器视觉识别的再生资源回收检查系统，其特征在于，包括：
控制模块，用于控制预先设置的振动容器开始振动，以使得振动容器内的回收物振动，并用于确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动；控制预先设置的振动容器开始振动，包括：获取位于振动容器内的回收物的重量数据；将所述重量数据与预设的重量阈值进行对比，并在所述重量数据大于或者等于所述预设的重量阈值时，产生振动启动信号，并将所述振动启动信号发送至振动设备，以使得所述振动设备驱动所述振动容器进行振动；确定振动容器内的回收物的状态，并基于回收物的状态控制震动容器停止振动，包括：获取所述振动容器中处于振动状态的回收物的重量分布数据，其中，所述重量分布数据表征了回收物在振动容器内的分布状态；确定所述重量分布数据在单位时间内的变化率，并在所述重量分布数据在单位时间内的变化率小于预设阈值时，产生振动停止信号，包括：
获取多个时间点对应的振动容器内多个区域的压力值，其中，所述多个区域预先从所述振动容器中划分；
确定第个区域的压力值变化率/>，所述压力值变化率为：
，
在每个区域的压力值变化率均在单位时间内满足：/>时，产生振动停止信号，其中，/>为预设阈值；
并将所述振动停止信号发送至振动设备，以使得所述振动设备停止振动；
采集模块，用于在振动容器开始振动时，采集处于振动状态的回收物产生的声音信号，以及在震动容器停止振动时，采集所述振动容器内的回收物图像，其中，所述声音信号为多种频率的混合信号；
识别模块，用于对所述回收物图像进行识别，得到每种回收物的识别结果；对所述回收物图像进行识别，得到每种回收物的识别结果，包括：提取所述回收物图像的轮廓特征和文字特征，其中，所述文字特征为包装类回收物的；将所述轮廓特征输入至预先建立的图像识别模型，得到图像识别结果；并将所述文字特征输入至预先建立的文字识别模型，得到文字识别结果；在任意一个位置同时存在图像识别结果和文字识别结果时，将所述一个位置的图像识别结果和文字识别结果进行融合，得到回收物的识别结果；在任意一个位置只存在图像识别结果时，将所述图像识别结果作为回收物的识别结果；
提取模块，用于提取所述声音信号的多种频率成分；
检查模块，用于将所述每种回收物的识别结果对应的频率范围与所述多种频率成分进行对比，并在任意一种频率成分落入至其中一种回收物的识别结果对应的频率范围时，通过该种回收物的检查；在任一种回收物的识别结果对应的频率范围内没有落入任一种频率成分时，不通过该种回收物的检查，其中，识别结果对应的频率范围预先建立；
建立所述频率范围的方法包括：
将多种回收物逐一放入振动容器中进行多次振动，并对每一种回收物在振动容器中进行多次振动时产生的声音进行采集，得到每一种回收物振动时的多个音频信号；
确定每一种回收物振动时的多个音频信号的频率；
基于多个音频信号的频率构建频率范围/>，其中，为多个音频信号的频率/>的平均值，/>多个音频信号的频率/>的标准差。
2.根据权利要求 1所述的基于机器视觉识别的再生资源回收检查系统，其特征在于，将所述一个位置的图像识别结果和文字识别结果进行融合，得到回收物的识别结果，包括：
基于所述文字识别结果对预先建立的对应关系数据表进行查询，得到与所述文字识别结果关联的回收物类型信息，其中，所述对应关系数据表包含多种包装类回收物的文字与回收物类型信息的对应关系；
将与所述文字识别结果关联的回收物类型信息与图像识别结果进行对比，并在任意一个与所述文字识别结果关联的回收物类型信息与图像识别结果一致时，基于所述一个位置的图像识别结果和文字识别结果构建识别结果。
3.根据权利要求 1 所述的基于机器视觉识别的再生资源回收检查系统，其特征在于，建立图像识别模型的方法包括：
获取包含回收物的样本图像；
提取所述样本图像中的轮廓特征，并对所述样本图像添加语义标签，得到训练数据；
基于所述训练数据对人工神经网络进行训练，得到图像识别模型。
4.根据权利要求 1 所述的基于机器视觉识别的再生资源回收检查系统，其特征在于，还包括：
在震动容器停止振动时，采集所述振动容器内的回收物的实际重量数据；
基于所述每种回收物的识别结果对应的回收物的重量范围，对振动容器内的回收物的重量进行预测，得到预测重量数据，其中，识别结果对应的回收物的重量范围预先测量；
将所述实际重量数据与预测重量数据进行对比，并在时，通过检查，否则不通过检查。
5.根据权利要求 4所述的基于机器视觉识别的再生资源回收检查系统，其特征在于，还包括：
在不通过检查时，发送提示信息至目标对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311156325.4A CN117181763B (zh) | 2023-09-08 | 2023-09-08 | 基于机器视觉识别的再生资源回收检查系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311156325.4A CN117181763B (zh) | 2023-09-08 | 2023-09-08 | 基于机器视觉识别的再生资源回收检查系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117181763A CN117181763A (zh) | 2023-12-08 |
| CN117181763B true CN117181763B (zh) | 2024-06-18 |
Family
ID=88982933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311156325.4A Active CN117181763B (zh) | 2023-09-08 | 2023-09-08 | 基于机器视觉识别的再生资源回收检查系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117181763B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461000A (zh) * | 2020-03-31 | 2020-07-28 | 安徽理工大学 | 一种基于cnn和小波分析的办公室垃圾智能分类方法 |
| CN113231329A (zh) * | 2021-04-29 | 2021-08-10 | 浙江金实乐环境工程有限公司 | 一种社区生活垃圾智能分类处理系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150116086A (ko) * | 2014-04-04 | 2015-10-15 | 아진산업(주) | 비전 검사 장비의 진동 회피 이미지 획득 방법 |
| JP6406742B1 (ja) * | 2018-02-21 | 2018-10-17 | 株式会社ネットアプリ | 飲料用演出グラス、飲料用演出システム、プログラム及び記録媒体 |
| TWM576922U (zh) * | 2018-10-29 | 2019-04-21 | 林修安 | Instant waste quality testing device and waste recycling device |
| CN112388655B (zh) * | 2020-12-04 | 2021-06-04 | 齐鲁工业大学 | 一种基于触觉振动信号与视觉图像融合的抓取物识别方法 |
| CN113083706B (zh) * | 2021-03-12 | 2023-04-07 | 广东来个碗网络科技有限公司 | 待回收垃圾的自动化分类方法及装置 |
-
2023
- 2023-09-08 CN CN202311156325.4A patent/CN117181763B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461000A (zh) * | 2020-03-31 | 2020-07-28 | 安徽理工大学 | 一种基于cnn和小波分析的办公室垃圾智能分类方法 |
| CN113231329A (zh) * | 2021-04-29 | 2021-08-10 | 浙江金实乐环境工程有限公司 | 一种社区生活垃圾智能分类处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117181763A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rabano et al. | Common garbage classification using mobilenet | |
| CN105564864A (zh) | 垃圾桶、垃圾桶的垃圾分类方法和系统 | |
| CN110348580B (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
| KR101779782B1 (ko) | 인공신경망 분석에 근거한 복합적 물체 인식 시스템 및 방법 | |
| CN111611970B (zh) | 一种基于城管监控视频的乱扔垃圾行为检测方法 | |
| Funch et al. | Detecting glass and metal in consumer trash bags during waste collection using convolutional neural networks | |
| CN109815856A (zh) | 目标车辆的状态标记方法、系统和计算机可读存储介质 | |
| US11335086B2 (en) | Methods and electronic devices for automated waste management | |
| CN112298844B (zh) | 一种垃圾分类监督方法及装置 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN111428822A (zh) | 物品识别方法、装置及设备、智能货柜、智能货柜系统 | |
| WO2021012761A1 (zh) | 垃圾分类方法、装置、设备及存储介质 | |
| KR20190071387A (ko) | 재활용 쓰레기 자동 분류 장치 및 방법 | |
| CN116342895B (zh) | 基于ai处理的提升再生资源分拣效率的方法及系统 | |
| CN113420673A (zh) | 垃圾分类方法、装置、设备及存储介质 | |
| CN115629127B (zh) | 一种货箱缺陷分析方法、装置、设备及可读存储介质 | |
| CN114445746A (zh) | 模型训练方法、铁路接触网异常检测方法及相关装置 | |
| CN113793332B (zh) | 一种实验仪器缺陷识别分类方法及系统 | |
| CN114937179B (zh) | 垃圾图像分类方法、装置、电子设备及存储介质 | |
| CN110702240A (zh) | 基于身份识别的体温预警方法及装置 | |
| CN114419038A (zh) | 轮毂表面缺陷的识别方法及装置、存储介质、电子设备 | |
| CN117181763B (zh) | 基于机器视觉识别的再生资源回收检查系统 | |
| CN113414136B (zh) | 存储介质销毁方法、设备、系统及存储介质 | |
| CN113077430B (zh) | 基于ssd算法的激光器芯片缺陷检测及分类方法与系统 | |
| CN113469137A (zh) | 异常行为的识别方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |