CN117456428A - 基于视频图像特征分析的垃圾投放行为检测方法 - Google Patents

Abstract

本发明涉及垃圾投放图像识别技术领域，具体涉及基于视频图像特征分析的垃圾投放行为检测方法，该方法包括：通过视频监控设备获取帧差图像；获取帧差图像中的特征点集合及相邻帧差图像对应特征点匹配对；根据当前及相邻帧差图像对应特征点匹配对的差异情况得到当前特征点的范围影响程度；采用聚类算法对当前帧差图像聚类得到各像素点的待归并聚类簇；根据当前帧差图像各像素点在各个待归并聚类簇中特征点的范围影响程度进行归并操作得到各聚类簇；根据当前帧差图像中各聚类簇对当前视频监控帧灰度图像进行增强，采用神经网络结合增强后的视频监控帧灰度图像对居民垃圾投放行为进行检测。本发明提升了垃圾投放行为检测的及时性与准确性。

Description

基于视频图像特征分析的垃圾投放行为检测方法

技术领域

本申请涉及垃圾投放图像识别技术领域，具体涉及基于视频图像特征分析的垃圾投放行为检测方法。

背景技术

在生活垃圾智能分类场景中，利用神经网络和物联网技术相结合，可以构建出垃圾分类智能监管平台，通过对居民垃圾投放场景的视频监控采集分析，智能识别垃圾信息，并对识别出的异常行为进行预警通知（包括现场语音提醒和远程监管预警），同时收集图片、视频形成证据链、生成报警案件，监管员第一时间接收处置，实现监管闭环。而在识别居民异常投放行为的过程中，其往往是一个动态的过程，垃圾在投放过程中会与在视频帧图像上产生一定的形态变化，导致通过神经网络对垃圾投放行为检测的结果不准确，从而造成垃圾投放行为的误判，因此需要结合视频监控帧图像的连续变化特征，实现对于视频监控帧图像中目标垃圾区域的针对性增强，以提升垃圾投放行为检测的及时性与准确性。

本发明通过迭代自组织聚类算法对视频监控帧差图像的数据点进行聚类分析，由于目标垃圾区域发生了一定的形态变化，其帧差获取的图像中除了目标垃圾区域还存在误差区域，因此其数据点的聚类簇归并过程的最小距离的相似性区分度较小，即数据点的聚类簇的归属受到目标垃圾区域形态变化特征的影响较大。

发明内容

为了解决上述技术问题，本发明提供基于视频图像特征分析的垃圾投放行为检测方法，以解决现有的问题。

本发明的基于视频图像特征分析的垃圾投放行为检测方法采用如下技术方案：

本发明一个实施例提供了基于视频图像特征分析的垃圾投放行为检测方法，该方法包括以下步骤：

通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像；

获取帧差图像中的特征点集合；根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对；根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度；

采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇；对于当前帧差图像各像素点，根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度；根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇；通过判断聚类簇中特征点的数量对聚类簇进行更新；

根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，采用神经网络结合增强后的视频监控帧灰度图像对居民垃圾投放行为进行检测。

优选的，所述通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像，包括：

对监控视频的连续帧图像进行去噪、灰度化得到各视频监控帧灰度图像；

将后一帧与当前帧的视频监控帧灰度图像计算对应像素点的差值绝对值得到各视频监控帧差灰度图像，将视频监控帧差灰度图像记为帧差图像。

优选的，所述获取帧差图像中的特征点集合，包括：

采用SIFT算法获取帧差图像中的特征点，将所有特征点组成特征点集合。

优选的，所述根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对，包括：

将相邻帧差图像中的特征点集合采用余弦相似度匹配算法，获取相邻帧差图像对应各特征点的特征点匹配对。

优选的，所述根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度，包括：

计算当前帧差图像与前一帧差图像之间所有特征点匹配对的欧式距离和值、当前帧差图像与后一帧差图像之间所有特征点匹配对的欧式距离和值，计算两个欧式距离和值的差值绝对值作为第一差值绝对值；

计算两个欧式距离和值分别与当前帧差图像中特征点数量的比值，获取当前特征点与前、后相邻帧差图像中对应的特征点匹配对之间的欧式距离均值，将所述欧式距离均值与两个比值的和值的差值绝对值作为第二差值绝对值；

将第一、第二差值绝对值的乘积的相反数作为以自然常数为底数的指数函数的指数，将指数函数的计算结果作为当前特征点的范围影响程度。

优选的，所述采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇，包括：

所述聚类算法为迭代自组织聚类算法；

在聚类过程中的归并阶段，对于任意一个像素点都会存在各个待归并聚类簇。

优选的，所述根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度，包括：

对于像素点的各个待归并聚类簇，获取待归并聚类簇中各特征点与像素点的距离，计算待归并聚类簇中所有特征点的范围影响程度与所述距离的乘积的和值；

将所述和值的归一化值作为像素点在待归并聚类簇的关联程度。

优选的，所述根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇，包括：

获取像素点在所有待归并聚类簇中的最大关联程度，将像素点与最大关联程度所在的待归并聚类簇进行归并操作，得到各聚类簇。

优选的，所述通过判断聚类簇中特征点的数量对聚类簇进行更新，包括：

将不存在特征点的聚类簇作为误差区域聚类簇，将误差区域聚类簇从当前帧差图像中的去除，得到更新后的各聚类簇。

优选的，所述根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，包括：

将当前帧差图像中各聚类簇在当前视频监控帧灰度图像中的对应位置进行线性图像增强，非聚类簇区域的像素点保持不变，得到增强后的当前视频监控帧灰度图像。

本发明至少具有如下有益效果：

本发明通过分析各帧差图像经过算法求取的特征点的分布变化特征，获取特 征点的影响范围，从而有效区分目标垃圾区域与误差背景区域，使得从垃圾在相邻帧之间 的具体变化特点表征出来，实现对帧差图像中目标垃圾区域的精准识别；

同时，在像素点的聚类簇归并过程中，分析像素点与聚类簇中特征点的关联程度，实现对于迭代自组织聚类的聚类簇归并过程的调整，并根据精准聚类结果实现对于目标垃圾区域的精准识别，便于实现视频监控帧图像中目标垃圾区域的针对性增强，提升了垃圾投放行为检测的及时性与准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的基于视频图像特征分析的垃圾投放行为检测方法的流程图；

图2为当前帧差图像中像素点归并后的聚类簇的过程示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于视频图像特征分析的垃圾投放行为检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于视频图像特征分析的垃圾投放行为检测方法的具体方案。

本发明一个实施例提供的基于视频图像特征分析的垃圾投放行为检测方法。

具体的，提供了如下的基于视频图像特征分析的垃圾投放行为检测方法，请参阅图1，该方法包括以下步骤：

步骤S001，通过视频监控设备获得视频监控帧图像，通过图像预处理获得帧差图像。

本实施例通过布置在居民垃圾投放区域的视频监控设备获得居民投放垃圾时的监控视频，并获取连续帧图像，对获取的连续帧图像进行常规的去噪处理，去除图像中的噪声，完成图像预处理，并进行灰度化，获得视频监控帧灰度图像。

根据获得的各帧视频监控帧灰度图像，将后一帧的视频监控帧灰度图像与当前帧的视频监控帧灰度图像中对应像素点计算差值绝对值，从而获取得到各视频监控帧差灰度图像，本实施例将视频监控帧差灰度图像命名为帧差图像，其最后一帧的视频监控帧灰度图像没有帧差图像。对于帧差图像，其中的变化区域主要有待测的目标垃圾区域与帧差误差区域组成，其中，帧差误差区域处于目标垃圾区域外围且面积较小，本实施例的目的在于完成目标垃圾区域的提取与增强处理。

步骤S002，根据获得的帧差图像进一步结合算法求取的特征点的分布变化特 征，利用迭代自组织聚类算法进行聚类结果提取，完成帧差图像中的目标垃圾区域的精准 识别。

本实施例主要通过分析帧差图像经过算法求取的特征点的分布变化特征，获 取特征点的影响范围，在数据点的聚类簇归并过程中，分析数据点与聚类簇中特征点的关 联程度，实现对于迭代自组织聚类的聚类簇归并过程的调整，并根据精准聚类结果实现对 于目标垃圾区域的精准识别，并便于后续实现视频监控帧图像中目标垃圾区域的针对性增 强，以提升垃圾分类信息智能分析的及时性与准确性。

因此，本实施例对采集的帧差图像进行处理，获得目标垃圾区域的精准识别结果的过程为：

根据获得的各帧差图像，利用算法得到的特征点会因为特征点在相邻帧差图 像中的分布特征从而导致目标垃圾区域的形态变化发生改变，其可以量化为特征点的影响 范围发生变化。而特征点的影响范围对于数据点的聚类簇归并过程，相较与聚类簇中心点 之间的距离更起到决定性的影响，由此根据特征点的分布变化特征，获取不同特征点的范 围影响程度。

根据获得的各帧差图像，对每一个帧差图像进行相同的处理过程。利用算法 求取各帧差图像的特征点，记录其特征点的位置信息，组成特征点集合，由此每个帧差图像 都有其特征点集合。其中，算法为公知技术，本实施例不再赘述。

对于两个相邻的帧差图像，其特征点集合会随着目标垃圾区域的形态变化而发生改变，具体表现为经过余弦相似度匹配的特征点存在的位移变化，总体上呈现出区域性的形态变化。

因此，本实施例将各相邻帧差图像进行余弦相似度匹配，得到各帧差图像与相邻帧差图像中的特征点匹配对。其中，余弦相似度匹配为公知技术，本实施例不再赘述。

其特征点集合中各特征点的特征点匹配对之间的欧式距离变化程度越小，则其特征点的范围影响程度越大，其对于周围需要归并的数据点的影响越大。

由此，以当前帧差图像中的当前特征点为例，当前特征点的范围影响程度的计 算公式为：

式中，表示当前帧差图像中当前特征点的范围影响程度，表示以自然常 数e为底数的指数函数，表示当前帧差图像中的特征点数量，表示当前帧差图像中第i个 特征点与相邻帧差图像中对应的特征点匹配对的欧式距离，表示当前帧差图像与 后一帧差图像、当前帧差图像与前一帧差图像中所有特征点匹配对的欧式距离之和的差值 绝对值，对于第一个与最后一个帧差图像不计算，表示当前特征点与前、后相邻的帧差 图像中对应特征点匹配对之间的欧式距离均值，表示当前帧差图像中n个特征点 与前、后相邻的特征点匹配对的欧式距离均值其中，为第一差值绝对值，为第二差值绝对值。

需要说明的是，当前特征点所在特征点集合中相对于相邻帧差图像之间的特征点匹配对的形态变化特征，即特征点在特征点集合内的变化显著程度是相关联的，当当前特征点所在的帧差图像分别与前、后相邻的帧差图像中对应的特征点匹配对之间的欧式距离越大、且当前特征点与整体平均差异越大，则说明当前帧差图像相对于相邻帧差图像之间的变化较大、且较不均匀，则这种变化可能是由于背景变化引起的，而非目标垃圾区域的变化，因此，当前特征点的范围影响程度越小，即当前特征点为目标垃圾区域的可能性越小，其对周围范围的影响程度越小。

至此，获得各帧差图像中各特征点的范围影响程度，用于后续获取数据点与特征点的关联性关系。

根据获得的特征点的范围影响程度，通过使用迭代自组织聚类算法对各帧差图像中的像素点进行聚类，对于聚类簇归并过程中的像素点间的影响程度不同，主要与聚类簇内特征点的分布特征相关，根据像素点与特征点的相对位置关系，获得像素点与聚类簇中特征点的关联程度。其中，迭代自组织聚类算法为公知技术，本实施例不再赘述。

利用迭代自组织聚类算法对选取的当前帧差图像中的像素点进行聚类处理，获得多个聚类簇。

在像素点的聚类簇归并阶段，对于一个像素点而言，其存在多个待归并的聚类簇， 聚类簇中包含多个特征点，其聚类簇包含的特征点越多，且特征点的范围影响程度越大，其 聚类簇的总体影响特征越大，则像素点与聚类簇的总体关联程度越高。对于聚类簇内的特 征点而言，其像素点与特征点的欧式距离越近其像素点与特征点的关联程度越高，由此获 得像素点与待归并聚类簇中特征点的关联程度的计算公式为：

式中，表示当前像素点与待归并聚类簇中特征点的关联程度，为最 大最小值归一化函数，表示当前像素点所在待归并聚类簇内的特征点数量，表示当 前像素点所在待归并聚类簇内第个特征点的范围影响程度，表示当前像素点与所在待 归并聚类簇中第个特征点的欧式距离，表示当前像素点所在待归并聚类簇的总 体影响特征。

是像素点与待归并聚类簇的总体特征及特征点与像素点的分布特征相关联 的，当越大，则说明当前像素点与所在待归并聚类簇中的总体影响越大，越小， 则说明像素点与对应各特征点之间的分布距离越近，对其影响越大，则总体上说明像素点 所在待归并聚类簇中的特征点对像素点的关联程度越大，则该聚类簇内越可能为目标垃圾 区域的变化范围。

至此，获得当前像素点与多个待归并聚类簇中特征点的关联程度，其可用于后 续实现聚类簇归并过程的调整，并获得精准聚类结果。

根据获得的像素点与聚类簇中特征点的关联程度，对于像素点而言，选取其关 联程度最大的待归并聚类簇进行归并操作，由此实现聚类簇归并过程的调整，并完成后续 的迭代自组织聚类算法操作，获得精准聚类结果。其中，当前帧差图像中像素点归并后的聚 类簇的过程如图2所示。

其获得的多个最终的聚类簇中，不存在特征点的聚类簇为误差区域聚类簇，应当予以去除，其余作为目标垃圾区域精准识别的结果，用于完成后续的目标垃圾区域的针对性增强及垃圾投放行为检测处理。

至此，通过获得的数据点与聚类簇中特征点的关联程度，实现聚类簇归并过程的调整，并获得精准聚类结果。

步骤S003，根据获得的帧差图像中的目标垃圾区域的精准识别结果，完成目标垃圾区域的针对性增强及后续垃圾投放行为检测处理。

根据获得的帧差图像中的目标垃圾区域的精准识别结果，利用线性图像增强算法完成视频监控帧灰度图像中对应目标垃圾区域的针对性增强，其余背景部分保持不变。其中，线性图像增强算法为公知技术，本实施例不再赘述。

由此根据增强后的视频监控帧灰度图像，将其作为神经网络的输入，采用交叉熵损失函数以及Adam优化算法对其进行优化，输出结果为居民垃圾投放行为的检测评估，并利用AI督导终端进行及时的语音提醒，实现对于居民垃圾投放行为的智能检测与处理。其中，本实施例采用卷积神经网络CNN，卷积神经网络为公知技术，具体实施者可自行设定，本实施例对此不做限制。

本发明实施例通过分析各帧差图像经过算法求取的特征点的分布变化特征， 获取特征点的影响范围，从而有效区分目标垃圾区域与误差背景区域，使得从垃圾在相邻 帧之间的具体变化特点表征出来，实现对帧差图像中目标垃圾区域的精准识别；

同时，在像素点的聚类簇归并过程中，分析像素点与聚类簇中特征点的关联程度，实现对于迭代自组织聚类的聚类簇归并过程的调整，并根据精准聚类结果实现对于目标垃圾区域的精准识别，便于实现视频监控帧图像中目标垃圾区域的针对性增强，提升了垃圾投放行为检测的及时性与准确性。

本发明实施例通过分析各帧差图像经过算法求取的特征点的分布变化特征， 获取特征点的影响范围，从而有效区分目标垃圾区域与误差背景区域，使得从垃圾在相邻 帧之间的具体变化特点表征出来，实现对帧差图像中目标垃圾区域的精准识别；

同时，在像素点的聚类簇归并过程中，分析像素点与聚类簇中特征点的关联程度， 实现对于迭代自组织聚类的聚类簇归并过程的调整，并根据精准聚类结果实现对于目标垃 圾区域的精准识别，便于实现视频监控帧图像中目标垃圾区域的针对性增强，提升了垃 圾分类信息智能分析的及时性与准确性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，该方法包括以下步骤：

通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像；

获取帧差图像中的特征点集合；根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对；根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度；

采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇；对于当前帧差图像各像素点，根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度；根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇；通过判断聚类簇中特征点的数量对聚类簇进行更新；

根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，采用神经网络结合增强后的视频监控帧灰度图像对居民垃圾投放行为进行检测。

2.如权利要求1所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像，包括：

对监控视频的连续帧图像进行去噪、灰度化得到各视频监控帧灰度图像；

将后一帧与当前帧的视频监控帧灰度图像计算对应像素点的差值绝对值得到各视频监控帧差灰度图像，将视频监控帧差灰度图像记为帧差图像。

3.如权利要求2所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述获取帧差图像中的特征点集合，包括：

采用SIFT算法获取帧差图像中的特征点，将所有特征点组成特征点集合。

4.如权利要求3所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对，包括：

将相邻帧差图像中的特征点集合采用余弦相似度匹配算法，获取相邻帧差图像对应各特征点的特征点匹配对。

5.如权利要求4所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度，包括：

计算当前帧差图像与前一帧差图像之间所有特征点匹配对的欧式距离和值、当前帧差图像与后一帧差图像之间所有特征点匹配对的欧式距离和值，计算两个欧式距离和值的差值绝对值作为第一差值绝对值；

计算两个欧式距离和值分别与当前帧差图像中特征点数量的比值，获取当前特征点与前、后相邻帧差图像中对应的特征点匹配对之间的欧式距离均值，将所述欧式距离均值与两个比值的和值的差值绝对值作为第二差值绝对值；

将第一、第二差值绝对值的乘积的相反数作为以自然常数为底数的指数函数的指数，将指数函数的计算结果作为当前特征点的范围影响程度。

6.如权利要求1所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇，包括：

所述聚类算法为迭代自组织聚类算法；

在聚类过程中的归并阶段，对于任意一个像素点都会存在各个待归并聚类簇。

7.如权利要求6所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度，包括：

对于像素点的各个待归并聚类簇，获取待归并聚类簇中各特征点与像素点的距离，计算待归并聚类簇中所有特征点的范围影响程度与所述距离的乘积的和值；

将所述和值的归一化值作为像素点在待归并聚类簇的关联程度。

8.如权利要求7所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇，包括：

获取像素点在所有待归并聚类簇中的最大关联程度，将像素点与最大关联程度所在的待归并聚类簇进行归并操作，得到各聚类簇。

9.如权利要求8所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述通过判断聚类簇中特征点的数量对聚类簇进行更新，包括：

将不存在特征点的聚类簇作为误差区域聚类簇，将误差区域聚类簇从当前帧差图像中的去除，得到更新后的各聚类簇。

10.如权利要求9所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，包括：

将当前帧差图像中各聚类簇在当前视频监控帧灰度图像中的对应位置进行线性图像增强，非聚类簇区域的像素点保持不变，得到增强后的当前视频监控帧灰度图像。