CN115223103B - 基于数字图像处理的高空抛物检测方法 - Google Patents

基于数字图像处理的高空抛物检测方法 Download PDF

Info

Publication number
CN115223103B
CN115223103B CN202211111551.6A CN202211111551A CN115223103B CN 115223103 B CN115223103 B CN 115223103B CN 202211111551 A CN202211111551 A CN 202211111551A CN 115223103 B CN115223103 B CN 115223103B
Authority
CN
China
Prior art keywords
sample
samples
category
abnormal
dependency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211111551.6A
Other languages
English (en)
Other versions
CN115223103A (zh
Inventor
秦刚
王作文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yanchao Technology Co ltd
Original Assignee
Shenzhen Yanchao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yanchao Technology Co ltd filed Critical Shenzhen Yanchao Technology Co ltd
Priority to CN202211111551.6A priority Critical patent/CN115223103B/zh
Publication of CN115223103A publication Critical patent/CN115223103A/zh
Application granted granted Critical
Publication of CN115223103B publication Critical patent/CN115223103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及基于数字图像处理的高空抛物检测方法。包括：利用图像处理算法获得疑似抛物轨迹，构建数据集以及轨迹识别模型，根据数据集的类别得到记忆样本并进行训练该模型，将数据集样本输入到轨迹识别模型中得到样本的依赖度向量，根据样本的依赖度向量以及每个类别的综合记忆向量与参考价值得到异常样本，并得到异常样本的最依赖记忆样本，利用融合权重将异常样本与最依赖记忆样本进行融合得到更新样本，进而得到新的数据集，利用新的数据集重新得到记忆样本并且重新完成轨迹识别模型的训练，最后利用轨迹识别模型检测高空抛物，本发明避免了模型由于过拟合导致准确率低的情况，使得模型不仅简单而且准确率高。

Description

基于数字图像处理的高空抛物检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于数字图像处理的高空抛物检测方法。
背景技术
现有的办公或居住的建筑物都很高，有的高空抛物下落速度非常快，严重影响到楼下行人和财产的安全；为了及时发现高空抛物事件以及事件的溯源，对抛物者进行警告或依法处理，需要利用监控设备监控和检测高空抛物事件。
现有很多高空抛物检测方法，但是大多都是通过图像处理算法获得高空抛物轨迹，根据轨迹进行高空抛物预警以及识别抛物事件的发生位置，但是相机捕捉到的监控视频中往往除了高空抛物的轨迹之外，还有其他物体的运动轨迹，例如鸟虫轨迹，晃动轨迹，落叶轨迹等，这些轨迹在现有方法中都可能被认为成抛物轨迹，这导致很多起高空抛物事件会被误报，需要人员重新对识别出的轨迹进行筛选分类和报警，这不但大大增加了人员的工作负担，还降低了高空抛物事件的检测和识别效率。
基于此，本发明使用AI算法对已有的高空抛物轨迹信息进行分类筛选，判断是否为真正的高空抛物，大大的降低了工作人员的工作量，同时提高了高空抛物的准确率，避免高空抛物事件误报的情况。
发明内容
本发明提供基于数字图像处理的高空抛物检测方法，以解决现有的问题。
本发明的基于数字图像处理的高空抛物检测方法采用如下技术方案：
本发明提供一种基于数字图像处理的高空抛物检测方法，该方法包括：
获取相机采集的视频序列，利用图像处理算法根据视频序列得到疑似抛物轨迹；利用历史中得到的疑似抛物轨迹构建数据集；构建轨迹识别模型；
S1:首先对数据集中的样本进行聚类得到所有类别，将每个类别的聚类中心作为轨迹识别模型的每个记忆样本，然后利用数据集训练轨迹识别模型；
S2:将数据集中样本输入到训练好的轨迹识别模型中得到样本的依赖度向量以及样本的损失值，根据每个类别中所有样本的依赖度向量得到每个类别的综合记忆向量以及每个类别的参考价值，根据每个类别中所有样本的依赖度向量计算每个类别中每个样本的异常值，根据所述异常值与每个类别中所有样本异常值的比值和每个类别中每个样本的损失值得到每个类别中每个样本的异常程度，将每个类别中异常程度最大的样本作为异常样本；获取每个类别中异常样本的异常程度与每个类别参考价值的第一比值，根据每个类别中异常样本的依赖度向量获得最依赖记忆样本，根据每个类别中异常样本的依赖度向量以及第一比值获得融合权重，利用融合权重将每个类别中异常样本与对应的最依赖记忆样本进行融合得到异常样本的更新样本；
将所有类别中的异常样本用对应的更新样本进行更新替换得到新的数据集，重复S1、S2预设次数后，将得到的轨迹识别模型记为最终轨迹识别模型；
利用相机实时采集的视频序列得到实时的疑似抛物轨迹，将实时的疑似抛物轨迹输入到最终轨迹识别模型中得到输出结果，根据输出结果进行高空抛物预警。
优选的，所述轨迹识别模型采用的是RBF神经网络，所述RBF神经网络中间层包含多个径向基神经元，每个径向基神经元对应一个记忆样本以及一个训练参数。
优选的，所述将数据集中样本输入到训练好的轨迹识别模型中得到样本的依赖度向量以及样本的损失值的步骤包括：
样本输入到训练好的轨迹识别模型后，得到每个径向基神经元的输出结果，输出结果与每个径向基神经元对应的训练参数相乘，得到每个径向基神经元的第一指标，将每个径向基神经元的第一指标与所有径向基神经元第一指标之和的比值记为每个径向基神经元的依赖程度，所有径向基神经元的依赖程度构成的向量记为样本的依赖度向量；依赖度向量每个维度对应一个记忆样本；
将样本输入到训练好的轨迹识别模型后，轨迹识别模型输出的结果与样本的标签的差值的平方作为样本的损失值。
优选的，所述根据每个类别中所有样本的依赖度向量得到每个类别的综合记忆向量以及每个类别的参考价值的步骤包括：
对每个类别中所有样本的依赖度向量进行主成分分析获得每个类别的综合记忆向量，将每个类别中所有样本的依赖度向量与综合记忆向量的余弦相似度的均值记为每个类别的参考价值。
优选的，所述根据每个类别中所有样本的依赖度向量计算每个类别中每个样本的异常值的步骤包括：
将每个类别中所有样本的依赖度向量进行均值漂移聚类获得所有聚类结果，将每个聚类结果中所有依赖度向量的均值记为每个聚类结果的聚类中心，每个样本与所有聚类中心间的欧氏距离的均值作为每个类别中每个样本的异常值。
优选的，所述根据每个类别中异常样本的依赖度向量以及第一比值获得融合权重的步骤包括：
获取每个类别中异常样本的依赖度向量中所有维度的最大值，计算所述最大值与第一比值的乘积，所述乘积利用sigmod函数进行映射得到融合权重。
优选的，所述利用融合权重将每个类别中异常样本与对应的最依赖记忆样本进行融合得到异常样本的更新样本的公式为：
Figure 312237DEST_PATH_IMAGE002
v表示每个类别中异常样本，u表示每个类别中异常样本对应的最依赖记忆样本，
Figure 494957DEST_PATH_IMAGE004
表示融合权重，V表示异常样本的更新样本。
优选的，所述根据每个类别中异常样本的依赖度向量获得最依赖记忆样本的步骤包括：
获取每个类别中异常样本的依赖度向量中维度值最大的维度，该维度所对应的记忆样本就是异常样本的最依赖记忆样本。
优选的，所述重复S1、S2预设次数的过程中，每次训练轨迹识别模型时，所用的数据集不是得到的新的数据集，而是异常样本没有任何被更新替换操作时的数据集。
本发明的有益效果是：本发明通过利用轨迹识别模型的记忆样本以及数据集中样本的依赖度向量获得数据集中每个类别内每个样本的异常程度，从而选择出异常样本，通过计算融合权重将异常样本与异常样本最依赖记忆样本进行融合，达到更新数据集的目的，最后利用新的数据集重新获得记忆样本，以及重新训练轨迹识别模型，使得对于相似的样本，轨迹识别模型能够从相同的记忆样本上学习其特征，这样避免了在相似的样本上反而学习到不一致的特征，导致训练过程中学习到太多无用特征而收敛变慢同时又使得模型因学习无用特征导致有用特征学习权重不大而出现过拟合，从而达到保证轨迹识别模型既简单又较高准确性的目的，减少了高空抛物检测的误报率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于数字图像处理的高空抛物检测方法的实施例总体步骤的流程图。
图2表示现有的RBF神经网络模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种基于数字图像处理的高空抛物检测方法的实施例，如图1，该方法包括：
S001、采集监控视频，获取疑似抛物轨迹。
在楼宇下的适当位置安装监控摄像头，摄像头视角朝上，拍摄楼宇上各个房间的窗口，通过安装多个摄像头来拍摄整个楼宇上所有窗口，摄像头采集的视频中每帧图像为RGB图像，每0.2秒采集一帧图像，本发明中以1024×1024的图像大小为例进行叙述。
获得摄像头采集的视频序列，利用混合高斯背景建模的方法获得视频序列的每帧图像中运动物体的连通域，同一个运动物体在视频序列中的运动轨迹就是一个疑似抛物轨迹；如果视频中有多个运动物体的话可以获得多个疑似抛物轨迹。
上述获得疑似抛物轨迹只是现有方法的其中一个实施例，其他的获得运动物体连通域以及轨迹的方法还有利用卷积神经网络算法等。
获得的疑似抛物轨迹可能包括高空抛物轨迹、鸟虫运动轨迹、晃动轨迹、树叶下落轨迹等类别情况，接下来需要对疑似抛物轨迹进行检测和识别，判断其是否为高空抛物。需要说明的是，考虑到除了根据运动物体的运动轨迹来判断是否为高空抛物外，还要结合运动物体的颜色特征来判断是否为高空抛物；
基于此，如下从颜色特征和运动轨迹两个方面来获得运动物体的疑似抛物轨迹：
（1）对于一个长度为P的视频序列中的一个运动物体，其中P可由实施者设置，本发明以P=100为例进行叙述，上述已经获得了运动物体在视频序列中每帧图像上的连通域，假设第m帧图像的连通域为
Figure 727224DEST_PATH_IMAGE006
；获得第m帧图像的R通道图像，获得R通道图像上连通域
Figure 388012DEST_PATH_IMAGE006
内的所有像素点的灰度直方图
Figure 405647DEST_PATH_IMAGE008
，当m=1，2，…，P时，获得
Figure 493688DEST_PATH_IMAGE010
。灰度直方图
Figure 229563DEST_PATH_IMAGE008
表示的是0到255之间的256个灰度值中每个灰度值出现的概率，用于表示每帧图像上的R通道中运动物体的灰度分布特点，本发明将灰度直方图
Figure 631726DEST_PATH_IMAGE008
视为一个长度为256的序列，该序列中序号表示灰度值，序号对应的元素就是灰度值出现的概率。
将这P个直方图
Figure 566184DEST_PATH_IMAGE010
求均值得到一个平均直方图
Figure 513542DEST_PATH_IMAGE012
。
同理，获得第m帧图像的G通道图像上连通域
Figure 533451DEST_PATH_IMAGE006
内的所有像素点的灰度直方图
Figure 473725DEST_PATH_IMAGE014
, 将这P个直方图
Figure 262690DEST_PATH_IMAGE016
求均值得到一个平均直方图
Figure 895796DEST_PATH_IMAGE018
；获得第m帧图像的B通道图像上连通域
Figure 403001DEST_PATH_IMAGE006
内的所有像素点的灰度直方图
Figure 881387DEST_PATH_IMAGE020
,将这P个直方图
Figure 790437DEST_PATH_IMAGE022
求均值得到一个平均直方图
Figure 578133DEST_PATH_IMAGE024
。
将
Figure 572634DEST_PATH_IMAGE025
、
Figure 854711DEST_PATH_IMAGE026
、
Figure 618267DEST_PATH_IMAGE024
这三个序列首尾拼接成一个综合序列，这个综合序列表示的就是运动物体在视频序列中的颜色特征。
（2）获得运动物体在每帧图像上的连通域的中心点，视频序列中所有帧图像的中心点拼接成一个序列，用来表示运动物体的运动轨迹信息，记为运动物体的轨迹序列；将运动物体的轨迹序列和综合序列再拼接成一个序列，将这个序列视为一个高维向量，记为该运动物体的疑似抛物轨迹，即本发明中用于一个高维向量来表征疑似抛物轨迹。
至此获得的运动物体的疑似抛物轨迹即能表示运动物体的运动轨迹信息又能表示物体的颜色特征信息，有助于识别运动物体是否是一个高空抛物。
需要说明的是，本发明将运动物体的疑似抛物轨迹用高维向量的方式来表达的目的在于：如果不用高维向量而用图像的方式来表示的话，数据的维度高，后续的分析过程复杂，不利于后续构建准确的模型来判断疑似抛物轨迹是否表示的是高空抛物信息；反而采用高维向量来表述有利于后续模型的构建。
步骤S002、获取历史中的疑似抛物轨迹，构建数据集，并对数据集进行预处理。
本发明构建一个简单的神经网络模型，通过该模型来判断疑似抛物轨迹是否是高空抛物。在构建模型之前首先是要构建一个数据集：
获取历史中采集到的大量的、包含运动物体的视频，将这些视频分割成长度为P的视频序列，然后利用步骤S001所述的方法获得每个视频序列中每个运动物体的疑似抛物轨迹，将所有运动物体的疑似抛物轨迹作为一个数据集，然后人为的为数据集中每个疑似抛物轨迹分配一个标签，该标签是一个[0,1]范围内的标量，该标签越小表示疑似抛物轨迹越不是高空抛物，为0时表示一定不是高空抛物，该标签越大表示疑似抛物轨迹越是高空抛物，为1时表示一定是高空抛物。之所以这样打标签的目的在于有些疑似抛物轨迹只能人为的判断时高空抛物的可能性，保证后续模型训练的准确性。
综上所述数据集中每个样本是一个高维向量，表示一个疑似抛物轨迹。由于每个样本的维度依然较高，本发明需要对数据集进行预处理，降低数据集中样本的维度，具体方法为：利用PCA算法进行降维，降至预设维度，这个预设维度可以自定义；后续本发明所述的数据集就是预处理之后的数据集。
需要重点说明的是，根据PCA算法可知，在PCA算法过程中实现降维的原理就是：该算法求解出一个矩阵，数据集中的样本乘以该矩阵获得的结果就是样本矩阵的降维结果。本发明将该矩阵记为降维矩阵。
步骤S003、构建轨迹识别模型，获取轨迹识别模型的记忆样本，并对轨迹识别模型进行训练。
由于在高空抛物检测场景中，检测速度越快越好，因此需要构建一个既准确又快速的模型，常规的卷积神经网络模型参数量多，运行速度相对较慢。本发明基于RBF神经网络模型来实现疑似抛物轨迹的识别，这个模型参数量少，同时只通过学习数据集中局部样本之间的特征即可实现疑似抛物轨迹的识别，不用像现有的卷积神经网络模型一样要学习数据集中全局特征而导致存在训练慢过拟合的情况。
将现有的RBF神经网络模型记为轨迹识别模型，根据RBF神经网络可知，见图2所述的现有RBF神经网络模型：该模型只有三层：输入层、中间层(也称隐藏层)、输出层，其中，输入层有n个神经元，中间层有n0个径向神经元，输出层有n’个神经元；令n0等于C,因此，该模型中间层所有C个径向基神经元，C是自定义的，本实施例C=50，每个径向基神经元就是一个高斯径向基函数。该模型的初始化方法为：对数据集中的所有样本进行K-Mean聚类，聚类成C个类别，第c个类别中所有样本的均值记为
Figure DEST_PATH_IMAGE028AAAA
，
Figure DEST_PATH_IMAGE028_5A
表示的就是RBF神经网络的第c个记忆样本，其中c=1，2，…，C，最终RBF神经网络对应C个记忆样本；然后随机生成C个标量，记为
Figure 293311DEST_PATH_IMAGE030
,
Figure 509529DEST_PATH_IMAGE032
表示第c个标量，这些标量就是该模型的训练参数。
为了更具体地叙述该模型，本发明以数据集中的任意一个样本x为模型输入来叙述：
样本x是一个向量，将该向量作为模型输入层的输入，然后获得中间层的第c个径 向基神经元的输出是
Figure DEST_PATH_IMAGE034AA
，其中
Figure DEST_PATH_IMAGE036AA
表示输入数据x与记忆 样本
Figure DEST_PATH_IMAGE038AA
的L2范数
Figure DEST_PATH_IMAGE040AA
表示中间层第c个径向基神经元对应的高斯径向基 函数。
模型输出层输出的结果为
Figure DEST_PATH_IMAGE042AA
，其中
Figure 454351DEST_PATH_IMAGE044
表示sigmod函 数，是一个激活函数。由于本发明只需要模型输出一个标量y即可，因此n’=1。
将样本x的标签记为
Figure DEST_PATH_IMAGE046AA
，那么该模型的损失函数为
Figure DEST_PATH_IMAGE048AA
。
然后利用数据集，根据损失函数loss利用随机梯度下降算法训练该模型，使其收敛，本实施例中将该模型训练10000次后认为其收敛。在训练过程中模型会不断的更新
Figure 698513DEST_PATH_IMAGE049
的取值。
当该模型训练完成之后，得到该模型的参数重新记为
Figure 906640DEST_PATH_IMAGE050
；然后将样本x输入到模型中得到的结果依然记为
Figure DEST_PATH_IMAGE052AA
，将
Figure DEST_PATH_IMAGE054AA
作为样本x的误 差值。该误差值越大说明模型越没学习到样本x的特征，对该疑似抛物轨迹的识别准确率越 低。
S004、根据数据集中样本误差值以及记忆样本的依赖度向量获得异常样本，并对异常样本进行更新获得新的数据集。
由于步骤S003中的轨迹识别模型所使用的记忆样本是通过常规的聚类算法获得的，当训练集中的数据之间的关系简单、维度较低、所要学习的特征不复杂时，这种获得记忆样本的方法无疑是简单高效的。但是对于疑似抛物轨迹，一方面数据维度较高，既包含随时间的运动轨迹信息，又包含运动物体的颜色特征；另一方面虽然有些运动物体之间轨迹和颜色差异的区别特征明显，但是有很多运动物体之间轨迹和颜色相似、不易区分，再考虑到由于运动模糊等原因导致本发明数据集中的样本所包含的特征相对复杂，这导致步骤S003中通过简单的聚类获得的记忆样本可能不是真实所需的，进而步骤S003的记忆样本不能充分的描述数据集中样本的局部特征，除了导致模型收敛较慢，更重要是导致模型在训练过程中受到了不相关样本特征的干扰，使得模型学习到不该学习的特征，导致过拟合，降低模型准确性和泛化能力，例如在学习纸屑的抛物特征时由于混淆了鸟往下飞的特征导致模型不能把纸屑和鸟区分开，再例如学习纸屑的抛物特征时由于没有学到如何区分树叶的特征或者学习的权重不高，导致模型无法准确的区分纸屑和落叶，这都是记忆样本获得不准确导致的。
基于上述需要在步骤S003所述的聚类方法上进行改进重新获得新的记忆样本，那么首先要对步骤S003中获得的类别进行分析，具体方法为：
（1）将数据集中的任意一个样本x输入到训练完成的轨迹识别模型中，其中中间层 第c个径向基神经元输出的结果为
Figure 734788DEST_PATH_IMAGE056
,将向量
Figure 420984DEST_PATH_IMAGE058
记为样本x的依赖度向量；正如 步骤S003所述，每个径向基神经元对应一个记忆样本，X的每个维度又是根据每个径向基神 经元的输出结果计算的，因此向量X每个维度对应一个记忆样本，向量X中某个维度的值越 大说明样本x对应的模型输出结果越依赖于该维度对应的记忆样本，该维度的值称为依赖 程度，表示模型在提取样本x的特征时越需要参考或依赖该记忆样本的特征。其中
Figure DEST_PATH_IMAGE060AA
是归一化系数。
（2）理想情况下，对于相似的样本，模型应该从相同的记忆样本上学习其特征，这样可以避免在相似的样本上反而学习到不一致的特征，导致训练过程中学习到太多无用特征而收敛变慢同时又使得模型因学习无用特征导致有用特征学习权重不大而出现过拟合。那么接下来首先分析在当前的记忆样本下是否能够让模型在相似的样本从相同的记忆样本上学习特征：
对于步骤S003中获得的第k个类别
Figure 565658DEST_PATH_IMAGE062
,类别
Figure 944686DEST_PATH_IMAGE062
中的样本具有相似性，原因是只有相似的样本才能被分到同一类别，获取该类别中所有样本的依赖度向量S，对这些依赖度向量进行主成分分析，根据主成分分析算法可知，存在一个和所有依赖度向量S维度相同的单位向量，所有依赖度向量S在该单位向量上的投影值得方差最大，将该单位向量记为类别
Figure 73179DEST_PATH_IMAGE062
的综合记忆向量。
这里的综合记忆向量用来表示类别
Figure 563066DEST_PATH_IMAGE062
中所有样本的依赖度向量的主要分布特点，或者可以说综合记忆向量中的某个维度越大，说明这个维度对应的记忆样本对类别
Figure 844137DEST_PATH_IMAGE062
中所有样本整体来说越重要，也可以通俗的看成综合记忆向量表示的是类别
Figure 331751DEST_PATH_IMAGE062
中所有样本主要依赖哪些记忆样本。
计算类别
Figure 9857DEST_PATH_IMAGE062
中每个样本的依赖度向量和综合记忆向量的余弦相似度，类别中所有样本对应的余弦相似度的均值，记为类别
Figure 241118DEST_PATH_IMAGE062
的参考价值，该值越大，说明平均每个样本所依赖的记忆样本和整个类别
Figure 688280DEST_PATH_IMAGE062
所依赖的记忆样本一致，进而说明模型越能从相同的记忆样本上学习其特征，反而该值越小说明，存在一些样本，这些样本所依赖的记忆样本和整个类别
Figure 81215DEST_PATH_IMAGE062
所依赖的记忆样本不一致，进而说明模型越不能从相同的记忆样本上学习其特征，可能存在模型从相似的样本上反而学习到不一致的特征的情况。
（3）如果存在一些样本，这些样本和其他样本相似，但是模型却不能从相同的记忆样本上学习其特征，那么这些样本就是异常样本，出现异常样本的原因就是步骤S003中的记忆样本获得的不正确、有偏差。接下来对异常样本进行分析识别，有助于对步骤S003中获得的记忆样本进行修正。具体方法为：
对于异常的样本，其参与模型训练后，往往具有较大的损失值，因此可以根据损失值得大小表示样本得异常情况，但是可能在模型训练过程中出现过拟合，导致只根据损失值判断样本异常样本是片面的，还有结合样本对应的依赖度向量相对于其他相似样本对应的依赖度向量的差异。
首先，对类别
Figure 246617DEST_PATH_IMAGE062
中所有样本的依赖度向量S进行均值漂移聚类获得所有聚类结果，假设共F个，每个聚类结果都是一些依赖度向量的集合，将每个聚类结果中所有依赖度向量的均值作为每个聚类结果的聚类中心，计算类别
Figure 265257DEST_PATH_IMAGE062
中每个样本的依赖度向量与F个聚类中心的欧式距离的均值，作为类别
Figure 832505DEST_PATH_IMAGE062
中每个样本的异常值。
样本的异常值越大，说明该样本的依赖度向量与其他样本的依赖度向量差别大，即该样本的依赖度向量是异常的，是会让模型对于相似的样本难以从相同的记忆样本上学习其特征，这不是本发明所需的；
然后，计算类别
Figure 396341DEST_PATH_IMAGE062
中每个样本的异常程度H：
Figure 252302DEST_PATH_IMAGE064
L表示
Figure 887683DEST_PATH_IMAGE062
中每个样本的损失值，h表示类别
Figure 981541DEST_PATH_IMAGE062
中每个样本的异常值，Q表示类别
Figure 778595DEST_PATH_IMAGE062
中所有样本的异常值之和，
Figure 653010DEST_PATH_IMAGE066
表示类别
Figure 46077DEST_PATH_IMAGE062
中每个样本的异常值相对于所有样本的异常值之和的大小。即当某个样本的依赖度向量差异比较大、所以来的记忆样本不一样，同时具有较高的损失值时该样本越是异常的，即异常程度就越大。通过此种方法计算异常程度H来表示样本是否异常，这样能够保证由于步骤S003种记忆样本获取的不合理使得模型过拟合的情况下也能分析和识别出异常样本。
将类别
Figure 56758DEST_PATH_IMAGE062
中的异常程度最大的样本视为异常样本，实施者也可以将类别
Figure 227976DEST_PATH_IMAGE062
中的异常程度最大的多个样本视为异常样本。
（4）接下来需要对异常样本进行分析，通过根据异常样本的特点来更新异常样本。具体方法为：
首先，计算类别
Figure 589688DEST_PATH_IMAGE067
中异常样本的异常程度与类别
Figure 504554DEST_PATH_IMAGE067
的参考价值的比值J，表示类别
Figure 838583DEST_PATH_IMAGE067
中异常样本所贡献的不良后果的相对其他样本所贡献良好结果的比例，该比值越大说明在一个参考价值本就不大的类别中却有十分异常的样本，这种情况显然是会让模型学到不希望的特征，导致模型过拟合或准确率低，此时是期望将该类别中的异常样本重新分下类别的，后续通过更新异常样本来实现，进而保证能够获得合适的记忆样本，从而让模型能够从异常样本上学习到所期望的特征；该比值越小时说明在一个参考价值本来就大的类别中有着不太异常的样本，这种情况下模型会在自身的泛化能力下依然学到期望的特征，此时是不用将该类别中的异常样本重新分下类别的，避免把步骤S003中获得的、准确的记忆样本给替换掉，从而导致无法获得最优记忆样本。
接着，对于类别
Figure 243020DEST_PATH_IMAGE062
中异常样本的依赖度向量，获取依赖度向量中各个维度的维度值，得到纬度值最大的维度，正如步骤S004的（1）中所述：依赖度向量的每个维度对应一个记忆样本，那么此处将纬度值最大的维度对应一个记忆样本记为u，该最大的纬度值记为M，M越大说明异常样本越依赖于记忆样本u。
将这个异常样本表示为v，正如步骤S002所述v是一个向量，重新为该异常样本分配一个向量V
Figure 278978DEST_PATH_IMAGE069
其中
Figure 794273DEST_PATH_IMAGE071
V表示的是对向量v和u的加权求和，这样计算V的理由是因为异常样本v更加依赖和关注记忆样本u，因此可以把v和u进行融合，融合的力度由M和J来确定，即异常样本越在类别
Figure 982809DEST_PATH_IMAGE062
中异常且越依赖记忆样本u，那么就越期望将异常样本v更新变成V。
Figure 558147DEST_PATH_IMAGE044
表示sigmod函数，使得输出结果不大于1。
上述对类别
Figure 832133DEST_PATH_IMAGE062
中的一个异常样本进行了更新，同理对所有类别中的所有异常样本进行了更新，即相当于对原来数据集中的部分样本进行了更新获得新的数据集，这部分样本在没更新前，不能达到“对于相似的样本，模型应该从相同的记忆样本上学习其特征”这个目的，更新之后则能够达到。
步骤S005、根据新的数据集重新获得记忆样本，并重新对轨迹识别模型进行训练得到最终轨迹识别模型。
在已知新的数据集的情况下，重复执行步骤S003；
在重复执行步骤S003时，利用步骤S003的方法对新的数据集进行聚类，在这个聚类结果中原来的异常样本会被重新分类，获得新的类别，以及新的记忆样本，这里获得的新的记忆样本和第一次执行S003获得的记忆样本更优，减少了异常样本的出现。
通过不断重复执行步骤S003、S004，达到不断地获得记忆样本，识别出异常样本，然后更新异常样本，再重新聚类获得记忆样本的目的，当重复这两个步骤预设数量次，例如5次后，即可达到对于相似的样本，模型从相同的记忆样本上学习其特征的目的，提高模型的准确率避免过拟合，使得抛物轨迹识别的更加准确。再重复执行完步骤S003、S004预设数量次之后，得到的轨迹识别模型记为最终轨迹识别模型。
在重复执行S003、S004的过程中，有一个操作必须值得注意：在训练轨迹识别模型时用的数据集不能是步骤S004最终获得的新的数据集，这个新的数据集只是用来获得记忆样本的，这个新的数据集中有些样本发生了变化，但是在训练轨迹识别模型时不能让参与训练的样本改变的，因此训练轨迹识别模型时用的数据集依然是步骤S002所得到的、没有被更新的数据集。
步骤S006、根据最终轨迹识别模型进行高空抛物检测。
实施获取摄像头采集到的视频序列，每当获得长度为P的视频序列后，利用步骤SOO1的方法获得疑似抛物轨迹。
这个疑似抛物轨迹是一个向量，将该向量与步骤S002中所述的降维矩阵相乘得到降维结果，将降维结果输入到最终轨迹识别模型中，模型输出一个值，当该值大于0.8时则判定疑似抛物轨迹时高空抛物，并进行预警处理，否则不是高空抛物，不进行预警。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于数字图像处理的高空抛物检测方法，其特征在于，该方法包括：
获取相机采集的视频序列，利用图像处理算法根据视频序列得到疑似抛物轨迹；利用历史中得到的疑似抛物轨迹构建数据集；构建轨迹识别模型；
S1:首先对数据集中的样本进行聚类得到所有类别，将每个类别的聚类中心作为轨迹识别模型的每个记忆样本，然后利用数据集训练轨迹识别模型；
S2:将数据集中样本输入到训练好的轨迹识别模型中得到样本的依赖度向量以及样本的损失值，根据每个类别中所有样本的依赖度向量得到每个类别的综合记忆向量以及每个类别的参考价值，根据每个类别中所有样本的依赖度向量计算每个类别中每个样本的异常值，根据所述异常值与每个类别中所有样本异常值的比值和每个类别中每个样本的损失值得到每个类别中每个样本的异常程度，将每个类别中异常程度最大的样本作为异常样本；获取每个类别中异常样本的异常程度与每个类别参考价值的第一比值，根据每个类别中异常样本的依赖度向量获得最依赖记忆样本，根据每个类别中异常样本的依赖度向量以及第一比值获得融合权重，利用融合权重将每个类别中异常样本与对应的最依赖记忆样本进行融合得到异常样本的更新样本；
将所有类别中的异常样本用对应的更新样本进行更新替换得到新的数据集，重复S1、S2预设次数后，将得到的轨迹识别模型记为最终轨迹识别模型；
利用相机实时采集的视频序列得到实时的疑似抛物轨迹，将实时的疑似抛物轨迹输入到最终轨迹识别模型中得到输出结果，根据输出结果进行高空抛物预警。
2.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述轨迹识别模型采用的是RBF神经网络，所述RBF神经网络中间层包含多个径向基神经元，每个径向基神经元对应一个记忆样本以及一个训练参数。
3.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述将数据集中样本输入到训练好的轨迹识别模型中得到样本的依赖度向量以及样本的损失值的步骤包括：
样本输入到训练好的轨迹识别模型后，得到每个径向基神经元的输出结果，输出结果与每个径向基神经元对应的训练参数相乘，得到每个径向基神经元的第一指标，将每个径向基神经元的第一指标与所有径向基神经元第一指标之和的比值记为每个径向基神经元的依赖程度，所有径向基神经元的依赖程度构成的向量记为样本的依赖度向量；依赖度向量每个维度对应一个记忆样本；
将样本输入到训练好的轨迹识别模型后，轨迹识别模型输出的结果与样本的标签的差值的平方作为样本的损失值。
4.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述根据每个类别中所有样本的依赖度向量得到每个类别的综合记忆向量以及每个类别的参考价值的步骤包括：
对每个类别中所有样本的依赖度向量进行主成分分析获得每个类别的综合记忆向量，将每个类别中所有样本的依赖度向量与综合记忆向量的余弦相似度的均值记为每个类别的参考价值。
5.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述根据每个类别中所有样本的依赖度向量计算每个类别中每个样本的异常值的步骤包括：
将每个类别中所有样本的依赖度向量进行均值漂移聚类获得所有聚类结果，将每个聚类结果中所有依赖度向量的均值记为每个聚类结果的聚类中心，每个样本与所有聚类中心间的欧氏距离的均值作为每个类别中每个样本的异常值。
6.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述根据每个类别中异常样本的依赖度向量以及第一比值获得融合权重的步骤包括：
获取每个类别中异常样本的依赖度向量中所有维度的最大值，计算所述最大值与第一比值的乘积，所述乘积利用sigmod函数进行映射得到融合权重。
7.根据权利要求6所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述利用融合权重将每个类别中异常样本与对应的最依赖记忆样本进行融合得到异常样本的更新样本的公式为：
Figure DEST_PATH_IMAGE002
v表示每个类别中异常样本，u表示每个类别中异常样本对应的最依赖记忆样本，
Figure DEST_PATH_IMAGE004
表示融合权重，V表示异常样本的更新样本。
8.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述根据每个类别中异常样本的依赖度向量获得最依赖记忆样本的步骤包括：
获取每个类别中异常样本的依赖度向量中维度值最大的维度，该维度所对应的记忆样本就是异常样本的最依赖记忆样本。
9.根据权利要求1所述的基于数字图像处理的高空抛物检测方法，其特征在于，所述重复S1、S2预设次数的过程中，每次训练轨迹识别模型时，所用的数据集不是得到的新的数据集，而是异常样本没有任何被更新替换操作时的数据集。
CN202211111551.6A 2022-09-13 2022-09-13 基于数字图像处理的高空抛物检测方法 Active CN115223103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211111551.6A CN115223103B (zh) 2022-09-13 2022-09-13 基于数字图像处理的高空抛物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211111551.6A CN115223103B (zh) 2022-09-13 2022-09-13 基于数字图像处理的高空抛物检测方法

Publications (2)

Publication Number Publication Date
CN115223103A CN115223103A (zh) 2022-10-21
CN115223103B true CN115223103B (zh) 2022-11-22

Family

ID=83617798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211111551.6A Active CN115223103B (zh) 2022-09-13 2022-09-13 基于数字图像处理的高空抛物检测方法

Country Status (1)

Country Link
CN (1) CN115223103B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132863A (zh) * 2020-09-21 2020-12-25 深圳市研超科技有限公司 一种高空抛物检测流程及分析方法
CN112418069A (zh) * 2020-11-19 2021-02-26 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN113705597A (zh) * 2021-03-05 2021-11-26 腾讯科技（北京）有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质
CN113947103A (zh) * 2021-09-27 2022-01-18 共达地创新技术(深圳)有限公司 高空抛物的模型更新方法、高空抛物检测系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8409024B2 (en) * 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US9679413B2 (en) * 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132863A (zh) * 2020-09-21 2020-12-25 深圳市研超科技有限公司 一种高空抛物检测流程及分析方法
CN112418069A (zh) * 2020-11-19 2021-02-26 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN113705597A (zh) * 2021-03-05 2021-11-26 腾讯科技（北京）有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质
CN113947103A (zh) * 2021-09-27 2022-01-18 共达地创新技术(深圳)有限公司 高空抛物的模型更新方法、高空抛物检测系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Parabolic Airdrop Trajectory Planning for Multirotor Unmanned Aerial Vehicles;Antun Ivanovic et.al;《IEEE Access》;20220430;第36907-36923页 *
基于车辆视角数据的行人轨迹预测与风险等级评定;张哲雨 等;《汽车工程》;20220530;第44卷(第5期);第675-683页 *
船舶行为异常检测研究进展;陈影玉 等;《交通信息与安全》;20200530;第38卷(第5期);第1-11页 *

Also Published As

Publication number Publication date
CN115223103A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN111181939B (zh) 一种基于集成学习的网络入侵检测方法及装置
CN110046631B (zh) 用于自动推断时空图像的变化的系统和方法
CN112507901B (zh) 一种基于伪标签自纠正的无监督行人重识别方法
TWI506565B (zh) 動態物件分類
CN110598535B (zh) 一种监控视频数据中使用的人脸识别分析方法
WO2018005413A1 (en) Method and system for cell annotation with adaptive incremental learning
CN111797771B (zh) 一种基于迭代学习的弱监督视频行为检测方法及系统
KR101342717B1 (ko) 연령 추정 장치, 연령 추정 방법 및 연령 추정 프로그램을 저장한 컴퓨터 판독가능 기록 매체
CN114509266B (zh) 一种基于故障特征融合的轴承健康监测方法
CN111524164B (zh) 一种目标跟踪方法、装置及电子设备
CN110728216A (zh) 一种基于行人属性自适应学习的无监督行人再识别方法
CN107194413A (zh) 一种基于多特征融合的判别型级联外观模型的目标匹配方法
CN112288034A (zh) 一种无线传感器网络半监督在线异常检测方法
CN111967433A (zh) 一种基于自监督学习网络的动作识别办法
CN112507778B (zh) 一种基于线特征的改进词袋模型的回环检测方法
CN106991400A (zh) 一种火灾烟雾检测方法及装置
CN115346149A (zh) 基于时空图卷积网络的跳绳计数方法和系统
CN113627240B (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
CN110766140A (zh) 一种基于XGBoost与LSTM的多传感器实时威胁等级分类方法
CN117710745A (zh) 一种基于证据多视角核化的目标分类方法及装置
CN115223103B (zh) 基于数字图像处理的高空抛物检测方法
CN112307894A (zh) 一种社区监控场景下基于皱纹特征和姿态特征的行人年龄识别方法
CN111681748B (zh) 基于智能视觉感知的医疗行为动作规范性评价方法
CN114581769A (zh) 一种基于无监督聚类的在建房屋识别方法
CN110717544B (zh) 一种垂直鱼眼镜头下行人属性分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant