CN117272215B - 一种基于数据挖掘的智慧小区安全管理方法及系统 - Google Patents
一种基于数据挖掘的智慧小区安全管理方法及系统 Download PDFInfo
- Publication number
- CN117272215B CN117272215B CN202311555686.6A CN202311555686A CN117272215B CN 117272215 B CN117272215 B CN 117272215B CN 202311555686 A CN202311555686 A CN 202311555686A CN 117272215 B CN117272215 B CN 117272215B
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- feature
- value
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007418 data mining Methods 0.000 title claims abstract description 45
- 238000007726 management method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 23
- 230000003449 preventive effect Effects 0.000 claims description 16
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000007405 data analysis Methods 0.000 claims description 13
- 238000013480 data collection Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于数据挖掘的智慧小区安全管理方法及系统,该智慧小区安全管理方法包括以下步骤:收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;将提取出的相关特征数据通过融合算法进行特征融合;通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主。本发明通过异常检测算法对样本数据进行异常值检测,可以识别出潜在的危险数据或异常情况,从而可以帮助及早发现潜在异常数据安全问题或其他异常事件,并且还可以将相似的轨迹信息合并为完整的行为轨迹,进而为后续的行为分析和预测提供更可靠的依据。
Description
技术领域
本发明涉及数据处理技术领域,具体来说,涉及一种基于数据挖掘的智慧小区安全管理方法及系统。
背景技术
智慧城市的核心是智慧小区,智慧小区是利用各类智能技术,将小区内的安防以及各类服务进行整合,以提高社区内居民的幸福指数,现有技术中智慧小区在遇到突发风险事件时,需要管理人员识别风险事件并制定对应的管理方案,且对于小区内活动人群采用统一的方式进行管理,管理方案的制定智能化程度较低,不便于挖掘和分析大量的小区数据,不便于发现潜在的安全威胁、规律和模式,且针对性不强。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种基于数据挖掘的智慧小区安全管理方法及系统,以克服现有相关技术所存在的上述技术问题。
为此,本发明采用的具体技术方案如下:
根据本发明的一个方面,提供了一种基于数据挖掘的智慧小区安全管理方法,该智慧小区安全管理方法包括以下步骤:
S1、收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;
S2、基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;
S3、将提取出的相关特征数据通过融合算法进行特征融合;
S4、通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主;
S5、基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况;
S6、根据识别的异常情况,制定预防措施。
进一步的,所述收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理包括以下步骤:
S11、通过人脸识别门禁监控终端设备对进入智慧小区和住单元楼内的人群进行图像获取;
S12、通过车辆道闸监控终端设备对进出车辆进行控制,并实时抓拍记录出入口通行车辆图像信息;
S13、通过智能摄像头监控终端设备对高空抛物楼层进行实时监测;
S14、对获取的人群图像数据、抓拍的车辆信息图像数据及实时监测的楼层数据的重复数据、缺失值和异常值进行去噪、滤波及平滑处理;
S15、将获取的人群图像数据、抓拍的车辆图像信息数据及实时监测的楼层数据中未处理的数据行进行联结,生成新的数据表,通过外部键值将不同的数据表进行关联,生成完整的数据表,并得到准确数据集。
进一步的,所述基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据包括以下步骤:
S21、通过线性加权法将彩色图像的RGB颜色空间转换为灰度图像;
S22、采用阈值分割法,根据像素的灰度等级进行聚类,将相同灰度等级的像素视为同一区域;
S23、将每个区域的面积按一定顺序组成面积序列,用作特征向量表示图像;
S24、通过欧式距离计算区域面积的有序特征向量来表示图像;
S25、对梯度图像进行细化及二值化处理,并将梯度值大于阈值的像素点作为边缘点;
S26、将相邻的边缘点连接成连通域,得到最终的边缘图像。
进一步的,所述将提取出的相关特征数据通过融合算法进行特征融合包括以下步骤:
S31、将初始行为轨迹及监测行为轨迹作为轨迹数据节点;
S32、利用关联规则挖掘计算轨迹数据节点的相似性,并根据相似性获取初始行为轨迹信息及监测行为轨迹信息;
S33、分别获取初始行为轨迹信息及监测行为轨迹信息中速度大小及速度方向的个数;
S34、基于速度大小及速度方向的个数通过卡方距离分别计算速度特征相似度、时间度量相似度及时间特征相似度;
S35、将速度特征相似度、时间度量相似度及时间特征相似度进行融合,得到初始行为轨迹及监测行为轨迹相结合的完整行为轨迹。
进一步的,所述速度特征相似度的计算公式为:
式中,m表示初始行为轨迹;
表示监测行为轨迹;
表示初始行为轨迹与监测行为轨迹的速度特征相似度;
h表示速度特征;
i表示特征值;
h m表示初始行为轨迹的速度特征;
表示监测行为轨迹的速度特征;
L表示权重系数;
P表示长度;
exp表示指示函数。
进一步的,所述通过运用二级数据挖掘技术,对特征融合后的数据进行分析包括以下步骤:
S41、预设聚类参数组合列表;
S42、以待提取对象当前特征融合后的数据作为聚类的数据集进行聚类初始化;
S43、通过聚类算法对数据集进行聚类,得到所有簇的集合;
S44、根据统计数据得到的集合进行删除处理,剔除集合中不属于特征区域的簇;
S45、采用集合中删除处理后的簇对特征区域进行更新,确定特征数据。
进一步的,所述预设聚类参数组合列表包括以下步骤:
S411、从样本中随机的选择K个数据作为初始簇类中心点;
S412、通过划分算法对数据对象进行聚类,将每个样本分配到最近的簇中,并更新每个簇的质心,直到质心的变化不再超过一个阈值,或达到最大迭代次数;
S413、计算误差平方和,通过K值的大小计算SK的取值;
S414、重复S411-S413的步骤,使用不同的初始簇类中心点,直到K值计算完成;
S415、步骤S411-S414重复进行预设次数,求出SK的平均值;
S416、选取最小的SK值,将其对应的K值作为最佳的聚类个数;
S417、根据对簇内业主的特征分析,并结合已有的业主信息,判断簇内的业主是否为入侵行为和正常行为。
进一步的,所述基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况包括以下步骤:
S51、计算每个样本与其他样本之间的欧氏距离,将欧氏距离排列之后找到每个样本的前K个近邻;
S52、计算每个样本的数据点的K近邻距离和局部可达密度,通过比较样本的数据点的局部可达密度与其K近邻的局部可达密度,计算局部离群因子值;
S53、设定局部离群因子值的阈值,若某样本的数据点的局部离群因子值大于设定的阈值,将其视为异常值,得到潜在异常数据;
S54、对于每个样本的解密得到的样本,构建特征矩阵,其中,每行代表一个样本,每列代表一个特征;
S55、使用欧氏距离计算每个样本的数据点之间的距离,以量化样本的数据点之间的相似性;
S56、选择最优的K值,对于每个样本的数据点,找到其距离最近的K个邻居,并记录K个邻居在特征矩阵的位置;
S57、对于每个样本的数据点和它的某个K近邻,分别计算可达距离、局部可达密度及局部离群因子值;
S58、根据可达距离、局部可达密度及局部离群因子值得出样本的数据点周围邻居的密集程度,评估样本的数据点的异常程度,并比较待检测样本的局部离群因子是否超过潜在异常数据,若超过,则为入侵行为,反之则为正常行为。
进一步的,所述对于每个样本的数据点和它的某个K近邻,分别计算可达距离、局部可达密度及局部离群因子值包括以下步骤:
S571、对于样本的数据点和样本的数据点一个K近邻,计算样本的数据点与样本的数据点一个K近邻之间的实际距离和样本的数据点一个K近邻与其所有K近邻之间的最大距离之间的较大值,得出可达距离;
S572、利用K值除以样本的数据点,得到其K近邻的可达距离之和,得出局部可达密度;
S573、为样本的数据点的K近邻的局部可达密度之和除以样本的数据点自身的局部可达密度再除以K值,得出局部离群因子值。
根据本发明的另一方面,还提供了一种基于数据挖掘的智慧小区安全管理系统,该系统包括:
数据收集与处理模块,用于收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;
特征提取模块,用于基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;
特征融合模块,用于将提取出的相关特征数据通过融合算法进行特征融合;
数据分析与判别模块,用于通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主;
异常检测模块,用于基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况;
预防措施制定模块,用于根据识别的异常情况,制定预防措施;
其中,数据收集与处理模块和特征提取模块连接,特征提取模块和特征融合模块连接,特征融合模块和数据分析与判别模块连接,数据分析与判别模块和异常检测模块连接,异常检测模块和预防措施制定模块连接。
本发明的有益效果为:
1、本发明基于一级数据挖掘技术和二级数据挖掘技术,使得可以减少图像数据的维度,同时保留了图像的主要信息,并且可以根据像素的灰度等级将图像划分为不同的区域,有助于简化图像的表示和处理,减少计算开销的同时,还可以计算轨迹数据的相似性,衡量轨迹之间在速度、时间度量和时间特征方面的相似程度,并将相似的轨迹信息合并为完整的行为轨迹,为后续的行为分析和预测提供更可靠的依据。
2、本发明通过对数据进行预处理,使得提高数据质量和准确性的同时,还可以根据数据的特点和需求,进行特征提取和选择,并且通过提取关键特征或选择最具代表性的特征,可以减少数据的维度,提高数据处理和分析的效率。
3、本发明通过融合算法进行特征融合,使得可以将不同类型的数据进行融合,提供更全面和准确的安全管理分析结果,并且通过综合多种数据信息,可以更好地理解和评估安全风险,及时发现异常事件。
4、本发明通过异常检测算法对样本数据进行异常值检测,可以识别出潜在的危险数据或异常情况,从而可以帮助及早发现潜在异常数据安全问题或其他异常事件,进而有助于提高智慧小区的安全性、减少风险,同时提升数据的可靠性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于数据挖掘的智慧小区安全管理方法的流程图;
图2是根据本发明实施例的一种基于数据挖掘的智慧小区安全管理系统的原理框图。
图中:
1、数据收集与处理模块;2、特征提取模块;3、特征融合模块;4、数据分析与判别模块;5、异常检测模块;6、预防措施制定模块。
具体实施方式
为进一步说明各实施例,本发明提供有附图,这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理,配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点,图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例,提供了一种基于数据挖掘的智慧小区安全管理方法及系统。
现结合附图和具体实施方式对本发明进一步说明,如图1所示,根据本发明实施例的基于数据挖掘的智慧小区安全管理方法,该智慧小区安全管理方法包括以下步骤:
S1、收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;
具体的,各个监控终端设备包括人脸识别门禁、车辆道闸、智能摄像头、环境监测设备、智能家居设备等。
S2、基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;
具体的,一级数据挖掘技术包括灰度转换、阈值分割、特征提取、欧式距离计算、梯度计算、像素连接等图像处理算法和技术。
S3、将提取出的相关特征数据通过融合算法进行特征融合;
S4、通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主;
具体的,二级数据挖掘技术包括预设聚类参数的确定、聚类算法(如K均值聚类、层次聚类等)、统计分析、规则判断等。
S5、基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况;
S6、根据识别的异常情况,制定预防措施。
在一个实施例中,所述收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理包括以下步骤:
S11、通过人脸识别门禁监控终端设备对进入智慧小区和住单元楼内的人群进行图像获取;
S12、通过车辆道闸监控终端设备对进出车辆进行控制,并实时抓拍记录出入口通行车辆图像信息;
S13、通过智能摄像头监控终端设备对高空抛物楼层进行实时监测;
S14、对获取的人群图像数据、抓拍的车辆信息图像数据及实时监测的楼层数据的重复数据、缺失值和异常值进行去噪、滤波及平滑处理;
S15、将获取的人群图像数据、抓拍的车辆图像信息数据及实时监测的楼层数据中未处理的数据行进行联结,生成新的数据表,通过外部键值将不同的数据表进行关联,生成完整的数据表,并得到准确数据集。
具体的,将获取的人群图像数据、抓拍的车辆图像信息数据及实时监测的楼层数据中未处理的数据行进行联结,生成新的数据表,通过外部键值将不同的数据表进行关联,生成完整的数据表,并得到准确数据集包括:
确定不同数据集之间的外键关系;
根据需要将不同数据表中的数据行相互联结,创建新的数据表,并通过指定的外部键值进行关联;
通过SQL语句中的JOIN操作符,将需要联结的数据表连接在一起;
在进行联结时,确保数据的完整性约束得到满足;
完成联结后,插入测试数据检查联结结果是否正确,确保能够正确地被识别和关联,并得到准确数据集。
在一个实施例中,所述基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据包括以下步骤:
S21、通过线性加权法将彩色图像的RGB颜色空间转换为灰度图像;
具体的,线性加权法是一种图像处理方法,用于将彩色图像转换为灰度图像。它通过对RGB颜色通道进行加权平均,将彩色图像的颜色信息转换为灰度级别。
具体的,线性加权法的计算公式为:
灰度值=0.29*R+0.587*G+0.114*B;
其中,R、G、B分别表示彩色图像中红、绿、蓝三个颜色通道的亮度值,而0.299、0.587、0.114则是相应的权重系数。
S22、采用阈值分割法,根据像素的灰度等级进行聚类,将相同灰度等级的像素视为同一区域;
具体的,阈值分割法一种图像分割方法,用于将图像分成不同的区域,其中每个区域具有相似的特征。阈值分割法基于设定一个或多个阈值,将图像中的像素根据其灰度值与阈值的关系进行分类。
S23、将每个区域的面积按一定顺序组成面积序列,用作特征向量表示图像;
S24、通过欧式距离计算区域面积的有序特征向量来表示图像;
具体的,欧式距离是一种常用的计算两个向量之间距离的方法。在提取动作特征中,可以使用欧式距离来比较两个动作序列之间的相似性,在实际应用中,通常会将动作序列划分为多个时间窗口,并分别计算每个时间窗口内的特征向量。然后对于每个时间窗口内的特征向量,都可以计算与另一个动作序列中对应时间窗口内特征向量的欧式距离。
S25、对梯度图像进行细化及二值化处理,并将梯度值大于阈值的像素点作为边缘点;
S26、将相邻的边缘点连接成连通域,得到最终的边缘图像。
在一个实施例中,所述将提取出的相关特征数据通过融合算法进行特征融合包括以下步骤:
S31、将初始行为轨迹及监测行为轨迹作为轨迹数据节点;
S32、利用关联规则挖掘计算轨迹数据节点的相似性,并根据相似性获取初始行为轨迹信息及监测行为轨迹信息;
S33、分别获取初始行为轨迹信息及监测行为轨迹信息中速度大小及速度方向的个数;
S34、基于速度大小及速度方向的个数通过卡方距离分别计算速度特征相似度、时间度量相似度及时间特征相似度;
具体的,卡方距离基于卡方统计量的概念,用于比较观察值和期望值之间的差异,对于两个离散分布,假设它们的观察值分别为O 1和O 2,期望值分别为E 1和E 2,卡方距离的计算公式为:
其中,O n 表示第一个分布中第n个类别的观察值,E n 表示第一个分布中第n个类别的期望值,D表示为卡方距离,n表示表示离散分布中的类别或组别。
具体的,当观察值和期望值完全一致时,卡方距离为0,表示两个分布完全相同;而当观察值和期望值有较大差异时,卡方距离较大,表示两个分布差异较大。
S35、将速度特征相似度、时间度量相似度及时间特征相似度进行融合,得到初始行为轨迹及监测行为轨迹相结合的完整行为轨迹。
在一个实施例中,所述速度特征相似度的计算公式为:
式中,m表示初始行为轨迹;
表示监测行为轨迹;
表示初始行为轨迹与监测行为轨迹的速度特征相似度;
h表示速度特征;
i表示特征值;
h m表示初始行为轨迹的速度特征;
表示监测行为轨迹的速度特征;
L表示权重系数;
P表示长度;
exp表示指示函数。
在一个实施例中,所述通过运用二级数据挖掘技术,对特征融合后的数据进行分析包括以下步骤:
S41、预设聚类参数组合列表;
S42、以待提取对象当前特征融合后的数据作为聚类的数据集进行聚类初始化;
S43、通过聚类算法对数据集进行聚类,得到所有簇的集合;
S44、根据统计数据得到的集合进行删除处理,剔除集合中不属于特征区域的簇;
S45、采用集合中删除处理后的簇对特征区域进行更新,确定特征数据。
在一个实施例中,所述预设聚类参数组合列表包括以下步骤:
S411、从样本中随机的选择K个数据作为初始簇类中心点;
S412、通过划分算法对数据对象进行聚类,将每个样本分配到最近的簇中,并更新每个簇的质心,直到质心的变化不再超过一个阈值,或达到最大迭代次数;
S413、计算误差平方和,通过K值的大小计算SK的取值;
S414、重复S411-S413的步骤,使用不同的初始簇类中心点,直到K值计算完成;
S415、步骤S411-S414重复进行预设次数,求出SK的平均值;
S416、选取最小的SK值,将其对应的K值作为最佳的聚类个数;
S417、根据对簇内业主的特征分析,并结合已有的业主信息,判断簇内的业主是否为入侵行为和正常行为。
在一个实施例中,所述基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况包括以下步骤:
S51、计算每个样本与其他样本之间的欧氏距离,将欧氏距离排列之后找到每个样本的前K个近邻;
S52、计算每个样本的数据点的K近邻距离和局部可达密度,通过比较样本的数据点的局部可达密度与其K近邻的局部可达密度,计算局部离群因子值;
S53、设定局部离群因子值的阈值,若某样本的数据点的局部离群因子值大于设定的阈值,将其视为异常值,得到潜在异常数据;
S54、对于每个样本的解密得到的样本,构建特征矩阵,其中,每行代表一个样本,每列代表一个特征;
S55、使用欧氏距离计算每个样本的数据点之间的距离,以量化样本的数据点之间的相似性;
S56、选择最优的K值,对于每个样本的数据点,找到其距离最近的K个邻居,并记录K个邻居在特征矩阵的位置;
S57、对于每个样本的数据点和它的某个K近邻,分别计算可达距离、局部可达密度及局部离群因子值;
S58、根据可达距离、局部可达密度及局部离群因子值得出样本的数据点周围邻居的密集程度,评估样本的数据点的异常程度,并比较待检测样本的局部离群因子是否超过潜在异常数据,若超过,则为入侵行为,反之则为正常行为。
具体的,样本为智慧小区安全相关的数据集中的具体数据点,包括入侵检测日志、门禁记录、车辆道闸抓拍记录、智能摄像头数据、环境监测数据及智能家居设备数据等。
在一个实施例中,所述对于每个样本的数据点和它的某个K近邻,分别计算可达距离、局部可达密度及局部离群因子值包括以下步骤:
S571、对于样本的数据点和样本的数据点一个K近邻,计算样本的数据点与样本的数据点一个K近邻之间的实际距离和样本的数据点一个K近邻与其所有K近邻之间的最大距离之间的较大值,得出可达距离;
S572、利用K值除以样本的数据点,得到其K近邻的可达距离之和,得出局部可达密度;
S573、为样本的数据点的K近邻的局部可达密度之和除以样本的数据点自身的局部可达密度再除以K值,得出局部离群因子值。
具体的,局部离群因子算法(Local Outlier Factor,LOF算法)是一种基于密度的异常检测算法,其主要思想是通过比较数据点周围邻居的密集程度,来评估该数据点是否为异常值。
根据本发明的另一个实施例,如图2所示,还提供了一种基于数据挖掘的智慧小区安全管理系统,该系统包括:
数据收集与处理模块1,用于收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;
特征提取模块2,用于基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;
特征融合模块3,用于将提取出的相关特征数据通过融合算法进行特征融合;
数据分析与判别模块4,用于通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主;
异常检测模块5,用于基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况;
预防措施制定模块6,用于根据识别的异常情况,制定预防措施;
其中,数据收集与处理模块1和特征提取模块2连接,特征提取模块2和特征融合模块3连接,特征融合模块3和数据分析与判别模块4连接,数据分析与判别模块4和异常检测模块5连接,异常检测模块5和预防措施制定模块6连接。
综上所述,借助于本发明的上述技术方案,通过本发明通过对数据进行预处理,使得提高数据质量和准确性的同时,还可以根据数据的特点和需求,进行特征提取和选择,并且通过提取关键特征或选择最具代表性的特征,可以减少数据的维度,提高数据处理和分析的效率。本发明通过融合算法进行特征融合,使得可以将不同类型的数据进行融合,提供更全面和准确的安全管理分析结果,并且通过综合多种数据信息,可以更好地理解和评估安全风险,及时发现异常事件。本发明通过异常检测算法对样本数据进行异常值检测,可以识别出潜在的危险数据或异常情况,从而可以帮助及早发现潜在异常数据安全问题或其他异常事件,进而有助于提高智慧小区的安全性、减少风险,同时提升数据的可靠性和准确性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于数据挖掘的智慧小区安全管理方法,其特征在于,该智慧小区安全管理方法包括以下步骤:
S1、收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;
S2、基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;
S3、将提取出的相关特征数据通过融合算法进行特征融合;
S4、通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主;
S5、基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况;
S6、根据识别的异常情况,制定预防措施;
所述将提取出的相关特征数据通过融合算法进行特征融合包括以下步骤:
S31、将初始行为轨迹及监测行为轨迹作为轨迹数据节点;
S32、利用关联规则挖掘计算轨迹数据节点的相似性,并根据相似性获取初始行为轨迹信息及监测行为轨迹信息;
S33、分别获取初始行为轨迹信息及监测行为轨迹信息中速度大小及速度方向的个数;
S34、基于速度大小及速度方向的个数通过卡方距离分别计算速度特征相似度、时间度量相似度及时间特征相似度;
S35、将速度特征相似度、时间度量相似度及时间特征相似度进行融合,得到初始行为轨迹及监测行为轨迹相结合的完整行为轨迹;
所述速度特征相似度的计算公式为:
;
式中,m表示初始行为轨迹;
表示监测行为轨迹;
表示初始行为轨迹与监测行为轨迹的速度特征相似度;
h表示速度特征;
i表示特征值;
h m表示初始行为轨迹的速度特征;
表示监测行为轨迹的速度特征;
L表示权重系数;
P表示长度;
exp表示指示函数。
2.根据权利要求1所述的一种基于数据挖掘的智慧小区安全管理方法,其特征在于,所述收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理包括以下步骤:
S11、通过人脸识别门禁监控终端设备对进入智慧小区和住单元楼内的人群进行图像获取;
S12、通过车辆道闸监控终端设备对进出车辆进行控制,并实时抓拍记录出入口通行车辆图像信息;
S13、通过智能摄像头监控终端设备对高空抛物楼层进行实时监测;
S14、对获取的人群图像数据、抓拍的车辆信息图像数据及实时监测的楼层数据的重复数据、缺失值和异常值进行去噪、滤波及平滑处理;
S15、将获取的人群图像数据、抓拍的车辆图像信息数据及实时监测的楼层数据中未处理的数据行进行联结,生成新的数据表,通过外部键值将不同的数据表进行关联,生成完整的数据表,并得到准确数据集。
3.根据权利要求1所述的一种基于数据挖掘的智慧小区安全管理方法,其特征在于,所述基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据包括以下步骤:
S21、通过线性加权法将彩色图像的RGB颜色空间转换为灰度图像;
S22、采用阈值分割法,根据像素的灰度等级进行聚类,将相同灰度等级的像素视为同一区域;
S23、将每个区域的面积按一定顺序组成面积序列,用作特征向量表示图像;
S24、通过欧式距离计算区域面积的有序特征向量来表示图像;
S25、对梯度图像进行细化及二值化处理,并将梯度值大于阈值的像素点作为边缘点;
S26、将相邻的边缘点连接成连通域,得到最终的边缘图像。
4.根据权利要求1所述的一种基于数据挖掘的智慧小区安全管理方法,其特征在于,所述通过运用二级数据挖掘技术,对特征融合后的数据进行分析包括以下步骤:
S41、预设聚类参数组合列表;
S42、以待提取对象当前特征融合后的数据作为聚类的数据集进行聚类初始化;
S43、通过聚类算法对数据集进行聚类,得到所有簇的集合;
S44、根据统计数据得到的集合进行删除处理,剔除集合中不属于特征区域的簇;
S45、采用集合中删除处理后的簇对特征区域进行更新,确定特征数据。
5.根据权利要求4所述的一种基于数据挖掘的智慧小区安全管理方法,其特征在于,所述预设聚类参数组合列表包括以下步骤:
S411、从样本中随机的选择K个数据作为初始簇类中心点;
S412、通过划分算法对数据对象进行聚类,将每个样本分配到最近的簇中,并更新每个簇的质心,直到质心的变化不再超过一个阈值,或达到最大迭代次数;
S413、计算误差平方和,通过K值的大小计算SK的取值;
S414、重复S411-S413的步骤,使用不同的初始簇类中心点,直到K值计算完成;
S415、步骤S411-S414重复进行预设次数,求出SK的平均值;
S416、选取最小的SK值,将其对应的K值作为最佳的聚类个数;
S417、根据对簇内业主的特征分析,并结合已有的业主信息,判断簇内的业主是否为入侵行为和正常行为。
6.根据权利要求1所述的一种基于数据挖掘的智慧小区安全管理方法,其特征在于,所述基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况包括以下步骤:
S51、计算每个样本与其他样本之间的欧氏距离,将欧氏距离排列之后找到每个样本的前K个近邻;
S52、计算每个样本的数据点的K近邻距离和局部可达密度,通过比较样本的数据点的局部可达密度与其K近邻的局部可达密度,计算局部离群因子值;
S53、设定局部离群因子值的阈值,若某样本的数据点的局部离群因子值大于设定的阈值,将其视为异常值,得到潜在异常数据;
S54、对于每个样本的解密得到的样本,构建特征矩阵,其中,每行代表一个样本,每列代表一个特征;
S55、使用欧氏距离计算每个样本的数据点之间的距离,以量化样本的数据点之间的相似性;
S56、选择最优的K值,对于每个样本的数据点,找到其距离最近的K个邻居,并记录K个邻居在特征矩阵的位置;
S57、对于每个样本的数据点和它的某个K近邻,分别计算可达距离、局部可达密度及局部离群因子值;
S58、根据可达距离、局部可达密度及局部离群因子值得出样本的数据点周围邻居的密集程度,评估样本的数据点的异常程度,并比较待检测样本的局部离群因子是否超过潜在异常数据,若超过,则为入侵行为,反之则为正常行为。
7.根据权利要求6所述的一种基于数据挖掘的智慧小区安全管理方法,其特征在于,所述对于每个样本的数据点和它的某个K近邻,分别计算可达距离、局部可达密度及局部离群因子值包括以下步骤:
S571、对于样本的数据点和样本的数据点一个K近邻,计算样本的数据点与样本的数据点一个K近邻之间的实际距离和样本的数据点一个K近邻与其所有K近邻之间的最大距离之间的较大值,得出可达距离;
S572、利用K值除以样本的数据点,得到其K近邻的可达距离之和,得出局部可达密度;
S573、为样本的数据点的K近邻的局部可达密度之和除以样本的数据点自身的局部可达密度再除以K值,得出局部离群因子值。
8.一种基于数据挖掘的智慧小区安全管理系统,用于实现权利要求1-7中任一项所述的基于数据挖掘的智慧小区安全管理方法,其特征在于,该系统包括:
数据收集与处理模块,用于收集智慧小区内各个监控终端设备产生的监控数据,并对监控数据进行预处理;
特征提取模块,用于基于一级数据挖掘技术从预处理后的数据中提取出相关特征数据;
特征融合模块,用于将提取出的相关特征数据通过融合算法进行特征融合;
数据分析与判别模块,用于通过运用二级数据挖掘技术,对特征融合后的数据进行分析,并判别是否属于智慧小区业主;
异常检测模块,用于基于异常检测算法对判别结果进行优化,并识别和处理潜在的异常情况;
预防措施制定模块,用于根据识别的异常情况,制定预防措施;
其中,数据收集与处理模块和特征提取模块连接,特征提取模块和特征融合模块连接,特征融合模块和数据分析与判别模块连接,数据分析与判别模块和异常检测模块连接,异常检测模块和预防措施制定模块连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311555686.6A CN117272215B (zh) | 2023-11-21 | 2023-11-21 | 一种基于数据挖掘的智慧小区安全管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311555686.6A CN117272215B (zh) | 2023-11-21 | 2023-11-21 | 一种基于数据挖掘的智慧小区安全管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117272215A CN117272215A (zh) | 2023-12-22 |
CN117272215B true CN117272215B (zh) | 2024-02-02 |
Family
ID=89202997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311555686.6A Active CN117272215B (zh) | 2023-11-21 | 2023-11-21 | 一种基于数据挖掘的智慧小区安全管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117272215B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117556289B (zh) * | 2024-01-12 | 2024-04-16 | 山东杰出人才发展集团有限公司 | 一种基于数据挖掘的企业数字化智能运营方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700434A (zh) * | 2015-03-27 | 2015-06-10 | 北京交通大学 | 一种用于复杂结构化场景的人群运动轨迹异常检测方法 |
CN110533112A (zh) * | 2019-09-04 | 2019-12-03 | 天津神舟通用数据技术有限公司 | 车联网大数据跨域分析融合方法 |
CN112668475A (zh) * | 2020-12-28 | 2021-04-16 | 苏州科达科技股份有限公司 | 一种人员身份识别方法、装置、设备及可读存储介质 |
CN112949735A (zh) * | 2021-03-15 | 2021-06-11 | 南京航空航天大学 | 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法 |
CN115329895A (zh) * | 2022-09-06 | 2022-11-11 | 南昌大学 | 多源异构数据降噪分析处理方法 |
-
2023
- 2023-11-21 CN CN202311555686.6A patent/CN117272215B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700434A (zh) * | 2015-03-27 | 2015-06-10 | 北京交通大学 | 一种用于复杂结构化场景的人群运动轨迹异常检测方法 |
CN110533112A (zh) * | 2019-09-04 | 2019-12-03 | 天津神舟通用数据技术有限公司 | 车联网大数据跨域分析融合方法 |
CN112668475A (zh) * | 2020-12-28 | 2021-04-16 | 苏州科达科技股份有限公司 | 一种人员身份识别方法、装置、设备及可读存储介质 |
CN112949735A (zh) * | 2021-03-15 | 2021-06-11 | 南京航空航天大学 | 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法 |
CN115329895A (zh) * | 2022-09-06 | 2022-11-11 | 南昌大学 | 多源异构数据降噪分析处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117272215A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921051B (zh) | 基于循环神经网络注意力模型的行人属性识别网络及技术 | |
CN117272215B (zh) | 一种基于数据挖掘的智慧小区安全管理方法及系统 | |
CN110232082B (zh) | 面向连续时空加油数据的异常检测方法 | |
CN108416968A (zh) | 火灾预警方法和装置 | |
CN111339883A (zh) | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 | |
CN112491796A (zh) | 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法 | |
KR20200103180A (ko) | Sar 기반 빅데이터를 활용한 재난재해 분류 및 분석 방법 및 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 | |
CN112163572A (zh) | 识别对象的方法和装置 | |
CN104902218A (zh) | 广域安防系统中视频监控子网性能监测系统及方法 | |
CN113837007B (zh) | 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法 | |
CN117611015B (zh) | 一种建筑工程质量实时监测系统 | |
CN112132048A (zh) | 一种基于计算机视觉的社区巡更分析方法及系统 | |
CN114332071A (zh) | 一种基于前景信息增强的视频异常检测方法 | |
CN109241950B (zh) | 一种基于焓值分布熵的人群恐慌状态识别方法 | |
KR20210031284A (ko) | 인공지능 기반의 cctv 보안 시스템 및 보안 방법 | |
CN114155493A (zh) | 基于视频分析技术的大坝流量预警系统及方法 | |
CN112232235B (zh) | 基于5g和算法的智慧工厂远程监控方法及系统 | |
CN117593499A (zh) | 一种基于分布式巡检策略的水电站机电设备故障识别方法 | |
CN116524410A (zh) | 基于混合高斯模型的深度学习融合场面目标检测方法 | |
CN111160150A (zh) | 基于深度残差神经网络卷积的视频监控人群行为的识别方法 | |
CN117079351B (zh) | 一种重点区域人员行为分析方法及系统 | |
CN112767365A (zh) | 一种探伤方法 | |
CN117830032B (zh) | 一种输电线网监控抓拍及风险评估方法及系统 | |
CN115082865B (zh) | 基于视觉图像识别的桥机入侵危险行为预警方法及系统 | |
CN117354495B (zh) | 基于深度学习的视频监控质量诊断方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |