CN116308960B - 基于数据分析的智慧园区物业防控管理系统及其实现方法 - Google Patents
基于数据分析的智慧园区物业防控管理系统及其实现方法 Download PDFInfo
- Publication number
- CN116308960B CN116308960B CN202310313578.1A CN202310313578A CN116308960B CN 116308960 B CN116308960 B CN 116308960B CN 202310313578 A CN202310313578 A CN 202310313578A CN 116308960 B CN116308960 B CN 116308960B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- event
- information
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002265 prevention Effects 0.000 title claims abstract description 35
- 238000007405 data analysis Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000002159 abnormal effect Effects 0.000 claims description 80
- 238000005265 energy consumption Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000012800 visualization Methods 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Development Economics (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了基于数据分析的智慧园区物业防控管理系统及其实现方法，属于物业防控技术领域。本发明将数据驱动技术与多模态融合技术综合应用于园区物业防控管理，对园区内的多源异构数据构建统一的多模态通用管理数据分析平台。系统包括多模态信息收集模块和多模态管控模块。多模态信息收集模块通过网络将信息数据上传到中央机房服务器，中央机房服务器的多模态信息模型进行模型训练，对物业预警信息进行多模态关联。各个多模态终端对关联后的信息进行反馈响应。本发明为智慧园区中的物业防控减轻筛选压力，提高了管控效率，同时提高了物业防控管理系统的灵活性、适应性以及安全性和可信度。
Description
技术领域
本发明涉及物业防控技术领域，尤其涉及基于数据分析的智慧园区物业防控管理系统及其实现方法。
背景技术
物联网、人工智能等新型信息技术的快速发展和深入应用，为经济结构转型升级提供了技术支撑。智慧园区是指充分利用传感器网络技术提供智能社会管理和服务的现代化园区，已成为产业园区发展的新趋势和新要求。智慧园区存在人员出入混乱、安全管理缺失、数据流无序、消防预案不足等问题。虽然目前的园区物业也开始逐渐注重视智能化的防控管理方式，在园区监测系统的组织架构中根据实际监测需求安排监测节点，确保满足区域内数据信息的采集，但缺乏对多源异构数据的深度整合分析。现有的园区物业防控管理系统只是分别针对人员管控、车辆识别、环境监测、消防预警等实际需求设立了相应的模块，各个模块之间的数据实际上处于数据孤岛模式，只能单一地利用该模块内所采集的少量类型数据对所要处理的目标任务进行分析和判断。
然而，随着智慧园区的不断建设，未来的园区物业管理将面临数据井喷、人员高流动性、业务复杂多变等多方面的挑战。智慧园区除了数据收集功能，即对园区内部各种要素的感知变得更加方便，在加快信息收集和传递的同时，对产业园区、人、环境进行整体观察分析，应用物联网、大数据、微服务、多模态等技术，提升智慧园区物业的覆盖更广泛的范围。因此，必须进一步采取更加强有力的数据分析方法，并对多源异构数据构建统一的多模态通用管理数据分析平台。
发明内容
有鉴于现有技术的上述缺陷，本发明要解决的问题是在智慧园区中利用物业管控获得的多模态数据增强园区管控能力。为实现上述目的，本发明提供了一种基于数据分析的智慧园区物业防控管理系统及其实现方法。为实现上述目的，本发明采用了如下技术方案：
基于数据分析的智慧园区物业防控管理系统，包括用于实时上传数据到中央机房的多模态信息收集模块，和用于进行模型训练和数据处理、识别异常事件的多模态管控模块；
所述多模态信息收集模块包括门禁模块、消防模块和能耗模块；所述门禁模块包括人脸识别模块、车辆识别模块和人员信息模块；所述消防模块包括消防报警模块、园区监控模块和消防设备模块；所述能耗模块包括能耗监控模块、能耗报警模块和能耗设备模块；其中：
人脸识别模块用于上传人脸识别的图像数据；
车辆识别模块用于上传车辆车牌图像数据和车辆颜色、车型和车辆品牌的数据；
人员信息模块用于上传不限于人员身份证信息、人员姓名、人员性别和人员年龄的数据；
消防报警模块用于上传消防报警时间和地点、事件种类数据；
园区监控模块用于上传园区监控的图像数据；
消防设备模块用于上传消防设备的状态和数量数据；
能耗监控模块用于上传能耗实时消耗数据；
能耗报警模块用于上传能耗异常事件的事件和地点数据；
能耗设备模块用于上传一般用电设备、电动汽车充电桩和非机动车充电桩的状态数据；
多模态管控模块包括语音识别模块、声纹识别模块、图像识别模块、视频识别模块、网络数据模块、文本信号模块、数据对齐模块、数据融合模块、智能可视化模块，其中：
语音识别模块用于将语音转换为文本；
声纹识别模块用于身份验证；
图像识别模块用于图像分类和目标检测；
视频识别模块用于视频分类和目标检测；
网络数据模块用于网络流量分析和威胁检测；
文本信号模块用于文本分类；
数据对齐模块可以将多种数据进行对齐；
数据融合模块可以将多种数据进行融合、识别与预警；
智能可视化模块用于对多模态模型输出的事件判别结果进行可视化展示。
基于数据分析的智慧园区物业防控管理系统的实现方法，包括以下步骤：
步骤1、多模态信息收集模块采集数据并实时上传数据到中央机房；
步骤2、中央机房通过多模态管控模型对所述数据进行处理，识别异常事件并进行预警，具体包括：
S2.1、对中央机房各个数据流模块收集的数据信息进行划分以生成事件；所述各个数据流模块包括多模态信息收集模块和用于进行模型训练和数据处理、识别异常事件的多模态管控模块；
S2.2、智能分析各类事件的数据需求，并分别调用智慧园区内分布的不同传感器进行数据采集和传输，以便进行多数据流协作任务；
S2.3、对所筛选出的关联信息，输入物业防控管理系统中的数据融合模块进行多模态模型融合，并将相应的数据调用情况记录在数据库模块中；
S2.4、所述多模态模型根据不同事件的贡献度自动获取事件驱动可视化切换策略，并经过可视化呈现将事件的判别分类为正常和异常两大类，并对事件判别结果进行可视化展示；
步骤3、中央机房将异常事件预警信息发送到多模态管控模型的异常事件源头所属模块；
步骤4、各个所述异常事件源头所属模块根据所述异常事件预警信息的内容进行处理。
进一步的，所述步骤S2.1根据数据信息的类型、来源和时间特征，将数据信息包括但不限于人员事件、车辆事件、消防事件、能耗事件、安全事件、环境事件的多种类别，并为每个类别分配一个唯一的标识符。
进一步的，所述步骤S2.3在多模态融合过程中，首先对不同源异构信息进行预处理；然后利用深度神经网络或其他机器学习算法对预处理后的信息进行融合，并输出一个统一的向量表示作为多模态特征向量；最后将多模态特征向量输入到分类器或其他决策模型中，得到最终的事件判别结果，并经过可视化呈现将事件判别结果分类为正常和异常两大类，并对事件判别结果进行可视化展示；其中，在预处理过程中可以使用如下公式：
其中，xi表示第i个源信息经过去噪后得到的原始特征向量，μi表示第i个源信息原始特征向量的均值，σi表示第i个源信息原始特征向量的标准差，xi表示第i个源信息经过归一化后得到的标准化特征向量。
进一步的，所述步骤S2.4在可视化展示过程中，首先根据异常判别结果的类别和数量，选择合适的图表类型和颜色方案，然后利用数据可视化工具，将异常判别结果转换为图表，并添加相应的标题、标签、注释元素；最后将生成的图表显示在物业防控管理系统中的智能可视化模块中，并提供交互功能。
进一步的，所述分布式优化过程将贡献度评分向量表示为两个单独信息流的线性组合：
其中，事件项用于编码事件对可视化的贡献，对象项/>用于编码不同多源异构信息流特征对可视化的贡献；同时设置了数值变化在[0,1)范围内的惩罚因子γ用于限制调整信息流特征相对于事件中行为的重要性；通过计算每个事件的可视性/>然后选择具有最高可视化分数的事件/>其中Ci是第i个事件，表示从所有/>中选取分数最高的那一项，从而获得主导事件Cv；
事件项由加权指标函数建模为：
其中，如果一个事件被触发则Δ(·)为1，Pe被定义为事件Ci的优先级；
对象项表示J个不同多源异构信息流特征的加权和的得分，定义为：
其中，Pj(·)和wj分别表示为第j∈{1,2,…,J}个多源异构信息流特征聚合的呈现概率和重要性权重，其中呈现概率由下式计算：
其中，参数Xj(Ci)是特征向量中的第j个元素，它是通过将局部优化过程应用于事件Ci来计算的。
进一步的，所述局部优化过程表示为：
其中，准则函数是局部目标可视化，wj表示第j∈{1,2,…,J}个多源异构信息流特征聚合的重要性权重，且/>Xj(Ci)是特征向量/>中的第j个元素，它是通过将局部优化过程应用于事件Ci来计算的，t表示时刻，δ表示时差，也即t-δ和t+δ分别表示时间发生前和发生后的δ时刻，arg maxt则是用于选取所有时刻t中，准则函数取值最大的时刻∈，同时记Xj(·)的加权和也即准则函数/>是事件的贡献度。
进一步的，所述异常事件种类包括但不限于人员异常事件、车辆异常事件、消防异常事件、能耗异常事件、设备异常事件、安全异常事件、环境异常事件、其他异常事件。
本发明具有以下技术效果：
1、本发明能够实现多模态管控模型的异常事件预警，从而实现智慧园区物业防控管理系统的多模态管控能力的提升。运用中央机房强大的运算能力将不同数据来源的不同数据结合起来，实现异常事件的多模态关联并及时响应，为智慧园区中的物业防控减轻了筛选压力，提高了管控效率。
2、本发明还能够根据不同类型和等级的异常事件进行分类和优先级排序并分配相应资源和人员，从而提高了物业防控管理系统的灵活性和适应性。此外，本发明还能够通过人脸识别模块对智慧园区中的人员进行身份验证和权限管理并保障人员安全和隐私权益，从而提高了物业防控管理系统的安全性和可信度。
附图说明
图1为本发明的基于数据分析的智慧园区物业防控管理系统模块和功能示意图；
图2为本发明的基于数据分析的智慧园区物业防控管理系统实现方法步骤流程简图。
具体实施方式
以下参考说明书附图，介绍本发明的优选实施例，使技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
请参阅图1，本发明实施例中提供一种基于数据分析的智慧园区物业防控管理系统，包括多模态信息收集模块和多模态管控模块。多模态信息收集模块包括门禁模块、消防模块和能耗模块。所述门禁模块包括人脸识别模块、车辆识别模块和人员信息模块。所述消防模块包括消防报警模块、园区监控模块和消防设备模块。所述能耗模块包括能耗监控模块、能耗报警模块和能耗设备模块。
其中，人脸识别模块上传人脸识别的图像数据，车辆识别模块上传车辆车牌图像数据和车辆颜色、车型、车辆品牌等数据，人员信息模块上传人员身份证信息、人员姓名、人员性别、人员年龄等数据。消防报警模块上传消防报警时间和地点、事件种类数据，园区监控模块上传园区监控的图像数据，消防设备模块上传消防设备的状态、数量数据。能耗监控模块上传能耗实时消耗数据，能耗报警模块上传能耗异常事件的事件、地点数据，能耗设备模块上传一般用电设备、电动汽车充电桩、非机动车充电桩的状态数据。多模态管控模块包括语音识别模块、声纹识别模块、图像识别模块、视频识别模块、网络数据模块、文本信号模块、数据对齐模块、数据融合模块、智能可视化模块。
本发明还提供基于数据分析的智慧园区物业防控管理系统的运行流程包括以下步骤：
S1：多模态信息收集模块实时上传数据到中央机房。多模态信息收集模块收集到的园区数据包括人员信息、车辆信息、消防设备信息、能耗设备信息、设备信息、安全设备信息、环境监测信息等，通过有线或无线网络连接到中央机房，实时将数据上传到服务器并进行存储和分析。
S2：中央机房通过多模态管控模型对数据进行处理。中央机房通过多模态管控模型对数据进行处理，识别异常事件并进行预警，具体包括：
S2.1、对中央机房各个数据流模块收集的数据信息进行划分以生成事件；具体地，根据数据信息的类型、来源、时间等特征，将数据信息分为人员事件、车辆事件、消防事件、能耗事件、安全事件、环境事件等多种类别，并为每个类别分配一个唯一的标识符。例如，人员事件可以用PE表示，车辆事件可以用VE表示，消防事件可以用FE表示，以此类推。
S2.2、智能分析各类事件的数据需求，并分别调用智慧园区内分布的不同传感器，以便进行多数据流协作任务；具体地，根据不同类别的事件所需要的数据类型和数量，选择合适的传感器进行数据采集和传输。人员事件使用人脸识别传感器和位置传感器进行数据采集和传输；车辆事件使用车牌识别传感器和位置传感器进行数据采集和传输；消防事件使用烟雾检测传感器和温度检测传感器进行数据采集和传输；能耗事件使用电表和水表等能耗设备进行数据采集和传输；安全事件需要门禁系统和摄像头等安全设备进行数据采集和传输；环境事件需要温湿度检测仪等环境监测设备进行数据采集和传输。
S2.3、对所筛选出的关联信息，例如地理位置、视觉图像、声音文本等多源异构信息，输入物业防控管理系统中的数据融合模块进行多模态融合，并将相应的数据调用情况记录在数据库模块中，便于事后分析和查看。具体地，在多模态融合过程中，首先对不同源异构信息进行预处理，如去噪、归一化、特征提取等操作；然后利用深度神经网络或其他机器学习算法对预处理后的信息进行融合，并输出一个统一的向量表示作为多模态特征向量；最后将多模态特征向量输入到分类器或其他决策模型中，得到最终的异常判别结果。其中，在预处理过程中可以使用如下公式：
其中，xi表示第i个源信息经过去噪后得到的原始特征向量(如图像像素值或语音信号值)，μi表示第i个源信息原始特征向量的均值(如图像亮度或语音强度)，σi表示第i个源信息原始特征向量的标准差(如图像对比度或语音频率)，xi表示第i个源信息经过归一化后得到的标准化特征向量(如图像灰度值或语音频谱)。
S2.4、对多模态模型输出的事件判别结果进行可视化展示，也即本发明系统中的智能可视化模块。具体地，在可视化展示过程中，首先根据异常判别结果的类别和数量，选择合适的图表类型和颜色方案，如饼图、柱状图、折线图等；然后利用数据可视化工具，如matplotlib、seaborn等，将异常判别结果转换为图表，并添加相应的标题、标签、注释等元素；最后将生成的图表显示在物业防控管理系统中的智能可视化模块中，并提供交互功能，如放大、缩小、筛选操作。
由于界面空间有限，同时显示多个园区事件或所有信息流是难以实现的，因此需要一种智能显示方法来帮助园区物业操作员对不同事件的可视化进行有效切换。为此，本发明设计了一种基于贡献度的事件驱动可视化切换策略，从而帮助园区物业管理人员使用自动可视化模型快速地将界面的显示切换至最有意义的事件视图。
上述所提出的事件驱动可视化切换方法由局部优化过程和分布式优化过程组成。
(1)局部的事件可视性由本地多源异构信息中最具代表性的信息流表示。在多视图事件可视化中，通过聚类方法为物业管理人员提供最佳视图。为了进一步通过分布式优化策略评估多个事件的可视化性语义意义，设计了两个准则函数，即事件项和对象项首先考虑一组同时需要处理的事件C＝{C1,C2，...，CN}。对于可视化性建模，本发明将贡献度评分向量表示为两个单独信息流的线性组合：
其中，事件项用于编码事件对可视化的贡献，对象项/>编码不同多源异构信息流特征对可视化的贡献。同时为了保证贡献度调节的灵活性，本发明设置了数值变化在[0,1)范围内的惩罚因子γ用于限制调整信息流特征相对于事件中行为的重要性。通过计算每个事件的可视性/>然后选择具有最高可视化分数的事件其中Ci是第i个事件，/>表示从所有/>中选取分数最高的那一项，从而获得主导事件Cv。
进一步地，事件项由加权指标函数建模为：
其中，如果一个事件被触发则Δ(·)为1，Pe被定义为事件Ci的优先级。
对象项表示J个不同多源异构信息流特征的加权和的得分，定义为：
其中，Pj(·)和wj分别表示为第j∈{1,2,…,J}个多源异构信息流特征聚合的呈现概率和重要性权重，其中呈现概率由下式计算：
其中，参数Xj(Ci)是特征向量中的第j个元素，它是通过将局部优化过程应用于事件Ci来计算的。
(2)此外，本发明将特定时期执行视图切换至关键事件作为局部优化过程，该过程表示为：
其中，准则函数可以认为是局部目标可视化。wj表示第j∈{1,2,…,J}个多源异构信息流特征聚合的重要性权重，且Xj(Ci)是特征向量/>中的第j个元素，它是通过将局部优化过程应用于事件Ci来计算的。t表示时刻，δ表示时差，也即t-δ和t+δ分别表示时间发生前和发生后的δ时刻。arg maxt则是用于选取所有时刻t中，准则函数取值最大的时刻∈，同时记Xj(·)的加权和也即准则函数/>是事件的贡献度。
最后根据不同事件的贡献度自动获取事件驱动可视化切换策略，并经过可视化呈现将事件的判别分类为正常和异常两大类。
管控模型的异常事件种类包括人员异常事件、车辆异常事件、消防异常事件、能耗异常事件、设备异常事件、安全异常事件、环境异常事件、其他异常事件等。人员异常事件包括未经授权进入禁区、未佩戴口罩等情况；车辆异常事件包括违章停车、充电故障等情况；消防异常事件包括火灾报警、烟雾报警等情况；能耗异常事件包括用电超标、用水超标等情况；设备异常事件包括设备损坏、设备故障等情况；安全异常事件包括盗窃报警、门禁报警等情况；环境异常事件包括温度过高、湿度过低等情况；其他异常事件包括噪音过大、垃圾堆积等情况。
通过多模态管控模型，异常事件之间的关联性和异常事件的发生时间、发生地点、发生原因等信息可以被识别出来，从而实现多模态管控模型的异常事件预警。完成关联的并且符合预警条件的异常事件源头所属模块会接收到预警通知，各个模块会根据预警通知的内容进行处理。门禁模块会根据人员身份、车辆身份的和位置发送相应通知或指令；车辆信息模块会根据车辆状态和位置发送相应通知或指令；消防模块会根据事件严重程度和位置发送相应通知或指令；能耗模块会根据能耗数据和设备位置发送相应通知或指令。
S3：中央机房将异常事件预警信息发送到管控模型的异常事件源头所属模块，各个模块会根据预警通知的内容进行处理(步骤S4)。例如，某人的车辆发生充电异常事件，中央机房会收集到能耗报警信息后会根据信息之间的关联性，通过能耗设备模块定位到车辆位置和充电桩编号，并检查充电桩是否有故障或被恶意破坏，通过人员信息模块识别到车辆的车主和联系方式，并尝试与车主取得联系并了解情况，通过人脸识别模块识别到车主的人脸信息和车主位置，并及时发送通知进行预警并提供解决方案如更换充电桩或申请赔偿等，从而实现多模态管控模型的异常事件预警。再例如，某地发生火灾，中央机房会收集到消防报警信息后会根据信息之间的关联性，通过消防设备模块定位到可使用的消防设备和消防通道，并启动自动灭火系统或调度附近消防队伍前往救援，通过人脸识别模块识别到火灾地点的人员信息和人员位置，并及时发送通知进行预警并指导疏散逃生如选择最近安全出口或避开有毒烟雾等，并通过能耗管控模块及时切断火灾地点的能源供应避免出现进一步事故。
S4：管控模型的异常事件源头所属模块接收到预警通知，各个模块会根据预警通知的内容进行处理。各个模块接收到预警信息后，会根据预警信息的内容进行及时的反应，实现物业防控的实时响应。例如，人员信息模块接收到预警信息后，会根据预警信息的内容对需要响应的人员发送通知并记录人员状态和位置，能耗设备模块接收到预警信息后，会根据预警信息的内容对需要响应的设备进行操作并检测设备运行情况和能耗数据，消防设备模块接收到预警信息后，会根据预警信息的内容及时解锁响应的消防设备并监控火灾发展情况和消防效果。另外，人脸识别模块接收到预警信息后，会根据预警信息的内容对需要响应的人脸进行识别并验证身份和权限，门禁系统模块接收到预警信息后，会根据预警信息的内容对需要响应的门禁进行控制并记录出入记录和异常情况。
综上所述，本发明能够实现多模态管控模型的异常事件预警，从而实现智慧园区物业防控管理系统的多模态管控能力的提升。运用中央机房强大的运算能力将不同数据来源的不同数据结合起来，实现异常事件的多模态关联并及时响应，为智慧园区中的物业防控减轻了筛选压力，提高了管控效率。同时，本发明还能够根据不同类型和等级的异常事件进行分类和优先级排序并分配相应资源和人员，从而提高了物业防控管理系统的灵活性和适应性。此外，本发明还能够通过人脸识别模块对智慧园区中的人员进行身份验证和权限管理并保障人员安全和隐私权益，从而提高了物业防控管理系统的安全性和可信度。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (7)
1.基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，其中所述智慧园区物业防控管理系统包括用于实时上传数据到中央机房的多模态信息收集模块，和用于进行模型训练和数据处理、识别异常事件的多模态管控模块；
所述多模态信息收集模块包括门禁模块、消防模块和能耗模块；所述门禁模块包括人脸识别模块、车辆识别模块和人员信息模块；所述消防模块包括消防报警模块、园区监控模块和消防设备模块；所述能耗模块包括能耗监控模块、能耗报警模块和能耗设备模块；其中：
人脸识别模块用于上传人脸识别的图像数据；
车辆识别模块用于上传车辆车牌图像数据和车辆颜色、车型和车辆品牌的数据；
人员信息模块用于上传不限于人员身份证信息、人员姓名、人员性别和人员年龄的数据；
消防报警模块用于上传消防报警时间和地点、事件种类数据；
园区监控模块用于上传园区监控的图像数据；
消防设备模块用于上传消防设备的状态和数量数据；
能耗监控模块用于上传能耗实时消耗数据；
能耗报警模块用于上传能耗异常事件的事件和地点数据；
能耗设备模块用于上传一般用电设备、电动汽车充电桩和非机动车充电桩的状态数据；
多模态管控模块包括语音识别模块、声纹识别模块、图像识别模块、视频识别模块、网络数据模块、文本信号模块、数据对齐模块、数据融合模块、智能可视化模块，其中：
语音识别模块用于将语音转换为文本；
声纹识别模块用于身份验证；
图像识别模块用于图像分类和目标检测；
视频识别模块用于视频分类和目标检测；
网络数据模块用于网络流量分析和威胁检测；
文本信号模块用于文本分类；
数据对齐模块用于将多种数据进行对齐；
数据融合模块用于将多种数据进行融合、识别与预警；
智能可视化模块用于对多模态模型输出的事件判别结果进行可视化展示；
所述智慧园区物业防控管理系统的处理步骤包括：
步骤1、多模态信息收集模块采集数据并实时上传数据到中央机房；
步骤2、中央机房通过多模态管控模型对所述数据进行处理，识别异常事件并进行预警，具体包括：
S2.1、对中央机房各个数据流模块收集的数据信息进行划分以生成事件；所述各个数据流模块包括多模态信息收集模块和用于进行模型训练和数据处理、识别异常事件的多模态管控模块；
S2.2、智能分析各类事件的数据需求，并分别调用智慧园区内分布的不同传感器进行数据采集和传输，以便进行多数据流协作任务；
S2.3、对所筛选出的关联信息，输入物业防控管理系统中的数据融合模块进行多模态模型融合，并将相应的数据调用情况记录在数据库模块中；
S2.4、所述多模态模型根据不同事件的贡献度自动获取事件驱动可视化切换策略，并经过可视化呈现将事件的判别分类为正常和异常两大类，并对事件判别结果进行可视化展示；
步骤3、中央机房将异常事件预警信息发送到多模态管控模型的异常事件源头所属模块；
步骤4、各个所述异常事件源头所属模块根据所述异常事件预警信息的内容进行处理。
2.根据权利要求1所述的基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，所述步骤S2.1根据数据信息的类型、来源和时间特征，将数据信息包括但不限于人员事件、车辆事件、消防事件、能耗事件、安全事件、环境事件的多种类别，并为每个类别分配一个唯一的标识符。
3.根据权利要求1所述的基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，所述步骤S2.3在多模态融合过程中，首先对不同源异构信息进行预处理；然后利用深度神经网络或其他机器学习算法对预处理后的信息进行融合，并输出一个统一的向量表示作为多模态特征向量；最后将多模态特征向量输入到分类器或其他决策模型中，得到最终的事件判别结果，并经过可视化呈现将事件判别结果分类为正常和异常两大类，并对事件判别结果进行可视化展示；其中，在预处理过程中可以使用如下公式：
其中，xi表示第i个源信息经过去噪后得到的原始特征向量，μi表示第i个源信息原始特征向量的均值，σi表示第i个源信息原始特征向量的标准差，xi表示第i个源信息经过归一化后得到的标准化特征向量。
4.根据权利要求1所述的基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，所述步骤S2.4在可视化展示过程中，首先根据异常判别结果的类别和数量，选择合适的图表类型和颜色方案，然后利用数据可视化工具，将异常判别结果转换为图表，并添加相应的标题、标签、注释元素；最后将生成的图表显示在物业防控管理系统中的智能可视化模块中，并提供交互功能。
5.根据权利要求4所述的基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，所述分布式优化过程将贡献度评分向量表示为两个单独信息流的线性组合：
其中，事件项用于编码事件对可视化的贡献，对象项/>用于编码不同多源异构信息流特征对可视化的贡献；同时设置了数值变化在[0,1)范围内的惩罚因子γ用于限制调整信息流特征相对于事件中行为的重要性；通过计算每个事件的可视性/>然后选择具有最高可视化分数的事件/>其中Ci是第i个事件，/>表示从所有/>中选取分数最高的那一项，从而获得主导事件Cv；
事件项由加权指标函数建模为：
其中，如果一个事件被触发则Δ(·)为1，Pe被定义为事件Ci的优先级；
对象项表示J个不同多源异构信息流特征的加权和的得分，定义为：
其中，Pj(·)和wj分别表示为第j∈{1,2,…,J}个多源异构信息流特征聚合的呈现概率和重要性权重，其中呈现概率由下式计算：
其中，参数Xj(Ci)是特征向量中的第j个元素，它是通过将局部优化过程应用于事件Ci来计算的。
6.根据权利要求5所述的基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，所述局部优化过程表示为：
其中，准则函数是局部目标可视化，wj表示第j∈{1,2,…,J}个多源异构信息流特征聚合的重要性权重，且/>Xj(Ci)是特征向量/>中的第j个元素，它是通过将局部优化过程应用于事件Ci来计算的，t表示时刻，δ表示时差，也即t-δ和t+δ分别表示时间发生前和发生后的δ时刻，arg maxt则是用于选取所有时刻t中，准则函数取值最大的时刻∈，同时记Xj(·)的加权和也即准则函数是事件的贡献度。
7.根据权利要求1所述的基于数据分析的智慧园区物业防控管理系统的实现方法，其特征在于，所述异常事件种类包括但不限于人员异常事件、车辆异常事件、消防异常事件、能耗异常事件、设备异常事件、安全异常事件、环境异常事件、其他异常事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310313578.1A CN116308960B (zh) | 2023-03-27 | 2023-03-27 | 基于数据分析的智慧园区物业防控管理系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310313578.1A CN116308960B (zh) | 2023-03-27 | 2023-03-27 | 基于数据分析的智慧园区物业防控管理系统及其实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116308960A CN116308960A (zh) | 2023-06-23 |
| CN116308960B true CN116308960B (zh) | 2023-11-21 |
Family
ID=86814916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310313578.1A Active CN116308960B (zh) | 2023-03-27 | 2023-03-27 | 基于数据分析的智慧园区物业防控管理系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116308960B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881335B (zh) * | 2023-07-24 | 2024-06-04 | 郑州华商科技有限公司 | 多模态数据智能分析系统与方法 |
| CN117172463A (zh) * | 2023-08-28 | 2023-12-05 | 湖北顺安伟业科技有限公司 | 一种园区监控数据管理系统 |
| CN117724367A (zh) * | 2023-12-21 | 2024-03-19 | 广东全芯半导体有限公司 | 一种带有时序控制功能主控芯片的物业管理系统 |
| CN118227128A (zh) * | 2024-03-28 | 2024-06-21 | 北京图安世纪科技股份有限公司 | 一种用于化工园区风险管控的ai大脑预警系统及方法 |
| CN117973704B (zh) * | 2024-04-01 | 2024-06-11 | 深圳市天富利信息技术有限公司 | 基于大数据的数据分析处理方法及系统 |
| CN118072255B (zh) * | 2024-04-24 | 2024-07-23 | 杭州澎湃数智科技有限公司 | 一种智慧园区多源数据动态监控和实时分析系统及方法 |
| CN118195272B (zh) * | 2024-05-14 | 2024-07-16 | 西北工业大学 | 一种基于异常检测的车辆调度方法 |
| CN118296446A (zh) * | 2024-06-06 | 2024-07-05 | 中国科学院自动化研究所 | 音视频内容风险识别方法、装置、电子设备和存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102937960A (zh) * | 2012-09-06 | 2013-02-20 | 北京邮电大学 | 突发事件热点话题的识别与评估装置和方法 |
| CN105357503A (zh) * | 2015-12-17 | 2016-02-24 | 四川创嘉上善网络科技有限公司 | 一种金融网点的综合智能管控系统及其方法 |
| CN109767466A (zh) * | 2019-01-10 | 2019-05-17 | 深圳看到科技有限公司 | 画面渲染方法、装置、终端及对应的存储介质 |
| KR102016661B1 (ko) * | 2018-11-13 | 2019-08-30 | 한전케이디엔 주식회사 | 스마트 시티 서비스 및 통합 플랫폼 제공 시스템 |
| CN110415401A (zh) * | 2019-07-16 | 2019-11-05 | 安徽杰锐达智能科技有限公司 | 一种基于智慧社区的物业智能化管理系统 |
| CN111582165A (zh) * | 2020-05-07 | 2020-08-25 | 广东中立建设有限公司 | 一种电力配电站房监控系统 |
| CN112820013A (zh) * | 2020-12-24 | 2021-05-18 | 杭州智库云泽网络科技有限公司 | 一种基于物联网的智慧园区管理系统 |
| CN112862637A (zh) * | 2021-03-18 | 2021-05-28 | 紫荆花控股有限公司 | 一种智慧园区的智慧物业防控管理系统 |
| KR20220153088A (ko) * | 2021-07-01 | 2022-11-17 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 비디오 태그 추천 모델의 트레이닝 방법 및 비디오 태그 확정 방법 |
| CN115423429A (zh) * | 2022-08-22 | 2022-12-02 | 平湖市通用电气安装有限公司 | 基于图像和声音信息的多模态一体化配网运营系统 |
| CN115641543A (zh) * | 2022-12-26 | 2023-01-24 | 北京科技大学 | 一种多模态抑郁情绪识别方法及装置 |
| WO2023029353A1 (zh) * | 2021-08-30 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
| CN115801277A (zh) * | 2022-11-29 | 2023-03-14 | 国网天津市电力公司电力科学研究院 | 计及多因素的手持运维终端多模态融合身份认证方法及系统 |
| CN115809949A (zh) * | 2022-12-01 | 2023-03-17 | 重庆爱永星辰企业服务有限公司 | 一种基于大数据处理技术的智慧园区管理系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8977643B2 (en) * | 2010-06-30 | 2015-03-10 | Microsoft Corporation | Dynamic asset monitoring and management using a continuous event processing platform |
| US10275130B2 (en) * | 2017-05-12 | 2019-04-30 | General Electric Company | Facilitating transitioning between viewing native 2D and reconstructed 3D medical images |
| US10602242B2 (en) * | 2017-06-14 | 2020-03-24 | GM Global Technology Operations LLC | Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices |
| US11282297B2 (en) * | 2019-09-10 | 2022-03-22 | Blue Planet Training, Inc. | System and method for visual analysis of emotional coherence in videos |
| US11301732B2 (en) * | 2020-03-25 | 2022-04-12 | Microsoft Technology Licensing, Llc | Processing image-bearing electronic documents using a multimodal fusion framework |
-
2023
- 2023-03-27 CN CN202310313578.1A patent/CN116308960B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102937960A (zh) * | 2012-09-06 | 2013-02-20 | 北京邮电大学 | 突发事件热点话题的识别与评估装置和方法 |
| CN105357503A (zh) * | 2015-12-17 | 2016-02-24 | 四川创嘉上善网络科技有限公司 | 一种金融网点的综合智能管控系统及其方法 |
| KR102016661B1 (ko) * | 2018-11-13 | 2019-08-30 | 한전케이디엔 주식회사 | 스마트 시티 서비스 및 통합 플랫폼 제공 시스템 |
| CN109767466A (zh) * | 2019-01-10 | 2019-05-17 | 深圳看到科技有限公司 | 画面渲染方法、装置、终端及对应的存储介质 |
| CN110415401A (zh) * | 2019-07-16 | 2019-11-05 | 安徽杰锐达智能科技有限公司 | 一种基于智慧社区的物业智能化管理系统 |
| CN111582165A (zh) * | 2020-05-07 | 2020-08-25 | 广东中立建设有限公司 | 一种电力配电站房监控系统 |
| CN112820013A (zh) * | 2020-12-24 | 2021-05-18 | 杭州智库云泽网络科技有限公司 | 一种基于物联网的智慧园区管理系统 |
| CN112862637A (zh) * | 2021-03-18 | 2021-05-28 | 紫荆花控股有限公司 | 一种智慧园区的智慧物业防控管理系统 |
| KR20220153088A (ko) * | 2021-07-01 | 2022-11-17 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 비디오 태그 추천 모델의 트레이닝 방법 및 비디오 태그 확정 방법 |
| WO2023029353A1 (zh) * | 2021-08-30 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
| CN115423429A (zh) * | 2022-08-22 | 2022-12-02 | 平湖市通用电气安装有限公司 | 基于图像和声音信息的多模态一体化配网运营系统 |
| CN115801277A (zh) * | 2022-11-29 | 2023-03-14 | 国网天津市电力公司电力科学研究院 | 计及多因素的手持运维终端多模态融合身份认证方法及系统 |
| CN115809949A (zh) * | 2022-12-01 | 2023-03-17 | 重庆爱永星辰企业服务有限公司 | 一种基于大数据处理技术的智慧园区管理系统 |
| CN115641543A (zh) * | 2022-12-26 | 2023-01-24 | 北京科技大学 | 一种多模态抑郁情绪识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 园区智慧用电管理系统的设计与应用;陈映荷;闵薇;;设计(第15期);第86-89页 * |
| 陈映荷 ; 闵薇 ; .园区智慧用电管理系统的设计与应用.设计.2020,(第15期),第86-89页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116308960A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116308960B (zh) | 基于数据分析的智慧园区物业防控管理系统及其实现方法 | |
| CN106219367B (zh) | 一种基于智能视觉光幕的电梯运维监控方法 | |
| CN101795395B (zh) | 一种人群态势监控系统及方法 | |
| CN118072255B (zh) | 一种智慧园区多源数据动态监控和实时分析系统及方法 | |
| AU2017436901A1 (en) | Methods and apparatus for automated surveillance systems | |
| CN106205143A (zh) | 智能卡口联网系统 | |
| KR102356666B1 (ko) | 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치 | |
| CN111488803A (zh) | 一种融合目标检测和目标跟踪的机场目标行为理解系统 | |
| CN113905215B (zh) | 一种公交安全驾驶监控系统 | |
| CN111539864A (zh) | 一种基于lbs大数据的踩踏事件的情报分析方法和装置 | |
| CN112800910A (zh) | 一种通讯机房维护作业效能评估方法及系统 | |
| CN112580470A (zh) | 城市视觉感知方法、装置、电子设备和存储介质 | |
| CN117314090A (zh) | 一种人工智能驱动的紧急响应与救援协调系统 | |
| CN118486152B (zh) | 安防告警信息数据交互系统及方法 | |
| CN118075427A (zh) | 一种智能化监控管理方法及系统 | |
| CN117710832A (zh) | 一种电网卫星、无人机、视频监控图像智能识别方法 | |
| CN114693053A (zh) | 基于ai智能分析检测的风险评估和风险预警系统及方法 | |
| CN112434074B (zh) | 一种基于手机定位信息的自然保护地人类活动监管系统 | |
| CN112541656A (zh) | 一种具有风险隐患预测能力的智能安防集成平台 | |
| CN112633163A (zh) | 一种基于机器学习算法实现非法运营车辆检测的检测方法 | |
| CN118097198B (zh) | 一种基于人工智能的自动着装合规性管控系统及方法 | |
| CN118365482B (zh) | 一种智慧物业管理移动平台 | |
| CN118522131B (zh) | 一种干散货港口智慧安防系统及方法 | |
| CN117877219B (zh) | 一种违规行为警报方法、系统、存储介质及设备 | |
| CN118587065A (zh) | 基于物联网技术的智慧化警务系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |